From 6308f21ec7c2881ba51152ee06a8b240744a33b0 Mon Sep 17 00:00:00 2001 From: yulianpoludnev Date: Fri, 13 Nov 2026 21:41:50 +0300 Subject: [PATCH] =?UTF-8?q?=D0=92=D1=8B=D0=BF=D0=BE=D0=BB=D0=BD=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D0=B5=20=D1=80=D0=B0=D0=B1=D0=BE=D1=82=D1=8B=20?= =?UTF-8?q?=D0=BD=D0=B0=204.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .dockerignore | 3 + .env.example | 6 + .gitattributes | 2 + Dockerfile | 34 ++ REPORT.md | 92 +++++- compose.yaml | 285 ++++++++++++++++ dotnet-tools.json | 13 + evidence/attachments-api.md | 89 +++++ evidence/grade4.md | 153 +++++++++ evidence/s3-client-check.md | 45 +++ evidence/s3-setup.md | 58 ++++ evidence/upload-memory-initial.json | 212 ++++++++++++ evidence/upload-memory.json | 228 +++++++++++++ infra/haproxy/haproxy.cfg | 63 ++++ infra/s3/README.md | 87 +++++ infra/s3/bootstrap.sh | 38 +++ infra/s3/check.sh | 37 +++ infra/s3/cleanup.md | 79 +++++ infra/s3/start.sh | 5 + mtusi2026lab3-fork.sln | 36 +++ scr/Messenger.Api.Tests/ApiFixture.cs | 128 ++++++++ scr/Messenger.Api.Tests/ApiHelpers.cs | 104 ++++++ scr/Messenger.Api.Tests/ApiTests.cs | 303 ++++++++++++++++++ scr/Messenger.Api.Tests/AuthTests.cs | 252 +++++++++++++++ scr/Messenger.Api.Tests/CacheTests.cs | 150 +++++++++ scr/Messenger.Api.Tests/ConcurencyTests.cs | 79 +++++ .../DependencyFailureTests.cs | 192 +++++++++++ scr/Messenger.Api.Tests/HealthTests.cs | 28 ++ scr/Messenger.Api.Tests/IdempotencyTests.cs | 261 +++++++++++++++ .../Messenger.Api.Tests.csproj | 27 ++ .../PasswordHasherTests.cs | 69 ++++ scr/Messenger.Api.Tests/UploadCleanupTests.cs | 211 ++++++++++++ .../DesignTimeBuild/.dtbcache.v2 | Bin 0 -> 186243 bytes ...c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx | Bin 0 -> 6638 bytes .../.vs/Messenger.Api.slnx/v18/.futdcache.v2 | Bin 0 -> 139 bytes .../.vs/Messenger.Api.slnx/v18/.suo | Bin 0 -> 6656 bytes .../18.10.1201.59691/SemanticSymbols.db | Bin 0 -> 53248 bytes .../Endpoints/AttachmentEndpoints.cs | 165 ++++++++++ scr/Messenger.Api/Endpoints/AuthEndpoints.cs | 146 +++++++++ scr/Messenger.Api/Endpoints/ChatEndpoints.cs | 158 +++++++++ .../Endpoints/MessageEndpoints.cs | 241 ++++++++++++++ scr/Messenger.Api/Endpoints/UserEndpoints.cs | 125 ++++++++ scr/Messenger.Api/Messenger.Api.csproj | 27 ++ scr/Messenger.Api/Messenger.Api.csproj.user | 6 + scr/Messenger.Api/Models/Attachment.cs | 6 + scr/Messenger.Api/Models/Chat.cs | 14 + scr/Messenger.Api/Models/CreateChatRequest.cs | 6 + .../Models/CreateMessageRequest.cs | 6 + scr/Messenger.Api/Models/CreateUserRequest.cs | 12 + scr/Messenger.Api/Models/Message.cs | 17 + scr/Messenger.Api/Models/SessionResponse.cs | 7 + scr/Messenger.Api/Models/User.cs | 14 + scr/Messenger.Api/Program.cs | 279 ++++++++++++++++ .../Properties/launchSettings.json | 23 ++ scr/Messenger.Api/Services/ApiErrors.cs | 37 +++ .../Services/Argon2PasswordHasher.cs | 68 ++++ scr/Messenger.Api/Services/BearerAuth.cs | 91 ++++++ scr/Messenger.Api/Services/Cursors.cs | 56 ++++ scr/Messenger.Api/Services/Diagnostics.cs | 90 ++++++ .../Services/IAttachmentStorage.cs | 20 ++ scr/Messenger.Api/Services/IPasswordHasher.cs | 18 ++ scr/Messenger.Api/Services/IdempotencyKeys.cs | 147 +++++++++ .../Services/LimitedDownloadStream.cs | 16 + .../Services/MessageHistoryCache.cs | 102 ++++++ scr/Messenger.Api/Services/PngIntegrity.cs | 56 ++++ .../Services/S3AttachmentStorage.cs | 71 ++++ scr/Messenger.Api/Services/SessionTokens.cs | 16 + scr/Messenger.Api/Services/Settings.cs | 166 ++++++++++ scr/Messenger.Api/Services/Timestamps.cs | 13 + scr/Messenger.Api/Services/UploadCleanup.cs | 90 ++++++ scr/Messenger.Api/Services/UploadSettings.cs | 20 ++ .../UtcDateTimeOffsetJsonConverter.cs | 28 ++ scr/Messenger.Api/Test/requests.http | 44 +++ .../appsettings.Development.json | 8 + scr/Messenger.Api/appsettings.json | 9 + scripts/init-secrets.sh | 43 +++ scripts/wait-ready.py | 22 ++ student-tests/README.md | 56 ++++ student-tests/attachments.py | 158 +++++++++ student-tests/fixtures/sample.jpg | Bin 0 -> 631 bytes student-tests/s3_bootstrap.py | 43 +++ student-tests/upload_memory.py | 174 ++++++++++ .../DesignTimeBuild/.dtbcache.v2 | Bin 0 -> 100577 bytes ...ab9841b6-837a-4373-abbe-e1fb437d3af8.vsidx | Bin 0 -> 24431 bytes ...b1b5c09e-9587-484a-a059-f45ab2e4df3b.vsidx | Bin 0 -> 10216 bytes ...d87cb35f-d7d2-446b-862a-73274ac09e66.vsidx | Bin 0 -> 5310 bytes ...ed065c11-22d8-4af3-a688-06109f4f5b47.vsidx | Bin 0 -> 10708 bytes tools/LoadTest/Helpers.cs | 62 ++++ tools/LoadTest/LoadTest.csproj | 10 + tools/LoadTest/Phases.cs | 143 +++++++++ tools/LoadTest/Program.cs | 91 ++++++ tools/LoadTest/Rss.cs | 45 +++ tools/LoadTest/run-matrix.ps1 | 88 +++++ tools/LoadTest/summarize.py | 76 +++++ tools/ScaleLoad/Program.cs | 209 ++++++++++++ tools/ScaleLoad/ScaleLoad.csproj | 10 + tools/ScaleLoad/compose.cpuset.yaml | 6 + tools/ScaleLoad/run-config.sh | 30 ++ tools/ScaleLoad/summarize.py | 143 +++++++++ tools/ScaleLoad/track1-experiment-a.sh | 16 + tools/ScaleLoad/track1-experiment-b.sh | 16 + tools/ScaleLoad/track1-experiment-c.sh | 27 ++ tools/StorageCheck/Program.cs | 57 ++++ tools/StorageCheck/StorageCheck.csproj | 11 + 104 files changed, 7310 insertions(+), 13 deletions(-) create mode 100644 .gitattributes create mode 100644 Dockerfile create mode 100644 compose.yaml create mode 100644 dotnet-tools.json create mode 100644 evidence/attachments-api.md create mode 100644 evidence/grade4.md create mode 100644 evidence/s3-client-check.md create mode 100644 evidence/s3-setup.md create mode 100644 evidence/upload-memory-initial.json create mode 100644 evidence/upload-memory.json create mode 100644 infra/haproxy/haproxy.cfg create mode 100644 infra/s3/README.md create mode 100644 infra/s3/bootstrap.sh create mode 100644 infra/s3/check.sh create mode 100644 infra/s3/cleanup.md create mode 100644 infra/s3/start.sh create mode 100644 mtusi2026lab3-fork.sln create mode 100644 scr/Messenger.Api.Tests/ApiFixture.cs create mode 100644 scr/Messenger.Api.Tests/ApiHelpers.cs create mode 100644 scr/Messenger.Api.Tests/ApiTests.cs create mode 100644 scr/Messenger.Api.Tests/AuthTests.cs create mode 100644 scr/Messenger.Api.Tests/CacheTests.cs create mode 100644 scr/Messenger.Api.Tests/ConcurencyTests.cs create mode 100644 scr/Messenger.Api.Tests/DependencyFailureTests.cs create mode 100644 scr/Messenger.Api.Tests/HealthTests.cs create mode 100644 scr/Messenger.Api.Tests/IdempotencyTests.cs create mode 100644 scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj create mode 100644 scr/Messenger.Api.Tests/PasswordHasherTests.cs create mode 100644 scr/Messenger.Api.Tests/UploadCleanupTests.cs create mode 100644 scr/Messenger.Api/.vs/Messenger.Api.slnx/DesignTimeBuild/.dtbcache.v2 create mode 100644 scr/Messenger.Api/.vs/Messenger.Api.slnx/FileContentIndex/c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx create mode 100644 scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.futdcache.v2 create mode 100644 scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.suo create mode 100644 scr/Messenger.Api/.vs/Messenger.Api/CopilotIndices/18.10.1201.59691/SemanticSymbols.db create mode 100644 scr/Messenger.Api/Endpoints/AttachmentEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/AuthEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/ChatEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/MessageEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/UserEndpoints.cs create mode 100644 scr/Messenger.Api/Messenger.Api.csproj create mode 100644 scr/Messenger.Api/Messenger.Api.csproj.user create mode 100644 scr/Messenger.Api/Models/Attachment.cs create mode 100644 scr/Messenger.Api/Models/Chat.cs create mode 100644 scr/Messenger.Api/Models/CreateChatRequest.cs create mode 100644 scr/Messenger.Api/Models/CreateMessageRequest.cs create mode 100644 scr/Messenger.Api/Models/CreateUserRequest.cs create mode 100644 scr/Messenger.Api/Models/Message.cs create mode 100644 scr/Messenger.Api/Models/SessionResponse.cs create mode 100644 scr/Messenger.Api/Models/User.cs create mode 100644 scr/Messenger.Api/Program.cs create mode 100644 scr/Messenger.Api/Properties/launchSettings.json create mode 100644 scr/Messenger.Api/Services/ApiErrors.cs create mode 100644 scr/Messenger.Api/Services/Argon2PasswordHasher.cs create mode 100644 scr/Messenger.Api/Services/BearerAuth.cs create mode 100644 scr/Messenger.Api/Services/Cursors.cs create mode 100644 scr/Messenger.Api/Services/Diagnostics.cs create mode 100644 scr/Messenger.Api/Services/IAttachmentStorage.cs create mode 100644 scr/Messenger.Api/Services/IPasswordHasher.cs create mode 100644 scr/Messenger.Api/Services/IdempotencyKeys.cs create mode 100644 scr/Messenger.Api/Services/LimitedDownloadStream.cs create mode 100644 scr/Messenger.Api/Services/MessageHistoryCache.cs create mode 100644 scr/Messenger.Api/Services/PngIntegrity.cs create mode 100644 scr/Messenger.Api/Services/S3AttachmentStorage.cs create mode 100644 scr/Messenger.Api/Services/SessionTokens.cs create mode 100644 scr/Messenger.Api/Services/Settings.cs create mode 100644 scr/Messenger.Api/Services/Timestamps.cs create mode 100644 scr/Messenger.Api/Services/UploadCleanup.cs create mode 100644 scr/Messenger.Api/Services/UploadSettings.cs create mode 100644 scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs create mode 100644 scr/Messenger.Api/Test/requests.http create mode 100644 scr/Messenger.Api/appsettings.Development.json create mode 100644 scr/Messenger.Api/appsettings.json create mode 100644 scripts/init-secrets.sh create mode 100644 scripts/wait-ready.py create mode 100644 student-tests/README.md create mode 100644 student-tests/attachments.py create mode 100644 student-tests/fixtures/sample.jpg create mode 100644 student-tests/s3_bootstrap.py create mode 100644 student-tests/upload_memory.py create mode 100644 tools/LoadTest/.vs/LoadTest.slnx/DesignTimeBuild/.dtbcache.v2 create mode 100644 tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/ab9841b6-837a-4373-abbe-e1fb437d3af8.vsidx create mode 100644 tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/b1b5c09e-9587-484a-a059-f45ab2e4df3b.vsidx create mode 100644 tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/d87cb35f-d7d2-446b-862a-73274ac09e66.vsidx create mode 100644 tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/ed065c11-22d8-4af3-a688-06109f4f5b47.vsidx create mode 100644 tools/LoadTest/Helpers.cs create mode 100644 tools/LoadTest/LoadTest.csproj create mode 100644 tools/LoadTest/Phases.cs create mode 100644 tools/LoadTest/Program.cs create mode 100644 tools/LoadTest/Rss.cs create mode 100644 tools/LoadTest/run-matrix.ps1 create mode 100644 tools/LoadTest/summarize.py create mode 100644 tools/ScaleLoad/Program.cs create mode 100644 tools/ScaleLoad/ScaleLoad.csproj create mode 100644 tools/ScaleLoad/compose.cpuset.yaml create mode 100644 tools/ScaleLoad/run-config.sh create mode 100644 tools/ScaleLoad/summarize.py create mode 100644 tools/ScaleLoad/track1-experiment-a.sh create mode 100644 tools/ScaleLoad/track1-experiment-b.sh create mode 100644 tools/ScaleLoad/track1-experiment-c.sh create mode 100644 tools/StorageCheck/Program.cs create mode 100644 tools/StorageCheck/StorageCheck.csproj diff --git a/.dockerignore b/.dockerignore index bc16e556..65b65779 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,6 @@ __pycache__ node_modules evidence .DS_Store +**/bin +**/obj +**/.vs diff --git a/.env.example b/.env.example index d99d26a2..a6ebbc7a 100644 --- a/.env.example +++ b/.env.example @@ -10,11 +10,17 @@ DATABASE_URL_FILE=/run/secrets/database_url SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url API_REPLICAS=2 +# Host ports; APP_PORT remains the internal API port. +LB_PUBLISHED_PORT=18084 +LB_STATS_PORT=18404 IDEMPOTENCY_TTL_SECONDS=86400 S3_ENDPOINT=http://s3:9000 S3_REGION=us-east-1 S3_BUCKET=messenger-attachments +# API credentials only; root credentials are generated separately by scripts/init-secrets.sh. S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key MAX_UPLOAD_BYTES=10485760 MAX_IMAGE_PIXELS=40000000 +UPLOAD_CLEANUP_GRACE_SECONDS=300 +UPLOAD_CLEANUP_INTERVAL_SECONDS=30 diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 00000000..44a83f01 --- /dev/null +++ b/.gitattributes @@ -0,0 +1,2 @@ +# Shell scripts run in Linux containers even when checked out on Windows. +*.sh text eol=lf diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..dc1afe3a --- /dev/null +++ b/Dockerfile @@ -0,0 +1,34 @@ +# Версии закреплены тегом и digest (SDK 10.0.401, runtime 10.0.12), сборка воспроизводима. +FROM mcr.microsoft.com/dotnet/sdk:10.0.401@sha256:e70cdb7f80b0348f5cb85f19a8f670fca061f033d57eed12fa003d58b0e06317 AS build +WORKDIR /src + +COPY scr/Messenger.Api/Messenger.Api.csproj scr/Messenger.Api/ +RUN dotnet restore scr/Messenger.Api/Messenger.Api.csproj + +COPY scr/Messenger.Api/ scr/Messenger.Api/ +RUN dotnet publish scr/Messenger.Api/Messenger.Api.csproj \ + --configuration Release \ + --output /app/publish \ + --no-restore + +FROM mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 AS runtime +WORKDIR /app + +COPY --from=build /app/publish . + +# Версия сборки (видна в логе старта; отличает старую реплику от новой при rolling update). +# ARG стоит после COPY: смена версии пересобирает только этот слой, а не всю сборку. +ARG APP_VERSION=dev +ENV APP_VERSION=${APP_VERSION} +LABEL org.opencontainers.image.version=${APP_VERSION} + +ENV ASPNETCORE_URLS=http://0.0.0.0:8080 +EXPOSE 8080 + +# Непривилегированный пользователь (APP_UID задан в базовом образе aspnet). +USER $APP_UID + +# curl в образе нет, поэтому проверку выполняет само приложение (/health/live). +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 CMD ["dotnet", "Messenger.Api.dll", "--healthcheck"] + +ENTRYPOINT ["dotnet", "Messenger.Api.dll"] \ No newline at end of file diff --git a/REPORT.md b/REPORT.md index 9ad2b84f..df59a47d 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,103 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO +- Автор, группа: Полуднев Юлиан, БВТ2303 +- Состояние: реализован минимум на 3 и все пункты уровня 4; исследовательский трек 5 не заявлен. - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Библиотеки: AWSSDK.S3 4.1.0, StbImageSharp 2.30.16 (декодирование PNG/JPEG), EF Core/Npgsql, Argon2 и Valkey-клиент из lab3. Claude помог с реализацией, разбором ошибок и проверками; ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker с Compose, Python 3.9+, Git Bash/WSL для `sh`; для собственных C#-тестов — .NET SDK 10.0.401. Dockerfile закрепляет SDK 10.0.401 и ASP.NET Runtime 10.0.12 по digest; все образы сервисов закреплены в Compose. + +```sh +# Только для первого запуска, если .env ещё нет: +cp .env.example .env +sh scripts/init-secrets.sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait +python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084 +python -X utf8 scripts/check_contract.py +python -X utf8 tests/smoke.py --base-url http://localhost:18084 +python -X utf8 student-tests/attachments.py --base-url http://localhost:18084 +``` + +В `.env.example` публичный порт lab4 — 18084, статистика LB — 18404 (только localhost). При изменении `LB_PUBLISHED_PORT` замените порт в командах тестов. Во время проверки 8081 уже использовался прошлой лабораторной, поэтому локальный `.env` переключён на 18084/18404. + +Секреты создаются один раз и не перезаписываются. Каталог `secrets/` закрыт для других пользователей хоста; файлы, смонтированные в непривилегированный API, имеют права чтения внутри контейнера. Root-ключи S3 в API не монтируются. Схему применяет одноразовый сервис `migrate`, bucket/политику — `s3-init`; оба должны завершаться с кодом 0. + +Обычная остановка: `docker compose --env-file .env stop` или `down` без `-v`. Для **намеренного уничтожения всех учебных данных**: `docker compose --env-file .env down -v`. + +Проверка отказов явно останавливает сервисы **только проекта lab4**, восстанавливает их и не удаляет volumes: + +```sh +python -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj +python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 +``` + +Собственные C#-тесты используют одноразовые контейнеры PostgreSQL, Valkey и MinIO. Старые публичные `make test-persistence/test-failover` требуют отдельно реализованных hooks; приведённый выше сценарий `--faults` выполняет проверки отказов напрямую из Python и работает в Windows. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +### Подключение S3 (выполненный этап) + +В Compose добавлены MinIO (`s3`), одноразовый bootstrap (`s3-init`) и проверка +(`s3-check`, профиль tools). Байты хранятся в `s3data`, метаданные — в PostgreSQL. +Bucket приватный, API получает отдельные ограниченные ключи через Compose secrets. +MinIO и клиент mc используют один образ, закреплённый по digest. Порты S3 не опубликованы, +браузерная консоль выключена. Bootstrap можно выполнять повторно без удаления данных. + +Команды и соответствие настроек описаны в [infra/s3/README.md](infra/s3/README.md). +Результаты проверки этого этапа: [evidence/s3-setup.md](evidence/s3-setup.md). +C#-сервис `S3AttachmentStorage` реализован и проверен с ограниченными ключами API: +загрузка, скачивание, совпадение байтов/SHA-256, запрет анонимного чтения и удаление. +Команды и вывод: [evidence/s3-client-check.md](evidence/s3-client-check.md). +HTTP API вложений реализован: синхронный POST, GET метаданных и GET оригинала через API. + +Схема: клиент → HAProxy → две API-реплики → PostgreSQL (данные, сессии, метаданные, ключи идемпотентности) + MinIO (оригиналы). Valkey — необязательный кэш истории. Из lab3 сохранены аутентификация, keyset-пагинация, общие сессии, версия истории и транзакционная идемпотентность. Ключи кэша lab4 имеют отдельный префикс. + +В сообщении хранится упорядоченный массив `attachment_ids` (`uuid[]`, максимум 10): при отправке сервер проверяет существование и готовность каждого вложения и его принадлежность чату. Сообщение, ссылки и ключ идемпотентности сохраняются одной транзакцией. Массив сохраняет порядок без N+1 запросов; внешние ключи на элементы массива отсутствуют, корректность ссылок обеспечивает API. API удаления вложений/изменения участников нет. Хеш идемпотентности учитывает текст и список вложений; отсутствие списка равно `[]`. + +Upload: доступ → имя/MIME → ограниченное чтение в временный файл → заголовок и лимит пикселей → CRC/лимит распаковки PNG и полное декодирование → SHA-256 → S3 PUT → метаданные PostgreSQL → 201 ready. Временный файл удаляется при завершении запроса, после 201 он не нужен. Имя файла не используется как object key; ключ генерируется сервером в `originals/`. Оригинал не перекодируется. DTO не раскрывает S3-ключи и адреса. + +Лимиты: 10 MiB, 40 млн пикселей, одна проверка/загрузка на реплику, ожидание слота до 2 секунд, общий таймаут upload 30 секунд. Download буферизует максимум размер из метаданных (не более 10 MiB), сверяет SHA-256 и только затем начинает ответ. Входные лимиты задаются `MAX_UPLOAD_BYTES`/`MAX_IMAGE_PIXELS` и могут только уменьшать ограничения контракта. Сведения о настройках S3 — в `infra/s3/README.md`. + +Готовность требует PostgreSQL и S3, Valkey не критичен. При отказе зависимости API возвращает 503; после вывода всех реплик из ротации HAProxy сам возвращает 503, его ответ может не иметь JSON/заголовков API. `/health/live` внутри API проверяет только процесс. + +Общей транзакции S3/PostgreSQL нет. Теперь перед каждым PUT приложение сохраняет намерение в `upload_intents`. Публикация Attachment и удаление намерения выполняются одним COMMIT под блокировкой строки. После истечения lease публикация запрещена. Worker на каждой реплике забирает до 16 просроченных записей с `FOR UPDATE SKIP LOCKED`, проверяет отсутствие готового Attachment и выполняет идемпотентный DELETE. Свежие записи защищены grace period 300 с (минимум 120 с), проходы повторяются каждые 30 с. После сбоя S3/БД журнал не теряется. Неудачные намерения остаются tombstones и повторно удаляют запоздавший PUT; готовые объекты не удаляются. Цена — постоянная небольшая SQL-запись на неудачную загрузку. Подробности, модель отказов и команды: [infra/s3/cleanup.md](infra/s3/cleanup.md). ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Публичный smoke | `python -X utf8 tests/smoke.py --base-url http://localhost:18084` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Приватный bucket и ограниченные ключи | `docker compose run --rm --no-deps s3-check` | PASS | [S3](evidence/s3-setup.md) | +| PNG/JPEG, байты, ACL, filename, MIME, размер и пиксели | `python -X utf8 student-tests/attachments.py --base-url http://localhost:18084` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Файл через другую реплику после остановки загрузившей | тот же сценарий с `--faults` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Отказ S3 и restart всего стенда с прежними сессиями | тот же сценарий с `--faults` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Регрессия lab3 и новые проверки cleanup | `dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj` | 85 тестов PASS | [уровень 4](evidence/grade4.md) | +| 4: повреждения/MIME/чужие ID/чужой чат/лимиты | `student-tests/attachments.py` | PASS, ошибки клиента не стали 500 | [уровень 4](evidence/grade4.md) | +| 4: сбой S3 PUT → metadata COMMIT, grace, retries, защита ready, поздний PUT | `dotnet test --filter FullyQualifiedName~UploadCleanupTests` (проект указан выше) | 7 новых тестов PASS | [уровень 4](evidence/grade4.md) | +| 4: прерванный TCP upload и ≥10 параллельных загрузок/пик RAM | `student-tests/upload_memory.py` | Нет публикации/временного файла после обрыва; два размера × 10 запросов, память ниже лимита | [raw JSON](evidence/upload-memory.json) | +| 4: повторяемый bootstrap и ограниченные ключи | `student-tests/s3_bootstrap.py` | Два bootstrap сохраняют файл; прямой анонимный GET 403; admin/чужой prefix запрещены | [уровень 4](evidence/grade4.md) | +| Трек уровня 5 | не реализован | — | — | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Проверка `--faults` находит контейнер по `X-Instance-Id` ответа upload, останавливает именно его и получает те же байты от другой реплики. Затем останавливает/поднимает S3 и перезапускает db/cache/s3/api/lb с теми же volumes. После воздействия использует прежние токены и сравнивает сообщение, метаданные и исходный файл. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Проведён эксперимент уровня 4: два размера настоящих синтетических PNG, по 10 одновременно стартующих HTTP-загрузок без повторов. Перед каждым размером API перезапускались, затем измерялись baseline и kernel high-water cgroup/RSS; также записаны CPU usage delta, RPS и p50/p95/p99 успешных ответов. На реплику — 1 CPU/512 MiB, S3 — 1 CPU/512 MiB, DB — 2 CPU/1 GiB. Сводка и ограничения — [evidence/grade4.md](evidence/grade4.md), raw результаты — [upload-memory.json](evidence/upload-memory.json). Старые LoadTest/ScaleLoad за этот этап не засчитываются. Универсальный/максимальный RPS не заявляется; 503 при переполнении очереди — ожидаемая защита. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Остановка загрузившей API-реплики | другой API читает тот же файл | PASS | Без потери подтверждённого оригинала | +| Остановка S3 | readiness и запросы вложений недоступны | 503 | После запуска S3 файл доступен | +| Restart db/cache/s3/api/lb | старые токены и данные сохраняются | PASS | Volumes сохранены; время восстановления отдельно не измерялось | +| S3 PUT успешен, metadata COMMIT блокируется | журнал переживает пересоздание API, worker удаляет orphan | PASS в одноразовых PostgreSQL/MinIO | Grace имитируется timestamps только в тестовой БД | +| Отказ DELETE / запоздавший PUT | повторная очистка не забывает объект | PASS | Tombstone сохраняется | +| Прерванный TCP upload | нет публикации и временных файлов | PASS | До S3 PUT загрузка не дошла | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Проверены отказы одной API-реплики и временная недоступность S3, restart без удаления volumes, сбой после PUT и восстановление очистки. Один Docker-host, единственные PostgreSQL/S3/LB остаются точками отказа. Журнал охватывает загрузки приложения начиная с миграции AddUploadIntents; произвольные объекты, созданные вручную вне приложения, он не удаляет. Tombstones не архивируются автоматически. Полный аудит orphan/missing всего bucket, presigned flow и исследовательский трек 5 не реализованы. Измерения памяти относятся к указанным размерам/ресурсам, не являются гарантией всех возможных workload. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..0eec0785 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,285 @@ +# Lab 4: PostgreSQL + Valkey + приватный MinIO + API-реплики за HAProxy. +# Имя проекта задаёт отдельные тома и сети для lab4. +# Запуск (одна последовательность): +# sh scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait +name: messenger-lab4 + +# Один образ и для API, и для миграций: схема всегда соответствует коду. build продублирован намеренно, +# чтобы `up --build` собрал образ раньше, чем стартует migrate (второй build берётся из кэша). +x-api-image: &api-image + image: messenger-api:lab4 + build: + context: . + dockerfile: Dockerfile + args: + APP_VERSION: ${APP_VERSION:-1} + +# MinIO RELEASE.2025-09-07T16-13-09Z; включает mc RELEASE.2025-08-13T08-35-41Z. +x-s3-image: &s3-image + image: quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e + +services: + s3: + <<: *s3-image + restart: unless-stopped + entrypoint: ["/bin/sh", "/infra/start.sh"] + environment: + MINIO_SITE_REGION: ${S3_REGION:-us-east-1} + MINIO_BROWSER: "off" + secrets: + - s3_root_user + - s3_root_password + volumes: + - s3data:/data + - ./infra/s3:/infra:ro + # S3 и административная консоль не публикуются на хост. + healthcheck: + test: ["CMD", "curl", "--fail", "--silent", "http://127.0.0.1:9000/minio/health/ready"] + interval: 5s + timeout: 3s + retries: 20 + start_period: 10s + deploy: + resources: + limits: + cpus: "1" + memory: 512m + networks: [backend] + + s3-init: + <<: *s3-image + restart: "no" + entrypoint: ["/bin/sh", "/infra/bootstrap.sh"] + depends_on: + s3: + condition: service_healthy + environment: + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + MC_CONFIG_DIR: /tmp/mc + secrets: + - s3_root_user + - s3_root_password + - s3_access_key_id + - s3_secret_access_key + volumes: + - ./infra/s3:/infra:ro + networks: [backend] + + s3-check: + <<: *s3-image + profiles: [tools] + restart: "no" + entrypoint: ["/bin/sh", "/infra/check.sh"] + depends_on: + s3-init: + condition: service_completed_successfully + environment: + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + MC_CONFIG_DIR: /tmp/mc + secrets: + - s3_access_key_id + - s3_secret_access_key + volumes: + - ./infra/s3:/infra:ro + - ./tests/fixtures:/fixtures:ro + networks: [backend] + + s3-client-check: + image: mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 + profiles: [tools] + restart: "no" + entrypoint: ["dotnet", "/check/StorageCheck.dll", "/fixtures/sample.png"] + depends_on: + s3-init: + condition: service_completed_successfully + environment: + S3_ENDPOINT: http://s3:9000 + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + secrets: + - s3_access_key_id + - s3_secret_access_key + volumes: + - ./tools/StorageCheck/bin/Release/net10.0:/check:ro + - ./tests/fixtures:/fixtures:ro + networks: [backend] + + db: + # PostgreSQL 17.11; тег закреплён digest'ом, сборка воспроизводима. + image: postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe + restart: unless-stopped + # max_connections с запасом: до 8 реплик x пул DB_MAX_POOL_SIZE (по умолчанию 20) + миграции + служебные. + command: ["postgres", "-c", "max_connections=300"] + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/db_password + secrets: + - db_password + volumes: + # Именованный volume: переживает restart/down; удаляется только явным `docker compose down -v`. + - pgdata:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 20 + start_period: 10s + deploy: + resources: + limits: + cpus: "${DB_CPUS:-2}" + memory: ${DB_MEMORY:-1g} + networks: [backend] + + cache: + # Valkey 8.1: кэш страниц истории сообщений. Источник истины — PostgreSQL, потеря содержимого кэша ничего не ломает, + # поэтому persistence выключена (--save "" --appendonly no). Память ограничена, вытеснение LRU. + # Кэш общий для всех реплик: ключ содержит версию истории чата, поэтому реплики не отдают друг другу устаревшие страницы. + image: valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2 + restart: unless-stopped + command: + - sh + - -c + - exec valkey-server --requirepass "$$(cat /run/secrets/cache_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru + secrets: + - cache_password + healthcheck: + test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/cache_password)\" valkey-cli ping | grep -q PONG"] + interval: 5s + timeout: 3s + retries: 10 + deploy: + resources: + limits: + cpus: "0.5" + memory: 128m + networks: [backend] + + # One-shot: применяет миграции и завершается. API-реплики схему не меняют (MIGRATE_ON_START выключен), + # поэтому одновременный старт N реплик не создаёт гонку. Миграции только добавляют объекты (expand), что + # совместимо с ещё работающей предыдущей версией API при rolling update. + migrate: + <<: *api-image + command: ["--migrate"] + restart: "no" + depends_on: + db: + condition: service_healthy + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: + - database_url + networks: [backend] + + api: + <<: *api-image + restart: unless-stopped + # Без container_name и без published ports: сервис масштабируется (--scale api=N / API_REPLICAS), а снаружи + # реплики доступны только через lb. Кэш не входит в depends_on: API обязан работать без него. + depends_on: + migrate: + condition: service_completed_successfully + db: + condition: service_healthy + s3-init: + condition: service_completed_successfully + environment: + ASPNETCORE_URLS: http://0.0.0.0:8080 + APP_PORT: "8080" + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DATABASE_URL_FILE: /run/secrets/database_url + CACHE_URL_FILE: /run/secrets/cache_url + CACHE_TTL_SECONDS: ${CACHE_TTL_SECONDS:-300} + DIAGNOSTIC_HEADERS: ${DIAGNOSTIC_HEADERS:-false} + DB_MAX_POOL_SIZE: ${DB_MAX_POOL_SIZE:-20} + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + SHUTDOWN_DRAIN_SECONDS: ${SHUTDOWN_DRAIN_SECONDS:-3} + MIGRATE_ON_START: "false" + S3_ENDPOINT: http://s3:9000 + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760} + MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000} + UPLOAD_CLEANUP_GRACE_SECONDS: ${UPLOAD_CLEANUP_GRACE_SECONDS:-300} + UPLOAD_CLEANUP_INTERVAL_SECONDS: ${UPLOAD_CLEANUP_INTERVAL_SECONDS:-30} + secrets: + - database_url + - cache_url + - s3_access_key_id + - s3_secret_access_key + expose: + - "8080" + healthcheck: + # Живость процесса (готовность проверяет LB). start_interval ускоряет первый успех для `up --wait`. + test: ["CMD", "dotnet", "Messenger.Api.dll", "--healthcheck"] + interval: 10s + timeout: 3s + retries: 3 + start_period: 20s + start_interval: 2s + # SIGTERM -> drain 3 с + до 5 с на активные запросы = < 10 с; 15 с — запас до SIGKILL. + stop_grace_period: 15s + deploy: + replicas: ${API_REPLICAS:-2} + resources: + limits: + cpus: "${API_CPUS:-1}" + memory: ${API_MEMORY:-512m} + networks: [backend] + + lb: + # HAProxy 3.0 LTS; digest закреплён. Образ получен через mirror.gcr.io (зеркало официального образа Docker Hub, + # тот же digest), потому что Docker Hub был недоступен при разработке. + image: mirror.gcr.io/library/haproxy:3.0-alpine@sha256:1c15903c50d5510dcc01de755049e7015a6dd3f35bb2dc4582e888116cb71d8f + restart: unless-stopped + depends_on: + api: + condition: service_healthy + volumes: + - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + ports: + # Единственная публичная точка входа. + - "${LB_PUBLISHED_PORT:-8080}:8080" + # Статистика LB (состояние backend'ов): только с этого компьютера. + - "127.0.0.1:${LB_STATS_PORT:-8404}:8404" + healthcheck: + test: ["CMD-SHELL", "wget -q --spider http://127.0.0.1:8404/healthz"] + interval: 5s + timeout: 3s + retries: 5 + deploy: + resources: + limits: + cpus: "${LB_CPUS:-1}" + memory: 128m + networks: [backend] + +volumes: + pgdata: + s3data: + +networks: + backend: + +secrets: + db_password: + file: ./secrets/db_password + database_url: + file: ./secrets/database_url.compose + cache_password: + file: ./secrets/cache_password + cache_url: + file: ./secrets/cache_url + s3_root_user: + file: ./secrets/s3_root_user + s3_root_password: + file: ./secrets/s3_root_password + s3_access_key_id: + file: ./secrets/s3_access_key_id + s3_secret_access_key: + file: ./secrets/s3_secret_access_key diff --git a/dotnet-tools.json b/dotnet-tools.json new file mode 100644 index 00000000..39007e02 --- /dev/null +++ b/dotnet-tools.json @@ -0,0 +1,13 @@ +{ + "version": 1, + "isRoot": true, + "tools": { + "dotnet-ef": { + "version": "10.0.13", + "commands": [ + "dotnet-ef" + ], + "rollForward": false + } + } +} \ No newline at end of file diff --git a/evidence/attachments-api.md b/evidence/attachments-api.md new file mode 100644 index 00000000..5c7a05cb --- /dev/null +++ b/evidence/attachments-api.md @@ -0,0 +1,89 @@ +# Endpoint вложений — проверка 13.11.2026 + +Это протокол предыдущего этапа на 3. Последующее выполнение всех пунктов уровня 4 +зафиксировано в [grade4.md](grade4.md). + +Рабочее дерево lab4, изменения ещё не закоммичены. .NET SDK 10.0.401, +ASP.NET Runtime 10.0.12, Docker Engine 29.4.1, Compose v5.1.3, +две Linux API-реплики за HAProxy, PostgreSQL, Valkey и приватный MinIO. +Образы закреплены в Dockerfile/Compose. Проверенный адрес: `http://localhost:18084`. +Секреты и токены в этот файл не включены. + +## Реализация + +- `POST /api/v1/chats/{chat_id}/attachments?filename=...` — сырые PNG/JPEG, + 201 ready после S3 PUT и сохранения метаданных в PostgreSQL. +- `GET /api/v1/attachments/{id}` — DTO без внутреннего object key. +- `GET /api/v1/attachments/{id}/content` — исходные bytes через API, без redirect. +- `attachment_ids` в запросах/ответах сообщений, пустой текст с вложением, + проверка чата/готовности, идемпотентность с учётом вложений. +- Миграция `20261113171218_AddMessageAttachments` применена сервисом `migrate`. + Старые текстовые сообщения получают пустой массив. + +## Сборка и существующие тесты + +```sh +dotnet build mtusi2026lab3-fork.sln --no-restore +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --no-build --no-restore +docker compose --env-file .env up -d --build --wait +``` + +Debug и Docker Release сборки прошли. Существующие тесты: + +```text +Passed: 78, Failed: 0, Skipped: 0, Total: 78 +``` + +Их fixture использует одноразовые PostgreSQL/Valkey/MinIO; стенд lab4 не подменяется моками. +Проверка EF `migrations has-pending-model-changes` не обнаружила изменений модели. + +## HTTP API и отказы + +```sh +python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084 +python -X utf8 tests/smoke.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +``` + +Последний прогон после проверки ограниченной распаковки PNG завершился с кодом 0: + +```text +PASS: API is ready through the load balancer. +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +PASS: ready metadata, original bytes, authentication and chat ACL. +PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits. +PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection. +PASS: stopping the uploading API replica preserves the file on another replica. +PASS: S3 outage makes readiness unavailable (503). +PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes. +``` + +Сценарий проверяет повреждённый PNG/CRC, обрезанные PNG/JPEG, MIME spoofing, +опасные/слишком длинные filename, 10 MiB + 1 byte, 100 млн пикселей в PNG-заголовке, +PNG с распаковкой больше размеров. Проверяются 401/404, неизвестное/чужое вложение, +чужой чат, повторяющиеся/слишком многочисленные ID и конфликт Idempotency-Key. + +При failover контейнер upload определяется по его `X-Instance-Id`, проверяется наличие +минимум двух реплик, затем останавливается именно загрузивший контейнер. Ответ download +должен прийти с другим ID и вернуть те же bytes. Контейнер восстанавливается в `finally`. + +При остановке S3 проверены 503 для readiness, GET содержимого и POST загрузки через LB. +После вывода всех API из ротации 503 создаёт HAProxy (JSON/заголовки API в этом случае +не проверяются). После подъёма S3 оригинал сохраняется. + +Затем выполнен реальный `docker compose restart db cache s3 api lb`, без удаления volumes. +С теми же токенами проверены пользователь, метаданные, сообщение со ссылкой и файл. +Стенд оставлен работающим; все основные сервисы healthy, migrate/s3-init — Exited (0). + +## Готовность + +Пять основных пунктов раздела «Что сделать» README реализованы и проверены на этом стенде: +закреплённый S3/private bucket, Attachment и ссылки, upload/download, общий volume и +смена API-реплики, ACL/отказ S3/restart. Это подтверждает обязательный минимум на 3. + +Уровень 4 не завершён: нет долговечной сверки/очистки orphan после аварийного завершения +процесса и эксперимента ≥10 одновременных upload с измерением пика памяти. +Уровень 5 не реализован. Автор/группа и commit/PR ещё должны быть заполнены в отчёте. + +Валидация изображения использует [StbImageSharp 2.30.16](https://github.com/StbSharp/StbImageSharp), +без изменения оригинала. CRC и ограничение распаковки PNG проверяются отдельно до декодирования. diff --git a/evidence/grade4.md b/evidence/grade4.md new file mode 100644 index 00000000..bb186a7d --- /dev/null +++ b/evidence/grade4.md @@ -0,0 +1,153 @@ +# Подтверждение уровня 4 — 13.11.2026 + +Рабочее дерево lab4, изменения не закоммичены. Базовый API работает через +`http://localhost:18084`. .NET SDK 10.0.401, ASP.NET Runtime 10.0.12, +Docker Engine 29.4.1. В Docker доступны 16 logical CPU и 8 032 436 224 байт RAM. +Две API-реплики, каждая ограничена 1 CPU и 512 MiB. Образы закреплены по digest. + +## 1. Негативные проверки файлов и доступа + +```sh +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +``` + +Код завершения 0. Проверены PNG/JPEG, подмена MIME, повреждения/CRC, обрезанные +файлы, опасные имена, 10 MiB + 1 byte, 100 млн пикселей, чрезмерная распаковка PNG, +чужой/неизвестный attachment ID и привязка файла другого чата. Ошибки клиента +возвращают предусмотренные 400/401/404/409/413/415, не 500. + +```text +PASS: ready metadata, original bytes, authentication and chat ACL. +PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits. +PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection. +PASS: stopping the uploading API replica preserves the file on another replica. +PASS: S3 outage makes readiness unavailable (503). +PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes. +``` + +Публичный smoke повторно прошёл с кодом 0: + +```text +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +``` + +## 2. Долговечная очистка после сбоев + +Применена миграция `20261113175727_AddUploadIntents`. Перед PUT намерение сохраняется +в PostgreSQL; публикация метаданных и удаление намерения атомарны. Worker на каждой +реплике использует блокировки `FOR UPDATE SKIP LOCKED`, grace 300 с (минимум 120 с), +проход каждые 30 с, до 16 записей за проход. Готовый Attachment защищён проверкой +ссылки, публикация просроченного upload запрещена. После удаления tombstone остаётся +для повторного удаления запоздавшего PUT. Подробности: [cleanup.md](../infra/s3/cleanup.md). + +```sh +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --no-build --no-restore --filter FullyQualifiedName~UploadCleanupTests +``` + +```text +Passed: 7, Failed: 0, Skipped: 0, Total: 7 +``` + +Тесты используют реальные одноразовые PostgreSQL и MinIO. Покрыты: + +- успешный PUT и внедрённый отказ сохранения метаданных; новый экземпляр API + автоматически обнаруживает и удаляет оставшийся объект; +- защита свежего намерения grace period; +- защита готового Attachment при просроченном намерении; +- сбой DELETE, последующий retry и повторное удаление позднего PUT; +- запрет публикации после истечения lease; +- два параллельных очистителя; +- сохранение старого tombstone, чтобы объект не мог быть забыт. + +Timestamps сдвигаются только в одноразовой тестовой БД. Production grace не менялся. +После всех изменений выполнен полный финальный прогон C#-тестов без фильтра: + +```text +Passed: 85, Failed: 0, Skipped: 0, Total: 85 +``` + +Сборка и семь новых тестов очистки также отдельно прошли до полного прогона. + +Ручной проход на основном стенде (нет просроченных неудачных загрузок): + +```sh +docker compose --env-file .env run --rm --no-deps api --cleanup-uploads +``` + +```json +{"Scanned":0,"Deleted":0,"Protected":0,"Failed":0} +``` + +## 3. Прерванный upload и измерение RAM + +```sh +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 --output evidence/upload-memory.json +``` + +Сначала клиент обрывает настоящий TCP upload до передачи Content-Length. После +обрыва число Attachment/UploadIntent не изменилось; на обеих репликах нет временных +`attachment-*` файлов. + +Затем для каждого размера запускаются 10 потоков с общим barrier, без retries. +Файлы — детерминированные RGB PNG с псевдослучайными пикселями: 1024×1024 и +1600×1600, реально декодируются сервером. Перед каждым размером API перезапускаются, +ожидается готовность LB, снимаются baseline и kernel high-water. Использован cgroup v1 +`memory.max_usage_in_bytes`, текущая память, лимит, `/proc/1/status` VmHWM/VmRSS и +разность cgroup `cpuacct.usage`. Сохраняются счётчики и по каждой реплике. + +Основной прогон с CPU-метриками: + +| PNG bytes | Конкуренция | 201 | 503 overload | Время, с | Успешных RPS | p50 / p95 / p99 успешных, с | +| --- | --- | --- | --- | --- | --- | --- | +| 3 147 775 | 10 | 10 | 0 | 2,2051 | 4,535 | 1,4404 / 1,9381 / 1,9381 | +| 7 684 003 | 10 | 7 | 3 | 3,1424 | 2,228 | 2,2412 / 2,8819 / 2,8819 | + +| PNG bytes | Cgroup peak API 1 / API 2, MiB | RSS peak API 1 / API 2, MiB | Средний CPU API 1 / API 2, % одного ядра | +| --- | --- | --- | --- | +| 3 147 775 | 125,49 / 99,41 | 202,09 / 178,00 | 83,66 / 50,95 | +| 7 684 003 | 161,80 / 69,41 | 234,80 / 142,02 | 75,72 / 2,40 | + +Максимум cgroup-памяти — 161,80 MiB, RSS — 234,80 MiB, лимит каждой реплики — +512 MiB. Это разные метрики: cgroup charge и RSS по-разному учитывают shared pages, +складывать их нельзя. Оба high-water счётчика включают startup/readiness после restart. +Ожидание readiness гарантирует хотя бы один готовый backend, не одинаковый прогрев +обеих реплик: распределение CPU в коротких сериях получилось неравномерным. + +503 — предусмотренный ответ очереди: одна активная проверка/upload на реплику, +ожидание слота до 2 с. Не было 500, неверных checksum или превышения лимита памяти. +После нагрузки новая небольшая загрузка успешно вернула 201. + +Raw результаты: [upload-memory.json](upload-memory.json). Дополнительный первичный +прогон без CPU: [upload-memory-initial.json](upload-memory-initial.json) — 10/10 и +9/10 успешных, максимум 161,15 MiB cgroup / 235,70 MiB RSS. Прогоны не усреднялись. + +Ограничения: это короткие closed-loop серии, а не поиск максимального устойчивого +RPS. В elapsed входит создание клиентов; percentiles относятся только к успешным +запросам. Малая выборка и прогрев влияют на распределение. RAM клиента, который +генерирует PNG, не относится к контейнерам API. Прогон доказывает ограничение +ресурсов на указанном профиле, не универсальную верхнюю границу всех workload. + +## 4. Bootstrap, права и приватность + +```sh +python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084 +``` + +Код 0: + +```text +PASS: two bootstrap runs preserve an existing API attachment and credentials. +PASS: S3 has no published ports or browser console; API has no root credentials. +PASS: API credentials upload/download match SHA-256 and size. +PASS: anonymous GET of an existing object returns 403. +PASS: API credentials cannot administer S3 or write outside originals/. +PASS: API credentials delete the temporary object. +``` + +## Состояние после проверки + +Основные сервисы healthy, `migrate` и `s3-init` завершились с кодом 0. Схема EF +совпадает с миграциями, `git diff --check` и `scripts/check_contract.py` прошли. +Реализованы все четыре пункта уровня 4 в дополнение к минимуму уровня 3. +Это не заявка на уровень 5: полного аудита orphan/missing всего bucket, dry-run +reconciler либо исследования presigned upload пока нет. diff --git a/evidence/s3-client-check.md b/evidence/s3-client-check.md new file mode 100644 index 00000000..f06dd985 --- /dev/null +++ b/evidence/s3-client-check.md @@ -0,0 +1,45 @@ +# Проверка C#-сервиса S3 — 13.11.2026 + +Проверено рабочее дерево lab4, изменения ещё не закоммичены. Используется существующий +MinIO из Compose и отдельные ограниченные credentials API, без root credentials. +SDK AWSSDK.S3 4.1.0, .NET SDK 10.0.401, проверка выполняется в Linux-контейнере +ASP.NET Runtime 10.0.12. Тестовый файл: `tests/fixtures/sample.png`. + +## Исправления после проверки реализации + +- Два исходника хранилища были сохранены без `.cs` и не участвовали в сборке. + Добавлены расширения и отсутствующие `using` для AWS SDK. +- `S3Settings` читал `S3_ACCESS_KEY`/`S3_SECRET_KEY`, которых нет в Compose. + Исправлено чтение `S3_ACCESS_KEY_ID_FILE`/`S3_SECRET_ACCESS_KEY_FILE`. +- Добавлены регион подписи, проверка обязательных настроек и HTTP/HTTPS endpoint. + При отсутствии ключей сервис выдаёт ошибку конфигурации вместо поиска credentials вне стенда. +- SDK оставляет входной поток открытым; клиент SDK освобождается при остановке DI. + +## Команды + +```sh +dotnet build tools/StorageCheck/StorageCheck.csproj -c Release +docker compose --env-file .env config --quiet +docker compose --env-file .env run --rm --no-deps s3-client-check +``` + +Сборка инструмента и проекта API прошла без ошибок и предупреждений. +Проверка C#-сервиса завершилась с кодом 0: + +```text +PASS: C# PutAsync uploads PNG and keeps the caller's stream open. +PASS: C# CopyToAsync returns identical bytes and SHA-256. +PASS: anonymously downloading the C#-uploaded object returns 403. +PASS: C# DeleteAsync removes the object; subsequent GET returns 404. +``` + +Также повторно прошёл `docker compose --env-file .env run --rm --no-deps s3-check`: +проверка SHA-256/размера, анонимного GET, ограничений администрирования и записи +вне `originals/`, удаления временного объекта. + +## Ограничения + +Это проверка сервиса хранения, а не HTTP API вложений. Здесь ещё не проверяются +валидация изображений, лимиты upload, членство в чатах, транзакции PostgreSQL/S3, +связь с сообщениями и сохранность после отказа API/S3. Соответствующие endpoint +и обработка ошибок зависимостей ещё предстоят. diff --git a/evidence/s3-setup.md b/evidence/s3-setup.md new file mode 100644 index 00000000..12ee8c20 --- /dev/null +++ b/evidence/s3-setup.md @@ -0,0 +1,58 @@ +# Проверка S3 — 13.11.2026 + +Проверено на рабочем дереве lab4 до commit; это результаты этапа инфраструктуры S3, +не подтверждение готовности всей лабораторной. Docker Engine 29.4.1, Compose v5.1.3, +контейнер linux/amd64. Лимиты MinIO: 1 CPU, 512 MiB RAM. + +Образ: `quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e`. +Внутри подтверждены MinIO RELEASE.2025-09-07T16-13-09Z и mc RELEASE.2025-08-13T08-35-41Z. + +## Конфигурация и запуск + +```sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --wait s3 s3-init +docker compose --env-file .env logs --no-log-prefix s3-init +``` + +Конфигурация валидна. `s3` — running/healthy, `s3-init` — exited с кодом 0. + +```text +S3 bootstrap complete: private bucket and restricted API credentials. +``` + +Проверен `sh -n` для `scripts/init-secrets.sh` и скриптов `infra/s3/`. +В итоговой конфигурации Compose проверены отсутствие опубликованных портов S3, +`MINIO_BROWSER=off`, наличие ключей API и отсутствие root credentials у сервиса API. + +## Повторный bootstrap + +```sh +docker compose --env-file .env run --rm --no-deps s3-init +``` + +Код 0, то же сообщение об успешной настройке; существующий bucket принят без ошибки. + +## Операции с объектом и права доступа + +```sh +docker compose --env-file .env run --rm --no-deps s3-check +``` + +Код завершения 0: + +```text +PASS: API credentials upload/download match SHA-256 and size. +PASS: anonymous GET of an existing object returns 403. +PASS: API credentials cannot administer S3 or write outside originals/. +PASS: API credentials delete the temporary object. +``` + +Использован синтетический `tests/fixtures/sample.png`. Временный объект удалён. +Проверка структуры skeleton `python -X utf8 scripts/check_contract.py` прошла. + +## Границы проверки + +HTTP upload/download приложения и чтение S3-настроек в C# ещё не реализованы. +Полный smoke, persistence/failover API и эксперимент параллельных загрузок на этом +этапе не выполнялись. Сохранность объектов после restart здесь отдельно не проверялась. diff --git a/evidence/upload-memory-initial.json b/evidence/upload-memory-initial.json new file mode 100644 index 00000000..4477c48f --- /dev/null +++ b/evidence/upload-memory-initial.json @@ -0,0 +1,212 @@ +{ + "date": "2026-11-13", + "method": "10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup memory.peak and /proc/1/status VmHWM", + "docker_host": { + "logical_cpus": 16, + "memory_bytes": 8032436224 + }, + "api_limits": { + "cpus": 1, + "memory": "536870912" + }, + "docker": "29.4.1", + "interrupted_upload": "PASS", + "trials": [ + { + "width": 1024, + "height": 1024, + "size_bytes": 3147775, + "concurrency": 10, + "successful": 10, + "overload_503": 0, + "elapsed_seconds": 2.3438, + "successful_rps": 4.267, + "p50_success_seconds": 1.6475, + "p95_success_seconds": 2.0273, + "p99_success_seconds": 2.0273, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 63361024, + "cgroup_peak_bytes": 69242880, + "limit_bytes": 536870912, + "rss_bytes": 145293312, + "rss_peak_bytes": 145293312 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 67284992, + "cgroup_peak_bytes": 70815744, + "limit_bytes": 536870912, + "rss_bytes": 149348352, + "rss_peak_bytes": 149348352 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 102457344, + "cgroup_peak_bytes": 113156096, + "limit_bytes": 536870912, + "rss_bytes": 184115200, + "rss_peak_bytes": 192253952 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 105439232, + "cgroup_peak_bytes": 122503168, + "limit_bytes": 536870912, + "rss_bytes": 187265024, + "rss_peak_bytes": 201420800 + } + }, + "responses": [ + { + "status": 201, + "latency_seconds": 1.6475, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.9218, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.3649, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.6865, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.8, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.5402, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.5217, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.0273, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.7696, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.2418, + "instance": "39388a6229cb" + } + ] + }, + { + "width": 1600, + "height": 1600, + "size_bytes": 7684003, + "concurrency": 10, + "successful": 9, + "overload_503": 1, + "elapsed_seconds": 3.6558, + "successful_rps": 2.462, + "p50_success_seconds": 2.7267, + "p95_success_seconds": 3.32, + "p99_success_seconds": 3.32, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 65519616, + "cgroup_peak_bytes": 67182592, + "limit_bytes": 536870912, + "rss_bytes": 149217280, + "rss_peak_bytes": 149217280 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 69623808, + "cgroup_peak_bytes": 70758400, + "limit_bytes": 536870912, + "rss_bytes": 153239552, + "rss_peak_bytes": 153239552 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 126455808, + "cgroup_peak_bytes": 148439040, + "limit_bytes": 536870912, + "rss_bytes": 211324928, + "rss_peak_bytes": 226566144 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 149491712, + "cgroup_peak_bytes": 168980480, + "limit_bytes": 536870912, + "rss_bytes": 234516480, + "rss_peak_bytes": 247148544 + } + }, + "responses": [ + { + "status": 201, + "latency_seconds": 2.7595, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.0868, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.7267, + "instance": "39388a6229cb" + }, + { + "status": 503, + "latency_seconds": 3.1155, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.4065, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 3.0388, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 3.1288, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.0735, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 3.32, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.4462, + "instance": "c8e68f4d537a" + } + ] + } + ], + "post_load_recovery": "PASS", + "limitations": "Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput." +} diff --git a/evidence/upload-memory.json b/evidence/upload-memory.json new file mode 100644 index 00000000..57a7432b --- /dev/null +++ b/evidence/upload-memory.json @@ -0,0 +1,228 @@ +{ + "date": "2026-11-13", + "method": "10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup high-water (v1/v2) and /proc/1/status VmHWM; cgroup CPU usage delta", + "docker_host": { + "logical_cpus": 16, + "memory_bytes": 8032436224 + }, + "api_limits": { + "cpus": 1, + "memory": "536870912" + }, + "docker": "29.4.1", + "interrupted_upload": "PASS", + "trials": [ + { + "width": 1024, + "height": 1024, + "size_bytes": 3147775, + "concurrency": 10, + "successful": 10, + "overload_503": 0, + "elapsed_seconds": 2.2051, + "successful_rps": 4.535, + "p50_success_seconds": 1.4404, + "p95_success_seconds": 1.9381, + "p99_success_seconds": 1.9381, + "cpu_core_seconds": { + "39388a6229cb": 1.8447, + "c8e68f4d537a": 1.1234 + }, + "average_cpu_percent_of_one_core": { + "39388a6229cb": 83.66, + "c8e68f4d537a": 50.95 + }, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 64466944, + "cgroup_peak_bytes": 67948544, + "limit_bytes": 536870912, + "rss_bytes": 147685376, + "rss_peak_bytes": 147693568 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 66523136, + "cgroup_peak_bytes": 68968448, + "limit_bytes": 536870912, + "rss_bytes": 150061056, + "rss_peak_bytes": 150061056 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 125059072, + "cgroup_peak_bytes": 131584000, + "limit_bytes": 536870912, + "rss_bytes": 206090240, + "rss_peak_bytes": 211906560 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 92610560, + "cgroup_peak_bytes": 104239104, + "limit_bytes": 536870912, + "rss_bytes": 177537024, + "rss_peak_bytes": 186650624 + } + }, + "responses": [ + { + "status": 201, + "latency_seconds": 1.1419, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.2215, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.4404, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.0314, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.9381, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.8361, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.7294, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.5446, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.6469, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.3374, + "instance": "39388a6229cb" + } + ] + }, + { + "width": 1600, + "height": 1600, + "size_bytes": 7684003, + "concurrency": 10, + "successful": 7, + "overload_503": 3, + "elapsed_seconds": 3.1424, + "successful_rps": 2.228, + "p50_success_seconds": 2.2412, + "p95_success_seconds": 2.8819, + "p99_success_seconds": 2.8819, + "cpu_core_seconds": { + "39388a6229cb": 2.3794, + "c8e68f4d537a": 0.0755 + }, + "average_cpu_percent_of_one_core": { + "39388a6229cb": 75.72, + "c8e68f4d537a": 2.4 + }, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 68059136, + "cgroup_peak_bytes": 74723328, + "limit_bytes": 536870912, + "rss_bytes": 150568960, + "rss_peak_bytes": 150573056 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 64077824, + "cgroup_peak_bytes": 72781824, + "limit_bytes": 536870912, + "rss_bytes": 146657280, + "rss_peak_bytes": 146665472 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 162414592, + "cgroup_peak_bytes": 169664512, + "limit_bytes": 536870912, + "rss_bytes": 246210560, + "rss_peak_bytes": 246210560 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 67170304, + "cgroup_peak_bytes": 72781824, + "limit_bytes": 536870912, + "rss_bytes": 148914176, + "rss_peak_bytes": 148914176 + } + }, + "responses": [ + { + "status": 503, + "latency_seconds": 2.8694, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.6692, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.4845, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.9776, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.7166, + "instance": "39388a6229cb" + }, + { + "status": 503, + "latency_seconds": 2.8693, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.2412, + "instance": "39388a6229cb" + }, + { + "status": 503, + "latency_seconds": 2.8574, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.4645, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.8819, + "instance": "39388a6229cb" + } + ] + } + ], + "post_load_recovery": "PASS", + "limitations": "Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput." +} diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 00000000..353330b8 --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,63 @@ +# Единая публичная точка входа лабораторной 3: HAProxy распределяет запросы между API-репликами. +# +# Как LB узнаёт адреса реплик: `server-template` создаёт до 8 «слотов», а встроенный DNS-резолвер раз в секунду +# спрашивает у Docker (127.0.0.11) все A-записи имени `api`. Реплика добавилась/исчезла — слот получил/потерял адрес +# без перезапуска LB. Именно поэтому масштабирование (`--scale api=N`) и замена контейнеров не требуют правки конфига. +# +# Как LB исключает неработающий backend: активная проверка GET /health/ready каждую секунду; +# 2 неудачи подряд (fall 2) → слот DOWN, 2 успеха (rise 2) → снова UP. Расчёт времени обнаружения — в REPORT.md. +# Sticky-сессий нет: любой запрос может попасть на любую реплику, состояние (сессии, ключи идемпотентности) в PostgreSQL. + +global + log stdout format raw local0 info + maxconn 4096 + +resolvers docker + nameserver dns1 127.0.0.11:53 + accepted_payload_size 8192 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 2s + hold other 1s + hold refused 1s + hold nx 1s + hold timeout 1s + hold obsolete 1s + +defaults + mode http + log global + option httplog + option dontlognull + timeout connect 2s + timeout client 20s + timeout server 20s + timeout http-request 10s + timeout http-keep-alive 5s + timeout check 2s + # Если выбранный backend не принял соединение или закрыл его, не ответив (реплика остановлена между проверками), + # запрос повторяется на другой реплике. Повтор POST безопасен: сообщение защищено Idempotency-Key. + retries 3 + option redispatch 1 + retry-on conn-failure empty-response + +frontend public + bind :8080 + default_backend api + +backend api + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api + http-check expect status 200 + default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none + server-template api 1-8 api:8080 + +# Служебный порт внутри сети Compose (наружу публикуется только на 127.0.0.1): состояние backend'ов и healthcheck самого LB. +frontend ops + bind :8404 + monitor-uri /healthz + stats enable + stats uri /stats + stats refresh 2s diff --git a/infra/s3/README.md b/infra/s3/README.md new file mode 100644 index 00000000..1f62d2e6 --- /dev/null +++ b/infra/s3/README.md @@ -0,0 +1,87 @@ +# S3-хранилище lab4 + +Используется MinIO RELEASE.2025-09-07T16-13-09Z. Образ закреплён по digest +`quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e`. +В этот же образ входит `mc` RELEASE.2025-08-13T08-35-41Z: отдельный образ для bootstrap не требуется. + +## Запуск + +Из корня репозитория, `sh` доступен в Git Bash или WSL: + +```sh +# Только при первом запуске, если .env ещё нет: +cp .env.example .env +sh scripts/init-secrets.sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --wait s3 s3-init +docker compose --env-file .env logs s3-init +``` + +Для всего стенда: `docker compose --env-file .env up -d --build --wait`. +После изменения настроек API эта команда пересоздаст API-контейнеры. + +`s3` хранит файлы и IAM-настройки в именованном volume `s3data`. +`s3-init` — одноразовый контейнер; нормальное состояние после успеха — Exited (0). +Он создаёт bucket, запрещает анонимный доступ и настраивает отдельного пользователя API. +Повторный запуск не удаляет bucket или объекты: + +```sh +docker compose --env-file .env run --rm --no-deps s3-init +``` + +## Настройки и права + +- Внутренний endpoint: `http://s3:9000`, доступен из сети Compose. +- `S3_BUCKET` по умолчанию `messenger-attachments`; `S3_REGION` — `us-east-1`. +- Порт S3 не публикуется на хост, браузерная консоль выключена. +- Root credentials: `secrets/s3_root_user` и `secrets/s3_root_password`. + Они доступны только серверу и bootstrap, не API. +- Ключи API: `secrets/s3_access_key_id` и `secrets/s3_secret_access_key`. + API получает пути через `S3_ACCESS_KEY_ID_FILE` и `S3_SECRET_ACCESS_KEY_FILE`. +- Политика `attachments-api` разрешает просмотр одного bucket и операции + чтения/записи/удаления объектов только внутри `originals/`. + Администрирование S3 и работа с другими bucket не разрешены. +- Object key будущего upload должен иметь вид `originals/`. + Имя пользовательского файла в ключ не включается. +- Секреты генерируются локально; скрипт не перезаписывает существующие файлы. + После изменения ключей нужно повторить bootstrap и пересоздать API. + +Настройки читаются C#-сервисом `S3AttachmentStorage` из `IConfiguration` и файлов +секретов. Он реализует запись, потоковое скачивание и удаление объекта. Клиент SDK +использует заданный регион подписи и path-style адресацию. Входной поток загрузки +и поток назначения принадлежат вызывающему коду; клиент SDK освобождается DI при остановке. +HTTP-endpoint вложений реализованы в `AttachmentEndpoints.cs`. Проверка `/health/ready` +требует доступности PostgreSQL и S3. Примеры запуска и HTTP-проверок — в корневом `REPORT.md`. +Устойчивый журнал, grace period и worker очистки описаны в [cleanup.md](cleanup.md). + +## Проверка + +```sh +docker compose --env-file .env run --rm --no-deps s3-check +``` + +Проверка использует только ключи API: загружает `tests/fixtures/sample.png` в уникальный +временный объект, скачивает и сверяет SHA-256 и размер. Анонимный GET существующего +объекта должен вернуть 403. Проверяются запрет администрирования, запрет записи вне +`originals/` и удаление временного объекта. При ошибке скрипт возвращает ненулевой код. + +Проверка реального C#-сервиса с теми же ограниченными ключами API: + +```sh +dotnet build tools/StorageCheck/StorageCheck.csproj -c Release +docker compose --env-file .env run --rm --no-deps s3-client-check +``` + +Сначала соберите инструмент на хосте, затем запустите в Linux-контейнере в сети +Compose. Сборка подключает проект API, поэтому проверяется именно его реализация. +Тест проверяет загрузку, сохранение открытого входного потока, скачивание с побайтовым +сравнением и SHA-256, анонимный GET с кодом 403, удаление и последующий GET с кодом 404. +Объект получает уникальный ключ; `finally` удаляет его и при неудачной проверке. +Результаты: [evidence/s3-client-check.md](../../evidence/s3-client-check.md). + +Для обычной остановки: `docker compose --env-file .env stop` или `down` без `-v`. +Не удаляйте volume при проверке сохранности. Удаление volume уничтожает файлы и IAM-настройки. + +Первичные материалы: [релиз MinIO](https://github.com/minio/minio/releases/tag/RELEASE.2025-09-07T16-13-09Z), +[релиз mc](https://github.com/minio/mc/releases/tag/RELEASE.2025-08-13T08-35-41Z), +[настройки сервера](https://github.com/minio/minio/blob/RELEASE.2025-09-07T16-13-09Z/docs/config/README.md). diff --git a/infra/s3/bootstrap.sh b/infra/s3/bootstrap.sh new file mode 100644 index 00000000..5b122355 --- /dev/null +++ b/infra/s3/bootstrap.sh @@ -0,0 +1,38 @@ +#!/bin/sh +# Повторный запуск сохраняет bucket и объекты; обновляет только нашу политику/пользователя. +set -eu +umask 077 +bucket=${S3_BUCKET:?S3_BUCKET is required} +case "$bucket" in + ''|*[!a-z0-9.-]*) echo 'Invalid bucket name' >&2; exit 1 ;; +esac + +mc alias set storage http://s3:9000 \ + "$(cat /run/secrets/s3_root_user)" \ + "$(cat /run/secrets/s3_root_password)" >/dev/null +mc mb --ignore-existing "storage/$bucket" >/dev/null +mc anonymous set none "storage/$bucket" >/dev/null + +cat > /tmp/attachments-policy.json </dev/null +access_key=$(cat /run/secrets/s3_access_key_id) +mc admin user add storage "$access_key" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null +mc admin policy attach storage attachments-api --user "$access_key" >/dev/null +echo 'S3 bootstrap complete: private bucket and restricted API credentials.' diff --git a/infra/s3/check.sh b/infra/s3/check.sh new file mode 100644 index 00000000..d5a8fed0 --- /dev/null +++ b/infra/s3/check.sh @@ -0,0 +1,37 @@ +#!/bin/sh +# Проверка непосредственно S3. Endpoint приложения будет добавлен на следующем этапе. +set -eu +umask 077 +bucket=${S3_BUCKET:?S3_BUCKET is required} +mc alias set app http://s3:9000 \ + "$(cat /run/secrets/s3_access_key_id)" \ + "$(cat /run/secrets/s3_secret_access_key)" >/dev/null +key="originals/infra-check-$(cat /proc/sys/kernel/random/uuid).png" +cleanup() { mc rm "app/$bucket/$key" >/dev/null 2>&1 || true; } +trap cleanup EXIT + +mc cp /fixtures/sample.png "app/$bucket/$key" >/dev/null +mc cp "app/$bucket/$key" /tmp/download.png >/dev/null +original_hash=$(sha256sum /fixtures/sample.png | cut -d ' ' -f 1) +download_hash=$(sha256sum /tmp/download.png | cut -d ' ' -f 1) +[ "$original_hash" = "$download_hash" ] +[ "$(wc -c < /fixtures/sample.png)" = "$(wc -c < /tmp/download.png)" ] +echo 'PASS: API credentials upload/download match SHA-256 and size.' + +code=$(curl --silent --show-error --max-time 10 --output /dev/null --write-out '%{http_code}' "http://s3:9000/$bucket/$key") +[ "$code" = 403 ] || { echo "FAIL: anonymous GET returned $code" >&2; exit 1; } +echo 'PASS: anonymous GET of an existing object returns 403.' + +if mc admin info app >/dev/null 2>&1; then + echo 'FAIL: API credentials have admin access' >&2; exit 1 +fi +if mc cp /fixtures/sample.png "app/$bucket/forbidden-check.png" >/dev/null 2>&1; then + mc rm "app/$bucket/forbidden-check.png" >/dev/null + echo 'FAIL: API credentials can write outside originals/' >&2; exit 1 +fi +echo 'PASS: API credentials cannot administer S3 or write outside originals/.' +mc rm "app/$bucket/$key" >/dev/null +if mc stat "app/$bucket/$key" >/dev/null 2>&1; then + echo 'FAIL: object was not deleted' >&2; exit 1 +fi +echo 'PASS: API credentials delete the temporary object.' diff --git a/infra/s3/cleanup.md b/infra/s3/cleanup.md new file mode 100644 index 00000000..1645698a --- /dev/null +++ b/infra/s3/cleanup.md @@ -0,0 +1,79 @@ +# Долговечная очистка незавершённых upload + +## Граница атомарности + +PostgreSQL и S3 не имеют общей транзакции. Каждая загрузка приложения создаёт +`upload_intents(id, object_key, created_at, expires_at, next_attempt_at, delete_count)` +**до первого S3 PUT**. Если журнал недоступен, PUT не начинается. + +После PUT сервер берёт блокировку строки намерения (`FOR UPDATE`) и проверяет, +что lease ещё действует. Создание `attachments` и удаление соответствующего +намерения выполняются одним PostgreSQL COMMIT. Неопределённый исход COMMIT безопасен: +либо есть Attachment и нет intent, либо intent остаётся для очистки. +После истечения lease старый upload не может опубликовать Attachment. + +## Фоновый проход + +`UploadCleanupWorker` работает на каждой API-реплике. При старте и затем раз в +`UPLOAD_CLEANUP_INTERVAL_SECONDS` (по умолчанию 30 с) выбирает до 16 просроченных +намерений, с `FOR UPDATE SKIP LOCKED`. Одна строка не обрабатывается двумя +репликами одновременно. Финализация upload использует ту же блокировку. + +Перед удалением проверяется, что ни один `Attachment` не использует object key. +Готовый объект никогда не удаляется: при наличии метаданных удаляется только +лишнее намерение. Очистка принимает исключительно ключ `originals/`. + +`UPLOAD_CLEANUP_GRACE_SECONDS` по умолчанию 300 с; значения меньше 120 с запрещены. +Это больше HTTP-deadline upload 30 с и таймаутов/повторов SDK с запасом. Свежие +намерения не выбираются, даже если объект уже записан. Нет переключателя обхода grace. + +После DELETE журнал не забывается: остаётся tombstone, следующий проход повторяет +идемпотентный DELETE. Так даже PUT, завершившийся с задержкой после аварии/первой +очистки, будет удалён на последующих проходах. `delete_count` показывает число +успешных попыток. При отказе S3/БД журнал сохраняется; проход повторится после +восстановления. Если процесс остановился между DELETE и COMMIT, повтор безопасен. + +Цена этого решения — постоянная небольшая SQL-запись и периодический DELETE на +неудачную загрузку. Автоматически удалять tombstones нельзя без дополнительного +доказательства, что старый PUT больше не завершится. Архивация журнала и полный +аудит объектов, созданных вручную вне приложения, относятся к дальнейшим улучшениям. + +## Ручной проход и наблюдение + +```sh +docker compose --env-file .env run --rm --no-deps api --cleanup-uploads +docker compose --env-file .env logs --since 10m api +``` + +Команда использует те же настройки, ограничения и grace, что фоновый worker. +Она выводит счётчики `Scanned`, `Deleted`, `Protected`, `Failed`. При ненулевом +`Failed` проверьте доступность S3 и повторите после восстановления. Обычная работа +не требует этой команды: worker запускается автоматически. + +## Проверка с реальными хранилищами + +```sh +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --filter FullyQualifiedName~UploadCleanupTests +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 +``` + +Семь C#-тестов используют одноразовые настоящие PostgreSQL/MinIO: + +1. S3 PUT проходит, interceptor блокирует сохранение метаданных. После пересоздания + приложения worker сам читает журнал и удаляет объект. +2. Свежий intent защищён grace period. +3. Готовый Attachment защищён даже при добавленном просроченном intent. +4. Отказ DELETE не теряет журнал; после восстановления удаляется и повторно + записанный запоздавшим PUT объект. +5. Истёкший lease не допускает публикацию метаданных. +6. Два параллельных прохода захватывают одну запись только один раз. +7. Старый tombstone сохраняется, чтобы не забыть очень поздний PUT. + +Чтобы не ждать пять минут, тесты меняют timestamps **только собственных записей +в одноразовой тестовой БД**. Production grace остаётся 300 с. + +Python дополнительно закрывает настоящий TCP upload до передачи Content-Length: +число метаданных/намерений не меняется, временные spool-файлы удаляются. На каждой +реплике один upload/декодер, очередь ждёт до 2 с, затем возвращается 503 unavailable. +Все чтения тела ограничены байтами, размер изображения проверяется до декодирования, +распаковка PNG предварительно ограничивается по размерам. diff --git a/infra/s3/start.sh b/infra/s3/start.sh new file mode 100644 index 00000000..147fedc6 --- /dev/null +++ b/infra/s3/start.sh @@ -0,0 +1,5 @@ +#!/bin/sh +set -eu +export MINIO_ROOT_USER="$(cat /run/secrets/s3_root_user)" +export MINIO_ROOT_PASSWORD="$(cat /run/secrets/s3_root_password)" +exec minio server /data --address :9000 diff --git a/mtusi2026lab3-fork.sln b/mtusi2026lab3-fork.sln new file mode 100644 index 00000000..1ef9e1c6 --- /dev/null +++ b/mtusi2026lab3-fork.sln @@ -0,0 +1,36 @@ +Microsoft Visual Studio Solution File, Format Version 12.00 +# Visual Studio Version 17 +VisualStudioVersion = 17.5.2.0 +MinimumVisualStudioVersion = 10.0.40219.1 +Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "scr", "scr", "{027FA04E-56EC-7B26-372C-A48CC532505F}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api", "scr\Messenger.Api\Messenger.Api.csproj", "{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api.Tests", "scr\Messenger.Api.Tests\Messenger.Api.Tests.csproj", "{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}" +EndProject +Global + GlobalSection(SolutionConfigurationPlatforms) = preSolution + Debug|Any CPU = Debug|Any CPU + Release|Any CPU = Release|Any CPU + EndGlobalSection + GlobalSection(ProjectConfigurationPlatforms) = postSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.Build.0 = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.ActiveCfg = Release|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.Build.0 = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.Build.0 = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.ActiveCfg = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.Build.0 = Release|Any CPU + EndGlobalSection + GlobalSection(SolutionProperties) = preSolution + HideSolutionNode = FALSE + EndGlobalSection + GlobalSection(NestedProjects) = preSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431} = {027FA04E-56EC-7B26-372C-A48CC532505F} + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2} = {027FA04E-56EC-7B26-372C-A48CC532505F} + EndGlobalSection + GlobalSection(ExtensibilityGlobals) = postSolution + SolutionGuid = {41A93240-9911-4469-8EAB-F192C6DC6640} + EndGlobalSection +EndGlobal diff --git a/scr/Messenger.Api.Tests/ApiFixture.cs b/scr/Messenger.Api.Tests/ApiFixture.cs new file mode 100644 index 00000000..5a516c03 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiFixture.cs @@ -0,0 +1,128 @@ +using DotNet.Testcontainers.Builders; +using DotNet.Testcontainers.Containers; +using Microsoft.AspNetCore.Hosting; +using Microsoft.AspNetCore.Mvc.Testing; +using Npgsql; +using StackExchange.Redis; +using Testcontainers.PostgreSql; +using Amazon.S3; +using Amazon.S3.Model; + +namespace Messenger.Api.Tests; + +// Один одноразовый контейнер PostgreSQL и один Valkey на весь тестовый прогон. Приложение поднимается в процессе теста +// и применяет миграции к пустой БД, как при настоящем старте. Нужен только запущенный Docker. +// Настройки передаются через UseSetting (а не переменные окружения), поэтому тест может поднять второй экземпляр +// приложения с другими настройками: fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")). +public sealed class ApiFixture : WebApplicationFactory, IAsyncLifetime +{ + public const string PostgresImage = "postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe"; + private const string ValkeyImage = "valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2"; + + private readonly PostgreSqlContainer _db = new PostgreSqlBuilder().WithImage(PostgresImage).Build(); + + private readonly IContainer _cache = new ContainerBuilder() + .WithImage(ValkeyImage) + .WithPortBinding(6379, true) + .WithWaitStrategy(Wait.ForUnixContainer().UntilMessageIsLogged("Ready to accept connections")) + .Build(); + + private string _connectionFile = string.Empty; + private string _s3AccessFile = string.Empty; + private string _s3SecretFile = string.Empty; + private const string S3Access = "integration-test-user"; + private const string S3Secret = "integration-only-not-a-real-secret"; + private readonly IContainer _s3 = new ContainerBuilder() + .WithImage("quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e") + .WithEnvironment("MINIO_ROOT_USER", S3Access) + .WithEnvironment("MINIO_ROOT_PASSWORD", S3Secret) + .WithEnvironment("MINIO_BROWSER", "off") + .WithCommand("server", "/data") + .WithPortBinding(9000, true) + .WithWaitStrategy(Wait.ForUnixContainer().UntilHttpRequestIsSucceeded(r => r.ForPort(9000).ForPath("/minio/health/ready"))) + .Build(); + + public string ConnectionString => _db.GetConnectionString(); + public string CacheConnection => $"{_cache.Hostname}:{_cache.GetMappedPublicPort(6379)}"; + + public async Task InitializeAsync() + { + await Task.WhenAll(_db.StartAsync(), _cache.StartAsync(), _s3.StartAsync()); + _connectionFile = WriteConnectionFile(_db.GetConnectionString()); + _s3AccessFile = WriteConnectionFile(S3Access); + _s3SecretFile = WriteConnectionFile(S3Secret); + using var client = new AmazonS3Client(S3Access, S3Secret, new AmazonS3Config + { ServiceURL = $"http://{_s3.Hostname}:{_s3.GetMappedPublicPort(9000)}", ForcePathStyle = true, AuthenticationRegion = "us-east-1" }); + await client.PutBucketAsync(new PutBucketRequest { BucketName = "integration-attachments" }); + } + + async Task IAsyncLifetime.DisposeAsync() + { + await _db.DisposeAsync(); + await _cache.DisposeAsync(); + await _s3.DisposeAsync(); + File.Delete(_connectionFile); + File.Delete(_s3AccessFile); + File.Delete(_s3SecretFile); + } + + protected override void ConfigureWebHost(IWebHostBuilder builder) + { + builder.UseSetting("DATABASE_URL_FILE", _connectionFile); + builder.UseSetting("CACHE_CONNECTION", CacheConnection); + builder.UseSetting("DIAGNOSTIC_HEADERS", "true"); + builder.UseSetting("S3_ENDPOINT", $"http://{_s3.Hostname}:{_s3.GetMappedPublicPort(9000)}"); + builder.UseSetting("S3_BUCKET", "integration-attachments"); + builder.UseSetting("S3_ACCESS_KEY_ID_FILE", _s3AccessFile); + builder.UseSetting("S3_SECRET_ACCESS_KEY_FILE", _s3SecretFile); + // В Compose схему применяет отдельный контейнер (--migrate); тестовый процесс мигрирует пустую БД сам. + builder.UseSetting("MIGRATE_ON_START", "true"); + builder.UseSetting("SHUTDOWN_DRAIN_SECONDS", "0"); + } + + public static string WriteConnectionFile(string connectionString) + { + var path = Path.Combine(Path.GetTempPath(), $"messenger-test-{Guid.NewGuid():N}.conn"); + File.WriteAllText(path, connectionString); + return path; + } + + // Прямой доступ к БД для проверок, которые нельзя выразить через API (например, состояние таблицы sessions). + public async Task OpenConnectionAsync() + { + var connection = new NpgsqlConnection(ConnectionString); + await connection.OpenAsync(); + return connection; + } + + public async Task ScalarAsync(string sql, params (string Name, object Value)[] parameters) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + foreach (var (name, value) in parameters) + { + command.Parameters.AddWithValue(name, value); + } + + var result = await command.ExecuteScalarAsync(); + return result is null or DBNull ? default : (T)result; + } + + public async Task ExecuteAsync(string sql) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + await command.ExecuteNonQueryAsync(); + } + + // Полная очистка содержимого кэша (эквивалент FLUSHALL / перезапуска Valkey без persistence). + public async Task FlushCacheAsync() + { + using var connection = await ConnectionMultiplexer.ConnectAsync( + new ConfigurationOptions { EndPoints = { CacheConnection }, AllowAdmin = true }); + await connection.GetServer(connection.GetEndPoints()[0]).FlushAllDatabasesAsync(); + } +} + +[CollectionDefinition("api")] +public sealed class ApiCollection : ICollectionFixture; diff --git a/scr/Messenger.Api.Tests/ApiHelpers.cs b/scr/Messenger.Api.Tests/ApiHelpers.cs new file mode 100644 index 00000000..2b73a4e7 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiHelpers.cs @@ -0,0 +1,104 @@ +using System.Net; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +namespace Messenger.Api.Tests; + +internal sealed record TestUser(Guid Id, string Username, string Password, string Token); + +internal static class ApiHelpers +{ + public const string DefaultPassword = "correct horse battery staple"; + + public static StringContent Json(string raw) => + new(raw, Encoding.UTF8, "application/json"); + + // user != null — запрос с Bearer-токеном этого пользователя. + public static HttpRequestMessage Request(HttpMethod method, string url, TestUser? user = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (user is not null) + { + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", user.Token); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task ErrorCodeAsync(HttpResponseMessage response) + { + var json = await ReadJsonAsync(response); + return json.GetProperty("error").GetProperty("code").GetString()!; + } + + public static string BasicHeader(string username, string password) => + "Basic " + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}")); + + public static async Task LoginAsync(HttpClient client, string username, string password) + { + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(username, password)); + return await client.SendAsync(request); + } + + // Регистрирует пользователя и входит: возвращает его с рабочим Bearer-токеном. + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест", password = DefaultPassword }); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + + var login = await LoginAsync(client, username, DefaultPassword); + Assert.Equal(HttpStatusCode.Created, login.StatusCode); + var token = (await ReadJsonAsync(login)).GetProperty("token").GetString()!; + return new TestUser(id, username, DefaultPassword, token); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + // key == null — новый уникальный Idempotency-Key (каждое сообщение независимо); иначе повтор с заданным ключом. + public static async Task SendMessageAsync( + HttpClient client, TestUser sender, Guid chatId, string text, string? key = null) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender, + JsonContent.Create(new { text })); + request.Headers.Add("Idempotency-Key", key ?? Guid.NewGuid().ToString("N")); + return await client.SendAsync(request); + } + + public static async Task> ReadAllMessagesAsync(HttpClient client, Guid chatId, TestUser user, int limit) + { + string? cursor = null; + var received = new List(); + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + return received; + } +} diff --git a/scr/Messenger.Api.Tests/ApiTests.cs b/scr/Messenger.Api.Tests/ApiTests.cs new file mode 100644 index 00000000..77c45a16 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiTests.cs @@ -0,0 +1,303 @@ +using System.Net; +using System.Text.Json; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ApiTests(ApiFixture fixture) +{ + private HttpClient NewClient() => fixture.CreateClient(); + + [Fact] + public async Task CreateUser_WithMalformedJson_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json("{bad")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + [Fact] + public async Task CreateUser_WithoutBody_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", null); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task CreateUser_WithDuplicateUsername_ReturnsConflict() + { + using var client = NewClient(); + var user = await CreateUserAsync(client); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{user.Username}}","display_name":"Другой","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Conflict, response.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(response)); + } + + [Theory] + [InlineData("short")] + [InlineData("12345678901")] // 11 символов + public async Task CreateUser_WithShortPassword_ReturnsBadRequest(string password) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"short_pw_probe","display_name":"A","password":"{{password}}"}""")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task CreateUser_Response_DoesNotExposePasswordOrHash() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"no_leak_probe","display_name":"A","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var body = await response.Content.ReadAsStringAsync(); + Assert.DoesNotContain("password", body, StringComparison.OrdinalIgnoreCase); + Assert.DoesNotContain("argon2", body, StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task GetChat_ByNonMember_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Get, $"/api/v1/chats/{chatId}", eve); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + Assert.Equal("not_found", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task ListChats_ShowsOnlyChatsOfCurrentUser() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var shared = await CreateChatAsync(client, alice, bob); + var other = await CreateChatAsync(client, eve); + + using var request = Request(HttpMethod.Get, "/api/v1/chats", bob); + var page = await ReadJsonAsync(await client.SendAsync(request)); + var ids = page.GetProperty("items").EnumerateArray().Select(c => c.GetProperty("id").GetGuid()).ToList(); + + Assert.Contains(shared, ids); + Assert.DoesNotContain(other, ids); + } + + [Fact] + public async Task CreateChat_WithUnknownMember_ReturnsBadRequestAndCreatesNothing() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"X","member_ids":["{{alice.Id}}","{{Guid.NewGuid()}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + using var list = Request(HttpMethod.Get, "/api/v1/chats", alice); + var page = await ReadJsonAsync(await client.SendAsync(list)); + Assert.Empty(page.GetProperty("items").EnumerateArray()); + } + + [Fact] + public async Task SendMessage_ToForeignChat_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + var response = await SendMessageAsync(client, eve, chatId, "чужое"); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + } + + [Theory] + [InlineData("")] + [InlineData(" ")] + public async Task SendMessage_WithEmptyText_ReturnsBadRequest(string text) + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + + var response = await SendMessageAsync(client, alice, chatId, text); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task SendMessage_SenderIsTakenFromSession_NotFromRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", alice, + Json($$"""{"text":"привет","sender_id":"{{bob.Id}}"}""")); + request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N")); + var withSender = await client.SendAsync(request); + var ok = await SendMessageAsync(client, alice, chatId, "привет"); + + Assert.Equal(HttpStatusCode.BadRequest, withSender.StatusCode); // sender_id в запросе не принимается + Assert.Equal(alice.Id, (await ReadJsonAsync(ok)).GetProperty("sender_id").GetGuid()); + } + + [Fact] + public async Task ListMessages_WalksAllPagesWithoutGapsOrDuplicates() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + const int total = 7; + var sent = new List(); + for (var i = 0; i < total; i++) + { + var response = await SendMessageAsync(client, i % 2 == 0 ? alice : bob, chatId, $"сообщение {i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var received = new List(); + string? cursor = null; + var pages = 0; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=3" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, alice); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + pages++; + } + while (cursor is not null && pages < 10); + + Assert.Equal(3, pages); + Assert.Equal(total, received.Count); + // Один автор в одном чате: порядок истории совпадает с порядком отправки. + Assert.Equal(sent, received); + } + + [Fact] + public async Task ListMessages_WithCursorFromAnotherChat_ReturnsBadRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice); + var chat2 = await CreateChatAsync(client, alice); + await SendMessageAsync(client, alice, chat1, "a"); + await SendMessageAsync(client, alice, chat1, "b"); + using var first = Request(HttpMethod.Get, $"/api/v1/chats/{chat1}/messages?limit=1", alice); + var cursor = (await ReadJsonAsync(await client.SendAsync(first))).GetProperty("next_cursor").GetString()!; + + using var request = Request(HttpMethod.Get, + $"/api/v1/chats/{chat2}/messages?cursor={Uri.EscapeDataString(cursor)}", alice); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task ListMessages_ReturnsSameOrderForAnyPageSize() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + var sent = new List(); + for (var i = 0; i < 120; i++) + { + var response = await SendMessageAsync(client, alice, chatId, $"m{i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var baseline = await ReadAllMessagesAsync(client, chatId, alice, 100); + Assert.Equal(sent, baseline); + foreach (var limit in new[] { 1, 7, 50 }) + { + var received = await ReadAllMessagesAsync(client, chatId, alice, limit); + Assert.Equal(baseline, received); + } + } + + [Fact] + public async Task ListMessages_AfterConcurrentSends_IsOrderedByTimeThenId() + { + using var client = NewClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chatId = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var sends = Enumerable.Range(0, 300).Select(i => SendMessageAsync(client, users[i % 10], chatId, $"m{i}")); + foreach (var response in await Task.WhenAll(sends)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var items = new List<(string CreatedAt, Guid Id)>(); + string? cursor = null; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=100" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, users[0]); + var page = await ReadJsonAsync(await client.SendAsync(request)); + items.AddRange(page.GetProperty("items").EnumerateArray() + .Select(m => (m.GetProperty("created_at").GetString()!, m.GetProperty("id").GetGuid()))); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + + Assert.Equal(300, items.Count); + Assert.Equal(300, items.Select(x => x.Id).Distinct().Count()); + // Серверное время строго возрастает внутри чата (см. last_message_at), поэтому порядок истории — порядок записи. + Assert.Equal(300, items.Select(x => x.CreatedAt).Distinct().Count()); + Assert.Equal(items.OrderBy(x => x.CreatedAt, StringComparer.Ordinal).ToList(), items); + } + + [Theory] + [InlineData("""{"USERNAME":"probe_case_a","display_name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"username":"probe_case_b","Display_Name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"Username":"probe_case_c","display_name":"A","password":"correct horse battery staple"}""")] + public async Task CreateUser_WithDifferentlyCasedFieldNames_ReturnsBadRequest(string body) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json(body)); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } +} diff --git a/scr/Messenger.Api.Tests/AuthTests.cs b/scr/Messenger.Api.Tests/AuthTests.cs new file mode 100644 index 00000000..e2cd91ef --- /dev/null +++ b/scr/Messenger.Api.Tests/AuthTests.cs @@ -0,0 +1,252 @@ +using System.Net; +using System.Net.Http.Headers; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class AuthTests(ApiFixture fixture) +{ + private static readonly string[] ProtectedGets = + [ + "/api/v1/users/me", + "/api/v1/chats", + "/api/v1/chats/00000000-0000-0000-0000-000000000001", + "/api/v1/chats/00000000-0000-0000-0000-000000000001/messages" + ]; + + [Fact] + public async Task Login_WithValidCredentials_ReturnsOpaqueBearerSession() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var response = await LoginAsync(client, user.Username, user.Password); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var json = await ReadJsonAsync(response); + Assert.Equal("Bearer", json.GetProperty("token_type").GetString()); + Assert.True(json.GetProperty("token").GetString()!.Length >= 43); // 256 бит в base64url + Assert.Equal(user.Id, json.GetProperty("user").GetProperty("id").GetGuid()); + Assert.DoesNotContain("password", await response.Content.ReadAsStringAsync(), StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task Login_AcceptsColonInPassword() + { + using var client = fixture.CreateClient(); + var username = "colon" + Guid.NewGuid().ToString("N")[..8]; + await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"A","password":"pass:with:colons-123"}""")); + + var response = await LoginAsync(client, username, "pass:with:colons-123"); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + [Fact] + public async Task Login_WrongPasswordAndUnknownUser_GiveIdenticalUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var wrongPassword = await LoginAsync(client, user.Username, "totally-wrong-password"); + var unknownUser = await LoginAsync(client, "nobody_" + Guid.NewGuid().ToString("N")[..8], DefaultPassword); + + foreach (var response in new[] { wrongPassword, unknownUser }) + { + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Basic realm=\"messenger\", charset=\"UTF-8\"", response.Headers.WwwAuthenticate.ToString()); + Assert.Equal("unauthorized", await ErrorCodeAsync(response)); + } + + var a = (await ReadJsonAsync(wrongPassword)).GetProperty("error").GetProperty("message").GetString(); + var b = (await ReadJsonAsync(unknownUser)).GetProperty("error").GetProperty("message").GetString(); + Assert.Equal(a, b); + } + + [Theory] + [InlineData("Basic !!!not-base64")] + [InlineData("Basic bm9jb2xvbg==")] // "nocolon" + [InlineData("Bearer sometoken")] + [InlineData("")] + public async Task Login_WithMalformedAuthorization_ReturnsUnauthorized(string header) + { + using var client = fixture.CreateClient(); + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + if (header.Length > 0) + { + request.Headers.TryAddWithoutValidation("Authorization", header); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.StartsWith("Basic", response.Headers.WwwAuthenticate.ToString()); + } + + [Theory] + [MemberData(nameof(ProtectedUrls))] + public async Task ProtectedEndpoints_WithoutToken_ReturnUnauthorizedWithBearerChallenge(string url) + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync(url); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + public static IEnumerable ProtectedUrls() => ProtectedGets.Select(u => new object[] { u }); + + [Fact] + public async Task ProtectedEndpoint_WithBasicAuth_ReturnsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var request = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(user.Username, user.Password)); + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } + + [Fact] + public async Task XUserIdHeader_IsIgnored() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + + // Без токена X-User-Id не даёт доступа. + using var anonymous = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + anonymous.Headers.Add("X-User-Id", alice.Id.ToString()); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(anonymous)).StatusCode); + + // С токеном — владелец сессии не подменяется. + using var spoofed = Request(HttpMethod.Get, "/api/v1/users/me", alice); + spoofed.Headers.Add("X-User-Id", eve.Id.ToString()); + var me = await ReadJsonAsync(await client.SendAsync(spoofed)); + Assert.Equal(alice.Id, me.GetProperty("id").GetGuid()); + } + + [Fact] + public async Task UnauthenticatedPostWithMalformedBody_ReturnsUnauthorizedNotBadRequest() + { + using var client = fixture.CreateClient(); + + var response = await client.PostAsync("/api/v1/chats", Json("{bad")); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); // сначала аутентификация + } + + [Fact] + public async Task Logout_RevokesTokenAndSecondLogoutIsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + using var first = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + var firstResponse = await client.SendAsync(first); + Assert.Equal(HttpStatusCode.NoContent, firstResponse.StatusCode); + Assert.Equal(0, firstResponse.Content.Headers.ContentLength ?? 0); + + using var again = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(again)).StatusCode); + using var me = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task LogoutOfOneSession_DoesNotAffectAnotherSessionOfSameUser() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + var secondLogin = await ReadJsonAsync(await LoginAsync(client, user.Username, user.Password)); + var second = user with { Token = secondLogin.GetProperty("token").GetString()! }; + + using var logout = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + await client.SendAsync(logout); + + using var me = Request(HttpMethod.Get, "/api/v1/users/me", second); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task ExpiredSession_IsRejected() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var before = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(before)).StatusCode); + + // Состарим сессию в БД: created_at < expires_at < now (ограничение таблицы требует expires_at > created_at). + await using (var db = await fixture.OpenConnectionAsync()) + await using (var age = new Npgsql.NpgsqlCommand( + "update sessions set created_at = now() - interval '10 seconds', expires_at = now() - interval '5 seconds' where user_id = @u", db)) + { + age.Parameters.AddWithValue("u", user.Id); + Assert.Equal(1, await age.ExecuteNonQueryAsync()); + } + + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task ShortSessionTtl_ExpiresSessionByItself() + { + // Отдельный экземпляр приложения с SESSION_TTL_SECONDS=2 поверх той же БД: никаких подмен данных в таблице. + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + + using (var alive = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(alive)).StatusCode); + } + + await Task.Delay(TimeSpan.FromSeconds(3)); + + using var expired = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(expired); + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + // Истёкшая сессия не продлевается: повторный вход выдаёт новую. + Assert.Equal(HttpStatusCode.Created, (await LoginAsync(client, user.Username, user.Password)).StatusCode); + } + + [Fact] + public async Task SessionsTable_StoresTokenHashNotToken() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand( + "select token_hash from sessions where user_id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var stored = (byte[])(await query.ExecuteScalarAsync())!; + + Assert.Equal(32, stored.Length); + Assert.NotEqual(System.Text.Encoding.UTF8.GetBytes(user.Token), stored); + Assert.Equal(System.Security.Cryptography.SHA256.HashData(System.Text.Encoding.UTF8.GetBytes(user.Token)), stored); + } + + [Fact] + public async Task PasswordsAreStoredAsArgon2id() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand("select password_hash from users where id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var hash = (string)(await query.ExecuteScalarAsync())!; + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain(user.Password, hash); + } +} diff --git a/scr/Messenger.Api.Tests/CacheTests.cs b/scr/Messenger.Api.Tests/CacheTests.cs new file mode 100644 index 00000000..70b0e24b --- /dev/null +++ b/scr/Messenger.Api.Tests/CacheTests.cs @@ -0,0 +1,150 @@ +using System.Net; +using Microsoft.AspNetCore.Mvc.Testing; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class CacheTests(ApiFixture fixture) +{ + private static string Header(HttpResponseMessage response, string name) => + response.Headers.TryGetValues(name, out var values) ? values.First() : ""; + + private static async Task GetPageAsync( + HttpClient client, TestUser user, Guid chatId, int limit = 50, string? cursor = null) + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + return await client.SendAsync(request); + } + + private static async Task<(TestUser Alice, TestUser Bob, Guid Chat)> ChatWithMessagesAsync(HttpClient client, int messages) + { + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice, bob); + for (var i = 0; i < messages; i++) + { + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, $"m{i}")).StatusCode); + } + + return (alice, bob, chat); + } + + [Fact] + public async Task SecondRead_IsServedFromCache_WithFewerSqlQueries_AndIdenticalBody() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + + var first = await GetPageAsync(client, bob, chat); + var second = await GetPageAsync(client, bob, chat); + + Assert.Equal("miss", Header(first, "X-Cache")); + Assert.Equal("hit", Header(second, "X-Cache")); + // miss: сессия + версия/доступ + страница; hit: сессия + версия/доступ. + Assert.Equal("3", Header(first, "X-Db-Queries")); + Assert.Equal("2", Header(second, "X-Db-Queries")); + Assert.Equal(await first.Content.ReadAsStringAsync(), await second.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task ReadAfterWrite_NeverReturnsStaleCachedPage() + { + using var client = fixture.CreateClient(); + var (alice, bob, chat) = await ChatWithMessagesAsync(client, 2); + await GetPageAsync(client, bob, chat); // прогрели кэш + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + for (var i = 0; i < 20; i++) + { + var sent = await SendMessageAsync(client, alice, chat, $"new {i}"); + var id = (await ReadJsonAsync(sent)).GetProperty("id").GetGuid(); + + // Сразу после подтверждённой записи (201) следующее чтение обязано содержать новое сообщение. + var ids = await ReadAllMessagesAsync(client, chat, bob, 100); + Assert.Contains(id, ids); + Assert.Equal(3 + i, ids.Count); + } + } + + [Fact] + public async Task FlushedCache_DoesNotChangeResults() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 5); + var before = await ReadAllMessagesAsync(client, chat, bob, 2); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat, 2), "X-Cache")); + + await fixture.FlushCacheAsync(); + + var response = await GetPageAsync(client, bob, chat, 2); + Assert.Equal("miss", Header(response, "X-Cache")); + Assert.Equal(before, await ReadAllMessagesAsync(client, chat, bob, 2)); + } + + [Fact] + public async Task CachedPage_IsNotVisibleToNonMember() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 2); + var eve = await CreateUserAsync(client); + await GetPageAsync(client, bob, chat); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + var response = await GetPageAsync(client, eve, chat); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); // доступ проверяется до обращения к кэшу + Assert.DoesNotContain("m0", await response.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task PagesWithDifferentLimitsAndCursors_AreCachedSeparately() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 9); + + var firstPass = await ReadAllMessagesAsync(client, chat, bob, 4); + var secondPass = await ReadAllMessagesAsync(client, chat, bob, 4); // все страницы уже в кэше + var otherLimit = await ReadAllMessagesAsync(client, chat, bob, 3); + + Assert.Equal(9, firstPass.Count); + Assert.Equal(firstPass, secondPass); + Assert.Equal(firstPass, otherLimit); + } + + [Fact] + public async Task UnavailableCache_IsBypassed_AndRequestsStillSucceed() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + var expected = await ReadAllMessagesAsync(client, chat, bob, 100); + + // Второй экземпляр приложения, у которого кэш указывает на закрытый порт. + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var brokenClient = broken.CreateClient(); + + for (var i = 0; i < 3; i++) + { + var response = await GetPageAsync(brokenClient, bob, chat); + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.Equal("bypass", Header(response, "X-Cache")); + } + + Assert.Equal(expected, await ReadAllMessagesAsync(brokenClient, chat, bob, 100)); + // Запись тоже не зависит от кэша. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(brokenClient, bob, chat, "при отказе кэша")).StatusCode); + } + + [Fact] + public async Task UnavailableCache_DoesNotTrustAnonymousRequests() + { + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var client = broken.CreateClient(); + + var response = await client.GetAsync($"/api/v1/chats/{Guid.NewGuid()}/messages"); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } +} diff --git a/scr/Messenger.Api.Tests/ConcurencyTests.cs b/scr/Messenger.Api.Tests/ConcurencyTests.cs new file mode 100644 index 00000000..772273e2 --- /dev/null +++ b/scr/Messenger.Api.Tests/ConcurencyTests.cs @@ -0,0 +1,79 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ConcurencyTests(ApiFixture fixture) +{ + [Fact] + public async Task Create100MessagesBy10DifferentUsers_Concurrent() + { + using var client = fixture.CreateClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chat = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var messageTasks = Enumerable.Range(0, 100) + .Select(i => SendMessageAsync(client, users[i % 10], chat, $"Message {i + 1} from {users[i % 10].Username}")) + .ToList(); + + foreach (var response in await Task.WhenAll(messageTasks)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var messages = await ReadAllMessagesAsync(client, chat, users[0], 7); + + Assert.Equal(100, messages.Count); + Assert.Equal(100, messages.Distinct().Count()); + } + + [Fact] + public async Task RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors() + { + // Проверяется гарантия уникального индекса, а не скорость железа: очередь хеширования делаем практически + // неограниченной по времени (по умолчанию лишние запросы получают 503, см. следующий тест). + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "120")); + using var client = app.CreateClient(); + var username = "race" + Guid.NewGuid().ToString("N")[..10]; + + var attempts = Enumerable.Range(0, 20).Select(_ => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"Гонка","password":"{{DefaultPassword}}"}"""))); + var statuses = (await Task.WhenAll(attempts)).Select(r => r.StatusCode).ToList(); + + Assert.Single(statuses, HttpStatusCode.Created); + Assert.Equal(19, statuses.Count(s => s == HttpStatusCode.Conflict)); + + await using var db = await fixture.OpenConnectionAsync(); + await using var count = new Npgsql.NpgsqlCommand("select count(*) from users where username = @u", db); + count.Parameters.AddWithValue("u", username); + Assert.Equal(1L, await count.ExecuteScalarAsync()); + } + + [Fact] + public async Task RegistrationBurstBeyondHashingCapacity_GetsBoundedUnavailable_NotServerError() + { + // Один слот Argon2 и ожидание 50 мс: пачка регистраций разных пользователей упирается в лимит. + // Лишние запросы получают 503 unavailable (а не 500 и не зависание), принятые — 201. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("PASSWORD_HASH_CONCURRENCY", "1") + .UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "0.05")); + using var client = app.CreateClient(); + var prefix = "burst" + Guid.NewGuid().ToString("N")[..6]; + + var responses = await Task.WhenAll(Enumerable.Range(0, 12).Select(i => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{prefix}}_{{i}}","display_name":"Пачка","password":"{{DefaultPassword}}"}""")))); + var statuses = responses.Select(r => r.StatusCode).ToList(); + + Assert.All(statuses, s => Assert.True(s is HttpStatusCode.Created or HttpStatusCode.ServiceUnavailable, $"неожиданный статус {s}")); + Assert.Contains(HttpStatusCode.Created, statuses); + Assert.Contains(HttpStatusCode.ServiceUnavailable, statuses); + var rejected = responses.First(r => r.StatusCode == HttpStatusCode.ServiceUnavailable); + Assert.Equal("unavailable", await ErrorCodeAsync(rejected)); + } +} diff --git a/scr/Messenger.Api.Tests/DependencyFailureTests.cs b/scr/Messenger.Api.Tests/DependencyFailureTests.cs new file mode 100644 index 00000000..b1338c25 --- /dev/null +++ b/scr/Messenger.Api.Tests/DependencyFailureTests.cs @@ -0,0 +1,192 @@ +using System.Diagnostics; +using System.Net; +using System.Net.Sockets; +using Microsoft.AspNetCore.Mvc.Testing; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.DependencyInjection; +using Testcontainers.PostgreSql; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class DependencyFailureTests(ApiFixture fixture) +{ + private static int FreePort() + { + using var listener = new TcpListener(IPAddress.Loopback, 0); + listener.Start(); + return ((IPEndPoint)listener.LocalEndpoint).Port; + } + + [Fact] + public async Task DatabaseDown_Returns503_NeverTrustsAnonymous_AndRecovers() + { + // Отдельный контейнер БД, который тест останавливает и запускает снова на том же порту. + var port = FreePort(); + await using var pg = new PostgreSqlBuilder().WithImage(ApiFixture.PostgresImage).WithPortBinding(port, 5432).Build(); + await pg.StartAsync(); + var file = ApiFixture.WriteConnectionFile(pg.GetConnectionString()); + try + { + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DATABASE_URL_FILE", file) + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + using (var ok = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(ok)).StatusCode); + } + + await pg.StopAsync(); + + // Аутентифицированный запрос: ограниченная ошибка 503 без внутренних деталей. + using var down = Request(HttpMethod.Get, "/api/v1/users/me", user); + var downResponse = await client.SendAsync(down); + Assert.Equal(HttpStatusCode.ServiceUnavailable, downResponse.StatusCode); + Assert.Equal("unavailable", await ErrorCodeAsync(downResponse)); + var body = await downResponse.Content.ReadAsStringAsync(); + Assert.DoesNotContain("Npgsql", body); + Assert.DoesNotContain("Host=", body); + Assert.True(downResponse.Headers.Contains("X-Request-Id")); + + // Анонимный запрос не становится доверенным: без токена по-прежнему 401, а не 200/503 «как гость». + Assert.Equal(HttpStatusCode.Unauthorized, (await client.GetAsync("/api/v1/chats")).StatusCode); + // Токен, который нельзя проверить, не принимается. + Assert.Equal(HttpStatusCode.ServiceUnavailable, + (await LoginAsync(client, user.Username, user.Password)).StatusCode); + // Готовность отражает отказ, живость — нет. + Assert.Equal(HttpStatusCode.ServiceUnavailable, (await client.GetAsync("/health/ready")).StatusCode); + Assert.Equal(HttpStatusCode.OK, (await client.GetAsync("/health/live")).StatusCode); + + // Восстановление: после запуска БД тот же токен снова работает (данные не потеряны), без перезапуска API. + await pg.StartAsync(); + var recovered = false; + var started = Stopwatch.StartNew(); + while (started.Elapsed < TimeSpan.FromSeconds(30) && !recovered) + { + using var retry = Request(HttpMethod.Get, "/api/v1/users/me", user); + recovered = (await client.SendAsync(retry)).StatusCode == HttpStatusCode.OK; + if (!recovered) + { + await Task.Delay(500); + } + } + + Assert.True(recovered, "API не восстановился после возврата PostgreSQL"); + } + finally + { + File.Delete(file); + } + } + + [Fact] + public async Task ExhaustedConnectionPool_ReturnsBoundedError() + { + using var setup = fixture.CreateClient(); + var user = await CreateUserAsync(setup); + + // Пул из одного соединения и короткое ожидание: пока тест держит единственное соединение, запросы не зависают. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DB_MAX_POOL_SIZE", "1") + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "1")); + using var client = app.CreateClient(); + + using var scope = app.Services.CreateScope(); + var held = scope.ServiceProvider.GetRequiredService(); + await held.Database.OpenConnectionAsync(); + try + { + var started = Stopwatch.StartNew(); + using var request = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(request); + started.Stop(); + + Assert.Equal(HttpStatusCode.ServiceUnavailable, response.StatusCode); + Assert.True(started.Elapsed < TimeSpan.FromSeconds(6), $"ответ занял {started.Elapsed}"); + } + finally + { + await held.Database.CloseConnectionAsync(); + } + + // После освобождения соединения сервис работает. + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task FailedMessageInsert_RollsBackVersionAndTimestamp() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "до сбоя")).StatusCode); + + var marker = "boom-" + Guid.NewGuid().ToString("N"); + var suffix = Guid.NewGuid().ToString("N")[..8]; + // Сбой «после UPDATE чата, во время INSERT сообщения»: триггер БД отклоняет сообщение с маркером. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.text = '{{marker}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + var versionBefore = await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat)); + var lastBefore = await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat)); + + var failed = await SendMessageAsync(client, alice, chat, marker); + + Assert.Equal(HttpStatusCode.InternalServerError, failed.StatusCode); + var body = await failed.Content.ReadAsStringAsync(); + Assert.Contains("internal_error", body); + Assert.DoesNotContain("injected", body); // внутренние детали не раскрываются + Assert.Equal(versionBefore, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + Assert.Equal(lastBefore, await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat))); + Assert.Equal(1L, await fixture.ScalarAsync("select count(*) from messages where chat_id = @c", ("c", chat))); + + // Блокировка строки чата снята, следующая запись проходит и версия растёт ровно на 1. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "после сбоя")).StatusCode); + Assert.Equal(versionBefore + 1, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON messages; DROP FUNCTION fail_{suffix}();"); + } + } + + [Fact] + public async Task FailedChatMemberInsert_RollsBackWholeChat() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var suffix = Guid.NewGuid().ToString("N")[..8]; + var title = "rollback-" + suffix; + + // Сбой при добавлении второго участника, уже после вставки строки чата и первого участника. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.user_id = '{{bob.Id}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON chat_members FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"{{title}}","member_ids":["{{alice.Id}}","{{bob.Id}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from chats where title = @t", ("t", title))); + Assert.Equal(0L, await fixture.ScalarAsync( + "select count(*) from chat_members where user_id in (@a, @b) ", ("a", alice.Id), ("b", bob.Id))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON chat_members; DROP FUNCTION fail_{suffix}();"); + } + } +} diff --git a/scr/Messenger.Api.Tests/HealthTests.cs b/scr/Messenger.Api.Tests/HealthTests.cs new file mode 100644 index 00000000..dc46951e --- /dev/null +++ b/scr/Messenger.Api.Tests/HealthTests.cs @@ -0,0 +1,28 @@ +using System.Net; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class HealthTests(ApiFixture fixture) +{ + [Fact] + public async Task Live_ReturnsOk() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/live"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } + + [Fact] + public async Task Ready_ReturnsOkWhenDatabaseIsAvailable() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/ready"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.True(response.Headers.Contains("X-Request-Id")); + } +} diff --git a/scr/Messenger.Api.Tests/IdempotencyTests.cs b/scr/Messenger.Api.Tests/IdempotencyTests.cs new file mode 100644 index 00000000..1e28cc84 --- /dev/null +++ b/scr/Messenger.Api.Tests/IdempotencyTests.cs @@ -0,0 +1,261 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +// lab3: общая идемпотентность отправки сообщения. «Разные реплики» в тесте моделируются разными экземплярами приложения +// (fixture.WithWebHostBuilder) с общей PostgreSQL — ровно так же, как в Compose работают реплики за балансировщиком. +[Collection("api")] +public class IdempotencyTests(ApiFixture fixture) +{ + private static string NewKey() => Guid.NewGuid().ToString("N"); + + private static async Task CountMessagesAsync(HttpClient client, Guid chat, TestUser user) => + (await ReadAllMessagesAsync(client, chat, user, 100)).Count; + + [Fact] + public async Task Replay_ReturnsSameCodeAndSameMessage_WithoutDuplicate() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var first = await SendMessageAsync(client, alice, chat, "привет", key); + var second = await SendMessageAsync(client, alice, chat, "привет", key); + + Assert.Equal(HttpStatusCode.Created, first.StatusCode); + Assert.Equal(HttpStatusCode.Created, second.StatusCode); + Assert.Equal((await ReadJsonAsync(first)).ToString(), (await ReadJsonAsync(second)).ToString()); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task SameKeyDifferentBody_Conflict_AndOriginalIsKept() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + await SendMessageAsync(client, alice, chat, "первое", key); + var other = await SendMessageAsync(client, alice, chat, "второе", key); + + Assert.Equal(HttpStatusCode.Conflict, other.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(other)); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Theory] + [InlineData(null)] + [InlineData("")] + [InlineData("has space")] + [InlineData("кириллица")] + public async Task MissingOrInvalidKey_BadRequest(string? key) + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", alice, + Json("""{"text":"x"}""")); + if (key is not null) + { + request.Headers.TryAddWithoutValidation("Idempotency-Key", key); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal(0, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task KeyTooLong_BadRequest_ButMaxLengthAccepted() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + + var tooLong = await SendMessageAsync(client, alice, chat, "x", new string('a', 129)); + var maxLength = await SendMessageAsync(client, alice, chat, "x", new string('a', 128)); + + Assert.Equal(HttpStatusCode.BadRequest, tooLong.StatusCode); + Assert.Equal(HttpStatusCode.Created, maxLength.StatusCode); + } + + [Fact] + public async Task SameKeyIsIndependent_ForDifferentUsersAndDifferentChats() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice, bob); + var chat2 = await CreateChatAsync(client, alice, bob); + var key = NewKey(); + + var statuses = new[] + { + (await SendMessageAsync(client, alice, chat1, "a1", key)).StatusCode, + (await SendMessageAsync(client, bob, chat1, "b1", key)).StatusCode, + (await SendMessageAsync(client, alice, chat2, "a2", key)).StatusCode, + }; + + Assert.All(statuses, s => Assert.Equal(HttpStatusCode.Created, s)); + Assert.Equal(2, await CountMessagesAsync(client, chat1, alice)); + Assert.Equal(1, await CountMessagesAsync(client, chat2, alice)); + } + + [Fact] + public async Task Replay_StillRequiresValidSessionAndAccess() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + await SendMessageAsync(client, alice, chat, "секрет", key); + + // Посторонний не может «прочитать» чужой результат по ключу; без токена — 401. + var asEve = await SendMessageAsync(client, eve, chat, "секрет", key); + using var anonymous = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", null, Json("""{"text":"секрет"}""")); + anonymous.Headers.Add("Idempotency-Key", key); + var noToken = await client.SendAsync(anonymous); + + Assert.Equal(HttpStatusCode.NotFound, asEve.StatusCode); + Assert.Equal(HttpStatusCode.Unauthorized, noToken.StatusCode); + } + + [Fact] + public async Task ConcurrentReplays_OnOneInstance_CreateExactlyOneMessage() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var responses = await Task.WhenAll(Enumerable.Range(0, 30) + .Select(_ => Task.Run(() => SendMessageAsync(client, alice, chat, "гонка", key)))); + + Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode)); + var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid())); + Assert.Single(ids.Distinct()); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task ConcurrentReplays_ThroughDifferentInstances_CreateExactlyOneMessage() + { + // Три независимых экземпляра приложения (как три реплики) с общей PostgreSQL. + await using var replicaB = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-b")); + await using var replicaC = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-c")); + using var a = fixture.CreateClient(); + using var b = replicaB.CreateClient(); + using var c = replicaC.CreateClient(); + + var alice = await CreateUserAsync(a); // сессия создана на A и действует на B и C: сессии общие + var chat = await CreateChatAsync(a, alice); + var clients = new[] { a, b, c }; + + for (var round = 0; round < 5; round++) + { + var key = NewKey(); + var responses = await Task.WhenAll(Enumerable.Range(0, 30) + .Select(i => Task.Run(() => SendMessageAsync(clients[i % 3], alice, chat, $"гонка {round}", key)))); + + Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode)); + var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid())); + Assert.Single(ids.Distinct()); + } + + Assert.Equal(5, await CountMessagesAsync(b, chat, alice)); + } + + [Fact] + public async Task ConcurrentSameKeyWithDifferentBodies_ExactlyOneWins_OthersConflict() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var responses = await Task.WhenAll(Enumerable.Range(0, 10) + .Select(i => Task.Run(() => SendMessageAsync(client, alice, chat, $"вариант {i}", key)))); + + var created = responses.Count(r => r.StatusCode == HttpStatusCode.Created); + var conflicts = responses.Count(r => r.StatusCode == HttpStatusCode.Conflict); + Assert.True(created >= 1 && created + conflicts == 10, $"created={created}, conflicts={conflicts}"); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task FailedWrite_IsNotRemembered_AndCanBeRetriedWithSameKey() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + // Принудительная ошибка БД при вставке сообщения: транзакция (вместе с ключом) откатывается. + var suffix = Guid.NewGuid().ToString("N")[..8]; + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_idem_{{suffix}}() RETURNS trigger AS $$ BEGIN RAISE EXCEPTION 'forced failure' USING ERRCODE = '53000'; END $$ LANGUAGE plpgsql; + CREATE TRIGGER tr_idem_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW WHEN (NEW.chat_id = '{{chat}}') EXECUTE FUNCTION fail_idem_{{suffix}}(); + """); + try + { + var failed = await SendMessageAsync(client, alice, chat, "повторимо", key); + Assert.True((int)failed.StatusCode >= 500, $"expected 5xx, got {(int)failed.StatusCode}"); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from idempotency_keys where chat_id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_idem_{suffix} ON messages; DROP FUNCTION fail_idem_{suffix}();"); + } + + var retried = await SendMessageAsync(client, alice, chat, "повторимо", key); + var again = await SendMessageAsync(client, alice, chat, "повторимо", key); + + Assert.Equal(HttpStatusCode.Created, retried.StatusCode); + Assert.Equal(HttpStatusCode.Created, again.StatusCode); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task ExpiredKey_CanBeReused_AsNewMessage() + { + await using var shortTtl = fixture.WithWebHostBuilder(b => b.UseSetting("IDEMPOTENCY_TTL_SECONDS", "1")); + using var client = shortTtl.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var first = await SendMessageAsync(client, alice, chat, "срок", key); + await Task.Delay(TimeSpan.FromMilliseconds(1500)); + var second = await SendMessageAsync(client, alice, chat, "срок", key); + + Assert.Equal(HttpStatusCode.Created, first.StatusCode); + Assert.Equal(HttpStatusCode.Created, second.StatusCode); + Assert.NotEqual( + (await ReadJsonAsync(first)).GetProperty("id").GetGuid(), + (await ReadJsonAsync(second)).GetProperty("id").GetGuid()); + } + + [Fact] + public async Task EveryResponse_HasInstanceId_IncludingErrorsAndHealth() + { + await using var replica = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-x")); + using var client = replica.CreateClient(); + + var health = await client.GetAsync("/health/live"); + var ready = await client.GetAsync("/health/ready"); + var unauthorized = await client.GetAsync("/api/v1/users/me"); + var notFound = await client.GetAsync("/no/such/route"); + var badJson = await client.PostAsync("/api/v1/users", Json("{broken")); + + foreach (var response in new[] { health, ready, unauthorized, notFound, badJson }) + { + Assert.Equal("replica-x", Assert.Single(response.Headers.GetValues("X-Instance-Id"))); + } + } +} diff --git a/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj new file mode 100644 index 00000000..62302f8b --- /dev/null +++ b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj @@ -0,0 +1,27 @@ + + + + net10.0 + enable + enable + false + + + + + + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/scr/Messenger.Api.Tests/PasswordHasherTests.cs b/scr/Messenger.Api.Tests/PasswordHasherTests.cs new file mode 100644 index 00000000..a9ea0333 --- /dev/null +++ b/scr/Messenger.Api.Tests/PasswordHasherTests.cs @@ -0,0 +1,69 @@ +using Messenger.Api.Services; + +namespace Messenger.Api.Tests; + +public class PasswordHasherTests +{ + private readonly Argon2PasswordHasher _hasher = new(new PasswordHashingSettings(4, TimeSpan.FromSeconds(30))); + + [Fact] + public async Task Hash_IsArgon2idPhcString_WithoutPlaintext() + { + var hash = await _hasher.HashAsync("correct horse battery staple", CancellationToken.None); + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain("correct horse", hash); + } + + [Fact] + public async Task Hash_UsesRandomSalt() + { + var a = await _hasher.HashAsync("same-password-123", CancellationToken.None); + var b = await _hasher.HashAsync("same-password-123", CancellationToken.None); + + Assert.NotEqual(a, b); + } + + [Theory] + [InlineData("correct horse battery staple")] + [InlineData("пароль-с-юникодом-и:двоеточием-12")] + public async Task Verify_AcceptsCorrect_RejectsWrong(string password) + { + var hash = await _hasher.HashAsync(password, CancellationToken.None); + + Assert.True(await _hasher.VerifyAsync(hash, password, CancellationToken.None)); + Assert.False(await _hasher.VerifyAsync(hash, password + "x", CancellationToken.None)); + } + + [Fact] + public async Task Verify_DoesNotTruncateLongPasswords() + { + // Это ограничение bcrypt (72 байта); Argon2id его не имеет. Пароли отличаются только хвостом. + var prefix = new string('я', 60); // 120 байт в UTF-8 + var hash = await _hasher.HashAsync(prefix + "A", CancellationToken.None); + + Assert.False(await _hasher.VerifyAsync(hash, prefix + "B", CancellationToken.None)); + } + + [Fact] + public async Task Hash_WhenAllSlotsAreBusy_FailsWithBusyException() + { + // Один слот и почти нулевое ожидание: параллельные вызовы не копят память, лишние получают исключение (→ 503). + var hasher = new Argon2PasswordHasher(new PasswordHashingSettings(1, TimeSpan.FromMilliseconds(20))); + + var attempts = await Task.WhenAll(Enumerable.Range(0, 6).Select(async _ => + { + try { await hasher.HashAsync("some-long-enough-password", CancellationToken.None); return true; } + catch (PasswordHasherBusyException) { return false; } + })); + + Assert.Contains(true, attempts); // кто-то получил слот + Assert.Contains(false, attempts); // остальные получили контролируемый отказ + } + + [Fact] + public async Task Verify_UnknownUser_ReturnsFalse() + { + Assert.False(await _hasher.VerifyAsync(null, "any-password-123", CancellationToken.None)); + } +} diff --git a/scr/Messenger.Api.Tests/UploadCleanupTests.cs b/scr/Messenger.Api.Tests/UploadCleanupTests.cs new file mode 100644 index 00000000..fe92b983 --- /dev/null +++ b/scr/Messenger.Api.Tests/UploadCleanupTests.cs @@ -0,0 +1,211 @@ +using System.Net; +using Amazon.S3; +using Messenger.Api.Data; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Diagnostics; +using Microsoft.Extensions.DependencyInjection; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class UploadCleanupTests(ApiFixture fixture) +{ + private static byte[] Png => File.ReadAllBytes(Path.Combine(FindRoot(), "tests/fixtures/sample.png")); + private static string FindRoot() + { + var dir = new DirectoryInfo(AppContext.BaseDirectory); + while (dir is not null && !File.Exists(Path.Combine(dir.FullName, "lab.json"))) dir = dir.Parent; + return dir?.FullName ?? throw new InvalidOperationException("Repository root missing"); + } + + private static async Task Upload(HttpClient client, TestUser user, Guid chat, string filename) + { + using var content = new ByteArrayContent(Png); + content.Headers.ContentType = new("image/png"); + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/attachments?filename={filename}", user, content); + return await client.SendAsync(request); + } + + private sealed class MetadataFailure : SaveChangesInterceptor + { + public override ValueTask> SavingChangesAsync(DbContextEventData data, + InterceptionResult result, CancellationToken ct = default) + { + if (data.Context!.ChangeTracker.Entries().Any(e => e.State == EntityState.Added)) + throw new InvalidOperationException("injected metadata commit failure"); + return ValueTask.FromResult(result); + } + } + + private sealed class StorageDecorator(IAttachmentStorage inner) : IAttachmentStorage, IDisposable + { + public bool FailDelete { get; set; } + public Func? AfterPut { get; set; } + public Task CheckAsync(CancellationToken ct) => inner.CheckAsync(ct); + public async Task PutAsync(string key, Stream content, string mime, CancellationToken ct) + { await inner.PutAsync(key, content, mime, ct); if (AfterPut is not null) await AfterPut(key); } + public Task CopyToAsync(string key, Stream output, CancellationToken ct) => inner.CopyToAsync(key, output, ct); + public Task DeleteAsync(string key, CancellationToken ct) => FailDelete + ? throw new HttpRequestException("injected S3 outage") : inner.DeleteAsync(key, ct); + public void Dispose() => (inner as IDisposable)?.Dispose(); + } + + private async Task Seed(IServiceProvider services, bool expired = true) + { + using var scope = services.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var id = Guid.NewGuid(); + var now = Timestamps.UtcNowMilliseconds(); + var intent = new UploadIntentEntity { Id = id, ObjectKey = $"originals/{id:N}", CreatedAt = now, + ExpiresAt = expired ? now.AddMinutes(-1) : now.AddMinutes(5), NextAttemptAt = expired ? now.AddMinutes(-1) : now.AddMinutes(5) }; + db.UploadIntents.Add(intent); + await db.SaveChangesAsync(); + await scope.ServiceProvider.GetRequiredService().PutAsync(intent.ObjectKey, + new MemoryStream(Png), "image/png", CancellationToken.None); + return intent; + } + + private static async Task AssertMissing(IServiceProvider services, string key) + { + var storage = services.GetRequiredService(); + var error = await Assert.ThrowsAnyAsync(() => storage.CopyToAsync(key, Stream.Null, CancellationToken.None)); + Assert.Equal(HttpStatusCode.NotFound, error.StatusCode); + } + + [Fact] + public async Task MetadataFailureAfterS3Put_SurvivesApiRecreation_AndIsCleaned() + { + Guid pendingId; + string key; + var filename = $"fault-{Guid.NewGuid():N}.png"; + await using (var broken = fixture.WithWebHostBuilder(b => b.ConfigureServices(services => + services.AddDbContext(options => options.AddInterceptors(new MetadataFailure()))))) + { + using var client = broken.CreateClient(); + var user = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, user); + var response = await Upload(client, user, chat, filename); + Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode); + using var scope = broken.Services.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + Assert.False(await db.Attachments.AnyAsync(a => a.Filename == filename)); + var intent = await db.UploadIntents.OrderByDescending(i => i.CreatedAt).FirstAsync(); + pendingId = intent.Id; key = intent.ObjectKey; + using var output = new MemoryStream(); + await broken.Services.GetRequiredService().CopyToAsync(key, output, CancellationToken.None); + Assert.Equal(Png, output.ToArray()); + } + // Новый экземпляр приложения читает тот же устойчивый журнал. + await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '1 minute', next_attempt_at=now()-interval '1 minute' WHERE id='{pendingId}'"); + await using var recovered = fixture.WithWebHostBuilder(_ => { }); + using var recoveredClient = recovered.CreateClient(); + var deadline = DateTime.UtcNow.AddSeconds(10); + while (await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",pendingId)) == 0 && DateTime.UtcNow < deadline) + await Task.Delay(50); + await AssertMissing(recovered.Services, key); + Assert.Equal(1L, await fixture.ScalarAsync("SELECT count(*) FROM upload_intents WHERE id=@id AND delete_count>0", ("id",pendingId))); + } + + [Fact] + public async Task FreshIntent_IsProtectedByGracePeriod() + { + using var client = fixture.CreateClient(); + var intent = await Seed(fixture.Services, expired: false); + await fixture.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + using var result = new MemoryStream(); + await fixture.Services.GetRequiredService().CopyToAsync(intent.ObjectKey, result, CancellationToken.None); + Assert.Equal(Png, result.ToArray()); + Assert.Equal(0, await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + } + + [Fact] + public async Task PublishedAttachment_IsNeverDeleted_EvenWithAnExpiredIntent() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, user); + var response = await Upload(client, user, chat, "protected.png"); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + using var scope = fixture.Services.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var attachment = await db.Attachments.SingleAsync(a => a.Id == id); + var old = DateTimeOffset.UtcNow.AddMinutes(-1); + db.UploadIntents.Add(new() { Id = id, ObjectKey = attachment.ObjectKey, CreatedAt = old, ExpiresAt = old, NextAttemptAt = old }); + await db.SaveChangesAsync(); + var cleanup = await fixture.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + Assert.True(cleanup.Protected >= 1); + using var request = Request(HttpMethod.Get,$"/api/v1/attachments/{id}/content",user); + Assert.Equal(Png, await (await client.SendAsync(request)).Content.ReadAsByteArrayAsync()); + Assert.False(await db.UploadIntents.AsNoTracking().AnyAsync(i => i.Id == id)); + } + + [Fact] + public async Task CleanupRetriesAfterS3Failure_AndDeletesALatePutAgain() + { + StorageDecorator? decorator = null; + await using var app = fixture.WithWebHostBuilder(b => b.ConfigureServices(services => + services.AddSingleton(sp => decorator = new(new S3AttachmentStorage(sp.GetRequiredService()))))); + using var client = app.CreateClient(); + var intent = await Seed(app.Services); + decorator!.FailDelete = true; + var failed = await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + Assert.True(failed.Failed >= 1); + Assert.Equal(0, await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + decorator.FailDelete = false; + await fixture.ExecuteAsync($"UPDATE upload_intents SET next_attempt_at=now()-interval '1 minute' WHERE id='{intent.Id}'"); + await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + await AssertMissing(app.Services,intent.ObjectKey); + // Имитация PUT, завершившегося с задержкой после первого DELETE. + await decorator.PutAsync(intent.ObjectKey,new MemoryStream(Png),"image/png",CancellationToken.None); + await fixture.ExecuteAsync($"UPDATE upload_intents SET next_attempt_at=now()-interval '1 minute' WHERE id='{intent.Id}'"); + await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + await AssertMissing(app.Services,intent.ObjectKey); + Assert.Equal(2, await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + } + + [Fact] + public async Task ExpiredUploadCannotPublish_AfterItsLeaseWasRevoked() + { + await using var app = fixture.WithWebHostBuilder(b => b.ConfigureServices(services => + services.AddSingleton(sp => new StorageDecorator(new S3AttachmentStorage(sp.GetRequiredService())) + { AfterPut = async key => + { + var id = Guid.ParseExact(key["originals/".Length..],"N"); + await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '1 minute', next_attempt_at=now()-interval '1 minute' WHERE id='{id}'"); + } + }))); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + var chat = await CreateChatAsync(client,user); + var name = $"expired-{Guid.NewGuid():N}.png"; + Assert.Equal(HttpStatusCode.ServiceUnavailable,(await Upload(client,user,chat,name)).StatusCode); + using var scope = app.Services.CreateScope(); + Assert.False(await scope.ServiceProvider.GetRequiredService().Attachments.AnyAsync(a=>a.Filename==name)); + await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + } + + [Fact] + public async Task ConcurrentCleaners_ClaimAnIntentOnce() + { + using var client = fixture.CreateClient(); + var intent = await Seed(fixture.Services); + var cleaner = fixture.Services.GetRequiredService(); + await Task.WhenAll(cleaner.RunOnceAsync(CancellationToken.None),cleaner.RunOnceAsync(CancellationToken.None)); + await AssertMissing(fixture.Services,intent.ObjectKey); + Assert.Equal(1,await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + } + + [Fact] + public async Task OldTombstone_RemainsSoALatePutCannotBeForgotten() + { + using var client = fixture.CreateClient(); + var intent = await Seed(fixture.Services); + await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '2 days' WHERE id='{intent.Id}'"); + await fixture.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + await AssertMissing(fixture.Services,intent.ObjectKey); + Assert.Equal(1L,await fixture.ScalarAsync("SELECT count(*) FROM upload_intents WHERE id=@id AND delete_count>0",("id",intent.Id))); + } +} diff --git a/scr/Messenger.Api/.vs/Messenger.Api.slnx/DesignTimeBuild/.dtbcache.v2 b/scr/Messenger.Api/.vs/Messenger.Api.slnx/DesignTimeBuild/.dtbcache.v2 new file mode 100644 index 0000000000000000000000000000000000000000..1d808a8c68e6d2c7794958d08c8e21a639f099ef GIT binary patch literal 186243 zcmdR11$-Mv*59_0%FLXm3{h-{Q*`X4aT}`bq~wAut!*{3qzaNaW$u-)cRgliW@ct) zX56_wzU$rhAKIPWS=q9(v;MBXzPz>cU(I`iZ)V=S8Q#;ftONS((dPKgz2&KSeVaDl zY#qOemHKmyoRwaaE7fi5kWID94R*eq@ z+^{anca7$kugKYp^NW_*OO|#oTG7+9!d}$1WOVW3(Ixq=<%^fDuzPwIFY8&7Td`y` z*S%y(Zpos;Xl`k4bVXrok##src4(@cpQu&J#hrGouTrqB-4`vjP9C)DmC`m_q&sMj z*)_YIx9k0Oy*OSTE>7A#)(HaCSDB0gSlPZxsRXG7tN>iKSjshum2xD$-nViD369rt zlk?UTOLl#vP-&Fy#z-}n-&!A8U(DAk^~zWy+gq=0up51qnw{;fR>Lb*{KtJIKe3I?J8w7`g)dTw=W6JfLapyu1JtrrYmW#E*Gj5j8wdF z??_nVHI>>VPkAcgl!xrvHoKNwr=n!}<@P8`H>nz4E@OCSgP1m=HIm77I(jHgyOd0- zHD0rBNhGz}RJB2kqUyv{cA(s_Yvo*tm2xshL!X-drS??6T`O+$yYgi0Cu$7CG;Hwd zrrS@6jNTz3XrFpVB11_i;nh1DcDe4^j>$Ck{$g&tT&cr^#dsDrUlXz1RS9U`C$INf zJ6CE<^i9~9j<6Ouoq@lAhxUCEcj%N#B-8VK%BW1-8>-GrT35;EN{KI(1X3NWG}(AeJBvhedA;4p6=2{q zlOvICc>T7#J_04uF|w4a#nn5iB`ja_Rf1$P87i|C^W=(^r^qekMAmj`=F+)RZ@FA) zuqi4}d}|VY1x=jhZDN|z6|P(Z)_OgANnIE*JCo8>N&E^}l2q};T5h1XqAA~)l-7f} zos|Sv_Gp!2Np8xGi?KG5g$|nTaBh69U8>UBm1yB^Dcaiu_FE!G&BkV<+HBDMP-#mg zGTIO38uq&4WYHUMCzGhjel1QUZ+UWqO;}Qse6KB$Wrace#-?3w^xJuC#9%T&7tB~y zzB`dMJ4^mKFM;H ziPO&G!9+UGkk-SsTp7J-t&!c3o3sm?idA6^-7~k+T-GddoB#f~m1C%q-)f76r$l<3 zA!RsCrY6GaELR#t{rA>u6EV<+ymW<|P%_yoQl$+p5vMGvCf#DK(i-y`<6Uknrxw%m+VVWWO&FkCE-VLjVXW?eqH#Cu} zRast|Gx3#Og_gFpxjrc(_4W2-ML3fh^vF;Xu9U}$<4s|TXf|guSs##LRk2(Ui>4ctrv6+s#LacP zHe}~(au}b3(wD2z22FCM1p4i&jjpeppBgCB0~&O0sCCHZCW6EV%Dsx0N9O0$;d#hYm2*h9(NO5)}g zJC!`&I7%l)n<^D<2;7&5O}??pkE8_}vLY0%af#T3QjjQ@v_#sN6o6`+NO^CnF=v)- zV!TWw%`Nbkh4-l3l}%)_i3Ro5vBkY!Hn zm^FH8-O#RDv)d-vQmi*~rByl15c~~o+k9HI85mOO@?v>WPc~HjC(NkC(;BqLi|`5H zuIX3AnbKrEU#XRf{3P+!asDy_bJQDHsL$2-#55P@kMqeN4G4mczhUoaumS#B14*oE zjv*WhpAxj)BHL*qLIn{v1wC3F?W3G;))0Gzt21gq9W^=HMB1K1cBs<8mzN?;AYVYsY=pS z`z^4gVCxK&$11E3iq%AqP!L;12xMo@d{gyo7y0whv3&bjujVDi6=pwkv6;T85UgOjj71mvTR8i-7^s)R5R;%Wao(7Y)cQe?Mfn zw7nQIo8q4;=O$sotEY(a22|q58nKC7FL$$6)3!3R>u_Z{eWT($p$V%(CNiAkJ%EXJ zNjF>l1M7Xc65L^OVs320m<*;zTTa_6sk5kV!Bj%ll8O28z(#8RdB@aN!4JE{z1U1l zt3s*KTr@Gi2_@t2(6g3h!p04ycvZ1V6J^O=X`r`2ay0Ku7)khPCBJ&})M8m*FbD%-T|8!grVL5CcZdGT%eu` zI4I8QWZNMRX3;AmDemjOK3A>U1*#-B_)Lt%NQ|EID#54QoT)An!FaDVu1D>;BtQ>j3um+tu8kw?V7i&Yhp=(B}TiYw!`ktqH?nz zM_3m4`uL$0P4u!XA;fskAvQYS7B?}(vs5l?BFec}B-a?I(aPDEs|@@+-Ib&TZlW=I zJDxNF69w%h;GGIEQEz1`fw{h^{92zY@+xa$B%_+p^SuZiP$?kA5cY1_nkv`GR3AW(%op>Bg^h^otj{#DqQJCL4x5|mHsN2>S1QU)Zxgc+stHoz z-Y)(QILkRxH5=(+?Rf{UbS7pVLMeH^Sjj?DoeorzsTmumsa;8u3)xst?c#L8k7 z!Nl%cIGurY%yY!I4NNTbgcDs?9G_@xx9Pu3Q4{@ynr1MTyos$8CAC1LPs5sp>>(2i zoQh`Dl_IoGY+|IRwlVb|uft5DewwU`m{HA7h(E1o%L+V2v#RkOOr~1ffgEPjorp+u zbio}HBOh_3%l%>dn8GGpW7JJE6B9T2`=R=8WGE12w-#Qc za`n-Kc_>v9&evWQp+j8ThuS-+8{zaW$!*IGf`PS z_=R(8&xF+~OLkqw>pzY3W}>2c#wD#eMn*i55UMEiJN2yeZ6-?4Pe;AOs<$+b%lH}- zB4HEOQ*^?8;#QpmQ>^oILnb<&XdP+$H{qfkof)ORo8@Z<0XIs zEa!_=5f#J4C>fCyPKy;P+qpeuv>RY)+t_cG?a_o;B@A)ChK9vQHfJ(nCW?eqUttsT z4C=6(^?EUS{k9+K-^Aj2Fg;r1O)NqNQwdEAO*FAUf_1vE&niZ&VJ?LyIZMj3JB`%| z9PezFa<#BSf|2wl;386>tyZ`Gj1-oaUf)CxSFs7NaU+H0B}J>ciG99dF9muhR*5-A zvAWl`kvF^X(N9miJHkjy_S75B)p6-1J=HT-s%&Q}nwT2+`tby5xtSO#!|8-NsU-3; z-~(i0uvBzp#mEZHY$M=FdI3KS*AUz%!q=ls?AYSe2iAkd_130r!$2Y|>Jlp?6B~7i zlhL$?n^oZtZNgnkj=Ls`o&GirP{9LP^F4GEi{+}lY$A_LPG#tC8+DST3Gj_4WskiK@gn~srhdO& z$Bhlc7>=xi#jc|A(cTNol{|}3ZLL^XFKmTV#>7fE%Zj8&))(`&O1&}$@5j}{BWr4K zfuxR!OBau9Tb%96F6vs;y<)`LYhjaZPcE?bUWfw)xbUN}z&aH_y**beuk2pd)qM{B z>7oCKr=G5^<>xH#>guufSvb}#m1w$kJkwj;3yAM>wsq)2T;p0nbP;;D%F1dD8=?&) z#DB5N`o!)F3-%Zs@K+8G_V%qlw}17j%@>~wAt`ltUDri<-^Rh!y_+`C$0gTwUAJ-Y zx{L9_@ajSO$x`i;W!fjpwNF-PpU}iYKP}SjZv91f^cy{`-srim?y;d)oi!5E2H`Xu5N>u>^Qv1X(O3$J(j!(%?8aC zx&TRio5CR?=Ub1?wMeV%94>Snu57j0^-%M1RZ`;R6wIW)N@c6K@ngPq|J+N%18B^* z?wV^+SRH=KTuZUB7sbWf)17l73wFVFdfUbGt+~k%UkLwl@A-({o^;z`A-l`yVsID? z<>HIQD$8wiD9#+!RwYALmkU+uSI%}3=3Dp7W#Ld?10lz~b14ViAmHZpTy$tk;fP81 z+_V`i--;CyeMG)v4vL2kcxpc~m3+J94&?K38&KkDt6mPwlMHv}@c|}z>!?o^23OPc z!#`=8GTJ0>LejNs?B_Lvd%Rv@lebGkBC($Sk;LmwNQ&T6_+0cWY6K;{n3A9WsPeEf zO5QwCMF?N)GT&+>-PN#MNZx9tS6v|N06YzalfhhAt@6GNy=LB=bTLR#SaBrZqsruk zEu?2i@)p|K2G(=`e+Yt0QglHcO1yVxQN0m5#3y;+j8%jAc5DucYEW3C1^h(H}kYPiEp%x>o< zAL{Dt>6WC&Gw;$RRt(A4#_+vIb75WtWEiX<5C(S}pKm2z9O`k+xfm!9W)6O_|d z(hqgMbzkCE49x{a6uMi_G9~%dVJb$jejc$Xf^5O%PDx^=RUnguWH@O|39M1 zSd#OtC;tBkrNpzFZzbN<4e{{9yp7L6U4|cXt~7}D5_Ud;LVR^lTt9IXOWu6)UIDm-lhz=km$8C zq2(SWUjhQLvPr&`O21e=KN8x23gpN5IPI{4^Rqdsv@&BL46ZAiv*iUTM!!AU9Ou1A z;@zi|ft5r;?q3nrf?cu&S$HlaKf{sPz~mTW*L2LaDD>ufTNNdlMRTQa_?<^GAl!WG z>4_Vs8>=*8NIlqVC=#+-o4m~|#fo%kO}q(9X;@|?UP*$Ht&`f?QR)C<;}r{vKST0s z0NC1LVSqiC$$BR{J8I0Hwl;Sz8Di(eE5ZOx#x0OuQ^(Hz@Z0yqqQ~}56rSBy7Qbi* zvA&9`Cw(p1gjo|yKv{$rThtS}6?DGUG_NdA7y*on@XZkcqij>jPS*348iJYek#@pV zGT0WaH?WhGtBG}lvZ<6rm}%_I!m@1G2oKIG%vQtct!j=T8kuN{9d!fkG)1ADf8Qn> zmT?s;V(bY;D~1(S(`Gr_(R{x{Wd|lFn+mbI)VXtaS$3WA= z1#P*QI{My_rpHE>ApK{^ZYVPpR)(gtm8H#6GCe4&`;FAj!8(O>Ei`7Kin^mFt*n|E z?-c^+dON=A;!HeKzgEwDDRE<5g1QLfU^<)bvw}(XBZ#i;+svjr zkYM8Bu{VJZL@Dmea}C^kB1Q_+<^~iWfLjM{yDdITD>fGum9nK_pb80xw=% zlWXTDd9P`@PO%%o*z)V@GH$u5`TGy1*OTO3WE}=5o<+N1DTOXeH9s7%RMl%7=Ub*N z8Q` zB3swzilQ4gJxo&_H{iZB1nsGm5GhlJH8yQ*vvlnSy{3&CW3@@ecPNP*-sG*jnC@?= zreV7;2@UPu zdECo_D};FGZhB>j>07}aiE>jZiT)ife0`;&=g4AuVn}sFlH7;R_iEu8oJ6BR;@C&o zA*!(H$)HeIM&M9$I*C3I%F3jZF;A$aUd$)eN@Z$WaALS3S42&>QtlhhU36Hcnx2Ot z*hxtoiS94faUW`aLaD)~UHX*NnYJCR>CeIdRMJ~LSrk35@onyKssrno+nHh@nO-Ff zORx?Xsy4RU^k3dNn(nGp0d`=El`emahHQGrQAs)&ygfmk!{(ytg?B|~>S`6<<}hvH z(78vmh7~MWkvT8&jd`X0RQc0-w!S3RN0U?9zX-n5VAHed(wevec+zJ3N?00&HOnl^ zdUi9r8=E)p&JM7~Aq78Q(8t9v?Xex$kv2WimWhQMm+>)76!=>B-g`^orY&o!tT-Cu zRWdeecNSWvgW45N{gT|a+)%z&tcp>rvjfsG2qLmaTlh$-4kBZ4{Tt5kh%wc)`7f)( zx{BYu8}DC5z26`Wb5{3^58@(K)OhBuuNZBKb*jO%xr+$=rbStsJ~$xDIw*y|Xgf#Q zkhn<|SrNRbR;HI%y~VMJok7zhj+b^{DOZ#?O&c$EKUMYG+}_eS?jdhXNHI(smC;i4 z?b7{Ivlwt%BwrVYQ%(1N(aE!p*Z8rS=(O31U~j3vvj8N!oc|lEc6q2SHgx8wA%y$C z&SH=3a#mciq-#YVj`0-75W=Y;{UkbDQkk7|W_11VI%Ly3GG6kmHJCQ^ywp(a<$SR! zqh*;M{3FuES>{4zyD&Zy>wuUbHhe_9wr|?r6muND7K^oRK7}=HS&LKyr!h=V?&u+i ztk<#jRSLFpTbAi~l{Y;Z^EKzGv$8gA280t0_nAp&dCFr%E=?bQ zrl|%Om07blJ>j6qUeRC4V;e#G-kEL~EXm1IFwrEk7YWN8mi@SCE0pQFDc6|bovCT> z4nMh2nHoFDAvzoy!H283e&Lv%Ycz4FbLD)tLz%a$4S0-EFKl>J!42a4bJrL1wMxA* zhIzK{{-T6f6b?alVZOEJ!U7Fkd$x5Te^^Y>LKqQUs0SZ<80*WTH8 zVIx-?w;L<%9k#Xq!tJ?Q8S2++mD&Pp--XS_*mC?JE_G%yV{2-%SVkm;V*YIF;Dx1J zc^nf2>hZI(dvUhQI@!;!X5C(Zd?`(p7c?qc?J`uUo!_W6ZR^T~@ZBg);qN@VdS*t| zyc}FVw5nMw6;>CDC&I)|E@ZuymTmMLa5x-4UJ&|F~YPm+WnJ>ALQ&>k9T*u32hi z$JvQ%j+$@Xa5t*_jn+jJuQZBV2ZFI8Vq2{d66&Gkg<4k}t>tP{k>bDs zCh0ulL6Stac!zutY22(J+FD|?9LCE>l_O%2F;rb}N5Jf}MeR02frI6bMK`L@i@m`v zZ%$>Q{otD74!KSD*j(mIpyqfE_H!l@yP}82$Hd|5V2M39(OinQ4}DXy9;(~$d6U(# z{r)*rMd2>&-FPa0EV^zh(#hEVo;<>+KsbB(8_5bJ1GWb$me)1n0m{_FmS%td`y(D}%qbm1nUF7qE)Bc(fHzFJeBk*+&?~ z*?isVo@s8uBkOFgW7nmg9jCAK>aS#l!vV~cb40ki^S80fcIj2hlcS}n-Ujw~N1N1@ z06(!%|B2x2M83uXfZ&A_)yc`(D>rQJUfQ+foS`d+)(x!c>gw*cjuGd=dSxT;x9gZt z4P&L#s_eo%pc4z+O0l_4-F&i|?QPw*3yG?=Up6YW)(0w93v=7rk(2;o3%j-I@tUzM zjcV)O-CF4$uLLt0($?(>3DVklwst0y6;XqNHDw}g)ih<>?U6~F$$2&HnapDAmUgvQ z2C>;qFGDYST`nD6l21Nh{91RnUG+m+v~MhhUJTR&Velp_Mk^!NdenSwD5j%t&1U__ zpkZs>nW#k3#;kRJqC!k(z*>*A6eV`MP^q`Ajn--MCU$`W_JnSzTE`2UZd0vUhVNQ_ zE22uFncBEQ1FP@WLH>dlH%6?z7iX7c7xgS#y39J<|5CXN$Jz%*>0$vn#)n|>KX8K# z{iQ_$c2pQ9?|ZTKUXtw+pc5b>JFk~3Ph~}S?MEu8Tc<>PuSQE|ae}SWWM68ajO#UQ} ze_F>xp?NV_^ILzH6({T>^Jq{MqgX)|ZkzSU91nQ>S!YM27(l355+$DEjzay9B2`c@ z)P=+Ht6c?wR;Cc;dJ>DiB~eCdwe!E9uG+OgY1PihwW@Y45Rui+#|EmM|8Zosi~3s4 zW50q%A|tDvik!LHDQKca;8)Qx@*0Nc? zBwgXHi)Qhnd@0+f9AdK8?&>dO#R(L@YZ95ZVip-Z4R)psp6=C_89dWVGOzrqI%XFT zXf)fiXd10n%Dij?99C=bY~JYnPGY}ovwG+ zn&~v)85NuE-PVfD^p>aCLfOVDIOkV~k4m$M;0PxC@s*+1R;(`WxoZ^}&c`>#rUM;6ol?yhO-nAd-`0S+tZnHlZ8 z>nZ1V3NwqxIs{KKZ~SW~J^5C!PF?IZ={6FN{0aCQ!o%J2?3IpX@hYY_PpeJXrR+4r zlyBP4gbbHdw^Vz^7rkOyGOJf)R#{%7nK32#O0a;|w4H3^`(CDcld9&UtXRtTvYV&n3o6ntPy7WbG3mW{0y(R z&iFQ7l=-J;{0uM47iY-$PJU&&jGwmW*J}LIX-A4SGJd+`eA7;=@iU}5eT|>t<+d|^ zTG=CirFF(HpJk1o9zSEo&+vNd8sEl?QgiEcuahVjcVxpm0?JzAu>qjBBwI$*cH25N z>PvM!mO1%bCq==qHs)Uu+sXQVXs;VN&iBUhpsuPbFZAAj`1KSYsBfGg)^!Fpw zR0hQoxxew}fPtoNs%AJ_qAMUupoDJ>(ppS=mK+VUNlVUU`~!k1a1NM@)UW*`aqed%5~G0 z%!=q6q3LF<+_RP0tM&}E^sqzKs9Q$~fz)q#mnuaKd=t8w*qR^lI_-0XM)>#p+(#@QRi)te^;d{igUZ|ST8&_@ahY~3u{T}|C*3nV|ai6JD zmPg31g13NLhlRIi7Htkv)!rrNR3x*;R)=&#K||y{S06H>Rpz1f5!BYw{6%c<{ziVTf9%iL#T1 zsdVv|E-NBXxV85(FUL=x=@k*x+iOX3-kj^x+GRs%Oo($cgv_s#^Tc?#! z%U=DLKgpvK`CM-duj zWQKZQ^JuJ|HvZ>|t3lR}m+IB2XdptG&V;B}J(Do{H)ISs>l9Il(J<+}AoDI7rR3d$ zX@4#pg3_y%-tXe4c+f_LPc^v0^7bB(Ojflp!Wi%5FjC>s1; zX)V&=3IJGeIO`yxJo}2(xj<^Vo45al^w{w%6yGf@5EsqMG5>oRy38BW{jdCRUzV(s z{+BE$m9MXqAR7#o<&{I|Mb)5_Lqr(j83?imQ~)fw2$4C2Mo@|pnYk*-K?)AZB03M9 zPAm~)kW7n)n@}UAc=dtBp^yPSyhPZie&7$!S{I+oJ^&rQEM@i$4WHqSJKiUL)Dr7V ze__e5M6j0g6D;Q4Xr0Y-;2Kr8PM#JjtSIG3xcYl6ctR70+UO~|UiDX72oQK-6&e&Y zQ`UJ}{x-%W+yz^Jsb^dBqXkxf+FCX<1_3R%6>F6;jqGhRP%c`hw}E5Lx19{xT&FjA*LSdvM z{)uS9)+sY#*}_Y71C+nWmr0^E6Bz5%Y13irM}S(^h*??z~sNSSm+Vo-=}IOJR#rm=n0 z=Ggj$zDi|l5goNs;?sd^wmQJIM5+y{B`CYG7wW3xPY8;O2X^vVuF?mz!elp9O2zz? z+G#3K)=7zI14z{WWu^8+!dqyf{NCzvp-Qh6#rkbznJQ3P$pYg`WRf&U8v;1B$Y|x~ zu=dbWUBtl^u^j`w*GVlzq?JHqpwdkS#KW??()X!fsq-H;eZ*03b*yQHz0{uS$2Bil z;Xq|?(IRMHfWfH|HIgc(mXbv94b>cK2~y2qWzbdeZ4A26@D?Scc1BoWDm5nhCTxTl zvJQ(Xp%#sVj%*k)5dbVSP%5I#G*If$79}Bnh}X{Gz^mA7>hCpRy$7maD_o-*#3|!L z;P-&Tkm6Nsw1r93oalB(BV(#)b^H(gs5(%GzEZ1(GEj$6YeYmkE4qO(S+H`1cw{)T z6jj3PjD#G|TPH;4f;AXw)BQ?aH00wW(;0wm+Q6;PEhJ@eS*P!IRY-Oaf#_)Ei%!g2 zxQi|#79~M7;1q*N$zcYo7O{j~s$g_$l@`LC(U4rzf8A=NqiKZg4&{JhP?{E_CH)P5 zHH$BVE3=f~Z>UIWQMAq>HNUMBA`6wK%+6`H7&N@^*+m1>fQED9Ywc2%?yOnLOHTQJlc#D*h_7!lfadfwbE&26G&@$WNi=q9Ht{>6hw{hG!^(Z zThHv?ysTNws}p)XC#3LxYTmw2i=_BjxfXgN1Wv9rh^$~ESoEkdfJGY5pu(OXp;Wjic76#%@DOsZ+*PY#hM${aci zBXN^mqiI?z{ft)Ntt_cvLs87SHr`do5CtC9=_y~!p_Nx~rO$}M3?XtAvN3vbO6~H4 zdMLT7{Hlsq8?*x9+ly>TR+;lC06#K>YN03q6dl`epo7Dqeo-J~BszdvrD`dCINbwf zMi1XSg$IcLg3`9&;$xj5&P5M3$H&n@*ag1XHPmPpiWP6RGf=?Nsz7e84p%T%+stAf zC?gK85>x6(8jZGr8c!GB_%L*FtR5EQu4xs-ri~yJUKlICE{LGMSrJdx>W|~+t%J1$ti8M>uIwyJX9|o)L+o_;(=$~u z`qKvoD+~Q-|G-C9ibeV9u)^rtbyQ&@er5#O?G?v7-nQrQ#yuiJN00PzAH5OmV2tD@ z3riRKZ-@~xDmeV7U&g!%bpyNSJ{(mC@sHAm4iVYFk5cjxB{qbruJ zShT!nMWK+hmv&k8RxKkO!c3JR6i2mYk1Z_Q4Jt*8)kI%tR-5*}X)w2)j=j`}=N79G zt!e8;%UCqOt7RmfSXFPW1M}*-T1HPi&@M>$3E5eC;z9EfXutu=GsX8zalon-5{59vztXW-JP~A0u;D zY>ZYaFs<`5XdR25wIr&qqGs!UNCA1S&`?U|QQPYOn7I5R0abWV%{kYNp&ZEtIRp)8~|uQ3}p@v;mf*m5Fk?h^5Hl2va@d zlr!K^C4EMiy3zCO06yS15{u5s%(Gi7!8DIvT?x9g1U3U=Q9YT}m1(qKx<`*P!M9>j zH<3{$C^u8E7TJnJK!39(7G3X1WZ|r(4ovUpX^gsO_dhziwo-v<9la#1yb??KCbA@~ z2;F9Zs_tyD=$VYUq$;Yaz_h+1s`yIj@%b(drp({YZqEkj7q&$yh(rXu*mzdMROT z*nKvZf=y&8K@)viHACLN|4V9yL}zMNqZ?<)9a(H_$D(Y@yTxK{tkDWEm7^E@!XDVM z=$goaUs!UcWb~>6g~p;-BC85aG1}cuw63Hv&qB5*Vc;;me8E|HwJ>;SHI|Niu@qb~ z29GK>Q!jc2k7Wd$SLjKDShP!I1y7ZlDHlC~qA+nrA{N~enLsH*&rmJB!yU0Gmsqv* z#Gaw##JQAMluNASgwRa2Tx6dqy?$fStC~b-DJ5n~MRy~rLvbvMCDM(kQZwbECxro+ zIKUK(l8H77+X_?ZMekCqLEQOYc_hW?cto#%= zbH#B2=vY+Sn#5R6RipE{)}HSzVOk^=4AU0DkdUC4< z9*9M|L?*YY)J(Z+BYV#HddBK3+NFM{*!4RJ)IA|7E387GMx_z&Qy$^Zg@yP)JZIA zCNkZK5T2Jy~{!_ElUqniaB@6DK+boc``p^~;Z5a;PEbv<_ z$|hnN3W2BV#k@dtG+JFOnkCbV1>|N5Mz09TKzXqZMTx8ksZulLT2x4$3$YYiG8Ix3 z8*O9J!DpoA!N7*GXqZUwnP~Z^tDs77##q!$rh+O`Gv%V)`joJevFKJ$V&PH|nyD5& zW%1)-#-dpwQx;$5X(}W@UL4O@R7<2ns!}uMhJ8b(Z)hS{>&TURv}@7WlCfoD-Q9&H zUAaX$>-u&pAi^KgAt&43jxm>z$*rv5C|=J|v5R9V9CIr;Gf2;rRi;)EaDJsyENYrF zN?OXz6jaWJ@KaU8k_Xjb+AF6xTfT;i>ta#a+$qlKL}zL$?sqM*G|YS~dYW^; zn^tzFs1mxOCD@NnAB(yMBOSD%0@J#kK}xwTF&4GwVvtgFXuI{sY;fgv7OJpZQ1+#!e>E1x&FxD~FFaE`4LOGCttx;6`0n_SyZL2 z#CopX+|i>5iJ4N->mbzB#zKF@{lu{pW-{v_t(9P!D=|aV%n4}DVwcj3mSa)dT+EP} z6<{hWJ3B4kSUovv7YcSE7LCpA?93>C+X~C;vHw>Umhv-&qi2e=B?Pbdjz!r-W{SG( zOws7ocp3F6_7OOdRm>>qnX<|zvr_K`JeHy~x5=yv%v4e$`=|&wQpTc>xyU{tX_+$7 ztF2zlhuB;k5?O5xh|Sbfoa+_sJsiJQFP366=Um@faHeAP5=`LaWbA!PGD|Qmbzpic zzBx(`sqe&6uI6@{TS(26iyk9HG^76|pZkE4sx)i)cv@c~3%L=(x1lN=@ALNm zs;Y|cOjX5~PN@L?4aTulT64a1kuo#Ic0{h-ZmiO~)9b+ zQkQ(wM2w+CmbzLfz*LSNUBnx)6mKG{2zY!tWI@f<%)q>1`6Pt*7K zm!rp0T!|>=%ghvu-V%dHti04c7R?gb5>td`s$K4PtKMz&v1l{at|RZPqd$3aG6j@S z9vkdNmW9K`mJi$><7r6dLV1M64XeX1{9cu-1jz8_fWTU7q;eKeM7s&GCTk3 zu&hj%EB(5qeBVj!($uict3kVJrE*Fu$plhsNY&3=8Q zV3)GH7$aCytL^Zev#NTnL}r>zc%>D9wOpNOd+=V=Jvz2%`I4o%!lI>%?L|whwimoR zS1u$qQ}D`21!L*&Vl`_c#bg>3qrYNnzL;;=h2Hv9xudWfS_Mp?j6z~F4GYm4#%#W~ z?dI2c1@t9mdW}cxH9S?dVYqFxYmLs1`)TFY_F_cmss)5*+FkBxr<@n^8&=yrg{Dox zNbjx)$;6ko=q~J9YLc6Zo%3MHev_LV->$E=w^%59W7J0y~{HT^FuAI zkjzZCYa?{S;fXwglEtD^tc$&^Wo5c}qm9>;>RE){$!}%;0fDDbl~O$Q&~)d{BxQQYg&VcyDGn>K zlvCS1V5jBedj~O{qIwCc6P!6?(Z_TzA!KE`4DdGP%iX!%zs0}|i`s3M$!1^6Z4YE| z`=W+JOqrNc^>gu9u3i%qIqp5fqJf;2;)hlnu9BKem2;EWh2Dj`Bs3GVZU2DTwA-MZ ztTg1B0>9v@p6#udyZs8^zKNolUU>uMpb8l&ecxzj_d03Px1Ig7GaRJ?R8FRVoU+R= zhI1Va&zk%urtFH0Om;bZU0kY+(yfLZ-Kxv>KV*j9}z)USUFASls zDpsjxzE16ri&{-HF)xf3mua+KbO-|*JCZ)!^sh89szZ8e%F4A9{OMPtY;T?}FtDY_ zN=Nr@Y8|nOwUcRNX1d8?C4h^iKuioP0V$dMa;Oh}(_e!>c5G`}CWiVJ@-m&|P#MJd zCVni%V`8XmB{0)U87h@lba}3kpNMJY$IwuzOUv|;vqdO9fU}OdhFzcsv2){{^~T}; z%*1R_7nNxu7rXH_4=lVsSFPFws&_oLa@)5;&%!K=5|(Kr=ZyetDpu`MvD}#!+RVko zyipaBNw19aRC-K%V;^P=jq?%WGL443ah{b&JT>Y%GowA%fsXk~AH2DY=)`E&1>QJ@ z8Z|pN`Tw~Ojubf1($^KsH)25rzCx?Z%}Ki!o5!SymL4T6(`KWnSriaUd6?M9X42Cd zb+sZb=Dk%hSB$4Uj2mbVOmam~mgmx5WM6K|)pGEJj>q~nVJ`-xWb(@iF8k)Prd^wg zt?rwc;0DEH8pwt9&hG%wMz(7V)E+J#lUUC5aBj+PrtMF@! z@udohTk7L6E=^2)RUuiPtI`kII8s+^#B;#al=M%7CJ~aNV+|h$$<>7n5lqPaSQbD{#fU z(mAz1Hx6%18!XpkRn!9n;+Og=S6hK7)!ObaSPH~MAPZkaCb{&rR6bsffMBtR z-?p>gEH=(Uaxxv{VV>}J1M67yf%qoSCJysVCp6Pe`fr4R>x$zOjqNu5He;lDAB z%uF{qtgE;kI7~qg^(Z6CF02=r7}g`DW%@`jeFd@JZsZDqql&wrjR`OP2w7W|P0Z^d zhRep6mgytU<}3Qrqu{?;7m(7ZHx0vjfs;@vZm2(O}WV< zKa07`HnGX0i^_7}v$jQjT#G<`ak;4(v9^P9G9BdNm{f59f%|Hes_Y74X&xpP$6CnC zbeasc{g6)COLE(CL-|^<8jq>n_HD8qwEotjGfkT_Xex3k?ybl6FRO_`WnBlRdbk@w zPSuK-YN%^h?c3(sI;hER#21xmB3BP(m0nkg&EPY!dKeUwY2X>HqJz;_5!){bZTZKD z(HatzX(9K`q=M)JS#ZG6ibLlMqDE#&LX&{7Or5Zm7ew%5isnA|SRFnQ0a_V1wD<&xT_ep_3~=UvQ?SH;s?1#vR`Gt`(n= ziDD~>nO@TW$J?0y-*BCe7ME!xja?7YSIQM9mEL0)x_A@DZb;5RoASS_O;sC}@mj7r zF_rBtjaT65F%gqeCfd|Yf(P1EG`KIO5F;kqR7;85(W@ShgKUC&)vHV|xojS(eJtI( z3Bw~&TBeT-3>%GLx1Gf0KWHK_?DS$Y4P|uVXz0eOT^_1;fH9e>g=Mzv=o}DCRaiw%CDO3&)1STD24BIjWdU*q{3hn@DHG0YtpsLT$uTAXs#8bk zPKrhw>`ja@x~NQ(VPUVauRC4Z(-gSgzzI%ILMC^ht>eD5W+_)wjxu*r4BAj{tgY+v z26dW10D=NNZ596lml2(!mV;qCBgju~a$}GqJFsObfls=CDnOG#`s5X1i=(Sf))x zKLAI=c)V2&_XAW;rh`0Bgc$8`?l-E$~fyxLNHiFsi13i9s9;aPnxr%klikeo~h8AC~1C+$4TO}Ow1@d7m@;GfaHxZ$3~L=AyxOjNlq zK>wxztm5biO&n~M@-d;MX+S^Z$3Om`A2SFGs%a7MUW%g(Ox!<1wFn5x)R1e<^xG@? zD|wvZ?JW9)wrFEwSu-FdlVA3c?3>9_tQwf;BSUgB9pqg`;yYPLFJp^&C1rZZ zB}}Hrrd(sfZwkAxJZ@rP#*>iAEl)!FpT^q~Oq_&_kd^7OL5yVdj$%Li+aA5NO|Mu3 zbt&5Z%Fsy%Tuz%&q#l^;&QZc`E z(5_bMBa@A0z1Y*$v$T{O?OuTJV_Qe+`P#^O#EQ4eR*NH8U8~!T2G($~ieqoH zOO-0^;j%Z>D`o3|O$ZH&9XNY~z1^-itmCFdui148SgHr9sjyFmI{W3y=nW(6Ld%h| z-JmUuYCBP>H?sB)+d4Rq5$vNYJ4u~eW7?KrH*ywV5Cd0hRD$I%it4)a^Fcc{E}%=%)!R;gFU8rdyF z`0XrvpWUox%~!rF)|1J3aF?BZ%h4$?fFgDI%}d)DRz#hSiJAu)}@r6i*uK!d=|!vG!!Wba#)ns@-2| zz3^%sFWWX+8)Dar@)MU}*1fMcG%vOry(pZa~s$Z%1T=wMQ@V{73P0Me$M|0>u8ujcbt&Y5(I1u+j;ycW5df9i@sUlc| zO@*%DM)3kJZ5p>5p18fGVyt`)5&H^ZM|?JocyhZFlfn{ONz& z6MUEbseT)HwV`b_rhEi>X4N=qF3PPv{f< zWSRE~eWIT%_dcOd^ph3dC-iAgd_wD=wKw}|_IL;#7-aigpQ~-PYt~)^1=J`^gRT8G z){5iBGOb&U32RTB9HkwFb?88SV6uu~qSz=+_1j~JN?*XY{PtDrz%}#@ULV+d`|y%u z&wH(Dmc*|ORw{HTvi72}`Ej+IZSCzXHCy`*+PH-P7hh1s-rk61?Keon>D9#-N3z5* z^1y-P28?Omj~^BK!vBFoL*LLap;j2K$T3jA)SlwXSO>}MpabVn)y`Y{4x{Qddh46( zGzZ{)wGG{zwJ*9ic03SqE3AFdae5iL&l(J0of3GUj44|4JSSdR3HMPp5wKoRx z_5JLNgS;M!euH1L4qiPuY8S-OJ{q;4&NGodT6?W6mK!XukEDSUG1iA$jrMku12cAil@;DRm0CC1d7VVyW%~GRTv#kTE_SCb{`-U|~2$Eti9v*3L zSchu^(8h9U%GyijtF;I2BeznQ!sCnPW@U_K%)z|+&{D<-#WXuC@R5{Zf06&92iccK z5-R1GTGl0Cp9VS| zbOz{5&{?3fLFa%LfavdJK?^}$pl;AXc((_fzP||6$!{Ek-&l-ymw=XnmVuUo=uef-y6Vb+8aUi_cwuLeqDy=-GPyKnumk<_lT>l^@ffa@FxcA)DV z1a^??91M1_>l^}hi0d2*cBtzd26mY191eE4>l^`ggzFp$cBJbZ1$LC{91V7~>l_1i zjO!c=cC70h2X>t691nK9>zn{~g6o_JcB1Rd1DoeMCxM;hI`hHiyUxjAC%eumV5hjw zsbHtN&S_w$xz6cer@PJ>U}w0_nP6wS&RJk*xz5>OXS>chVCT5b0nsIZ>N?B7mbuPyu;s3^0&IortOQ%> zI_H9&>pJIwo##5|gPrd>7l2*hIv0Xn=sFjHUF15wVEBI(CD-W#>vNrcuzuHB4Yt~K z)_|>Xor}RPcAd3gYh7mmY`}Fc0lUO?E(N>Pb=HBcbDi~I>s@C9*ap|x2)5C6Hi2z& zoy)*3bDcr3LDv}q8*-gtuwmEP47S;Iwt#JMoy);4cbzN1u5g_z!LD?jtH7>uovXpF zcAXKh5!bl}>>Ag(7VKKrxen|)*SQ|-de_N;bJY}9q~V0qUmfE8TF2D4pf3~bDG z#=*v2X98@(b&6m`*SP`g2G`jNw$*h?U?ta?1e*VzfS({*kFyUBHK2D{mHZUMW+ zb#4W_)pc$IyUlfO2fN*M?f|>Pb?yYa({=6wyUTU%2D{sJ?g6{Ub?ybb*LCg#yU%s* z2fN>Oo&xq1*LeW!0oQpD>_OLg2<#!(c^K?r*Lei&5!ZPX>`~Ww4D2!2c`DdbUFUJI z$6e=XU{73ti_$U@vl=7lXanbzTDY64!Yt*h^jKWneFJotJ~X+;v_7 z_6pZ|CD0H@7T0+z*jruaZD4P6owtL%-F4mp_72y1C)hh(=Urg$a-DaBz1wx( z1NI)*c`w*|UFUsZ?{l5^gT3E%J^=Os*ZCmW2VLhwU>|aw4}*Q!bv^?25!d-B*hgLG zV_+Y1osWZk+;u(y_6gVdB-kfi=Tl&xa-C0uecE+C1NIr$`7GFHUFUOPpL3nhgMHq0 zz5w@*b6kgj5!d+>*q>a-1#?~J&tQLcoxgzn#dZD) z_E*>W8`$4m=kH*Dcb$KL{lj(s3HDFd`4`x~T<70l|8|`x!Jc%T|A76+b^Z(XUzb?B z_0oS_vKxKa4G+81hu!h82YuKB4=MVP!b6%qr16lU4;eh{Ngwva!(Q}ZFFfo`ANIz> zKJ;N9JnTy!_Qk_~^kF|d>`x!|$HM{i;Q%}wNFNTw!$I`nAUqsQ9}dRDA@t!8JRC|N z4#mS^^x-f(98Mn&$HNiy;Rrk&Ngs~H!%_6%C_EfZACAVuG4$aWJRD0Oj>W@q^x-%> z98VvP$HNKq;RHOKNFPqb!#w&h4-Y5Nhm-IypFYgT!^!mFWIUWgA5Ou;sr2DgJe)=! zPQ%0L^xW7MIX+>!`bxVY&@JpAI`zU0{XB34_W$<#lu4Sun-Sj z^q~t6-SnXw4?Xmu2M>$r!y-H^rVoqpu!KG=!NXGeuoMr==)*ERET<34@vwqEtiZ!c z`mhoY=hBCB@o*k}I1dl!?*?0kT)_Ul5dS_ou^YK)w~I(GXcedr)DKz>S_8Tmv=%e~ zx&(A7XdP%hXai^?XcOo%&>(0CGz{7d+5);9bOq>2&{d$TK_j4RK-Yq<16>cwfkr`j zPyu9v#z5ns2~ZJq186I#1eyeuK^0IHbR(z+s)HJ!CTJUIJ7@=J3bYe+6X<5pEudRL zw}Ea4-2u82bQkDu&^@4gLHB{~2R#M!0O&!`L!gI2kANNpJqCIz=yA}~Ku-rf0eS}L znV@HZo(*~q=((Whfu0X~0qBLG7lB?3dI{*IpqGJO4tfRXm7rIFUJZH;=(V8NfnE=K z1L%#QH-X*^dJE{SptphE4tfXZouGGt-VJ&W=)Iu#f!+`L0O*6D4}m@m`UvQwppSt* z4*CS>lb}z5J`MT|=(C{Dfj$rV0_cmNFM+-c`U>c)ps#_x4*CY@o1kxjz76^g=)0ir zfxZv=0qBRIAAx=h`U&W#pr3($4*CV?m!MyPehvB!=(nKXfqoDA1L%(+2Sh-B0=b|+ zgZ={gE9h^azk~h(`X}gLpnrp&1pNo}Uy!x?MPxV7?w~zDDNq`e0qqIe3$!}o9fyO}-pd#o7&{j|hGzlt$DxfOpMowmyJ$-yVdwc_Ze8cW8 zc_V#zBOcyFAKrwAH`9kV;crPB_M<3pYhxbGBC!e<)`M~ad|30Do3rn5_Fc}t$JzHe`vGS^YMeXMg0(;f!$hC(c~X{><55IQuJSf8*@$oc)8de{%LO&i>8WlbrpB zv;T5t?ZL`uH_mqFY!A*-oTWL-aJDCBdvUfmXZvurFK7F4wm)YFaCRVP2XS^VXNPch zC})Rpb~tB8aCRhTM{#yEXUA}MEN91Yc06Y%aCRbR^Ef++v-zBz%-JcNoyys1oSn|u z8JwNT*;$;O&DlAeE#NH6*+R~`IP2!DhqFbTE#_tV0?2o~g}EVl<4<$vWlD}dprZT{C7 zXXBhra8~5(2F|u}R^n`uvoaWdrNUX2e|RHjHO}gsH8^W>wvDsxV7WcW4*u5^XFEB& ziL;wIy9Eph-OB&E4GfueJOAqr&h7*Qoh5z*cXAg4r z5N8i__6TQ>g5ib7_+L-u>~YSX#@W-skirxEuV--fOwOLg*|Wi(vj=%D7`pW5arS)9 zUI2!k{e@si=tcam7jyO!&R)vd%Q$;EXRiQzV5!~c3OXYb?e{rtNR@V`FD*@wWO z--r2MAK`y}l(UcV4?oV?C-{e-eR&V^ z75>*(Ir|!CU+3%_oP84vKlUv!2>5NzzQfsfIr|=G-{5@f9cRDi><^s%ku!%g!r7lVb2vlBQwk+XT6oy6IE z&Q9j+6wXfN>@?0!=j;s5&gASY&d%oS9L^SSmgQ_AXI-3ibJoMzBF+|bwuG~#oGs&Q zIcF<4TglnEoSnzn`J7$A*@c{4#91$At2pc9te>;hoUP&PV$RlbHo(~>oL$Pp9DDHp*F^ zvqFll+}P~jG5q^D8Bg_t$V7_%TTGD~Qea5;*DmCY)g^tDY64^;ESmg*_k3Yu{Ul;8f-&sjZ1Dxxh}aiMQ#J^c07CkVXKV& z=j>WqMn)}k87wy1?n(~ zdRmG+T|*rvP=`y@6Djfx4RyFc9U)QAOp#}4s3QdGNQruOiabX{9Vt*pNz`*wa{8IIt?{XpiYvg*QdxEG}K7~ zHD99Mm?Ce|Q1b=qWQlrnio8Wboh(qNNYqF8vjpmF ziTZGgd_+T?El}r3)JId~V;brlfm$F@A5W1_Xs87Om6fPZrpTu>R92uCO4O%Q)Mr!Va~i5kpt>dM^C|KL4b?4BJrecB6#0^d>Jg|#67}U2`HF^GBv6Yb>Z>X8 zH4U{`pq5C~*Hh#h8fu9^EtRNmrpUK6)KY<3CQ;u`k?&}zWdgNaqQ09V-_uab1!{#v zeLqEhprKX>)Jlo^VT$}nL#-63b0zA>De@Byb*@02Cs995k)LU(^91UAiTZhp{6a&W zFHjdq)Gt%yR~qU9fx1wlew`w}(NGr()I}2Y+Z6eohPp_gdL`=jDe?ym)hke|BU!vR;`Ll-V7pT<|^_LX+tA<)FP-`UWZz=M34Yfv~E|#c& zq{u%t)Wrg|R-*ouBLCJy$9%+)&Q0oM0y+ozcB%`6$3)BXQ+A~e|(oh=&YNJH$ohJKesEq=(Nuu^mll?T* zCV{$4qV`Xd12oiS0yQX62d2qE8fs9Wh9v6XG&w{=4GGk+L>-zYhiRx`f!Zulho{LA z8fvpZZIP%W)8r@(wMC#Vm#CxDb(KV& zm?rZy)Kvm?wM3niCi6Aa)dDplQ75O#DH>`-pstaqQ`6)$4Rwt`T`N(ir^y)_>RN%i zPNL3Cle09`bpmz0M4g=`=V++w1u7>|3(_R3p>hH>Dp3p5q)S7M3RGUAy3?dbL*)gk zAW@6bWU+=S2$U^ROVVVihOz}}Orn;h$#M-fCQ#!NwIWScYN&C6nvke-)8sr2H6c(% zi8?<`F3?a#fx1DWE=-e)G}H|OwN;{e(`1!~+A2^biRw#}ehpO;s7Z-hohEBE)TBU_ zCFH6{s5}YJHk)&`>uDR868brpYD^RTHSX zL|v99gBq$XPz{M1N|Rv?)exwrL~Tx!EgGsRP}?Nx@-(?ZLv0hN?Gklmnp~x!whPn_ ziMl#XMl{q8ftr%2YtrOe4K*cDJ0Q0HOq)Amn-6>FaNz{#LQqxd(3Dn&ZRZo+KhPqpz?vbcwnrzch_XyOz616=|c4(-3 z1?oPDno5(M8tOiQx?iGhN|T#4)cpeW6p6YeO>WgtPZ6jGBS2L;M569XllwK)BLelPL_H-<9?(#a3e;l~ z^T!X3nnXP{O&-@!PZOx8OVrcSqkHL_Luv&(Kg$2-Gtq>X~WsEDiMxfqJGyJv&XFqoJNDP|uR6=cdW?G}N;M>e&+Y z{4{xihI+O@Jx8Kmm?kgMP|p#l=StLz)8r)@>bU~-Jc)W~n!HRyJx`#XFHtW~lUHb{ z=L^&eBonAh1nR{S_4+hSbOhdg+pk6OgA5W7{XsFi<)Egw~lWFoP4fO_rdZR>rI!!*K zq24G^Z<46brpf0t)SCqA%@XzbH2H#tdb2>iMWVi#CSTG}ZxN`sO4OIrYHiuEe-V!fqJJzeLGFQqoLj@Q16nc@21K3 zG}OBU>fI9c{WST3hI+R^y+@*cm?l5cQ120__e#`{)8r=_>b(N>K8gBin*2;dy-%Rt zFHt{FlV514_Y2eqBQ_4_pW zgNFLBKz&4_{+K3?hWdy=eN>`In*2#aeN>=6CQ)vh{8>YNOrSn4QGZF3ziOzD3)Ckh z>ThZCcMbIkf%>FG{Uc5Osi8h8P@j^hf2GO4HPojB>eCYSWSaa(Lw#DHJ|j{8O%p2< zUjO=xKz&xCcFU06HPmMX>T?pcM~0*{)aL~1^AeTLkc@`qoKYiP+yX$eKTY~4fQ2~`m#jrpCJcms4olDS0w7d3^_YEaEbcP(Gp}r|l-;$_f zGvqi8^(}$=wnQDDAtz|4Zwu6SBiZIPYKEMqp}sFrKai-?Gvo{n^#g(Wp+udTA!li*9}3iuBJl|-GJA?InRUkTK&CF=YPxj;kxTA+R-Q5R;&MH=ci z0`*&o>dlZ<8tS(K^*f2`%aDEz^*e$3y+p0fkTn|W_X70?iMlvL)@rCf2-F`XY9K={ z(NKRBC`Y0$&5(5($`L3cQR_2ggN7mk^(Tqim?4`q)Sm>(m8i=yWKctK5RTYM)KG>D zYp6eq-};M0ZO)J_8tN|s^;e0yJVUO~P=6Juze&`U8FH0|`kO%gU81hekP!{_cY*qc zL|v01*J`ML2-H6%>beZMUPJv;p#CLMxeOWAQ2!FBe@j$8Lkb$|-vafdMA;cKrlFn` zsQ*aRc!o@9sQ(Dmejl3@L?S^w1;w4~HHlZZbp48V+Y7Ic|3k zSILm7hQpCbj@!e--IyUY4Y!BHr950cLmCFIx4TmGL9CxUP zduoO}uHkTkmg5fda8JvSr)xMIu;sYJJ=_x+@(c}!^S2y#gok@(hCEBd;dm~`9qHko zogvTBa5%loaYuQ$=Vr+BG#n21a@^4#?)e$=0u6_=zZ`drhkId$yhy|0XfVee>)~FU zAurKzI62I5$9cGyX2{Dl91a$9-0>dn(?@o*o_kdJ9N938S)7YhjZo}m-TR;%#crMI2=RgxP>0>(;4y^4Tn?e z9M|RHKARz*({MP%&T-uy?(-S)1r3KY?i|EV8uAwSY^IQq|V=X$swXUI=993lg7+<6}E zry24y4Tr!19QX6gNo%LcO<@zKPoffuk4I8ecaaC zNzIkh(@ET$!@l=> literal 0 HcmV?d00001 diff --git a/scr/Messenger.Api/.vs/Messenger.Api.slnx/FileContentIndex/c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx b/scr/Messenger.Api/.vs/Messenger.Api.slnx/FileContentIndex/c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx new file mode 100644 index 0000000000000000000000000000000000000000..c63c9941fe0e14186f081872f14e5f16cac9bb83 GIT binary patch literal 6638 zcmbuDd5|PU6~=33ngx+d4n;woO%Z2gsh&Y*7kg*Nt**+huAQpNA}ebKbdX(OSQhqj zW&y>6T@IB9yuynsR4!2hZv+H|WkoO)0|-z<6huQV4G;kjKn%ak`g*{BrK7rj^3&V@!p>2{p|HP;dOUk%^4tS&BW`rbk?ss{uDjCdDHyNhApSguRCnyu%+wQ z95;ICiJRt5nVCO+ZYGUtuORmSWZ@q_zjd%2(^=oFwpPq=Efit7J@l~OrakU`n;{EfLmq6 zsoFN+9RkydN8M~Ly);oDn^dn{7`br019{a`T=4A!-asuFP8WQ8oukvXhpV}bjGDV3 ztgTbB5;9P|es7O@Aru_fF5n`ltqX{eNTDYT*BFB=kUJ`m6|EQ?E?|IJb*MhuvW81@ zk?SL7y~YXNx#8h}Y|Mf)a+=q=DnSgoV6*5ghqBP4dSai{d#M32^%h!~ zh#-AlzsFvq{&nO=?d+Yc!hWxE;-O^Fsj`i8o!W+rhIcWVi1K2LTX(P)=CXz#(+3w; z@AL3Mx3{YghSl2aMC9voM|{*Ra06`JoLWe-djrL6csmx_ffl$T!?|-Wap=LYL8k;w z-0EtJO=TY$lm#Btxz|VZ9pdY4MyKl|DsQU+Jqw9ARdxCtIp9`tI?-+%JCGwTdQCa8 z-+NVE@Rz4t@7{)oRzeT-Lp(HNMaYI2KEeyF>E&f>Qpd-Ny}H#;bUin6O-GgZ$>4<9 zhSnMu5*V`Me??}gKi0X>fHGEk#JQqV4;5vm*8`-eR(cFbCiY_l~$Xb|v zJmGXxkSX>IrrQrONb1!Ag6npp`_Y0(XhURp8s00o9AArs(ab*4ZSyHx@-H##`>_e9CsqIQJjq>9Bm9c?p1i(IX1MlcPH`j=j=U6 z&du$l@u6HVV8hJWs?|*>y8RQ4a4}tdnM`)i( zZY8&oXOU-<=aA=uR^P{IpGW(A+MgglNq&m_H2E3OuK!uupQHT++Fv9uATJ~@A}=N{ z0j-WN)BXy1DR~)rIe7(nCHYnID$wfrI_;}zUqgPA{%?`rCci^|m;4@iE%|-&I`Vq* z2J#2wjpR+_56K^qHpw0U(+IN%p(0?!O z`#>A#*Yy8}{`<+_(*FSM2WdY<{*n9>X!q;GP9w z#Me)^{%dIOP3}YPOYR5S^OTH`2a|_K#@aOx{9n zCvPQpkUu7G18uz9Y2QKq6tsGNPWw*UchSC^ya%-N@1=bo`AhOwppEkz+V_KY{O@Q# zKt4$Ro_vV>1NleL#(9|bBjlsxW8~wYeJ-D%{Um7Ddy4ko$fwC?$Y;sFlm8(9N&bs` zj(nbcf&4f5BKaTCu4_-Yw7+K@@uSHRKT{m>L(UQZt8v5+5jPLNhh4s}rXT;parbxU z{XI$i1H<|EroAui{m9pnx7(uNWox)t42y$GF}z&7U5KU-K`Mem1f>X-h@^;=kh$ne z(KRB;MH+}yi7XMB5``9}6r~ZB$`9R%ZCE(kBs|4>9;FC)c&f{&jLS}zS6#~ z{4(^*$e)%?v835t)oiBCBx@$7xvFfYK{Hj&ylNJ@X@U`dWMp(~WV|^#;*XAr(WPT! zV#yd>%eza*mMw5 zh;l;a6S)jTD`=-dEQ7Qgq-l`JAdi9~4vHesaiEhx=RsKnr3s7-OcGRSP~~kg(GH4s zD%)DMt0WB4FfgGk!)`n5%CK98i3!sxR9UEWsAZ^CXhdixqQxQ_8jj?ONOmHbMp8#| zD(b3e(vK!rM0pS?BSj0gFdLdXe;Rb^Yqb|Bl842_JsvJ=Qu$TXFyl4&WkKxVPb z1DP9{Pf0DL9+KLZ+DJVmOCifrmNU`}N#jd1DxuVLq|wqCIVI(^k~2aci>Os6NjnOM z?&zRn{8+T&W*W;fmL`@nah$|S9;Y(aDlUiP(vQoDZd-R{+Lc*XmEBTy4QkXzMUqe^ zVUmP8Nuwl{Nme9znB*M9m|ljYz8~3q%&=Sx{s_nFS`3B9nP0%S=vZ zvCfh(%YsZrS&`;qNj@~3`(f^vdC<;-EDyVRnC4NQOOtn09*aCK^CZXo+=$#vV$jI#Z=mrBNnV zRiUP(nl1~`D*UYQbwfy^0LIE(1QHZl;w;tVu=wgGbD^37(X|DX+}p( zYs|EknLwKmySZ&-W;)s=xk-?;G)kL7n4)Eh(&);R0$awI!c?W13e3@Q70F62sgkrx zahNI}s`9YPv#OY=bXt|kRDf-rP9@<~qNf8rE!)#FnpS$clt;(H zo;-N-?g0~G;=zk&5>51EVuBYh{svjU>9$Z7y0X}ytes8Y%)XiT=DnFW?bm+%aB}tK z>*jA%MqN}-YsE%7=;@DmWI92%j{DY%#UiU%h8WU5ioggN_*v9S{iK7N^ng>jV``#? z^_+Xp%C-}{oBe+5=GRCglnZqwi(z;)=q}xW_bjA-n%#D&UuP55ML66IFktRy=j~_z zIKDQGQU<@$DrQKf2~x147>!~r8Wj)`6_SpgL2w!RYv2VtRy;u${2u_X$F)=cJnk?z zplbZfB(R=dtWSpj3{7Hux3hot&16sdn}+N3lw)%U{AX$Crj~1(FQ%igVebBCIi%W% zK#=wCl(ciQwzBT~mR;19-q?woFaCC<-@X2&2+BXkSC%JEh!rLZauXiQX^iq2A<{ocW6m)B6y z*irJm`mrMq*%(iQFWtU!SczrtRH56Hpbol>)}PM7zq|LH`saAP@t?A4O||~L4&3?< z>)#v2|3?m@{=L!io-IE)==!hLKiB`Fv$z22KN7)QyeD3VGi^ooFV(-G?D<#eA4@Hw z?ZV1cCEfd}*s}a~QapXJ^yu^H_t~B?-ikNEn|FC;`T4VzA!+f+>ioc$=Ir%o-p~pY zx-wHS0vk$x4jjkD?*zl9ku&A#SVlD1|2M4srE>rNmZ4_52=Lkc6B0LiHbGq2;exJ(x>{uJoNN nhdvpz#xP>P=bv$$oBw-znE!ZNAnB*So&WIuzw6SiiGjZWqXv!E literal 0 HcmV?d00001 diff --git a/scr/Messenger.Api/.vs/Messenger.Api/CopilotIndices/18.10.1201.59691/SemanticSymbols.db b/scr/Messenger.Api/.vs/Messenger.Api/CopilotIndices/18.10.1201.59691/SemanticSymbols.db new file mode 100644 index 0000000000000000000000000000000000000000..caac81c0da1a698d38c5134f4fae9d41073fd20a GIT binary patch literal 53248 zcmeI)-)|d90SEBicoU~iZG-w?<*JD3{a|hCq)m~j)Tn@CZ_=fXo%%f8Vro9(r3J2m53H}F!`ozPby9eIx1VRFF&nI5t>7)}6AcVxMch|9Hg6O+S z;`Pkz{P@hwdUq#DAIE+X`|83EBma*4c>dG*o$yEDZ_a%%`{&tN9*qqG5P-l- z3EYj(CEj{Ve4A;z26YY%eiExYOk=CV`_Wuk$yOCo&8`;|G8~g+yGB}XK1sXBqQ=V=h}=~krOD$Id7xJBlxkH{E z;fz}N$>gNot1bSleu;eN6A)pE6#E%;}R6JtXrwTfEYBzw%sB)#D)kBv|{?S=Cp$f(K4Z6fm_ zy}V3vHq{t)h(`P|kq;H!Y|x6LKhrdMKkQi;b2#|s;ZNfTM&U1YKf(`?2^g8#Na%@*62 zQ$PC3Y&fyFDE@T#Oy(6lciL3oZSlvQ+LTW_F_3JnT2hPr*e#`4^#`LoRHNXaAZnv) z7*FpFf9}ZSezu&ulPxDR*RQ8Yu~a3+TA>geFxD?)sdJ@5!TsDVmU7vO`!aekKO4Ka zo<>lWNvV9KiOJj#$un|tlbn^!y48GoMmBDev$7fP=ZRJJ5}lQmHvsPPk$K$563_z&W~VD6*PxEu=#~-Rd3T8YfS8R&o&v9lHwh7ZDuZ!TM~tS z|M&=6ms$Py^`MpY)nG5gFS6&|3+-sECCo;j3$eNQui|&2&tw05smpI9f&c^{009U< z00Izz00bZafmbQ;K$;bLSLX7!b~bgkVd#y6GVNH-PMdWd{l@hh-!Qb@)n&exd$8j) z?42$C?2kWUqV`I*qmRB@X*eC*dPn^9-uxfld;gQV$TMD@GGndNaVTT_sh_iwr;n*& zb==20EAKd#=@xMLk5~T2Rets=WxjacTW|6vN2hG^wr#l&PPt-V@Vl|UXd#|mX8P

7F$|8n4X^`okdLO!r{IjvP5dUTTd$C`~+Hv>E z05%9f00Izz00bZa0SG_<0uX?}eKEgm3;YWk1Rwwb2tWV=5P$## zAOHafKmY>gM&P0tS`vf514v^1|J-ye8Ug_bKmY;|fB*y_009U<;D1K|>;EtP*BZlX z_U`ZNzsmK0{!jm~K>z{}fB*y_009U<00Izz00ba#js@KHf876{;|@mCAOHafKmY;| zfB*y_009U<00LY9_x~6M5P$##AOHafKmY;|fB*y_0D Upload(Guid chatId, HttpContext http, MessengerDbContext db, + IAttachmentStorage storage, UploadSettings limits, UploadGate gate, UploadCleanupSettings cleanup) + { + var user = http.GetUserId(); + if (!await db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == user, http.RequestAborted)) + return ApiErrors.Error(http, 404, "not_found", "Объект не найден"); + var names = http.Request.Query["filename"]; + var name = names.Count == 1 ? names[0] : null; + if (string.IsNullOrWhiteSpace(name) || ApiErrors.CodePoints(name) > 255 || + name.Any(c => c is '/' or '\\' || char.IsControl(c))) + return ApiErrors.Error(http, 400, "invalid_request", "Некорректное имя файла"); + var mime = http.Request.ContentType?.Split(';', 2)[0].Trim().ToLowerInvariant(); + if (mime is not ("image/png" or "image/jpeg")) + return ApiErrors.Error(http, 415, "unsupported_media_type", "Требуется PNG или JPEG"); + if (http.Request.ContentLength > limits.MaxBytes) + return ApiErrors.Error(http, 413, "payload_too_large", "Файл превышает лимит размера"); + + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(http.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(30)); + var ct = timeout.Token; + if (!await gate.Slots.WaitAsync(TimeSpan.FromSeconds(2), ct)) + return ApiErrors.Error(http, 503, "unavailable", "Загрузка временно перегружена"); + try + { + // Только временный spool; оригинал после 201 существует в S3, не на диске API. + var path = Path.Combine(Path.GetTempPath(), $"attachment-{Guid.NewGuid():N}"); + await using var file = new FileStream(path, FileMode.CreateNew, FileAccess.ReadWrite, FileShare.None, + 65536, FileOptions.Asynchronous | FileOptions.DeleteOnClose); + var buffer = new byte[65536]; + long size = 0; + while (true) + { + var count = await http.Request.Body.ReadAsync(buffer, ct); + if (count == 0) break; + size += count; + if (size > limits.MaxBytes) + return ApiErrors.Error(http, 413, "payload_too_large", "Файл превышает лимит размера"); + await file.WriteAsync(buffer.AsMemory(0, count), ct); + } + file.Position = 0; + try + { + var signature = new byte[8]; + if (size < 12) throw new InvalidDataException("Truncated image"); + await file.ReadExactlyAsync(signature, ct); + var actual = signature.AsSpan().SequenceEqual(new byte[] {137,80,78,71,13,10,26,10}) ? "image/png" : + signature[0] == 255 && signature[1] == 216 ? "image/jpeg" : "unknown"; + if (actual != mime) + return ApiErrors.Error(http, 415, "unsupported_media_type", "Содержимое не соответствует MIME"); + file.Position = 0; + var info = ImageInfo.FromStream(file) ?? throw new InvalidDataException("Invalid image header"); + if (info.Width <= 0 || info.Height <= 0) throw new InvalidDataException("Invalid dimensions"); + if ((long)info.Width * info.Height > limits.MaxPixels) + return ApiErrors.Error(http, 413, "payload_too_large", "Слишком много пикселей"); + if (mime == "image/png") await PngIntegrity.ValidateAsync(file, + (long)info.Width * info.Height * 8 + info.Height * 8L + 1024, ct); + file.Position = 0; + var image = ImageResult.FromStream(file, ColorComponents.Grey); + if (image.Width != info.Width || image.Height != info.Height) throw new InvalidDataException("Invalid dimensions"); + ct.ThrowIfCancellationRequested(); + // Декодеры могут принимать обрезанные JPEG: обязательно проверяем окончание файла. + var tail = new byte[12]; + if (size < tail.Length) throw new InvalidDataException("Truncated image"); + file.Position = size - tail.Length; + await file.ReadExactlyAsync(tail, ct); + if (mime == "image/png" && !tail.AsSpan().SequenceEqual(new byte[] { 0,0,0,0,73,69,78,68,174,66,96,130 }) || + mime == "image/jpeg" && (tail[^2] != 255 || tail[^1] != 217)) + throw new InvalidDataException("Truncated image"); + } + catch (Exception ex) when (ex is InvalidDataException or EndOfStreamException or InvalidOperationException or ArgumentException or IndexOutOfRangeException) + { + return ApiErrors.Error(http, 415, "unsupported_media_type", "Повреждённое изображение"); + } + file.Position = 0; + var hash = Convert.ToHexStringLower(await SHA256.HashDataAsync(file, ct)); + var id = Guid.CreateVersion7(); + var now = Timestamps.UtcNowMilliseconds(); + var entity = new AttachmentEntity + { + Id = id, ChatId = chatId, OwnerId = user, Filename = name!, ContentType = mime!, + ObjectKey = $"originals/{id:N}", SizeBytes = size, ChecksumSha256 = hash, + Status = "ready", CreatedAt = now, UploadedAt = now + }; + var intent = new UploadIntentEntity + { + Id = id, ObjectKey = entity.ObjectKey, CreatedAt = now, + ExpiresAt = now + cleanup.Grace, NextAttemptAt = now + cleanup.Grace + }; + db.UploadIntents.Add(intent); + await db.SaveChangesAsync(ct); // S3 PUT не начинается без устойчивого журнала. + file.Position = 0; + await storage.PutAsync(entity.ObjectKey, file, entity.ContentType, ct); + await using var tx = await db.Database.BeginTransactionAsync(ct); + var activeIntent = await db.UploadIntents.FromSqlInterpolated($""" + SELECT * FROM upload_intents WHERE id = {id} AND expires_at > clock_timestamp() FOR UPDATE + """).SingleOrDefaultAsync(ct); + if (activeIntent is null) + return ApiErrors.Error(http, 503, "unavailable", "Время публикации вложения истекло"); + db.Attachments.Add(entity); + db.UploadIntents.Remove(activeIntent); + await db.SaveChangesAsync(ct); + await tx.CommitAsync(ct); // Attachment и удаление intent — один COMMIT. + return Results.Created($"/api/v1/attachments/{id}", ToDto(entity)); + } + catch (OperationCanceledException) when (!http.RequestAborted.IsCancellationRequested) + { + return ApiErrors.Error(http, 503, "unavailable", "Истекло время загрузки"); + } + finally { gate.Slots.Release(); } + } + + private static Task Find(Guid id, HttpContext http, MessengerDbContext db) => + db.Attachments.AsNoTracking().FirstOrDefaultAsync(a => a.Id == id && + db.ChatMembers.Any(m => m.ChatId == a.ChatId && m.UserId == http.GetUserId()), http.RequestAborted); + + private static async Task Metadata(Guid attachmentId, HttpContext http, MessengerDbContext db) + { + var entity = await Find(attachmentId, http, db); + return entity is null ? ApiErrors.Error(http, 404, "not_found", "Объект не найден") : Results.Ok(ToDto(entity)); + } + + private static async Task Content(Guid attachmentId, HttpContext http, MessengerDbContext db, + IAttachmentStorage storage, string? variant) + { + var entity = await Find(attachmentId, http, db); + if (entity is null) return ApiErrors.Error(http, 404, "not_found", "Объект не найден"); + if (entity.Status != "ready") return ApiErrors.Error(http, 409, "conflict", "Вложение не готово"); + if (variant is not (null or "original")) return ApiErrors.Error(http, 404, "not_found", "Вариант не найден"); + // Ограниченный 10 MiB буфер до начала ответа позволяет честно вернуть 503 при отказе S3. + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(http.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(30)); + using var output = new LimitedDownloadStream(Math.Min(entity.SizeBytes, 10485760)); + try { await storage.CopyToAsync(entity.ObjectKey, output, timeout.Token); } + catch (OperationCanceledException) when (!http.RequestAborted.IsCancellationRequested) + { return ApiErrors.Error(http, 503, "unavailable", "Истекло время скачивания"); } + catch (IOException) { return ApiErrors.Error(http, 503, "unavailable", "Ошибка чтения объекта"); } + if (output.Length != entity.SizeBytes || + Convert.ToHexStringLower(SHA256.HashData(output.GetBuffer().AsSpan(0, (int)output.Length))) != entity.ChecksumSha256) + return ApiErrors.Error(http, 503, "unavailable", "Объект не соответствует метаданным"); + http.Response.Headers["X-Content-Type-Options"] = "nosniff"; + return Results.File(output.ToArray(), entity.ContentType); + } + + private static Attachment ToDto(AttachmentEntity a) => new(a.Id, a.ChatId, a.OwnerId, a.Filename, + a.ContentType, a.SizeBytes, a.ChecksumSha256, a.Status, [], null, a.CreatedAt, a.UploadedAt ?? a.CreatedAt); +} diff --git a/scr/Messenger.Api/Endpoints/AuthEndpoints.cs b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs new file mode 100644 index 00000000..d3bfff22 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs @@ -0,0 +1,146 @@ +using System.Text; +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Endpoints; + +public static class AuthEndpoints +{ + private const string BasicChallenge = "Basic realm=\"messenger\", charset=\"UTF-8\""; + + public static IEndpointRouteBuilder MapAuthEndpoints(this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/auth/sessions", CreateSession); + endpoints.MapDelete("/api/v1/auth/sessions/current", RevokeCurrentSession).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateSession( + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + AuthSessionOptions options, + CancellationToken ct) + { + // Любая проблема с заголовком или credentials даёт один и тот же ответ. + var unauthorized = () => ApiErrors.Unauthorized(httpContext, BasicChallenge, "Неверное имя пользователя или пароль"); + + if (!TryParseBasic(httpContext.Request, out var username, out var password)) + { + return unauthorized(); + } + + var user = await db.Users.AsNoTracking().FirstOrDefaultAsync(u => u.Username == username, ct); + + // Проверка выполняется и для несуществующего пользователя (null → заглушка), чтобы время ответа + // не выдавало, существует ли username. + bool passwordOk; + try + { + passwordOk = await hasher.VerifyAsync(user?.PasswordHash, password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + if (user is null || !passwordOk) + { + return unauthorized(); + } + + var token = SessionTokens.Generate(); + var now = Timestamps.UtcNowMilliseconds(); + var session = new SessionEntity + { + Id = Guid.CreateVersion7(), + TokenHash = SessionTokens.Hash(token), + UserId = user.Id, + CreatedAt = now, + ExpiresAt = now + options.Ttl + }; + + db.Sessions.Add(session); + await db.SaveChangesAsync(ct); + + // Ответ с токеном нельзя кэшировать промежуточными узлами. + httpContext.Response.Headers.CacheControl = "no-store"; + + return Results.Json( + new SessionResponse( + token, + "Bearer", + session.ExpiresAt, + new User + { + Id = user.Id, + Username = user.Username, + DisplayName = user.DisplayName, + CreatedAt = user.CreatedAt + }), + statusCode: StatusCodes.Status201Created); + } + + private static async Task RevokeCurrentSession( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var sessionId = httpContext.GetSessionId(); + var now = Timestamps.UtcNowMilliseconds(); + + // Один UPDATE с условием: отзыв атомарен даже при двух параллельных DELETE с одним токеном. + var revoked = await db.Sessions + .Where(s => s.Id == sessionId && s.RevokedAt == null) + .ExecuteUpdateAsync(s => s.SetProperty(x => x.RevokedAt, now), ct); + + return revoked == 0 + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.NoContent(); + } + + // Basic: base64("username:password"), разделитель — ПЕРВОЕ двоеточие (в пароле двоеточие допустимо). + // Всё, что не разбирается строго (схема, base64, UTF-8, формат), считается неверными credentials. + private static bool TryParseBasic(HttpRequest request, out string username, out string password) + { + username = password = string.Empty; + + if (request.Headers.Authorization.Count != 1) + { + return false; + } + + var header = request.Headers.Authorization[0]; + const string prefix = "Basic "; + if (header is null || !header.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return false; + } + + string decoded; + try + { + var bytes = Convert.FromBase64String(header[prefix.Length..].Trim()); + decoded = new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true).GetString(bytes); + } + catch (Exception ex) when (ex is FormatException or DecoderFallbackException) + { + return false; + } + + var separator = decoded.IndexOf(':'); + if (separator <= 0) + { + return false; + } + + username = decoded[..separator]; + password = decoded[(separator + 1)..]; + + // Username по контракту — ASCII [a-z0-9_]{3,32}; пароль — 12..128 code points. Отсекаем до дорогого Argon2. + var length = ApiErrors.CodePoints(password); + return username.Length is >= 3 and <= 32 && length is >= 12 and <= 128; + } +} diff --git a/scr/Messenger.Api/Endpoints/ChatEndpoints.cs b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs new file mode 100644 index 00000000..087feebc --- /dev/null +++ b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs @@ -0,0 +1,158 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class ChatEndpoints +{ + public static IEndpointRouteBuilder MapChatEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats", CreateChat).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats", ListChats).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}", GetChat).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateChat( + CreateChatRequest request, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + if (string.IsNullOrWhiteSpace(request.Title) || + ApiErrors.CodePoints(request.Title) > 100 || + request.MemberIds.Count is < 1 or > 100 || + request.MemberIds.Distinct().Count() != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные данные чата"); + } + + if (!request.MemberIds.Contains(userId)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Создатель должен быть участником чата"); + } + + var knownMembers = await db.Users.CountAsync(u => request.MemberIds.Contains(u.Id), ct); + if (knownMembers != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + var chat = new ChatEntity + { + Id = Guid.CreateVersion7(), + Title = request.Title, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + // Чат и все его участники сохраняются одним SaveChanges, то есть одной транзакцией: + // либо создано всё, либо ничего (нет чата без участников). + db.Chats.Add(chat); + db.ChatMembers.AddRange(request.MemberIds.Select(id => new ChatMemberEntity { ChatId = chat.Id, UserId = id })); + + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.ForeignKeyViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + return Results.Created($"/api/v1/chats/{chat.Id}", ToDto(chat, request.MemberIds.Order().ToList())); + } + + private static async Task ListChats( + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Chats, out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Keyset: строковое сравнение (created_at, id) > (курсор), без OFFSET и без просмотра всей выдачи. + IQueryable source = after is null + ? db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + """) + : db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + AND (c.created_at, c.id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var chats = await source + .AsNoTracking() + .OrderBy(c => c.CreatedAt).ThenBy(c => c.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = chats.Count > pageSize; + if (hasNext) + { + chats.RemoveAt(chats.Count - 1); + } + + var ids = chats.Select(c => c.Id).ToList(); + var members = (await db.ChatMembers + .AsNoTracking() + .Where(m => ids.Contains(m.ChatId)) + .Select(m => new { m.ChatId, m.UserId }) + .ToListAsync(ct)) + .ToLookup(m => m.ChatId, m => m.UserId); + + var items = chats.Select(c => ToDto(c, members[c.Id].Order().ToList())).ToList(); + var nextCursor = hasNext ? Cursors.Encode(Cursors.Chats, chats[^1].CreatedAt, chats[^1].Id) : null; + + return Results.Ok(new { items, next_cursor = nextCursor }); + } + + private static async Task GetChat( + Guid chatId, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Отсутствующий и чужой чат неразличимы: оба дают 404. + var chat = await db.Chats + .AsNoTracking() + .FirstOrDefaultAsync(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId), ct); + + if (chat is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var memberIds = await db.ChatMembers + .AsNoTracking() + .Where(m => m.ChatId == chatId) + .Select(m => m.UserId) + .ToListAsync(ct); + + return Results.Ok(ToDto(chat, memberIds.Order().ToList())); + } + + private static Chat ToDto(ChatEntity chat, List memberIds) => new() + { + Id = chat.Id, + Title = chat.Title, + MemberIds = memberIds, + CreatedAt = chat.CreatedAt + }; +} diff --git a/scr/Messenger.Api/Endpoints/MessageEndpoints.cs b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs new file mode 100644 index 00000000..7c3085a1 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs @@ -0,0 +1,241 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Microsoft.Extensions.Options; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class MessageEndpoints +{ + public static IEndpointRouteBuilder MapMessageEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats/{chatId}/messages", CreateMessage).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}/messages", ListMessages).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateMessage( + Guid chatId, + CreateMessageRequest request, + HttpContext httpContext, + MessengerDbContext db, + IdempotencySettings idempotency, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Сначала доступ к ресурсу (404 для постороннего), затем валидация ключа и тела. Доступ проверяется при каждом + // запросе, в том числе при повторе с тем же Idempotency-Key. + if (!await IsMemberAsync(db, chatId, userId, ct)) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var key = IdempotencyKeys.ReadKey(httpContext.Request); + if (key is null) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Требуется заголовок Idempotency-Key ([A-Za-z0-9._:-], 1-128 символов)"); + } + + if (request.AttachmentIds is null || request.AttachmentIds.Length > 10 || + request.AttachmentIds.Distinct().Count() != request.AttachmentIds.Length || + (string.IsNullOrWhiteSpace(request.Text) && request.AttachmentIds.Length == 0) || + ApiErrors.CodePoints(request.Text) > 4000) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + if (request.AttachmentIds.Length > 0) + { + var attachments = await db.Attachments.AsNoTracking() + .Where(a => a.ChatId == chatId && request.AttachmentIds.Contains(a.Id)).ToListAsync(ct); + if (attachments.Count != request.AttachmentIds.Length) + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + if (attachments.Any(a => a.Status != "ready")) + return ApiErrors.Error(httpContext, 409, "conflict", "Вложение не готово"); + } + + // Транзакция: (0) claim ключа идемпотентности, (1) UPDATE чата берёт блокировку его строки и выдаёт created_at, + // (2) INSERT сообщения, (3) COMMIT. Записи в один чат идут строго по очереди, поэтому порядок коммитов совпадает + // с порядком (created_at, id) и курсор не может «проскочить» сообщение, закоммиченное позже. Версия истории + // растёт в той же транзакции. Ключ и сообщение коммитятся вместе: при любой ошибке откатывается и то и другое, + // поэтому 5xx не «запоминается» как результат, а клиент может безопасно повторить запрос с тем же ключом. + await using var tx = await db.Database.BeginTransactionAsync(ct); + + var messageId = Guid.CreateVersion7(); + var (claim, storedMessageId) = await IdempotencyKeys.ClaimAsync( + db, tx, userId, chatId, key, IdempotencyKeys.RequestHash(request.Text, request.AttachmentIds), messageId, idempotency.Ttl, ct); + + if (claim == ClaimResult.Conflict) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Idempotency-Key уже использован с другим сообщением"); + } + + if (claim == ClaimResult.Replay) + { + // Повтор: ничего не пишем, возвращаем то же сообщение и тот же код 201. + var original = await db.Messages.AsNoTracking().FirstAsync(m => m.Id == storedMessageId, ct); + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(original)); + } + + var createdAt = await ReserveMessageSlotAsync(db, tx, chatId, userId, ct); + if (createdAt is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var message = new MessageEntity + { + Id = messageId, + ChatId = chatId, + SenderId = userId, + Text = request.Text, + AttachmentIds = request.AttachmentIds, + CreatedAt = createdAt.Value + }; + + db.Messages.Add(message); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.CheckViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + await tx.CommitAsync(ct); + + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(message)); + } + + private static async Task ListMessages( + Guid chatId, + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + IMessageHistoryCache cache, + DiagnosticsSettings diagnostics, + IOptions jsonOptions, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + // Один запрос проверяет доступ (null → 404) и читает актуальную версию истории из PostgreSQL. + // Версия берётся из БД при каждом чтении, а не из кэша: после подтверждённой записи ключ гарантированно новый. + var version = await db.Chats + .AsNoTracking() + .Where(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId)) + .Select(c => (long?)c.HistoryVersion) + .FirstOrDefaultAsync(ct); + + if (version is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Messages(chatId), out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Ключ = чат + версия истории + размер страницы + курсор. Страница под этим ключом никогда не устаревает: + // любая запись увеличивает версию, и читатели переходят на другой ключ. + var key = $"hist4:{chatId:N}:v{version}:l{pageSize}:{cursor ?? "-"}"; + + var (cached, status) = await cache.GetAsync(key, ct); + if (cached is not null) + { + return CachedJson(httpContext, diagnostics, cached, status); + } + + // Keyset по индексу (chat_id, created_at, id): читается только страница, а не вся история. + IQueryable source = after is null + ? db.Messages.FromSql($"SELECT * FROM messages WHERE chat_id = {chatId}") + : db.Messages.FromSql($""" + SELECT * FROM messages + WHERE chat_id = {chatId} AND (created_at, id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var messages = await source + .AsNoTracking() + .OrderBy(m => m.CreatedAt).ThenBy(m => m.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = messages.Count > pageSize; + if (hasNext) + { + messages.RemoveAt(messages.Count - 1); + } + + var nextCursor = hasNext + ? Cursors.Encode(Cursors.Messages(chatId), messages[^1].CreatedAt, messages[^1].Id) + : null; + + var json = System.Text.Json.JsonSerializer.Serialize( + new { items = messages.Select(ToDto).ToList(), next_cursor = nextCursor }, + jsonOptions.Value.SerializerOptions); + + await cache.SetAsync(key, json, ct); + return CachedJson(httpContext, diagnostics, json, status); + } + + // Ответ из кэша и ответ из БД байт-в-байт одинаковы: сериализуется одна и та же структура теми же настройками. + private static IResult CachedJson(HttpContext context, DiagnosticsSettings diagnostics, string json, CacheStatus status) + { + if (diagnostics.Headers) + { + context.Response.Headers["X-Cache"] = status.ToString().ToLowerInvariant(); + } + + return Results.Content(json, "application/json; charset=utf-8"); + } + + private static Task IsMemberAsync(MessengerDbContext db, Guid chatId, Guid userId, CancellationToken ct) => + db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == userId, ct); + + // Атомарно: проверяет членство, увеличивает версию истории и возвращает created_at нового сообщения — + // строго больше времени предыдущего (даже при откате системных часов или двух сообщениях в одну миллисекунду). + // null — чата нет или пользователь не участник. + private static async Task ReserveMessageSlotAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid chatId, + Guid userId, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + await using var command = new NpgsqlCommand(""" + UPDATE chats c + SET history_version = c.history_version + 1, + last_message_at = GREATEST(@now, COALESCE(c.last_message_at + interval '1 millisecond', @now)) + WHERE c.id = @chat + AND EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = @user) + RETURNING c.last_message_at + """, connection, (NpgsqlTransaction)tx.GetDbTransaction()); + + command.Parameters.AddWithValue("now", Timestamps.UtcNowMilliseconds()); + command.Parameters.AddWithValue("chat", chatId); + command.Parameters.AddWithValue("user", userId); + + await using var reader = await command.ExecuteReaderAsync(ct); + return await reader.ReadAsync(ct) ? reader.GetFieldValue(0) : null; + } + + private static Message ToDto(MessageEntity m) => new() + { + Id = m.Id, + ChatId = m.ChatId, + SenderId = m.SenderId, + Text = m.Text, + CreatedAt = m.CreatedAt, + AttachmentIds = m.AttachmentIds + }; +} diff --git a/scr/Messenger.Api/Endpoints/UserEndpoints.cs b/scr/Messenger.Api/Endpoints/UserEndpoints.cs new file mode 100644 index 00000000..db68d5c2 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/UserEndpoints.cs @@ -0,0 +1,125 @@ +using System.Text.RegularExpressions; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Messenger.Api.Data; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class UserEndpoints +{ + public static IEndpointRouteBuilder MapUserEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost( + "/api/v1/users", + CreateUser); + + endpoints.MapGet( + "/api/v1/users/me", + GetCurrentUser).RequireAuthorization(); + + return endpoints; + } + + private static async Task CreateUser( + CreateUserRequest request, + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + CancellationToken ct) + { + if (!Regex.IsMatch(request.Username, @"\A[a-z0-9_]{3,32}\z")) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный username"); + } + + if (string.IsNullOrWhiteSpace(request.DisplayName) || + ApiErrors.CodePoints(request.DisplayName) > 100) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "display_name должен содержать от 1 до 100 символов"); + } + + var passwordLength = ApiErrors.CodePoints(request.Password); + if (passwordLength < 12 || passwordLength > 128) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Пароль должен содержать от 12 до 128 символов"); + } + + // Быстрый отказ, чтобы не тратить дорогой Argon2 на заведомо занятый username. + // Это только оптимизация: от гонки защищает уникальный индекс (см. catch ниже). + if (await db.Users.AnyAsync(u => u.Username == request.Username, ct)) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // Хеш считается до SaveChanges: соединение с БД не простаивает на CPU-работе. + string passwordHash; + try + { + passwordHash = await hasher.HashAsync(request.Password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + var entity = new UserEntity + { + Id = Guid.CreateVersion7(), + Username = request.Username, + DisplayName = request.DisplayName, + PasswordHash = passwordHash, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + db.Users.Add(entity); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when ( + ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.UniqueViolation, ConstraintName: "ux_users_username" }) + { + // Параллельный запрос с тем же username успел раньше проверки AnyAsync. + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // В ответ уходит API-модель без password_hash, а не сущность таблицы. + var user = new User + { + Id = entity.Id, + Username = entity.Username, + DisplayName = entity.DisplayName, + CreatedAt = entity.CreatedAt + }; + + return Results.Created($"/api/v1/users/{user.Id}", user); + } + + private static async Task GetCurrentUser( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + var user = await db.Users + .AsNoTracking() + .Where(u => u.Id == userId) + .Select(u => new User + { + Id = u.Id, + Username = u.Username, + DisplayName = u.DisplayName, + CreatedAt = u.CreatedAt + }) + .FirstOrDefaultAsync(ct); + + // Сессия ссылается на пользователя внешним ключом, поэтому null здесь невозможен; ответ всё равно безопасный. + return user is null + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.Ok(user); + } +} diff --git a/scr/Messenger.Api/Messenger.Api.csproj b/scr/Messenger.Api/Messenger.Api.csproj new file mode 100644 index 00000000..192e34fd --- /dev/null +++ b/scr/Messenger.Api/Messenger.Api.csproj @@ -0,0 +1,27 @@ + + + + net10.0 + enable + enable + + + + + + + + + + + + runtime; build; native; contentfiles; analyzers; buildtransitive + all + + + + + + + + diff --git a/scr/Messenger.Api/Messenger.Api.csproj.user b/scr/Messenger.Api/Messenger.Api.csproj.user new file mode 100644 index 00000000..9ff5820a --- /dev/null +++ b/scr/Messenger.Api/Messenger.Api.csproj.user @@ -0,0 +1,6 @@ + + + + https + + \ No newline at end of file diff --git a/scr/Messenger.Api/Models/Attachment.cs b/scr/Messenger.Api/Models/Attachment.cs new file mode 100644 index 00000000..2bf208a5 --- /dev/null +++ b/scr/Messenger.Api/Models/Attachment.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models; + +public sealed record Attachment( + Guid Id, Guid ChatId, Guid OwnerId, string Filename, string ContentType, + long SizeBytes, string Sha256, string Status, object[] Variants, + string? ErrorCode, DateTimeOffset CreatedAt, DateTimeOffset UpdatedAt); diff --git a/scr/Messenger.Api/Models/Chat.cs b/scr/Messenger.Api/Models/Chat.cs new file mode 100644 index 00000000..71777680 --- /dev/null +++ b/scr/Messenger.Api/Models/Chat.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Chat + { + public Guid Id { get; init; } + public string Title { get; init; } = String.Empty; + public List MemberIds { get; init; } = new List(); + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Models/CreateChatRequest.cs b/scr/Messenger.Api/Models/CreateChatRequest.cs new file mode 100644 index 00000000..8b2e4611 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateChatRequest.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models +{ + public sealed record CreateChatRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Title, + [property: System.Text.Json.Serialization.JsonRequired] List MemberIds); +} diff --git a/scr/Messenger.Api/Models/CreateMessageRequest.cs b/scr/Messenger.Api/Models/CreateMessageRequest.cs new file mode 100644 index 00000000..1c56d91e --- /dev/null +++ b/scr/Messenger.Api/Models/CreateMessageRequest.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models; + +public sealed record CreateMessageRequest([property: System.Text.Json.Serialization.JsonRequired] string Text) +{ + public Guid[] AttachmentIds { get; init; } = []; +} diff --git a/scr/Messenger.Api/Models/CreateUserRequest.cs b/scr/Messenger.Api/Models/CreateUserRequest.cs new file mode 100644 index 00000000..49415b63 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateUserRequest.cs @@ -0,0 +1,12 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed record CreateUserRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Username, + [property: System.Text.Json.Serialization.JsonRequired] string DisplayName, + [property: System.Text.Json.Serialization.JsonRequired] string Password); + +} diff --git a/scr/Messenger.Api/Models/Message.cs b/scr/Messenger.Api/Models/Message.cs new file mode 100644 index 00000000..6216ea7c --- /dev/null +++ b/scr/Messenger.Api/Models/Message.cs @@ -0,0 +1,17 @@ +using Microsoft.AspNetCore.Http.HttpResults; +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Message + { + public Guid Id { get; init; } + public Guid ChatId { get; init; } + public Guid SenderId { get; init; } + public string Text { get; init; } = String.Empty; + public DateTimeOffset CreatedAt { get; init; } + public Guid[] AttachmentIds { get; init; } = []; + } +} diff --git a/scr/Messenger.Api/Models/SessionResponse.cs b/scr/Messenger.Api/Models/SessionResponse.cs new file mode 100644 index 00000000..7c3b7bf1 --- /dev/null +++ b/scr/Messenger.Api/Models/SessionResponse.cs @@ -0,0 +1,7 @@ +namespace Messenger.Api.Models; + +public sealed record SessionResponse( + string Token, + string TokenType, + DateTimeOffset ExpiresAt, + User User); diff --git a/scr/Messenger.Api/Models/User.cs b/scr/Messenger.Api/Models/User.cs new file mode 100644 index 00000000..bb088c33 --- /dev/null +++ b/scr/Messenger.Api/Models/User.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class User + { + public Guid Id { get; init; } + public string Username { get; init; } = string.Empty; + public string DisplayName { get; init; } = string.Empty; + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Program.cs b/scr/Messenger.Api/Program.cs new file mode 100644 index 00000000..f8a8e92b --- /dev/null +++ b/scr/Messenger.Api/Program.cs @@ -0,0 +1,279 @@ +using Microsoft.AspNetCore.Diagnostics; +using Messenger.Api.Endpoints; +using Messenger.Api.Services; +using Messenger.Api.Data; +using System.Text.Json; +using Microsoft.EntityFrameworkCore; +using Microsoft.AspNetCore.Authentication; + +// Режим для Docker HEALTHCHECK: в образе aspnet нет curl, поэтому проверку выполняет само приложение. +if (args.Contains("--healthcheck")) +{ + var port = Environment.GetEnvironmentVariable("APP_PORT") ?? "8080"; + try + { + using var probe = new HttpClient { Timeout = TimeSpan.FromSeconds(2) }; + var probeResponse = await probe.GetAsync($"http://127.0.0.1:{port}/health/live"); + return probeResponse.IsSuccessStatusCode ? 0 : 1; + } + catch (Exception) + { + return 1; + } +} + +var builder = WebApplication.CreateBuilder(args); + +// SIGTERM: сначала drain (SHUTDOWN_DRAIN_SECONDS, /health/ready → 503, запросы ещё принимаются), затем слушатель +// закрывается и активные запросы получают не более 5 секунд. Итого < 10 секунд (лимит задания) и < stop_grace_period. +builder.Services.Configure(options => options.ShutdownTimeout = TimeSpan.FromSeconds(5)); + +// Настройки читаются лениво из IConfiguration (после Build), поэтому тесты могут задавать их через UseSetting. +builder.Services.AddSingleton(sp => DatabaseSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => AuthSessionOptions.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => CacheSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => DiagnosticsSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => InstanceSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => IdempotencySettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => S3Settings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => UploadSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddSingleton(sp => UploadCleanupSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddHostedService(); +builder.Services.AddSingleton(sp => +{ + var s3Settings = sp.GetRequiredService(); + return new S3AttachmentStorage(s3Settings); +}); +builder.Services.AddSingleton(); +builder.Services.AddHostedService(); +builder.Services.AddHttpContextAccessor(); +builder.Services.AddSingleton(); +builder.Services.AddDbContext((sp, options) => +{ + options.UseNpgsql(sp.GetRequiredService().ConnectionString) + .UseSnakeCaseNamingConvention(); + if (sp.GetRequiredService().Headers) + { + options.AddInterceptors(sp.GetRequiredService()); + } +}); +builder.Services.AddSingleton(sp => PasswordHashingSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddSingleton(sp => +{ + var settings = sp.GetRequiredService(); + return settings.Enabled + ? new ValkeyMessageHistoryCache(settings, sp.GetRequiredService>()) + : new NullMessageHistoryCache(); +}); +builder.Services.AddAuthentication(BearerAuth.Scheme) + .AddScheme(BearerAuth.Scheme, null); +builder.Services.AddAuthorization(); +builder.Services.ConfigureHttpJsonOptions(options => +{ + options.SerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.SnakeCaseLower; + options.SerializerOptions.Converters.Add(new UtcDateTimeOffsetJsonConverter()); + options.SerializerOptions.UnmappedMemberHandling = System.Text.Json.Serialization.JsonUnmappedMemberHandling.Disallow; + options.SerializerOptions.RespectNullableAnnotations = true; + // Web-настройки по умолчанию включают регистронезависимое сопоставление имён: контракт его не допускает. + options.SerializerOptions.PropertyNameCaseInsensitive = false; +}); + +var app = builder.Build(); + +// Режим one-shot миграции (`dotnet Messenger.Api.dll --migrate`): отдельный контейнер применяет схему и завершается. +// API-реплики схему не меняют, поэтому одновременный старт N реплик не создаёт гонку миграций. +if (args.Contains("--migrate")) +{ + using var migrationScope = app.Services.CreateScope(); + migrationScope.ServiceProvider.GetRequiredService().Database.Migrate(); + app.Logger.LogInformation("Migrations applied"); + return 0; +} + +if (args.Contains("--cleanup-uploads")) +{ + using var timeout = new CancellationTokenSource(TimeSpan.FromSeconds(25)); + var result = await app.Services.GetRequiredService().RunOnceAsync(timeout.Token); + Console.WriteLine(JsonSerializer.Serialize(result)); + return 0; +} + +// Только для локального запуска и тестов (MIGRATE_ON_START=true); в Compose выключено. +if (app.Services.GetRequiredService().MigrateOnStart) +{ + using var scope = app.Services.CreateScope(); + scope.ServiceProvider.GetRequiredService().Database.Migrate(); +} + +// Диагностика (только при DIAGNOSTIC_HEADERS=true): число SQL-команд EF Core за запрос — в заголовке X-Db-Queries. +if (app.Services.GetRequiredService().Headers) +{ + app.Use(async (context, next) => + { + var counter = new QueryCounter(); + context.Items[QueryCountingInterceptor.ItemKey] = counter; + context.Response.OnStarting(() => + { + context.Response.Headers["X-Db-Queries"] = Volatile.Read(ref counter.Count).ToString(); + return Task.CompletedTask; + }); + await next(); + }); +} + +// X-Instance-Id в каждом ответе API (включая ошибки и health). Заголовок ставится в OnStarting: UseExceptionHandler +// очищает заголовки, а этот обратный вызов срабатывает уже после очистки, перед отправкой ответа. +var instanceId = app.Services.GetRequiredService().InstanceId; +app.Use(async (context, next) => +{ + context.Response.OnStarting(() => + { + context.Response.Headers["X-Instance-Id"] = instanceId; + return Task.CompletedTask; + }); + await next(); +}); + +app.Use(async (context, next) => +{ + var requestId = Guid.NewGuid().ToString(); + context.Items["request_id"] = requestId; + context.Response.Headers["X-Request-Id"] = requestId; + await next(); +}); + +// Лог запроса: метод, путь, статус, время, request_id. Тело и query не логируются. +app.Use(async (context, next) => +{ + var logger = context.RequestServices.GetRequiredService().CreateLogger("Messenger.Requests"); + var started = System.Diagnostics.Stopwatch.GetTimestamp(); + try + { + await next(); + } + finally + { + logger.LogInformation( + "{Method} {Path} -> {Status} in {ElapsedMs:0.0} ms (request_id={RequestId})", + context.Request.Method, + context.Request.Path.Value, + context.Response.StatusCode, + System.Diagnostics.Stopwatch.GetElapsedTime(started).TotalMilliseconds, + context.Items["request_id"]); + } +}); + +app.UseExceptionHandler(errorApp => errorApp.Run(context => +{ + // В Development ошибки чтения запроса приходят исключением: сохраняем их 400/415 вместо 500. + var error = context.Features.Get()?.Error; + if (error is BadHttpRequestException { StatusCode: 413 } tooLarge) + return ApiErrors.Error(context, 413, "payload_too_large", "Файл превышает лимит размера").ExecuteAsync(context); + if (error is BadHttpRequestException { StatusCode: 400 or 415 } badRequest) + { + var (code, message) = badRequest.StatusCode == 415 + ? ("unsupported_media_type", "Требуется Content-Type: application/json") + : ("invalid_request", "Некорректный запрос"); + return ApiErrors.Error(context, badRequest.StatusCode, code, message).ExecuteAsync(context); + } + + // PostgreSQL недоступен или перегружен: ограниченный ответ 503 без внутренних деталей (стек и SQL только в логе). + if (DependencyFailures.IsDatabaseUnavailable(error) || error is Amazon.S3.AmazonS3Exception or HttpRequestException) + { + return ApiErrors.Error(context, 503, "unavailable", "Сервис временно недоступен").ExecuteAsync(context); + } + + return ApiErrors.Error(context, 500, "internal_error", "Внутренняя ошибка сервера").ExecuteAsync(context); +})); + +// Пустые ответы 400/404/415 (ошибки привязки, неизвестный маршрут) получают стандартное тело ошибки. +app.UseStatusCodePages(context => +{ + var http = context.HttpContext; + var (code, message) = http.Response.StatusCode switch + { + 400 => ("invalid_request", "Некорректный запрос"), + 404 => ("not_found", "Объект не найден"), + 415 => ("unsupported_media_type", "Требуется Content-Type: application/json"), + 413 => ("payload_too_large", "Файл превышает лимит размера"), + 503 => ("unavailable", "Сервис временно недоступен"), + _ => ("internal_error", "Ошибка запроса") + }; + return ApiErrors.Error(http, http.Response.StatusCode, code, message).ExecuteAsync(http); +}); + +// Аутентификация (Bearer) выполняется до выбора обработчика и разбора тела: 401 приоритетнее 400/404. +app.UseAuthentication(); +app.UseAuthorization(); + +app.MapGet("/health/live", () => +{ + return Results.Ok(new + { + status = "ok" + }); +}); + +// Готовность = API может обслуживать обязательный синхронный путь, а он требует PostgreSQL (сессии, данные, ключи +// идемпотентности), а загрузки требуют S3. Valkey не критичен: без него чтение идёт напрямую из PostgreSQL. После SIGTERM — всегда 503: +// балансировщик выводит экземпляр из ротации ещё до закрытия слушателя. Таймаут проверки (1 с) меньше таймаута +// проверки в HAProxy (2 с), чтобы зависшая БД давала явный 503, а не обрыв проверки. +app.MapGet("/health/ready", async (HttpContext context, MessengerDbContext db, ShutdownState shutdown, IAttachmentStorage storage) => +{ + if (shutdown.Draining) + { + return ApiErrors.Error(context, 503, "unavailable", "Экземпляр останавливается"); + } + + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(context.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(1)); + try + { + await storage.CheckAsync(timeout.Token); + return await db.Database.CanConnectAsync(timeout.Token) + ? Results.Ok(new { status = "ok" }) + : ApiErrors.Error(context, 503, "unavailable", "База данных недоступна"); + } + catch (OperationCanceledException) when (!context.RequestAborted.IsCancellationRequested) + { + return ApiErrors.Error(context, 503, "unavailable", "Зависимость недоступна"); + } + catch (Exception ex) when (ex is Amazon.S3.AmazonS3Exception or HttpRequestException) + { + return ApiErrors.Error(context, 503, "unavailable", "Хранилище недоступно"); + } +}); + +app.MapUserEndpoints(); +app.MapAuthEndpoints(); +app.MapChatEndpoints(); +app.MapMessageEndpoints(); +app.MapAttachmentEndpoints(); + + +app.Lifetime.ApplicationStarted.Register(() => + app.Logger.LogInformation("Messenger API started (instance {InstanceId}, version {Version})", + instanceId, Environment.GetEnvironmentVariable("APP_VERSION") ?? "dev")); +// ApplicationStopping выполняется синхронно ДО остановки Kestrel: пока этот обработчик спит, слушатель ещё открыт, +// а /health/ready уже отвечает 503. Так балансировщик (inter 1s, fall 2) успевает убрать экземпляр до обрыва соединений. +app.Lifetime.ApplicationStopping.Register(() => +{ + var shutdown = app.Services.GetRequiredService(); + var drain = app.Services.GetRequiredService().DrainDelay; + shutdown.StartDraining(); + app.Logger.LogInformation("SIGTERM received: readiness=503, draining {Seconds} s, then the listener closes", drain.TotalSeconds); + if (drain > TimeSpan.Zero) + { + Thread.Sleep(drain); + } +}); +app.Lifetime.ApplicationStopped.Register(() => app.Logger.LogInformation("Messenger API stopped")); + +app.Run(); +return 0; + +// Делает Program доступным для WebApplicationFactory в тестах. +public partial class Program { } diff --git a/scr/Messenger.Api/Properties/launchSettings.json b/scr/Messenger.Api/Properties/launchSettings.json new file mode 100644 index 00000000..1e19d965 --- /dev/null +++ b/scr/Messenger.Api/Properties/launchSettings.json @@ -0,0 +1,23 @@ +{ + "$schema": "https://json.schemastore.org/launchsettings.json", + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7165;http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/scr/Messenger.Api/Services/ApiErrors.cs b/scr/Messenger.Api/Services/ApiErrors.cs new file mode 100644 index 00000000..7348ac68 --- /dev/null +++ b/scr/Messenger.Api/Services/ApiErrors.cs @@ -0,0 +1,37 @@ +namespace Messenger.Api.Services; + +public static class ApiErrors +{ + public static int CodePoints(string value) => value.EnumerateRunes().Count(); + + // 401 с обязательным заголовком WWW-Authenticate (контракт: Basic для входа, Bearer для остального API). + public static IResult Unauthorized(HttpContext context, string challenge, string message) + { + context.Response.Headers.WWWAuthenticate = challenge; + return Error(context, 401, "unauthorized", message); + } + + public static IResult Error( + HttpContext context, + int statusCode, + string code, + string message) + { + var requestId = context.Items["request_id"]?.ToString() ?? context.TraceIdentifier; + + // UseExceptionHandler очищает заголовки ответа, поэтому выставляем X-Request-Id заново. + context.Response.Headers["X-Request-Id"] = requestId; + + return Results.Json( + new + { + error = new + { + code, + message, + request_id = requestId + } + }, + statusCode: statusCode); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/Services/Argon2PasswordHasher.cs b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs new file mode 100644 index 00000000..6b677d08 --- /dev/null +++ b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs @@ -0,0 +1,68 @@ +using Isopoh.Cryptography.Argon2; + +namespace Messenger.Api.Services; + +public sealed class Argon2PasswordHasher : IPasswordHasher +{ + // Минимум по рекомендации OWASP для Argon2id: m=19 MiB, t=2, p=1. Обоснование и выбор — в REPORT.md. + private const int TimeCost = 2; + private const int MemoryCostKiB = 19 * 1024; + private const int Parallelism = 1; + + // Каждое вычисление занимает ~19 MiB и ядро CPU: без лимита 100 параллельных входов = ~2 GiB памяти. + // Размер и время ожидания слотов задаются PASSWORD_HASH_CONCURRENCY / PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS. + private readonly SemaphoreSlim _slots; + private readonly TimeSpan _slotWaitTimeout; + + // Хеш от случайного пароля, который никто не знает. Нужен только для выравнивания времени при неизвестном username. + private readonly string _dummyHash; + + public Argon2PasswordHasher(PasswordHashingSettings settings) + { + _slots = new SemaphoreSlim(settings.MaxConcurrency, settings.MaxConcurrency); + _slotWaitTimeout = settings.QueueTimeout; + _dummyHash = HashCore(Convert.ToBase64String(System.Security.Cryptography.RandomNumberGenerator.GetBytes(32))); + } + + public async Task HashAsync(string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => HashCore(password), ct); + } + finally + { + _slots.Release(); + } + } + + public async Task VerifyAsync(string? hash, string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => + { + var ok = Argon2.Verify(hash ?? _dummyHash, password, secret: null, secureArrayCall: null); + return hash is not null && ok; + }, ct); + } + finally + { + _slots.Release(); + } + } + + private async Task AcquireSlotAsync(CancellationToken ct) + { + if (!await _slots.WaitAsync(_slotWaitTimeout, ct)) + { + throw new PasswordHasherBusyException(); + } + } + + // HybridAddressing — это Argon2id. Соль генерируется библиотекой и входит в возвращаемую строку. + private static string HashCore(string password) => + Argon2.Hash(password, TimeCost, MemoryCostKiB, Parallelism, Argon2Type.HybridAddressing); +} diff --git a/scr/Messenger.Api/Services/BearerAuth.cs b/scr/Messenger.Api/Services/BearerAuth.cs new file mode 100644 index 00000000..132d9bd8 --- /dev/null +++ b/scr/Messenger.Api/Services/BearerAuth.cs @@ -0,0 +1,91 @@ +using System.Security.Claims; +using System.Text.Encodings.Web; +using Messenger.Api.Data; +using Microsoft.AspNetCore.Authentication; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.Options; + +namespace Messenger.Api.Services; + +public static class BearerAuth +{ + public const string Scheme = "Bearer"; + public const string Challenge = "Bearer realm=\"messenger\""; + public const string SessionIdClaim = "session_id"; + + // Ровно один заголовок Authorization вида "Bearer "; иначе null (Basic и прочее здесь не принимаются). + public static string? ExtractToken(HttpRequest request) + { + if (request.Headers.Authorization.Count != 1) + { + return null; + } + + var value = request.Headers.Authorization[0]; + const string prefix = "Bearer "; + if (value is null || !value.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return null; + } + + var token = value[prefix.Length..].Trim(); + return token.Length == 0 ? null : token; + } + + public static Guid GetUserId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(ClaimTypes.NameIdentifier)!); + + public static Guid GetSessionId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(SessionIdClaim)!); +} + +// Стандартный обработчик аутентификации ASP.NET: превращает Bearer-токен в ClaimsPrincipal. +// Срабатывает до выбора и выполнения эндпоинта (в том числе до разбора тела), поэтому 401 всегда раньше 400/404. +public sealed class SessionAuthenticationHandler( + IOptionsMonitor options, + ILoggerFactory logger, + UrlEncoder encoder, + MessengerDbContext db) + : AuthenticationHandler(options, logger, encoder) +{ + protected override async Task HandleAuthenticateAsync() + { + var token = BearerAuth.ExtractToken(Request); + if (token is null) + { + return AuthenticateResult.NoResult(); + } + + var hash = SessionTokens.Hash(token); + var now = Timestamps.UtcNowMilliseconds(); + + // Неизвестный, истёкший и отозванный токен неразличимы для клиента: во всех случаях это один 401. + var session = await db.Sessions + .AsNoTracking() + .Where(s => s.TokenHash == hash && s.RevokedAt == null && s.ExpiresAt > now) + .Select(s => new { s.Id, s.UserId }) + .FirstOrDefaultAsync(Context.RequestAborted); + + if (session is null) + { + return AuthenticateResult.Fail("Недействительная сессия"); + } + + var identity = new ClaimsIdentity( + [ + new Claim(ClaimTypes.NameIdentifier, session.UserId.ToString()), + new Claim(BearerAuth.SessionIdClaim, session.Id.ToString()) + ], + BearerAuth.Scheme); + + return AuthenticateResult.Success( + new AuthenticationTicket(new ClaimsPrincipal(identity), BearerAuth.Scheme)); + } + + protected override async Task HandleChallengeAsync(AuthenticationProperties properties) + { + await ApiErrors + .Unauthorized(Context, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + .ExecuteAsync(Context); + } +} diff --git a/scr/Messenger.Api/Services/Cursors.cs b/scr/Messenger.Api/Services/Cursors.cs new file mode 100644 index 00000000..166d9e7f --- /dev/null +++ b/scr/Messenger.Api/Services/Cursors.cs @@ -0,0 +1,56 @@ +using System.Text; + +namespace Messenger.Api.Services; + +// Непрозрачный для клиента cursor keyset-пагинации: (created_at, id) последнего элемента страницы. +// Привязан к ресурсу (scope): cursor от другого списка или чата отклоняется как 400. +public static class Cursors +{ + public const string Chats = "chats"; + + public static string Messages(Guid chatId) => $"messages/{chatId:D}"; + + public static string Encode(string scope, DateTimeOffset createdAt, Guid id) => + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{scope}|{createdAt.UtcTicks}:{id:D}")); + + // cursor == null — первая страница (успех, value == null). Любая ошибка формата или чужой scope — false. + public static bool TryDecode(string? cursor, string scope, out (DateTimeOffset CreatedAt, Guid Id)? value) + { + value = null; + if (cursor is null) + { + return true; + } + + if (cursor.Length == 0) + { + return false; + } + + try + { + var decoded = new UTF8Encoding(false, throwOnInvalidBytes: true).GetString(Convert.FromBase64String(cursor)); + var scoped = decoded.Split('|', 2); + if (scoped.Length != 2 || scoped[0] != scope) + { + return false; + } + + var parts = scoped[1].Split(':', 2); + if (parts.Length != 2 || + !long.TryParse(parts[0], out var ticks) || + ticks < DateTimeOffset.MinValue.UtcTicks || ticks > DateTimeOffset.MaxValue.UtcTicks || + !Guid.TryParse(parts[1], out var id)) + { + return false; + } + + value = (new DateTimeOffset(ticks, TimeSpan.Zero), id); + return true; + } + catch (Exception ex) when (ex is FormatException or ArgumentException or DecoderFallbackException) + { + return false; + } + } +} diff --git a/scr/Messenger.Api/Services/Diagnostics.cs b/scr/Messenger.Api/Services/Diagnostics.cs new file mode 100644 index 00000000..130b0343 --- /dev/null +++ b/scr/Messenger.Api/Services/Diagnostics.cs @@ -0,0 +1,90 @@ +using System.Data.Common; +using Microsoft.EntityFrameworkCore.Diagnostics; +using Npgsql; + +namespace Messenger.Api.Services; + +public sealed class QueryCounter +{ + public int Count; +} + +// Считает SQL-команды, выполненные EF Core в рамках текущего HTTP-запроса (для измерения «запросов к БД на запрос API»). +// Включается только при DIAGNOSTIC_HEADERS=true. Команда ReserveMessageSlot (сырой NpgsqlCommand) не учитывается. +public sealed class QueryCountingInterceptor(IHttpContextAccessor accessor) : DbCommandInterceptor +{ + public const string ItemKey = "diagnostics.query_counter"; + + private void Count() + { + if (accessor.HttpContext?.Items[ItemKey] is QueryCounter counter) + { + Interlocked.Increment(ref counter.Count); + } + } + + public override InterceptionResult ReaderExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ReaderExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult NonQueryExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> NonQueryExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult ScalarExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ScalarExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } +} + +public static class DependencyFailures +{ + // Недоступность или перегрузка PostgreSQL (нет соединения, таймаут, исчерпан пул, остановка сервера) — это 503, + // а не 500: ошибка ограничена, внутренние детали не раскрываются, запрос не принимается как доверенный. + public static bool IsDatabaseUnavailable(Exception? error) + { + for (var e = error; e is not null; e = e.InnerException) + { + switch (e) + { + case PostgresException pg: + // 08 — соединение, 53 — нехватка ресурсов, 57 — вмешательство оператора (shutdown и т.п.) + if (pg.SqlState.StartsWith("08") || pg.SqlState.StartsWith("53") || pg.SqlState.StartsWith("57")) + { + return true; + } + + break; + case NpgsqlException: + case TimeoutException: + case System.Net.Sockets.SocketException: + return true; + } + } + + return false; + } +} diff --git a/scr/Messenger.Api/Services/IAttachmentStorage.cs b/scr/Messenger.Api/Services/IAttachmentStorage.cs new file mode 100644 index 00000000..c68defc5 --- /dev/null +++ b/scr/Messenger.Api/Services/IAttachmentStorage.cs @@ -0,0 +1,20 @@ +namespace Messenger.Api.Services; + +public interface IAttachmentStorage +{ + Task CheckAsync(CancellationToken ct); + Task PutAsync( + string objectKey, + Stream content, + string contentType, + CancellationToken ct); + + Task CopyToAsync( + string objectKey, + Stream destination, + CancellationToken ct); + + Task DeleteAsync( + string objectKey, + CancellationToken ct); +} diff --git a/scr/Messenger.Api/Services/IPasswordHasher.cs b/scr/Messenger.Api/Services/IPasswordHasher.cs new file mode 100644 index 00000000..fb2a91d3 --- /dev/null +++ b/scr/Messenger.Api/Services/IPasswordHasher.cs @@ -0,0 +1,18 @@ +namespace Messenger.Api.Services; + +public interface IPasswordHasher +{ + /// PHC-строка Argon2id (соль и параметры внутри). Бросает , если слот не освободился вовремя. + Task HashAsync(string password, CancellationToken ct); + + /// + /// == null означает «пользователя нет»: проверка всё равно выполняется (против заглушки), + /// чтобы время ответа не раскрывало существование username. + /// + Task VerifyAsync(string? hash, string password, CancellationToken ct); +} + +public sealed class PasswordHasherBusyException : Exception +{ + public PasswordHasherBusyException() : base("Слишком много одновременных вычислений хеша пароля") { } +} diff --git a/scr/Messenger.Api/Services/IdempotencyKeys.cs b/scr/Messenger.Api/Services/IdempotencyKeys.cs new file mode 100644 index 00000000..8696b12e --- /dev/null +++ b/scr/Messenger.Api/Services/IdempotencyKeys.cs @@ -0,0 +1,147 @@ +using System.Security.Cryptography; +using System.Text; +using System.Text.RegularExpressions; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Npgsql; + +namespace Messenger.Api.Services; + +public enum ClaimResult +{ + Claimed, // ключ наш: можно выполнять побочный эффект (вставку сообщения) в этой же транзакции + Replay, // такой ключ с тем же телом уже выполнен: вернуть сохранённое сообщение + Conflict // такой ключ уже использован с другим телом +} + +public static partial class IdempotencyKeys +{ + public const string HeaderName = "Idempotency-Key"; + + [GeneratedRegex("^[A-Za-z0-9._:-]{1,128}$")] + private static partial Regex KeyFormat(); + + // Ровно один заголовок допустимого формата; иначе null (→ 400). + public static string? ReadKey(HttpRequest request) + { + var values = request.Headers[HeaderName]; + return values.Count == 1 && values[0] is { } key && KeyFormat().IsMatch(key) ? key : null; + } + + // Отпечаток смысла запроса, а не его байтов: порядок ключей JSON и пробелы не влияют, потому что хешируются + // уже разобранные поля. Для текстового сообщения это сам text (длина кодируется, чтобы поля не склеивались). + public static byte[] RequestHash(string text, Guid[]? attachmentIds = null) => + // Пустой список сохраняет отпечаток старых текстовых запросов lab3. + SHA256.HashData(Encoding.UTF8.GetBytes($"message\n{text.Length}\n{text}" + + (attachmentIds is { Length: > 0 } ? "\nattachments\n" + string.Join(",", attachmentIds.Select(x => x.ToString("N"))) : ""))); + + // Атомарно «занимает» ключ в транзакции вызывающего. Ключевое свойство — INSERT ... ON CONFLICT: + // * ключа нет → строка вставляется, мы владеем ключом (Claimed); + // * ключ вставила другая, ещё не завершённая транзакция (в том числе на другой реплике) → INSERT ЖДЁТ её + // COMMIT/ROLLBACK на уникальном индексе. После COMMIT вставки не происходит, и мы читаем её результат (Replay); + // после ROLLBACK (например, 5xx у конкурента) вставка проходит, и ключ достаётся нам; + // * ключ есть, но истёк → перезахватывается (DO UPDATE ... WHERE expires_at <= now). + // Поэтому claim и сообщение коммитятся вместе: запись «ключ → сообщение» не может появиться без сообщения и наоборот. + public static async Task<(ClaimResult Result, Guid MessageId)> ClaimAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid userId, + Guid chatId, + string key, + byte[] requestHash, + Guid newMessageId, + TimeSpan ttl, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + var transaction = (NpgsqlTransaction)tx.GetDbTransaction(); + var now = Timestamps.UtcNowMilliseconds(); + + await using (var insert = new NpgsqlCommand(""" + INSERT INTO idempotency_keys (user_id, chat_id, key, request_hash, message_id, created_at, expires_at) + VALUES (@user, @chat, @key, @hash, @message, @now, @expires) + ON CONFLICT (user_id, chat_id, key) DO UPDATE + SET request_hash = EXCLUDED.request_hash, + message_id = EXCLUDED.message_id, + created_at = EXCLUDED.created_at, + expires_at = EXCLUDED.expires_at + WHERE idempotency_keys.expires_at <= EXCLUDED.created_at + RETURNING 1 + """, connection, transaction)) + { + insert.Parameters.AddWithValue("user", userId); + insert.Parameters.AddWithValue("chat", chatId); + insert.Parameters.AddWithValue("key", key); + insert.Parameters.AddWithValue("hash", requestHash); + insert.Parameters.AddWithValue("message", newMessageId); + insert.Parameters.AddWithValue("now", now); + insert.Parameters.AddWithValue("expires", now + ttl); + + if (await insert.ExecuteScalarAsync(ct) is not null) + { + return (ClaimResult.Claimed, newMessageId); + } + } + + await using var select = new NpgsqlCommand(""" + SELECT request_hash, message_id FROM idempotency_keys + WHERE user_id = @user AND chat_id = @chat AND key = @key + """, connection, transaction); + select.Parameters.AddWithValue("user", userId); + select.Parameters.AddWithValue("chat", chatId); + select.Parameters.AddWithValue("key", key); + + await using var reader = await select.ExecuteReaderAsync(ct); + if (!await reader.ReadAsync(ct)) + { + // Строку успел удалить очиститель между INSERT и SELECT: крайне редко; клиент безопасно повторит запрос. + throw new TimeoutException("idempotency key disappeared during claim"); + } + + var storedHash = reader.GetFieldValue(0); + var storedMessage = reader.GetGuid(1); + return CryptographicOperations.FixedTimeEquals(storedHash, requestHash) + ? (ClaimResult.Replay, storedMessage) + : (ClaimResult.Conflict, storedMessage); + } +} + +// Периодически удаляет истёкшие ключи. Запускается на каждой реплике; параллельные DELETE безопасны +// (физически строку удалит одна из них, остальные удалят 0). +public sealed class IdempotencyCleaner( + IServiceScopeFactory scopes, + IdempotencySettings settings, + ILogger logger) : BackgroundService +{ + protected override async Task ExecuteAsync(CancellationToken stoppingToken) + { + using var timer = new PeriodicTimer(settings.CleanupInterval); + try + { + while (await timer.WaitForNextTickAsync(stoppingToken)) + { + try + { + using var scope = scopes.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var now = Timestamps.UtcNowMilliseconds(); + var removed = await db.IdempotencyKeys.Where(k => k.ExpiresAt <= now).ExecuteDeleteAsync(stoppingToken); + if (removed > 0) + { + logger.LogInformation("Удалено истёкших ключей идемпотентности: {Count}", removed); + } + } + catch (Exception ex) when (ex is not OperationCanceledException) + { + logger.LogWarning("Очистка ключей идемпотентности не удалась ({Error}); повтор через {Seconds} с", + ex.GetType().Name, settings.CleanupInterval.TotalSeconds); + } + } + } + catch (OperationCanceledException) + { + // остановка приложения + } + } +} diff --git a/scr/Messenger.Api/Services/LimitedDownloadStream.cs b/scr/Messenger.Api/Services/LimitedDownloadStream.cs new file mode 100644 index 00000000..ed0d5ad7 --- /dev/null +++ b/scr/Messenger.Api/Services/LimitedDownloadStream.cs @@ -0,0 +1,16 @@ +namespace Messenger.Api.Services; + +// Ограничивает память даже при неожиданном размере объекта в S3. +public sealed class LimitedDownloadStream(long maximum) : MemoryStream +{ + private void Check(int count) + { + if (Position + count > maximum) throw new IOException("Object exceeds its metadata size"); + } + public override void Write(byte[] buffer, int offset, int count) { Check(count); base.Write(buffer, offset, count); } + public override void Write(ReadOnlySpan buffer) { Check(buffer.Length); base.Write(buffer); } + public override Task WriteAsync(byte[] buffer, int offset, int count, CancellationToken ct) + { Check(count); return base.WriteAsync(buffer, offset, count, ct); } + public override ValueTask WriteAsync(ReadOnlyMemory buffer, CancellationToken ct = default) + { Check(buffer.Length); return base.WriteAsync(buffer, ct); } +} diff --git a/scr/Messenger.Api/Services/MessageHistoryCache.cs b/scr/Messenger.Api/Services/MessageHistoryCache.cs new file mode 100644 index 00000000..efd5525a --- /dev/null +++ b/scr/Messenger.Api/Services/MessageHistoryCache.cs @@ -0,0 +1,102 @@ +using StackExchange.Redis; + +namespace Messenger.Api.Services; + +public enum CacheStatus +{ + Disabled, // кэш не настроен + Hit, + Miss, + Bypass // кэш настроен, но недоступен: запрос обслужен напрямую из PostgreSQL +} + +// Кэш страниц истории. Источник истины — PostgreSQL; кэш лишь ускоряет чтение и никогда не обязателен. +// Согласованность: версия истории чата (chats.history_version) входит в ключ, а версия читается из PostgreSQL +// при каждом запросе (см. MessageEndpoints). Запись увеличивает версию в своей транзакции, поэтому +// после подтверждённой записи ключ меняется, и устаревшая страница недостижима — явная инвалидация не нужна. +// Старые ключи удаляются по TTL (CACHE_TTL_SECONDS) и вытесняются политикой maxmemory. +public interface IMessageHistoryCache +{ + Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct); + Task SetAsync(string key, string json, CancellationToken ct); +} + +public sealed class NullMessageHistoryCache : IMessageHistoryCache +{ + public Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) => + Task.FromResult<(string?, CacheStatus)>((null, CacheStatus.Disabled)); + + public Task SetAsync(string key, string json, CancellationToken ct) => Task.CompletedTask; +} + +public sealed class ValkeyMessageHistoryCache : IMessageHistoryCache, IDisposable +{ + // После ошибки кэш пропускается на это время, чтобы каждый запрос не ждал таймаут недоступного сервера. + private static readonly TimeSpan BypassWindow = TimeSpan.FromSeconds(5); + + private readonly ConnectionMultiplexer _connection; + private readonly TimeSpan _ttl; + private readonly ILogger _logger; + private long _bypassUntilTicks; + + public ValkeyMessageHistoryCache(CacheSettings settings, ILogger logger) + { + var options = ConfigurationOptions.Parse(settings.Connection!); + // Недоступный кэш не должен ронять ни старт, ни запросы: короткие таймауты, подключение в фоне. + options.AbortOnConnectFail = false; + options.ConnectTimeout = 500; + options.SyncTimeout = 200; + options.AsyncTimeout = 200; + options.ConnectRetry = 1; + _connection = ConnectionMultiplexer.Connect(options); + _ttl = settings.Ttl; + _logger = logger; + } + + public async Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) + { + if (IsBypassed()) + { + return (null, CacheStatus.Bypass); + } + + try + { + var value = await _connection.GetDatabase().StringGetAsync(key); + return value.IsNull ? (null, CacheStatus.Miss) : ((string?)value, CacheStatus.Hit); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + return (null, CacheStatus.Bypass); + } + } + + public async Task SetAsync(string key, string json, CancellationToken ct) + { + if (IsBypassed()) + { + return; + } + + try + { + await _connection.GetDatabase().StringSetAsync(key, json, _ttl); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + } + } + + private bool IsBypassed() => Environment.TickCount64 < Interlocked.Read(ref _bypassUntilTicks); + + private void StartBypass(Exception ex) + { + Interlocked.Exchange(ref _bypassUntilTicks, Environment.TickCount64 + (long)BypassWindow.TotalMilliseconds); + _logger.LogWarning("Кэш недоступен ({Error}); чтение идёт напрямую из PostgreSQL ближайшие {Seconds} с", + ex.GetType().Name, BypassWindow.TotalSeconds); + } + + public void Dispose() => _connection.Dispose(); +} diff --git a/scr/Messenger.Api/Services/PngIntegrity.cs b/scr/Messenger.Api/Services/PngIntegrity.cs new file mode 100644 index 00000000..4011b614 --- /dev/null +++ b/scr/Messenger.Api/Services/PngIntegrity.cs @@ -0,0 +1,56 @@ +using System.Buffers.Binary; +using System.IO.Compression; + +namespace Messenger.Api.Services; + +// Дополняет декодер: проверяет границы и CRC всех PNG chunks, включая IDAT. +public static class PngIntegrity +{ + private static readonly uint[] Table = Enumerable.Range(0, 256).Select(i => + { + uint c = (uint)i; + for (var bit = 0; bit < 8; bit++) c = (c & 1) != 0 ? 0xedb88320U ^ (c >> 1) : c >> 1; + return c; + }).ToArray(); + + public static async Task ValidateAsync(Stream stream, long maxDecodedBytes, CancellationToken ct) + { + stream.Position = 8; + var header = new byte[8]; + var buffer = new byte[65536]; + var checksum = new byte[4]; + using var compressed = new MemoryStream(); // IDAT не больше уже ограниченного файла (10 MiB). + while (stream.Position < stream.Length) + { + await stream.ReadExactlyAsync(header, ct); + var length = BinaryPrimitives.ReadUInt32BigEndian(header); + if (length > stream.Length - stream.Position - 4) throw new InvalidDataException("Invalid PNG chunk"); + uint crc = uint.MaxValue; + for (var i = 4; i < 8; i++) crc = Table[(crc ^ header[i]) & 255] ^ (crc >> 8); + long remaining = length; + while (remaining > 0) + { + var count = (int)Math.Min(buffer.Length, remaining); + await stream.ReadExactlyAsync(buffer.AsMemory(0, count), ct); + if (header.AsSpan(4, 4).SequenceEqual("IDAT"u8)) + await compressed.WriteAsync(buffer.AsMemory(0, count), ct); + for (var i = 0; i < count; i++) crc = Table[(crc ^ buffer[i]) & 255] ^ (crc >> 8); + remaining -= count; + } + await stream.ReadExactlyAsync(checksum, ct); + if ((crc ^ uint.MaxValue) != BinaryPrimitives.ReadUInt32BigEndian(checksum)) + throw new InvalidDataException("Invalid PNG checksum"); + } + // stbi распаковывает PNG до проверки длины пикселей: сначала проверяем + // размер zlib-потока самостоятельно, не выделяя память под распаковку. + compressed.Position = 0; + using var zlib = new ZLibStream(compressed, CompressionMode.Decompress); + long decoded = 0; + int read; + while ((read = await zlib.ReadAsync(buffer, ct)) != 0) + { + decoded += read; + if (decoded > maxDecodedBytes) throw new InvalidDataException("PNG decompression exceeds dimensions"); + } + } +} diff --git a/scr/Messenger.Api/Services/S3AttachmentStorage.cs b/scr/Messenger.Api/Services/S3AttachmentStorage.cs new file mode 100644 index 00000000..884a588e --- /dev/null +++ b/scr/Messenger.Api/Services/S3AttachmentStorage.cs @@ -0,0 +1,71 @@ +using Amazon.Runtime; +using Amazon.S3; +using Amazon.S3.Model; + +namespace Messenger.Api.Services; + +public sealed class S3AttachmentStorage : IAttachmentStorage, IDisposable +{ + private readonly AmazonS3Client _client; + private readonly string _bucket; + + public S3AttachmentStorage(S3Settings settings) + { + var config = new AmazonS3Config + { + ServiceURL = settings.Endpoint, + ForcePathStyle = true, + AuthenticationRegion = settings.Region, + Timeout = TimeSpan.FromSeconds(15), + MaxErrorRetry = 1 + }; + + var credentials = new BasicAWSCredentials(settings.AccessKey, settings.SecretKey); + _client = new AmazonS3Client(credentials, config); + + _bucket = settings.Bucket; + } + + public async Task PutAsync(string objectKey, Stream content, string contentType, CancellationToken ct) + { + var request = new PutObjectRequest + { + BucketName = _bucket, + Key = objectKey, + InputStream = content, + ContentType = contentType, + // Поток принадлежит вызывающему коду, а не SDK. + AutoCloseStream = false + }; + + await _client.PutObjectAsync(request, ct); + } + + public async Task CopyToAsync(string objectKey, Stream destination, CancellationToken ct) + { + var request = new GetObjectRequest + { + BucketName = _bucket, + Key = objectKey + }; + + using var response = await _client.GetObjectAsync(request, ct); + await response.ResponseStream.CopyToAsync(destination, ct); + } + + public async Task DeleteAsync(string objectKey, CancellationToken ct) + { + var request = new DeleteObjectRequest + { + BucketName = _bucket, + Key = objectKey + }; + + await _client.DeleteObjectAsync(request, ct); + } + + public void Dispose() => _client.Dispose(); + + public async Task CheckAsync(CancellationToken ct) => + await _client.GetBucketLocationAsync(new GetBucketLocationRequest { BucketName = _bucket }, ct); +} diff --git a/scr/Messenger.Api/Services/SessionTokens.cs b/scr/Messenger.Api/Services/SessionTokens.cs new file mode 100644 index 00000000..f8a0669e --- /dev/null +++ b/scr/Messenger.Api/Services/SessionTokens.cs @@ -0,0 +1,16 @@ +using System.Security.Cryptography; +using System.Text; + +namespace Messenger.Api.Services; + +public static class SessionTokens +{ + // 32 случайных байта = 256 бит энтропии (контракт: не менее 256). В base64url это 43 символа. + public static string Generate() => + Convert.ToBase64String(RandomNumberGenerator.GetBytes(32)) + .TrimEnd('=').Replace('+', '-').Replace('/', '_'); + + // В БД хранится только SHA-256 токена. Быстрый хеш здесь уместен: токен случайный и длинный, подбирать нечего + // (в отличие от пароля, который выбирает человек и который поэтому хешируется медленным Argon2id). + public static byte[] Hash(string token) => SHA256.HashData(Encoding.UTF8.GetBytes(token)); +} diff --git a/scr/Messenger.Api/Services/Settings.cs b/scr/Messenger.Api/Services/Settings.cs new file mode 100644 index 00000000..2928ab9f --- /dev/null +++ b/scr/Messenger.Api/Services/Settings.cs @@ -0,0 +1,166 @@ +namespace Messenger.Api.Services; + +// Все настройки читаются из IConfiguration (переменные окружения и, в тестах, UseSetting), а не напрямую из окружения: +// так одно приложение можно поднять с разными настройками в одном процессе. Секреты передаются файлами (*_FILE). + +public sealed record DatabaseSettings(string ConnectionString) +{ + public static DatabaseSettings From(IConfiguration configuration) + { + var file = configuration["DATABASE_URL_FILE"] + ?? throw new InvalidOperationException("DATABASE_URL_FILE не задан"); + + var builder = new Npgsql.NpgsqlConnectionStringBuilder(File.ReadAllText(file).Trim()) + { + Pooling = true, + MinPoolSize = 1, + // Ограниченный пул: больше MaxPoolSize соединений от одного экземпляра не открывается, + // ожидающие запросы ждут не дольше Timeout и затем получают 503. + MaxPoolSize = configuration.GetValue("DB_MAX_POOL_SIZE", 20), + Timeout = configuration.GetValue("DB_CONNECT_TIMEOUT_SECONDS", 5), + CommandTimeout = configuration.GetValue("DB_COMMAND_TIMEOUT_SECONDS", 5) + }; + return new DatabaseSettings(builder.ConnectionString); + } +} + +public sealed record S3Settings(string Bucket, string Endpoint, string Region, string AccessKey, string SecretKey) +{ + public static S3Settings From(IConfiguration configuration) + { + string Required(string name) => !string.IsNullOrWhiteSpace(configuration[name]) + ? configuration[name]!.Trim() + : throw new InvalidOperationException($"{name} не задан"); + + string ReadSecret(string name) + { + var value = File.ReadAllText(Required(name)).Trim(); + return value.Length > 0 ? value + : throw new InvalidOperationException($"Файл {name} пуст"); + } + + var endpoint = Required("S3_ENDPOINT"); + if (!Uri.TryCreate(endpoint, UriKind.Absolute, out var uri) || + uri.Scheme is not ("http" or "https")) + { + throw new InvalidOperationException("S3_ENDPOINT должен быть HTTP/HTTPS URL"); + } + + return new S3Settings(Required("S3_BUCKET"), endpoint, + configuration["S3_REGION"]?.Trim() is { Length: > 0 } region ? region : "us-east-1", + ReadSecret("S3_ACCESS_KEY_ID_FILE"), ReadSecret("S3_SECRET_ACCESS_KEY_FILE")); + } + + public override string ToString() => $"S3Settings {{ Bucket = {Bucket}, Endpoint = {Endpoint}, Region = {Region} }}"; +} + +public sealed record AuthSessionOptions(TimeSpan Ttl) +{ + // SESSION_TTL_SECONDS: по умолчанию 3600; в тесте истечения допустимо 2. Неверное значение — ошибка старта, а не молчаливый дефолт. + public static AuthSessionOptions From(IConfiguration configuration) + { + var raw = configuration["SESSION_TTL_SECONDS"]; + if (string.IsNullOrWhiteSpace(raw)) + { + return new AuthSessionOptions(TimeSpan.FromSeconds(3600)); + } + + if (!int.TryParse(raw, out var seconds) || seconds < 1) + { + throw new InvalidOperationException("SESSION_TTL_SECONDS должен быть положительным целым числом"); + } + + return new AuthSessionOptions(TimeSpan.FromSeconds(seconds)); + } +} + +// Ограничитель Argon2: сколько хешей считается одновременно и сколько запрос ждёт свободный слот, прежде чем получить 503. +// Один хеш занимает ~19 MiB и ядро CPU, поэтому без лимита пачка регистраций исчерпала бы память. +public sealed record PasswordHashingSettings(int MaxConcurrency, TimeSpan QueueTimeout) +{ + public static PasswordHashingSettings From(IConfiguration configuration) + { + var concurrency = configuration.GetValue("PASSWORD_HASH_CONCURRENCY", 4); + var timeoutSeconds = configuration.GetValue("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", 2.0); + if (concurrency < 1 || timeoutSeconds < 0) + { + throw new InvalidOperationException("PASSWORD_HASH_CONCURRENCY >= 1 и PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS >= 0"); + } + + return new PasswordHashingSettings(concurrency, TimeSpan.FromSeconds(timeoutSeconds)); + } +} + +// Кэш необязателен: без CACHE_URL_FILE / CACHE_CONNECTION приложение работает только на PostgreSQL. +public sealed record CacheSettings(string? Connection, TimeSpan Ttl) +{ + public bool Enabled => !string.IsNullOrWhiteSpace(Connection); + + public static CacheSettings From(IConfiguration configuration) + { + var connection = configuration["CACHE_CONNECTION"]; + var file = configuration["CACHE_URL_FILE"]; + if (!string.IsNullOrWhiteSpace(file) && File.Exists(file)) + { + connection = File.ReadAllText(file).Trim(); + } + + return new CacheSettings(connection, TimeSpan.FromSeconds(configuration.GetValue("CACHE_TTL_SECONDS", 300))); + } +} + +// Диагностические заголовки X-Cache и X-Db-Queries для экспериментов; в обычной работе выключены. +public sealed record DiagnosticsSettings(bool Headers) +{ + public static DiagnosticsSettings From(IConfiguration configuration) => + new(configuration.GetValue("DIAGNOSTIC_HEADERS", false)); +} + +// Идентичность и жизненный цикл экземпляра (lab3). +// InstanceId — значение X-Instance-Id. В Docker hostname контейнера = первые 12 символов его ID, поэтому +// stop-one.sh по заголовку находит нужный контейнер. DrainDelay — пауза между SIGTERM и закрытием слушателя: +// за это время /health/ready уже отвечает 503, и балансировщик успевает вывести экземпляр из ротации. +// MigrateOnStart по умолчанию выключен: миграции выполняет отдельный one-shot контейнер (--migrate), а не гонка реплик. +public sealed record InstanceSettings(string InstanceId, TimeSpan DrainDelay, bool MigrateOnStart) +{ + public static InstanceSettings From(IConfiguration configuration) + { + var id = configuration["INSTANCE_ID"]; + if (string.IsNullOrWhiteSpace(id)) + { + id = Environment.MachineName; + } + + var drainSeconds = configuration.GetValue("SHUTDOWN_DRAIN_SECONDS", 3.0); + if (drainSeconds < 0) + { + throw new InvalidOperationException("SHUTDOWN_DRAIN_SECONDS должен быть >= 0"); + } + + return new InstanceSettings(id, TimeSpan.FromSeconds(drainSeconds), configuration.GetValue("MIGRATE_ON_START", false)); + } +} + +// Время хранения результата идемпотентной отправки сообщения (контракт: не менее 24 часов). +public sealed record IdempotencySettings(TimeSpan Ttl, TimeSpan CleanupInterval) +{ + public static IdempotencySettings From(IConfiguration configuration) + { + var ttl = configuration.GetValue("IDEMPOTENCY_TTL_SECONDS", 86400); + var cleanup = configuration.GetValue("IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS", 300); + if (ttl < 1 || cleanup < 1) + { + throw new InvalidOperationException("IDEMPOTENCY_TTL_SECONDS и IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS должны быть положительными"); + } + + return new IdempotencySettings(TimeSpan.FromSeconds(ttl), TimeSpan.FromSeconds(cleanup)); + } +} + +// Признак «экземпляр останавливается»: после SIGTERM /health/ready отвечает 503, а уже принятые запросы дорабатывают. +public sealed class ShutdownState +{ + private volatile bool _draining; + public bool Draining => _draining; + public void StartDraining() => _draining = true; +} diff --git a/scr/Messenger.Api/Services/Timestamps.cs b/scr/Messenger.Api/Services/Timestamps.cs new file mode 100644 index 00000000..d9601015 --- /dev/null +++ b/scr/Messenger.Api/Services/Timestamps.cs @@ -0,0 +1,13 @@ +namespace Messenger.Api.Services; + +public static class Timestamps +{ + // Единая точность времени для хранения, сортировки, cursor и JSON-ответа: миллисекунды. + // Клиент видит время с точностью до миллисекунды, поэтому порядок (created_at, id) должен + // определяться теми же значениями, которые он видит. + public static DateTimeOffset UtcNowMilliseconds() + { + var ticks = DateTimeOffset.UtcNow.UtcTicks; + return new DateTimeOffset(ticks - ticks % TimeSpan.TicksPerMillisecond, TimeSpan.Zero); + } +} diff --git a/scr/Messenger.Api/Services/UploadCleanup.cs b/scr/Messenger.Api/Services/UploadCleanup.cs new file mode 100644 index 00000000..5db0fa07 --- /dev/null +++ b/scr/Messenger.Api/Services/UploadCleanup.cs @@ -0,0 +1,90 @@ +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Services; + +public sealed record UploadCleanupSettings(TimeSpan Grace, TimeSpan Interval) +{ + public static UploadCleanupSettings From(IConfiguration configuration) + { + var grace = configuration.GetValue("UPLOAD_CLEANUP_GRACE_SECONDS", 300); + var interval = configuration.GetValue("UPLOAD_CLEANUP_INTERVAL_SECONDS", 30); + // Grace > HTTP timeout 30 с + SDK retry/таймауты + запас на отмену. + if (grace < 120 || interval < 1) + throw new InvalidOperationException("Cleanup: grace >= 120, interval >= 1"); + return new(TimeSpan.FromSeconds(grace), TimeSpan.FromSeconds(interval)); + } +} + +public sealed record UploadCleanupResult(int Scanned, int Deleted, int Protected, int Failed); + +public sealed class UploadCleanup(IServiceScopeFactory scopes, UploadCleanupSettings settings, ILogger logger) +{ + public async Task RunOnceAsync(CancellationToken ct) + { + using var scope = scopes.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var storage = scope.ServiceProvider.GetRequiredService(); + using var deadline = CancellationTokenSource.CreateLinkedTokenSource(ct); + deadline.CancelAfter(TimeSpan.FromSeconds(20)); + ct = deadline.Token; + await using var tx = await db.Database.BeginTransactionAsync(ct); + // Несколько реплик не очищают одну запись одновременно. Финализация upload + // блокирует ту же строку и запрещена после истечения lease. + var intents = await db.UploadIntents.FromSqlRaw(""" + SELECT * FROM upload_intents + WHERE expires_at <= clock_timestamp() AND next_attempt_at <= clock_timestamp() + ORDER BY next_attempt_at, id LIMIT 16 FOR UPDATE SKIP LOCKED + """).ToListAsync(ct); + int deleted = 0, protectedCount = 0, failed = 0; + foreach (var intent in intents) + { + if (await db.Attachments.AsNoTracking().AnyAsync(a => a.ObjectKey == intent.ObjectKey, ct)) + { + db.UploadIntents.Remove(intent); // Опубликованный объект никогда не удаляем. + protectedCount++; + continue; + } + if (intent.ObjectKey != $"originals/{intent.Id:N}") + throw new InvalidOperationException("Invalid cleanup object key"); + intent.NextAttemptAt = DateTimeOffset.UtcNow + settings.Interval; + try + { + await storage.DeleteAsync(intent.ObjectKey, ct); // DELETE отсутствующего объекта идемпотентен. + intent.DeleteCount++; + deleted++; + // Tombstone сохраняется: даже запоздавший PUT после crash не + // превратится в забытый объект. Цена — запись в БД на неудачную загрузку. + } + catch (Exception ex) when (ex is not OperationCanceledException) + { + failed++; + logger.LogWarning("S3 cleanup retry for {UploadId}: {Error}", intent.Id, ex.GetType().Name); + } + } + await db.SaveChangesAsync(ct); + await tx.CommitAsync(ct); + return new(intents.Count, deleted, protectedCount, failed); + } +} + +public sealed class UploadCleanupWorker(UploadCleanup cleanup, UploadCleanupSettings settings, + ILogger logger) : BackgroundService +{ + protected override async Task ExecuteAsync(CancellationToken stoppingToken) + { + using var timer = new PeriodicTimer(settings.Interval); + while (!stoppingToken.IsCancellationRequested) + { + try + { + var result = await cleanup.RunOnceAsync(stoppingToken); + if (result.Scanned > 0) logger.LogInformation("Upload cleanup: {Result}", result); + } + catch (Exception ex) when (!stoppingToken.IsCancellationRequested) + { logger.LogWarning("Upload cleanup will retry: {Error}", ex.GetType().Name); } + try { if (!await timer.WaitForNextTickAsync(stoppingToken)) break; } + catch (OperationCanceledException) when (stoppingToken.IsCancellationRequested) { break; } + } + } +} diff --git a/scr/Messenger.Api/Services/UploadSettings.cs b/scr/Messenger.Api/Services/UploadSettings.cs new file mode 100644 index 00000000..62195c2f --- /dev/null +++ b/scr/Messenger.Api/Services/UploadSettings.cs @@ -0,0 +1,20 @@ +namespace Messenger.Api.Services; + +public sealed record UploadSettings(long MaxBytes, long MaxPixels) +{ + public static UploadSettings From(IConfiguration configuration) + { + var bytes = configuration.GetValue("MAX_UPLOAD_BYTES", 10485760L); + var pixels = configuration.GetValue("MAX_IMAGE_PIXELS", 40000000L); + if (bytes is < 1 or > 10485760 || pixels is < 1 or > 40000000) + throw new InvalidOperationException("Лимиты upload должны быть положительными и не превышать 10 MiB / 40 млн пикселей"); + return new(bytes, pixels); + } +} + +// Ограничиваем число одновременных декодирований на реплике (до 160 MB пикселей). +public sealed class UploadGate : IDisposable +{ + public SemaphoreSlim Slots { get; } = new(1); + public void Dispose() => Slots.Dispose(); +} diff --git a/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs new file mode 100644 index 00000000..bf12e0cd --- /dev/null +++ b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs @@ -0,0 +1,28 @@ +using System.Globalization; +using System.Text.Json; +using System.Text.Json.Serialization; + +namespace Messenger.Api.Services; + +public sealed class UtcDateTimeOffsetJsonConverter : JsonConverter +{ + public override DateTimeOffset Read( + ref Utf8JsonReader reader, + Type typeToConvert, + JsonSerializerOptions options) + { + return DateTimeOffset.Parse( + reader.GetString()!, + CultureInfo.InvariantCulture, + DateTimeStyles.RoundtripKind); + } + + public override void Write( + Utf8JsonWriter writer, + DateTimeOffset value, + JsonSerializerOptions options) + { + writer.WriteStringValue( + value.UtcDateTime.ToString("yyyy-MM-dd'T'HH:mm:ss.fff'Z'", CultureInfo.InvariantCulture)); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/Test/requests.http b/scr/Messenger.Api/Test/requests.http new file mode 100644 index 00000000..796396fa --- /dev/null +++ b/scr/Messenger.Api/Test/requests.http @@ -0,0 +1,44 @@ +# Optional HTTP-client worksheet; no extension is required by the course. +# Replace IDs/token locally from real responses; do not commit filled-in credentials. +# Canonical API: contracts/openapi.json and contracts/README.md. +@baseUrl = http://localhost:8080 +@aliceId = 888abdee-21fc-49f8-8220-2548949d2161 +@bobId = d1aece1d-df42-4fb7-9e16-e9c10fdf60b2 +@chatId = 54ef7f48-faba-4542-b6ea-644a75e93955 + +### Liveness +GET {{baseUrl}}/health/live + +### Register Alice (repeat with username bob/display_name Боб) +POST {{baseUrl}}/api/v1/users +Content-Type: application/json +{ + "username": "alice", + "display_name": "Алиса" +} + +### Register Bob (repeat with username bob/display_name Боб) +POST {{baseUrl}}/api/v1/users +Content-Type: application/json +{ + "username": "bob", + "display_name": "Боб" +} + +### Create chat; both UUIDs must be real registered users +POST {{baseUrl}}/api/v1/chats +X-User-Id: {{aliceId}} +Content-Type: application/json + +{"title":"Проект по ВНП","member_ids":["{{aliceId}}","{{bobId}}"]} + +### Send message +POST {{baseUrl}}/api/v1/chats/{{chatId}}/messages +X-User-Id: {{aliceId}} +Content-Type: application/json + +{"text":"Привет, Боб!"} + +### Read first page +GET {{baseUrl}}/api/v1/chats/{{chatId}}/messages?limit=50 +X-User-Id: {{aliceId}} diff --git a/scr/Messenger.Api/appsettings.Development.json b/scr/Messenger.Api/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/scr/Messenger.Api/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/scr/Messenger.Api/appsettings.json b/scr/Messenger.Api/appsettings.json new file mode 100644 index 00000000..10f68b8c --- /dev/null +++ b/scr/Messenger.Api/appsettings.json @@ -0,0 +1,9 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*" +} diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100644 index 00000000..8e49fb5f --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,43 @@ +#!/bin/sh +# Создаёт локальные секреты для compose.yaml, если их ещё нет. Существующие файлы не перезаписываются. +# Пароль случайный (24 символа [A-Za-z0-9]); значения не печатаются. Каталог secrets/ исключён из Git. +set -eu +cd "$(dirname "$0")/.." + +mkdir -p secrets +umask 077 +# Каталог закрыт для других пользователей хоста. Отдельные файлы для API ниже +# доступны непривилегированному пользователю контейнера через read-only bind mount. +chmod 700 secrets + +if [ ! -f secrets/db_password ]; then + # tr читает конечный поток /dev/urandom до нужной длины; head закрывает канал. + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/db_password + echo "created secrets/db_password" +fi + +if [ ! -f secrets/database_url.compose ]; then + printf 'Host=db;Port=5432;Database=messenger;Username=messenger;Password=%s' "$(cat secrets/db_password)" \ + > secrets/database_url.compose + echo "created secrets/database_url.compose" +fi + +if [ ! -f secrets/cache_password ]; then + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/cache_password + echo "created secrets/cache_password" +fi + +if [ ! -f secrets/cache_url ]; then + printf 'cache:6379,password=%s' "$(cat secrets/cache_password)" > secrets/cache_url + echo "created secrets/cache_url" +fi + +# Отдельные root credentials для bootstrap и ограниченные credentials для API. +for secret_name in s3_root_user s3_root_password s3_access_key_id s3_secret_access_key; do + if [ ! -f "secrets/$secret_name" ]; then + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 32 > "secrets/$secret_name" + echo "created secrets/$secret_name" + fi +done + +chmod 644 secrets/database_url.compose secrets/cache_url secrets/s3_access_key_id secrets/s3_secret_access_key diff --git a/scripts/wait-ready.py b/scripts/wait-ready.py new file mode 100644 index 00000000..8fd708a6 --- /dev/null +++ b/scripts/wait-ready.py @@ -0,0 +1,22 @@ +#!/usr/bin/env python3 +"""Wait for the public LB to route requests to a ready API replica.""" +import argparse +import time +import urllib.error +import urllib.request + +p = argparse.ArgumentParser() +p.add_argument('--base-url', default='http://localhost:18084') +args = p.parse_args() +deadline = time.monotonic()+90 +while True: + try: + with urllib.request.urlopen(args.base_url.rstrip('/')+'/health/ready', timeout=3) as response: + if response.status == 200: + print('PASS: API is ready through the load balancer.') + break + except (urllib.error.URLError, OSError): + pass + if time.monotonic() >= deadline: + raise SystemExit('FAIL: API did not become ready in 90 seconds') + time.sleep(.5) diff --git a/student-tests/README.md b/student-tests/README.md new file mode 100644 index 00000000..545ff67b --- /dev/null +++ b/student-tests/README.md @@ -0,0 +1,56 @@ +# Проверки вложений lab4 + +Запущенный стенд нужен заранее. Публичные `tests/` и контракт не изменяются. +Сценарии используют только синтетические данные и не выводят токены. + +```sh +python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084 +python -X utf8 tests/smoke.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 +``` + +Проверяются PNG и JPEG, оригинальные bytes, metadata DTO, ACL, авторизация, +повреждения/CRC, подмена MIME, имена файлов, превышение bytes и пикселей, +PNG с распаковкой больше заявленных размеров, ссылки на вложения в сообщениях, +пустой текст с вложением, повторы и конфликт Idempotency-Key. + +`fixtures/sample.jpg` — синтетический JPEG 8×8; PNG берётся из публичного fixture. + +Явная проверка отказов (останавливает и восстанавливает только контейнеры lab4): + +```sh +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +``` + +Требует Docker CLI и доступа к daemon. Сначала выполняются обычные проверки, +затем останавливается API-контейнер, принявший upload, и файл скачивается через +другой. После этого проверяются недоступность S3 и restart всех сервисов со +старыми сессиями и теми же volumes. Тест оставляет стенд работающим. +Тестовые пользователи/чаты/сообщения остаются в учебной БД: обязательный API +не содержит delete. Сброс volumes не является частью сценария. + +## Уровень 4 + +```sh +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --filter FullyQualifiedName~UploadCleanupTests +python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 +``` + +`UploadCleanupTests` внедряет отказ после реального S3 PUT, проверяет устойчивый +журнал при пересоздании API, grace period, защиту ready, повтор после отказа S3, +запоздавший PUT, блокировки параллельных очистителей и сохранение старого tombstone. +Используются отдельные Testcontainers PostgreSQL/MinIO; timestamps изменяются +только в тестовой БД, production grace не уменьшается. + +`s3_bootstrap.py` дважды выполняет bootstrap при существующем файле и проверяет, +что файл/доступ API сохранились. Затем проверяет закрытые порты/консоль, отсутствие +root credentials у API и прямые S3-операции ограниченными ключами. + +`upload_memory.py` сначала обрывает реальный TCP upload, затем для двух размеров +PNG запускает по 10 barrier-synchronized запросов без retries. Скрипт **перезапускает +API перед каждым размером**, измеряет kernel cgroup high-water памяти (v1/v2), +VmHWM/VmRSS процесса и CPU usage delta. Результаты: `evidence/upload-memory.json`. +Клиент генерирует изображения в собственной памяти, она не входит в память API. +После нагрузки проверяется успешная новая загрузка. 503 из ограниченной очереди +фиксируется отдельно от успешных запросов; для p50/p95/p99 используются только успешные. diff --git a/student-tests/attachments.py b/student-tests/attachments.py new file mode 100644 index 00000000..f8b2e31b --- /dev/null +++ b/student-tests/attachments.py @@ -0,0 +1,158 @@ +#!/usr/bin/env python3 +"""Black-box attachment tests. --faults explicitly stops/restarts only this Compose project.""" +import argparse +import binascii +import json +from pathlib import Path +import struct +import subprocess +import sys +import time +import urllib.error +import urllib.request +from urllib.parse import quote +import uuid +import zlib + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, check, run + + +def docker(*args): + return subprocess.check_output(['docker', 'compose', '--env-file', '.env', *args], + cwd=ROOT, stderr=subprocess.STDOUT, text=True) + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument('--base-url', default='http://localhost:8080') + parser.add_argument('--faults', action='store_true') + args = parser.parse_args() + c = Client(args.base_url, timeout=20) + alice, bob, eve, chat = c.bootstrap() + path = '/api/v1/chats/' + chat['id'] + png = (ROOT / 'tests/fixtures/sample.png').read_bytes() + + def upload(raw=png, mime='image/png', name='sample.png', actor=alice, expected=201): + return c.call('POST', path+'/attachments?filename='+quote(name, safe=''), expected, + actor=actor, raw=raw, headers={'Content-Type': mime}, + schema='Attachment' if expected == 201 else None) + + uploaded = upload() + att = uploaded['json'] + content_path = '/api/v1/attachments/'+att['id']+'/content' + check(att['status'] == 'ready' and att['variants'] == [] and att['error_code'] is None, 'invalid ready metadata') + check(c.call('GET', content_path, actor=bob)['bytes'] == png, 'original changed') + for suffix in ('', '/content'): + c.call('GET', '/api/v1/attachments/'+att['id']+suffix, 404, actor=eve) + c.call('GET', '/api/v1/attachments/'+str(uuid.uuid4())+suffix, 404, actor=alice) + upload(actor=eve, expected=404) + c.call('POST', path+'/attachments?filename=sample.png', 401, raw=png, + headers={'Content-Type': 'image/png'}) + c.call('GET', content_path+'?variant=thumbnail', 404, actor=bob) + check(c.call('GET', content_path+'?variant=original', actor=bob)['bytes'] == png, 'original variant changed') + print('PASS: ready metadata, original bytes, authentication and chat ACL.') + + jpeg = (ROOT / 'student-tests/fixtures/sample.jpg').read_bytes() + jpg_att = upload(jpeg, 'image/jpeg', 'sample.jpg')['json'] + check(c.call('GET', '/api/v1/attachments/'+jpg_att['id']+'/content', actor=bob)['bytes'] == jpeg, 'JPEG changed') + upload(png, 'image/jpeg', expected=415) + upload(jpeg, 'image/png', expected=415) + upload(b'not an image', expected=415) + upload(b'', expected=415) + upload(png[:40], expected=415) + damaged = bytearray(png) + damaged[len(damaged)//2] ^= 1 + upload(bytes(damaged), expected=415) + upload(jpeg[:-2], 'image/jpeg', expected=415) + upload(mime='application/octet-stream', expected=415) + for name in ('../x.png', 'x\\y.png', 'x\x00.png', 'x\n.png', '', 'a'*256): + upload(name=name, expected=400) + upload(b'x'*(10485760+1), expected=413) + + def chunk(kind, data): + return struct.pack('>I', len(data))+kind+data+struct.pack('>I', binascii.crc32(kind+data)&0xffffffff) + huge = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR', struct.pack('>IIBBBBB',10000,10000,8,2,0,0,0)) + huge += chunk(b'IDAT',zlib.compress(b''))+chunk(b'IEND',b'') + upload(huge, expected=413) + bomb = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('>IIBBBBB',8,8,8,2,0,0,0)) + bomb += chunk(b'IDAT',zlib.compress(b'\0'*(1024*1024)))+chunk(b'IEND',b'') + upload(bomb, expected=415) + print('PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits.') + + key = uuid.uuid4().hex + msg = c.message(bob, chat, '', key=key, attachments=[att['id']])['json'] + check(c.message(bob, chat, '', key=key, attachments=[att['id']])['json'] == msg, 'replay changed') + c.call('POST',path+'/messages',409,actor=bob,body={'text':'','attachment_ids':[jpg_att['id']]},headers={'Idempotency-Key':key}) + for ids, expected in (([att['id']]*2,400), ([att['id']]*11,400), ([str(uuid.uuid4())],404)): + c.call('POST',path+'/messages',expected,actor=alice,body={'text':'','attachment_ids':ids},headers={'Idempotency-Key':uuid.uuid4().hex}) + another = c.call('POST','/api/v1/chats',201,actor=alice, + body={'title':'Another','member_ids':[alice['id']]},schema='Chat')['json'] + c.call('POST','/api/v1/chats/'+another['id']+'/messages',404,actor=alice, + body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex}) + items = c.call('GET',path+'/messages',actor=alice,schema='MessagePage')['json']['items'] + check(msg in items, 'attachment message missing from history') + print('PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection.') + + if not args.faults: + return + + def wait_ready(): + deadline = time.monotonic()+60 + while time.monotonic() < deadline: + try: + c.call('GET','/health/ready',schema='Health') + return + except AssertionError: + time.sleep(.5) + raise AssertionError('API did not recover') + + instances = {c.call('GET',content_path,actor=bob)['headers']['X-Instance-Id'] for _ in range(12)} + check(len(instances)>=2, 'two replicas not observed') + target = uploaded['headers']['X-Instance-Id'] + containers = docker('ps','-q','api').split() + matching = [cid for cid in containers if cid.startswith(target)] + check(len(matching)==1, 'uploading container not found') + target_id = matching[0] + try: + subprocess.check_output(['docker','stop','--time','5',target_id],stderr=subprocess.STDOUT) + downloaded = c.call('GET',content_path,actor=bob) + check(downloaded['bytes']==png and downloaded['headers']['X-Instance-Id']!=target, 'failover lost attachment') + print('PASS: stopping the uploading API replica preserves the file on another replica.') + finally: + subprocess.check_output(['docker','start',target_id],stderr=subprocess.STDOUT) + wait_ready() + try: + docker('stop','s3') + time.sleep(3) + try: + urllib.request.urlopen(args.base_url+'/health/ready',timeout=10) + raise AssertionError('S3 outage left readiness healthy') + except urllib.error.HTTPError as ex: + check(ex.code==503,'S3 outage must give 503') + for method, url, data in [('GET', content_path, None), ('POST',path+'/attachments?filename=outage.png',png)]: + request = urllib.request.Request(args.base_url+url,data=data,method=method, + headers={'Authorization':'Bearer '+alice['token'],'Content-Type':'image/png'}) + try: + urllib.request.urlopen(request,timeout=10) + raise AssertionError('S3 outage unexpectedly served attachment') + except urllib.error.HTTPError as ex: + check(ex.code==503,'attachment route during S3 outage must give 503') + print('PASS: S3 outage makes readiness unavailable (503).') + finally: + docker('start','s3') + wait_ready() + check(c.call('GET',content_path,actor=bob)['bytes']==png, 'S3 restart lost file') + docker('restart','db','cache','s3','api','lb') + wait_ready() + c.call('GET','/api/v1/users/me',actor=alice,schema='User') + check(c.call('GET',content_path,actor=bob)['bytes']==png,'stack restart lost original') + c.call('GET','/api/v1/attachments/'+att['id'],actor=bob,schema='Attachment') + items = c.call('GET',path+'/messages',actor=bob,schema='MessagePage')['json']['items'] + check(msg in items,'stack restart lost attachment message') + print('PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes.') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/fixtures/sample.jpg b/student-tests/fixtures/sample.jpg new file mode 100644 index 0000000000000000000000000000000000000000..cf4a15bd84f9bf2f9d0f7ce309a30d390f064283 GIT binary patch literal 631 zcmex=``2_j6xdp@o1cgOJMMZh|#U;coyG6VInuyV4pa*FVB^NNrR z{vTivWMk*xmaka3YSZQ|TeofBv2)jqjGsQMA)HL%Z!^H>vEK7)G< b;jdc^Jj{&1$YT~{uxI$QYEhR4^Z%OwS%$;w literal 0 HcmV?d00001 diff --git a/student-tests/s3_bootstrap.py b/student-tests/s3_bootstrap.py new file mode 100644 index 00000000..7ee32d91 --- /dev/null +++ b/student-tests/s3_bootstrap.py @@ -0,0 +1,43 @@ +#!/usr/bin/env python3 +"""Repeat bootstrap with an existing API object, then check least-privilege S3 access.""" +import argparse +import json +from pathlib import Path +import subprocess +import sys + +ROOT=Path(__file__).resolve().parents[1] +sys.path.insert(0,str(ROOT/'tests')) +from client import Client, check, run + + +def compose(*args): + return subprocess.check_output(['docker','compose','--env-file','.env',*args],cwd=ROOT, + stderr=subprocess.STDOUT,text=True) + + +def main(): + p=argparse.ArgumentParser() + p.add_argument('--base-url',default='http://localhost:18084') + args=p.parse_args() + c=Client(args.base_url,timeout=30) + alice,bob,eve,chat=c.bootstrap() + attachment,original=c.attachment(alice,chat) + for _ in range(2): + compose('run','--rm','--no-deps','s3-init') + downloaded=c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob) + check(downloaded['bytes']==original,'bootstrap changed an existing object or API credentials') + print('PASS: two bootstrap runs preserve an existing API attachment and credentials.') + config=json.loads(compose('config','--format','json')) + check(not config['services']['s3'].get('ports'),'S3 ports are published') + check(config['services']['s3']['environment']['MINIO_BROWSER']=='off','admin console is enabled') + keys={x['source'] for x in config['services']['api']['secrets']} + check(not keys.intersection({'s3_root_user','s3_root_password'}),'API has root credentials') + print('PASS: S3 has no published ports or browser console; API has no root credentials.') + output=compose('run','--rm','--no-deps','s3-check') + for line in output.splitlines(): + if line.startswith('PASS:'): print(line) + + +if __name__=='__main__': + run(main) diff --git a/student-tests/upload_memory.py b/student-tests/upload_memory.py new file mode 100644 index 00000000..d9ce0ae8 --- /dev/null +++ b/student-tests/upload_memory.py @@ -0,0 +1,174 @@ +#!/usr/bin/env python3 +"""Ten simultaneous real PNG uploads; kernel cgroup peak/RSS after a fresh API restart.""" +import argparse +import binascii +import concurrent.futures +import hashlib +import http.client +import json +import os +from pathlib import Path +import random +import struct +import subprocess +import sys +import threading +import time +from urllib.parse import urlsplit +import zlib + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0,str(ROOT/'tests')) +from client import Client, check, run + + +def compose(*args): + return subprocess.check_output(['docker','compose','--env-file','.env',*args],cwd=ROOT, + stderr=subprocess.STDOUT,text=True) + + +def wait(c): + deadline=time.monotonic()+90 + while time.monotonic()I',len(data))+kind+data+struct.pack('>I',binascii.crc32(kind+data)&0xffffffff) + rng=random.Random(20261113+width) + pixels=b''.join(b'\0'+rng.randbytes(width*3) for _ in range(width)) + return b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('>IIBBBBB',width,width,8,2,0,0,0))+chunk(b'IDAT',zlib.compress(pixels,1))+chunk(b'IEND',b'') + + +def memory(containers): + result={} + for cid in containers: + # Cgroup includes managed/native allocations and charged file cache; + # VmHWM is the kernel high-water RSS for the dotnet process. + raw=subprocess.check_output(['docker','exec',cid,'sh','-c', + 'if [ -f /sys/fs/cgroup/memory.current ]; then cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.peak /sys/fs/cgroup/memory.max; ' + 'else cat /sys/fs/cgroup/memory/memory.usage_in_bytes /sys/fs/cgroup/memory/memory.max_usage_in_bytes /sys/fs/cgroup/memory/memory.limit_in_bytes; fi; ' + 'sed -n "/^VmRSS:/p; /^VmHWM:/p" /proc/1/status'],text=True) + lines=raw.splitlines() + fields={line.split(':')[0]:int(line.split()[1])*1024 for line in lines[3:]} + result[cid[:12]]={'cgroup_current_bytes':int(lines[0]),'cgroup_peak_bytes':int(lines[1]), + 'limit_bytes':None if lines[2]=='max' else int(lines[2]), + 'rss_bytes':fields['VmRSS'],'rss_peak_bytes':fields['VmHWM']} + return result + + +def cpu_usage(containers): + result={} + for cid in containers: + raw=subprocess.check_output(['docker','exec',cid,'sh','-c', + 'if [ -f /sys/fs/cgroup/cpuacct/cpuacct.usage ]; then cat /sys/fs/cgroup/cpuacct/cpuacct.usage; ' + 'else while read key value; do if [ "$key" = usage_usec ]; then echo $((value * 1000)); fi; done < /sys/fs/cgroup/cpu.stat; fi'],text=True) + result[cid[:12]]=int(raw.strip()) + return result + + +def main(): + p=argparse.ArgumentParser() + p.add_argument('--base-url',default='http://localhost:18084') + p.add_argument('--output',default='evidence/upload-memory.json') + p.add_argument('--concurrency',type=int,default=10) + args=p.parse_args() + check(args.concurrency>=10,'at least ten concurrent requests are required') + c=Client(args.base_url,timeout=40) + wait(c) + alice,bob,eve,chat=c.bootstrap() + path='/api/v1/chats/'+chat['id']+'/attachments?filename=memory.png' + + # Drop a real TCP upload mid-body. Nothing may be published or sent to S3. + def counts(): + return compose('exec','-T','db','psql','-U','messenger','-d','messenger','-At','-c', + 'SELECT (SELECT count(*) FROM attachments), (SELECT count(*) FROM upload_intents)').strip() + before=counts() + url=urlsplit(args.base_url) + connection=http.client.HTTPConnection(url.hostname,url.port or 80,timeout=5) + connection.putrequest('POST',path) + connection.putheader('Authorization','Bearer '+alice['token']) + connection.putheader('Content-Type','image/png') + connection.putheader('Content-Length','1048576') + connection.endheaders() + connection.send(b'\x89PNG\r\n\x1a\n'+b'\0'*512) + connection.close() + time.sleep(2) + check(counts()==before,'interrupted HTTP upload published an attachment or intent') + containers=compose('ps','-q','api').split() + check(len(containers)>=2,'two API replicas required') + for cid in containers: + spool=subprocess.check_output(['docker','exec',cid,'sh','-c', + 'find /tmp -maxdepth 1 -type f -name "attachment-*" | wc -l'],text=True) + check(int(spool.strip())==0,'interrupted upload left a temporary file') + print('PASS: interrupted TCP upload publishes nothing and leaves no temporary files.',flush=True) + + config=json.loads(compose('config','--format','json')) + limits=config['services']['api'].get('deploy',{}).get('resources',{}).get('limits',{}) + results=[] + for width in (1024,1600): + content=png(width) + check(len(content)<=10485760,'generated PNG exceeds contract') + compose('restart','api') # Reset kernel high-water counters for this trial. + wait(c) + containers=compose('ps','-q','api').split() + baseline=memory(containers) + cpu_before=cpu_usage(containers) + barrier=threading.Barrier(args.concurrency) + def upload(index): + client=Client(args.base_url,timeout=40) + barrier.wait(timeout=30) + response=client.call('POST',path,[201,503],actor=alice,raw=content, + headers={'Content-Type':'image/png'}) + body=json.loads(response['bytes']) + if response['status']==201: + check(body['sha256']==hashlib.sha256(content).hexdigest(),'wrong upload SHA-256') + else: + check(body['error']['code']=='unavailable','overload must be 503 unavailable') + return {'status':response['status'],'latency_seconds':round(response['elapsed'],4), + 'instance':response['headers']['X-Instance-Id']} + started=time.monotonic() + with concurrent.futures.ThreadPoolExecutor(max_workers=args.concurrency) as pool: + responses=list(pool.map(upload,range(args.concurrency))) + elapsed=time.monotonic()-started + cpu_after=cpu_usage(containers) + peak=memory(containers) + successful=sum(x['status']==201 for x in responses) + check(successful>0,'no upload succeeded') + sorted_latencies=sorted(x['latency_seconds'] for x in responses if x['status']==201) + def percentile(p): return sorted_latencies[max(0,int(len(sorted_latencies)*p+.999)-1)] + result={'width':width,'height':width,'size_bytes':len(content),'concurrency':args.concurrency, + 'successful':successful,'overload_503':len(responses)-successful,'elapsed_seconds':round(elapsed,4), + 'successful_rps':round(successful/elapsed,3),'p50_success_seconds':percentile(.5), + 'p95_success_seconds':percentile(.95),'p99_success_seconds':percentile(.99), + 'cpu_core_seconds':{cid:round((cpu_after[cid]-cpu_before[cid])/1e9,4) for cid in cpu_before}, + 'average_cpu_percent_of_one_core':{cid:round((cpu_after[cid]-cpu_before[cid])/1e9/elapsed*100,2) for cid in cpu_before}, + 'baseline':baseline,'after':peak,'responses':responses} + results.append(result) + check(all(v['limit_bytes'] is None or v['cgroup_peak_bytes']cGYb1Zo=+B*jt^C~ecy&F&;w*z9gsfYjZUy1VOh zcXxMpfA8Km&*gjHxpKztY!brUeXqY>{@I!T%sJ<}p1G{fFpO!PR)1yi()QfQoR02| zml{Vdt7Nk2j$~@c>d5EH$xN=)oh+6!$!uq`oHX`Yk<6AXeyf!#ugK&Etzw~= z$(4;nTYqa~Yx9zH+rU72NqTYXKwGl8tueW9U`bnlvcEA6A=zRrX<3qLYhBp1aB;FF zwYX_SBi@nEWaaZ!Z+$@TR_|#&~1AskyHRe*>TW z^sqa6hLXiXJe|!NTlGlTlqpq`*=5O6CIvQwVoa8$UzSFb&d%gon&aKY%y6ch*>07% zNke)}60$Z}gPBsfIKm}uj#AQaDU~l~GyVL{=SBHu$ZVx@GM7#k)BNShC|}+)QYu@+ zER(aE!P;5oA}-J%Vp(MX%C|`4VGZw>^#GLn5|oczs#1i?M3~dBSsW`OSoiv;vofnKgkPOIZTez`EtzA#S00veNA(Xzh8vDd>;XKFfgyse^gOwuBqS`8DumieaqE3ml(Q>k)?5OCdf?0Wjs(yGlpW_jv zqf+ED*grj1dHK$=l`HWEhLtHD@x{gIYEC*c$-!K{RL-P$3t28EQ)LZ(E}8URX?#4w z(@018^ht7T?8#S(DUq{_8p@|vC>uv?g1!x8jjr54o*NqJC?F(CVGIK!C4Jo~uYEmb z7#sCMb`jBevF7OPg>LBC#SGN0T;>|+v9rDikJd;>2O-hgo6l!Or0VGNcq5hD=E3^#tF?5D8#;^09jJFkgWmZ5Ku2Oghp3TUau~YQ8!EXnOm6U`NNJF> zB3~R%Le<`0$~AEzI$B>8(wh_|Q%8AOna%gJVS(rbbtJPE8wQK=siV{7m&bB+UPJQu zr388vI>wP*>sdFcP=xjZnyC1)V!oWs@Qk5j_z{rCVo}F9ARvad!LmMQ5_R+i0}{{8 z6qryRkLPH}CLoSkqNDQyulB@Ody4fW*!)j1pXD-jlr6tZW|@u}!!Mu4dtuI^01%4Tv>h^G3234wN4DPUXlM4%AI%9f_QzA-nP%t0$l zuQGIGi8YzrMbL?X*`(#U%CJ>*rayHIy}2+Jb%PqxhQECIPHckp^u;{{9 zUPP0ks}5koGAXM&51T@GxzRDBz^%%sw!wNgm!YfLJlpE;$YyYHSjQ-YSprg4S;;ip z@4`2zU=^S%(}6sg6W%E@osN-*G^$6YkS7XtRXSi2N@E=}EtL-ISF!~WT|K{bC}0z8 zQp(G@D;=e0eLvg0B^I}JjR0UD6x(aXvT|ppRA7ToH_z$Vm*Nq~Y|=3)>k+XW_95|% zpktLPD5q-;-(lhQ4RlQO1ck223=WldSnOYJsE&HVE7QMXs$+@6BW^0`tT=T6)$uW{ajJ=q9n2i$|m$(_BH~ueE$yK}ghVnpj!nrft_S zsKm7$u@9AX(0I?O6yKODB?rXx*^XMu75hdzxWPKs=g?qQ=yVL+@cn`OucaxF>vF4L zwgXP#NnNnxvY0P8S%gL5h{n7Tly_!wd$K20%oIdpaMh$5%9e2u93bn=L0~>? zYKQ&PqPM4`*NQ2-ChydrT52ku*ftzQqYxC94VC9iIT$5 zNW48en1{KaAt_i#?aYQ*{JDT;@`lLQyxVDYbotqy*0@ul zup^M&u#7HJOUFF7UmnZxI(7v3r36N3I=b>cfh9J_&ND`&hdSjhGA_#L0&2?>a3Zmi zO%{WD1GLB+g54UtK~p{=%TvRKs7ZUyB8s*GC1rEhbLj;70FBTq)2XnM1x z5ZMi97iy71VC%Y=sMWEQ3C9#*qLi;OiPlj|&EyrbCZCc$H61Hho08dz)mtgZjlw$i zF<~pHqhet1X8V{nmNQx0(V$}%+1q>75l1+`p<`gd-mP`_AQK=~WIT%(I!;0{LH;=~ z))46EpE60CJM$@69hW;wbmU$xWjO1TqbuG(7Dk<{9(8ndxJBK`@({1+bu6g568z~C z>7H9z+}Uw)Zpfi>lT0@pG=y;xEPYB>FvhXcv5UOZX~FDB8ob10yl!HQ8FIPJ^&DeN zZph_Rd3K1}Skh2RZ-d>v48b7N!M{IS!in9(#Wu5{f6c3-QDcZ)-8=&)^FId5-#*E-@vXcQm!mkuCysvmMB-4 zu)wRO+@|U`n!=xGuJ%Opma0!Qhrg<&+N)Z8uQFzcc!vCvg(jZuS}_i3fGyaNw~AI8 zTp}fNgG-B*1sgUR2Q&=9o(QOlU^#ANdvcyJy&(r_$96X_wQ>xM;RgOBb5OLjKFZlK z*X5AwM5x}_pN1=M7SX;r+z|_Q8DE5l4p?agD-&i5o>v*W%uyl#_dLgPehIEO^ z`CSs#8#!H)*Dl=W5Gde-sNT4GQf(Dr(^-lV+S(mig|Hr?-z!q>4G-~=RBv2X z+sOAX^wk?z);RGM_eu4}McQK^;7dt=1LAS4q_G`#vbONDq`$e~{)wO@Nta9d>ufHN z{iFC_(jTo{c1;>ZuU{B`4j(-;Y3!lOyyF$^xM`|Et>BXz;9 z=Wz&CZ=^IAHeQYD9<`w>CoXKeW{Xf*us>DOEmw6SRc{nD3q@y7=ut|4PXi@N_fq=H zrQa))&)1ax9;#nB&%c*yPEx-}|3ZAdp?ewt9I&tfnd*{C;{>E^b_1e$Wa}P-1!Q_W z_;B&MXP5%wJ)W!TjRDR13}kZ~b$91Ljwf1`9ZveouwMagv+h|Xzeu0At9nCs1>zST zYzAvkfq0VJ;|HtW(B1Nb;UP}3>W!WHOH!zZEd9+tSnP9`rGJPbC5HIUsyDLw=)vK2NJjM5|gt*w!Kf8iEX6lWy=Je!}0vl}gHwRp*ceA1Xo(&i2bIVn4Y}FjO zu8*#IV^Fg!=7EH_tGa6dCJ4QE>CY*SG~8{jzeu1+uU{|y6)Tg9PQLUv(@dJ`@k@Wx z#pQ;&|Ef(4qc1T1^$oK$*zc=F(L^s{`a3?%La)oP+DLRxck#+jcej$+$WB28or%?^ z7Q*va=vhqv%o4ZPbu(6*`W^OByAHGTPi8S2L1dT%vf5-}5bk(}(m$Id%|&Nn-k8?C ztso$}Hr*5SDaNJg?mjzCCOjU@^q10rJ2U;`Fps+>#kZOM4Q?LkJW+M8B6#GX*RvWd z`Ua&2eW2-I^bKkdaEPYAs`4t}^Nyx}@y{dL>ng3LHV3WTIH^wbiXIJdgJ#0mLf8G0&d;(Pxg3{#pB~m{}c$ybsfId zpneVU{#JuVJk)O(&-OK|RPlhNa6{*J45xn^J*Kr^3wP4?zZ4BM?^1Z~`tRodPE>^XvD3fc<0K2u1-g6sjx>mK*TbFumN!JMJjO5D z9Nn9Z9QphYkMBGEojtie;&X(jzgvr|GVVvF^^dH4zTIGVsK-T~{xurEa9)^n@1OIF z3=W=k7iFJx$CF;YJ~sz)_br#}_L+6>kmTaReeBgBM>}rZLi(!O6W9^%^}bhw1a{=| zQlxwJ+V!^P_sge$!N`@YI_ax7bPq*>(s^X-K1d!E8mzRmSD8-U5>f8oUZ;B@)MGu@ zL-ajrm%)X6^zv8JEQT)s^lu&r`v22Eb?B4mI0MwbkgsDJk)bLGct3Efo_6BO_n zsDH)7Hy+Tv5!IRO(!JY_398*jX(lb`XHfq+Tqe~&rOI=uZl@4Ttk1)p{tA_g^t&Uh zP4t3bjA7xMP=7a&+lr0~_3v$P#Rbw-n-45m;h+n{dSh+FfR!v);7H@rdcHoFvf#5I z#S+_t4BtwG&#IkvitFpm({+M|Ad?nL8uF8XR=VEU2fP6GR|e;SZ#w?RQsym?d!n1x zFaYif;Gx0X($*&CXE0wVXNEHuTMLZ24f#rWX}*7JA9v=^m$S-Ejq%1lwm#JhAHHQR zfU$t>(+}stjZCiWr%!1pCyRqtd8xJ2GNy7rh2Xc5xiDN{Olhc;2io9Wg-V%g3g77& z&g3$sawatoJn%6ed$6;#1kU%CHi2J7qqhOR^p+jD*eVL=jHBu5#Kzj5W#Fzay*!

dUR%{gAGm_-V^I=c*x1z9lipVHdxDI^r9OODsjr{O?GsYO zZd^o9|C%1*_h;#Z{)dr@-;3A)>w17ms^1ay2IGNup@A@hs7w+0zBSsEXx)Qn%J#sWqAY zVzM|Ast#;s7(3%c8%M$whKv^Z!Q^`5I^BvWQ&Zu3Xip!n9wBp9f$Xy1Dl1!H#XMCq zCU*}(mCXO#5B6Qdx2T5M<-IqQ__g_?Gzh{Ez{V1M&7~9{WKXrL>^O5d3ndW>;(X~R z=d|s-7Huz;tl|FbNP8JR2-9C-AMk-!oUFdWX@T$wwnv0M5ki&c=^4enkUv8)vrcfxmdA`owZUUSg{&aBOuz6S+y=TuHWOY zMq({f8nrebtNsK>cGVIg+Nh{rXBrpRMuV{GY0p0#8kP*+8i`NZhl(!$-$?Uf?mX@yS)R^Q8Fekj4zJ2G%sGX*qG_w^tePe_JjIup`^@qDZ-zxyXef` z)FNqz25IQ_*O=VOe2Q~%M}dmaUAN-N+(=v+>2U#T92;`q=QIjF^HDO6ABzR9rJzbT z=7jKku3wCk$6~}CXE?^p5N_9ctFz$zar1zZaKZ0uGI%4Kf*JcT+BzmO^9Px7udR3z6t!c%vjtJe>!V&5eVD5RU^Xqh&W9g+3IYpEefn=0ms* z#7OMMgZNOq!?SzOShc5bh|8^4Zq+0sZOLv#@F?7|B6ze%t48ox4`E!nS#`il=ZndB zbIT}J!8aU4gE|g!(5!{K^Q>c6+wMN)7}mZ!PvTSltkbo}uW<5?(-2|IE!>@G9)&z+ zG>`Ud^=KaJDU2{fiRRIs#HYrH=G}fp^=MwaJJCD}dCX`Y?b+(lJl0bfVQMiQt#((6 z=_uqe4IAy*>V}Q=lw()}ma#m1Zm3j&uM{=4#G6M+wbOU=fuMm-jWSMwamUD0cULld z(lK=T?mmrA`U}h2NM7R<7&ZDAHpiQGEBZ%&VC?80qnj#$mYM)Hq5WbLy{gkb?#~-Hh=( z>lo)&3S+CsD+I?dr~Mm`JbcQZr&c;edK|(-U%{4b;KNx?e`UhDI2qF!rxk~+YI)BWFALH@r z5kHOxG5*wuALC(saEyqb$XiB>_)%+qCC4uswWSzG#E&M7>`%a@#A<9EjLbZDv4ZXXFRwf;F(K2+(&e#WOJoFw3^3- z-Sp1K^8G!=F<~^A8*_alyR&o^rjHcEO!cU8bl7Wnb`p-#j8Fo+V0*G`#Wxl+?s|k* z$_60AIFaXJ1R}3RRHZXY0m?p$5eyl*~bIV{r)H z@_&iOI7nW{Pq(m-#W>{xFT(d+jDsc7zaWUY*mu>l2zYeZQ{E-3$&vsogP7w3t3;T2 z{FmeMdl-&h{#F8$+IKbXJJILFw4dXAkikIR{r5fP12e0iAU|v1BnI3Ke0jh)+%Yp_@5qQq=-)|h?KEd7GJ9$yE0zUV>x`#TdH>SuJvV#haKK#@|z_GkB%fp0}!_U8z zoS5fN;i)bs75P=iuemW*zD3yU*yHrxFni&JINQ16#38%tcMI)A0KcVpZuSXa&Xpa# z7~hkInE%;jbQp>*~`8?qlx+bCrC|?;q7k zji7^1M}zhKTVZzqKYDJQC?g%)ZdUbTZHi|L#5dNl)oY%wUb<;WDq423FO9>v6ANNvEm~l02>-ou=5!alA7+^`z%6I#3LI(vu~yVe~xd zcSGnTg4btXG7bAR+()bJF2K^{J}R0AryZ3YQR8@-cGxjx3+K>Q1wG^$lNUQNe!^If zNOyKlvBGzIy82G4$x#4qroqgNj|6uzGzDY_?#JbG9v@>){>N7ecU*4dN)0fl8$t7Y zIXLb*mU8+?_+meiS1hByD=afeZT#EEG@)?U!DmY!j@OPkB8speeMd9WJjJxocdE#!tsILq9UU71z^ImwB za9HA`sCp}Yb|#n3?l#lmSt{r5ek1v^|m0(Z<{ zOqa&CB<~=0o zLO4*-UEN2CI-S^$nLRrA%{U^P+6BziGihzPPQg%(kRDhsOH) zGr4NV&x)e%ONldFTUp2KaOY$|$W0T(8;685jJ@Lg1BIF%?5S>nR&k<#Gjwqyk@>FAAhnNrQTL#4@Ih z;3QV-gx+o(?PwJKeq%1{Qf9YXcvJ_vuNF*M!4XzZm9f`AGF!5YUeC*VhLXj?{5g0+ zh#wGwqn7jMbigS|I2n6d&Z@xtOLqR8?n*z@D66fJ-uyNzcUpgA%RuYE;(?~7bZcX> zC23q(EvJw7EJx8AXvm4fub!iU@{}aYG*d6xklewhY}jD%GUEc*49_6|h@Yb6F^KKr zpO`^g^%xY?mFNF+LT&Mw!Ht+ux>)+nV2R^N4d|4$G<$~Gk(i+=HG;bG)bNyMaUTzb zL}JO1o&@o0%I#P^TuSAO*-XEyH(OsAUvXHxIN6$NUDULsWuevBw#3*RrP`<%S92Yd z`cgTWODBtIS5w$NHa<;Lsm1+GEdv9obaOhLZf!Eoi&9gMZd}=ovS;ruEVwG~LG780 zQfEa)uK5OeS+0LfL~SLiFVLX2)Q{_&lsbEky+8$z>oF5CL20*!HJA{tF1KitYEdL+ z^lLVQ)$tdqy2qX6uSl%OYPQ1BwrcKj7wIA~NO$gX)#VoThoq2aT`>}qa+=e~qc69~ za%}Rhg?bk~BQfhDEoN0ynOim#ZW)`X_blnU){VRIZfWWtXlZL*luWlQT4=Sj8WsJ< z1+?Y{o)c=IYtSAvn2~mCL)GLKWWsL+meV7#s0L{iP@7wr4!6*q$&JLgg8mHXYRv5# z47ba-e<2dnO8QOnDb1}r+p&(hR;m>FLY`~RxN8cfJCxR9jYmnYKK4bSFUR(cxQg#V zji941D)r+!uXCc@JHasim<|r8A|0l9bmPimH^)@NY>HK^ytWS$4)=L&i?Uj z7@Ck7!MNAaEeluImvtD$)&GAh>u~kGy?pN;Bq#@B7nZC29+Xraz5GyZdF1!Wvf*X$ zePfZ>66tJCHBGr4*r56Ba5kffU2YRGNg34ZXwXJenp-yzVtZhF-b9R3+P9*H_RVWt zKxb~-1tGS{ZH1B86zSY(bzQkFPUY<6JnuHhNX*evIftstEy{&h%+~Egc5X&u-X6Q0 z@-CE&Uw3Y6SY60>oC0z< zTWr`Ra-eI>#QPjNW~-|z%+11KRe&YWIk`6NM!OiyX*z~g;p%dW*2)T@YyE_@5B9Cj z(NOe3d)BSOsR#J!W+VSb{zy#FG4(Kt&fGR^R(!ljtkKb|__XBuV^itaCzkB39I7*yUA{Ywv02`B7dC&5WjYK15w^ zQIDIuIAtPfp^Uz^=*dyS2G-_#>fq2L(veu9sSXZR*jLiSj&et0k&cocrYyH+z06sR z5Q+9WR@}MvEJvN^(bjuXJ`&9bHIxUgx#vhfk8|uV@|$>SFA@`U^cQ_va{Y0D%kMZ2 z2qG~+#{k!_Cbt0RrA6yE5zUpBt?C)Ki5$(5*<7f{HO7%1_$+YM9sl4vIMO>;LtY2f zxT@G#vES^2r>?%cF|ZCQtfR3)1-aH(D4mP!MDavaS8|4qLg~|z>yK3<-dO`58?YzAO5RzU%)pVj-9I&_B!I5G!xZFN<1mJqAj7=H>6mit3CEA%B{c^Y;LCTx;2rcP?|IyE7%?#x$fQ`9eDrh z$YvlrO+5lfVG&@nAvMPF`{w|)hiV1wq)k%<_hB#Ey2 z6_w=Lal6?xI=VffBbEmVt|gO z!J{MB9cQLJ4hVf-79%l4$INs!g}GJeHo+xDVuud539gDii2-luk=UYRa;%EJ+@|3`*$>zhKQp;K*^??}3egOV zMl_cG>Z)@~D`QwHW69&oK9U5zYElhNR&C&><65yNBY+e363h)v#6)EtRA)5;i7Hj) zmf-9mTEg57Pi((|G6$q%_Ry~;x4`MN$_fT2^;(nx0qsG8o~Nc6WCnr8gVJdxx<9sc&J ztIRD6c3}O{;EskPv9EUN=PJ&vbcXSv*%-b|5Q%wO28z`*=62!!A7^3S_c@G6jMB0H zCtO`_5q5SRiugKAB&O)-><0Aol_~dL_?K)VF-k|78cT6snF=SvXLuqpPe+-ms_}U2 zDn+wFwuW|<3fwN7HV?HvlC;v%@d(wH+kh+_F>;6oar{MC=~ zlqQVxB()t^C{pmJ6B4k%HUJfGfy%8L1b_>T*pZ> zuZ~=Kr(^F?KE5WOVjl^Pz$1c=$s?Z)Tvcuf9!haPA0LSYIu50{Dss)y<;uk7Pm~^( z4woyS8dnv|EBnn{u52u4vYB!;Co6T7*MOef2K33JOev1Ps0QbFb!-Wh>iKerZ@qu~ z>IQ2T9XSM4|Kr=%gNiCv_;$lYkp?B>u>t*a@w184iV9o@F z_iuD}F6~>HDX++8Qrk9Ig?y=RxLhe^nj4!JWt06)3kLGVZGB}JmzDb1mgQcnRPM|7 zZ|&pXtLw{IWtIi|l7+%hzEqA|J1t{cH++hcuzLJqhrXj z%E=*Pt`xhm(3^)399nQawT-=_>=AO58pDpo>~zg&_gNeqHAajbDz4O+`13IkjYtTxCp3V2#$;#S)0ncs%0eZu-C~T%PW5T*zrjjXK#sUEiwg%wbg=Ng6)ITg z<%b4txGy*;aEJLoG=g-G9$lr?)`&31n2yoGYH{{idSgm2WW92GX=91S0PLFC4msAC z0+k6r`^2JS3RF{0gzmQjYWIAO3!Um@WflRFAJCa=zk;wiu_Fa|9m3dsxVqW2(;R%);V@g-aef_jc+Dj#CxIa6>w7SgL zucuth=LWfo)8qzvOxk@qD%ooWtHlyip{M^L1WKR7eA@iS&B)&2ThcEs2h zZrd?7M_IOqKD^>?xNZ6*8qlHp$I0mQA4H zb1MB*sQ~$Fe?$Cd0<5Ytj4lXgLSVmF%in7NC&BNvfYSii0j`J84dE;Z8zA&R=!LKm z!X^mpJ!eDM4B;FI=R%kc&z=X!p6`P&k$237cbpH;UI1YWgbN`gA+Y!LLr6hjdZr;* z5C$L&LKuR;?8!jb3Sk?BECi~|Tk0%1FZz2Wx` zKqh-91or+B2pC@%!{034E|GXCAp7r&Cm9AYt|601jF_a3>_zte+bpuru1R;2ec3;g zcTM`&^JKqvo9t(kDF9P!vOmE7Hkk@A)h5#brrG2GfCFqY9bmdmW&q5v$$Y;q{Tp*A@T;4qua2AFM=!vPMr$q@iY*yKonBW-dN zz)?0i8sKP~%mJ8VlVbpmu}M8Zy-nr<%(cm}0LR+oIDq49ay-ECHaP*{1e=@)aH364 z0yxPgCj*>plX(F1Y%(8UzD*VYEU-x&Aa0WefCig10yNsB382X)%>d0dX#r@l$wGjI zHfaTDwaFrYMK)Osu-GPT0Btr|0dTi1Q&});802^(x31E{= z&IUN!CYu2^+vFU8b8K=hz_~U#58ynT^a1qQ0ia-$ivTXNNfDrElM+D5CS`!KO)3Btn`{TzZj&7VJ8ZHOV5dz+07h(b zF~G$(xdh-6n_LQTsZA~exXdP(16*#CD*&#r$&~WCXWC-Vv|P!9<|A10FT+^ae&8d@&v#WHhB`@Nt-+c@RUuS26);g&j37Q zlV<^*waIe;&)MX8fah)U0>BG4c@f}6o4f?@l1*L)c-bbe0K8(8R{>tN$!h?w+2nPA z*KP6!z#BGs6RVrv%>H=`R8U_bZ%vT5CCJ+ocd^kZqk{};VkdGzE#}nie3G&GV`BZ{@Izc{@AfHW;&n3v`6XXjC^2G%C zQi6OrLB5h8Urms&CCJwk?;Yf_ytczLOx|O_1*;$oCWE2MO}S1o=^d{5U~= zk{~}#ke?;U&lBVq3G&MX`Bj4aIzfJuAiqtJ-zCWJ6XXvGLK1`~$R88LPLMw($e$DB zFA4J31o>Nn{5?Vbks$v}kbfn}zZ2yD668M#YD`MdNf2TXObB%l_JXiCgnc0F3t=*Z z{UA(%us?*U5T-#m0K#+#GawuY;UEYHLzoHS5D2p%917tu2(uv^4&ew0M?yFX!qE`s zKsW|MJ%qUsj)ia>gySKc0O3RkCqXzF!aNA`AuNCphtL3_5keD$W(X}17D8x+un59p z2yGCSKv)Xl6bPq6I1R$-5YB**fY1(M8H5f9oe-8oSOH-rgjEo_Ae;$dHH0+~)lm zKW>FTZexGk27lbn{4yC!weyC>0m0PdYc?*q7h z5`6&R!AbNX@#|p$j|g~Fz+(a)7x09DCj~qu;AsKR2zXY&a{`_h@PdFB1-vBSWdW}U zcvZk_0$vyJhJZH-c(Z`F2zaZ2w+VQ=fOiOZr+{|}c(;J}2zal6_X&8vfDZ`xpnwkv z_^^PF2>7Ugj|up=fKLecq<~Ke__Tn}2>7gk&k6XvfG-I6qJS?6__Bbn2>7aiuL=0N zfNu!+rhsn=__l!W2>7mm?+N(6fFB6>p@1I=__2VW2>7Xhp9%Q6fL{psrGQ@v__cuF z2>7jl-wF7=fIkQz0;qsL3a|zINx+{4{6)ZD1^i9G-v#_bz&{22OTfPc{GWjT2ryzi zUr!Pc6JQFc6R?+ny#?$eU|#`~1?(qaih%tEOcgLqzySiL3z#9`Kmi8{I9R|;0fz{f zCE!p2hY6T1;BWy)2sjeps2Dw3z#IX`hpCWkPy%= zU>N|sr9(icxVT)v3IQtxtP;>A;7kFl0YI}g;@4UM>jbP9&@JFB01&i6{OSRK$m$ip zHVW7T0F<-EugwC^5pXU5JaC@))dv8~^Tn?V1Z)v-p@5`-egP=}cpxo)Spo(G3z0dg^#2Y@QQAmAbaMF6PTO8_9KEPho4Y!|RYz)k@p0xkx)Bt|b4 zzb+GSxqvGKTq)ox0apvSM!>ZKt`l&*fExfn&l|wWH&jct~7)SimFV;-dl{6Bi!`0F|B)7oQaH zlz^uNJOl7-j6NrRJulz|0WS)8Nx;hh@UmB8(5t1d@_%20e|OQ>W1SG_8!`6pn_~3M zG5VGmeQS)qEoQSzZ;#P;#OOO?^j$If?$~nH`oD+$Mc>Q+g(uz@qwkN=55(vP;R(3$ zp&0#ejDCba@llY$M))gi`mva8(~rmKCxG=y_}lpp#{T?2G6h+miqTIitSOSUKe9d( zqn}k+`%BhTWPL71Kd-Q+O4c-FeIZ7_sIaC<)&a=+QjC6CVI3e@(~l-opO@(!!WF3U8Z^h`h71lwLbuhBN6Qkc%SO-hiOk{m8M!&DH zW=hr}$ofHy{!n2ZB3ZML^`jX5vBH`qS%)I)Co%d{g>|T89fqu*#pur!)?t!08(F`I z(O)X8*^+fQvVIk#zgAd>OV$y{`b~`fR$(0>Sw|x4cQN{Vg>|H49fhnv#3)f%M@iPv z$f7a&M}>8?WX(aA9ix9zSaT%n7-ao9M*pI)j*+Z-Wc@Wp|E93&C2KCS{vMsVy{Ge-ZVu#T0i zX$otBWW|wnfJvt-thi(~AZvz64^&tUlGTW;gG_p`!fKSPCS=Vt=^+ZMNwS)eHOr)j zDy(M7YC+avCY`OYS|n>BvJN-t5ejReWVIseNRu9=uv#T+5weap=^TZ%NU|0q>ll;P zE3Czm)rPFOCOuYRwMo_zWF2SH;}zBt$y$o66HI!d!dfa>ry%Pjlb)=wPLZrrku}ex z^A*;ql64xg7ML`yuuhY#(~;F+(nf`Kx@4V!tR|B-E37jlD}k&QlP*+P3CU_lR;x)D zDXezMT86B}CT&w#%OtAO$6Xlde!$U6OSsvR0aOmBKnxvQ{Ij%cN&2 ztksgW23f03x<+BGk*u}IT5HmE3Tv%otwYv&lXfetb&|CnS!bDagTh)bS>4F$F=?;D z>XxjtkhRgIn-tbrlC=R@XPb1h!rCBNJ;*x8q~|KE9?9xO)_ErFQ&_!{wGmn8oAd&O zwNbJ*A#00CFH~5YBkySD2c7>IctbSzeFzHT()h}5oWQ~~gVuh8GtTeJNG3liWD=k?T zvMw{}HLg*7Bu8Dw2&((4sgMzXdd z>jsnFsIaz5);46_WYU`z);7t?BI_2D-m0*&k~NI1+e~`9!Wx#W9J1~(>75EICs}!9 z-DT2U3M(&J1!UcA(t8wEL9#AF*1aaZPhnjoSw&>sZ_)=8R#CD_$a>JE4=JpYWR;Qi zut^_LSY^qoAnQ?+KBllLlC>RKkDK%fg|%I>b|C9XlRl-ec1YGvWIb)tXB5^>$r?e{ zvnG8`VU0-E#mIWzq%SC}izVw4WW8w8mlW0|l65JvUN-3~3hPqIx(r#bn)Ee=b(v&c zj;z;B`i8=~T(Yh})|*WFW`%WyWL=4@x0v*;3hPSAx(ZouGwItE)>V>qHL~7e(swGX zt0n6iWWCFz?^amXNY=H;dXGuptFW$>tm}~VK9jy*VO=L#*CXo#CjFqox?ZwwK-Py$ z`eB82gJj)^tdE%VqYCRr$+`(yA2aF471m9Xbu+R)VbV`3teYk47G!=XlC=w2-!SPn71l1vx*J*FGU>M!*4>hI53;^v((fv)dnD^#WPQ)1 z-&a`oO4fbI`hiJ*sIcyntoxDmBa{AEVcjoT4(3_ri^6(RvYtZLUrqWqh4qwVJ&mltoAe(F z>uJe)23h|!>Aw`#Gm`Zzvi@z-|5I4cO4f78`j1JCy5RiRbCUHuvL@Bhn8JEqvR*)z zSx4&>)(evLBC__XqkAi?7bWW@WbIQ&_f=RgN!H8Anp{WsQ&=xc)+@-GQb+e!Sg%Od ztH_#KN2e*QS0(E;WF1gPrz@=2BkVWbR7Ve1SZ@dxomsbQ(%tls zx|MWR9V}_kL+fBUg#Unr5m*vAOx%GVv+L;LK)#b60srozN7lh!7YIkguY2GbHh`yd z>Np%DpkBaSVBAHIt?RPkA9@_9a(o?Ib~%B+?L_|XNs@CWJ-Lp~WN z5*9I_EP^1SXaHrGT>%k@xPX9wpn^Nd6L&=vK|pxFbNV+t|9r|}CvjafY|1Hwgnw+=mS?1)46KRiG1=%bF^`-8`Q=-5N&4$R%-h<*1P z>_6zJ)raqW+)+mzaqQmlQTrZH9(e3=d$$if;^+fcAM5RZteTm+{1bou@XBA#`hQrO zF$q&guRiLq1IEMR|7j^ZWZz>Ce8VMc;S*c@;s0xC^-%|}-uHtuqf0hiHhL09x9;7& znAL&0wXSZ>s>$yqb*pAsZ>?EdSk~5c>j}&1gGNi2TGqzi=eo5?UG!Vjt*x~hDxfWt ztI-gZA;L)ADo|mTh-llVMW~5qDe919fZXy4BXt z@C0#y9uK-+QnLmuiPE{2^^z*Zth&9lW^F+4H47i)H=NgA5FFG;KrXe!ZP?!&;i_5p zS=L+X)(+as`kHmBC3VngA6!y@Bw{*bi3x0KWZ(=eZ&9<>Th^vJQ!oY3->S~z1Ddof zYn6_-55Ic>sadmiMkIRr?4T1TbEgkJ;2G#CXGZi!(YpWE=#;_8x>+*s@OB*{qeF(< z{rI49#z>)r25k|IFCf2a)<%Rv>-U;$)No-9Z&tIMy7k#!z;&b;=I1TzZFTE1wbmQ& zMy-HOQ5n;X;b%HP^o5SziX6i(p#35y=txF{-Vr5D+P<3g=9={x^#O5yM2jTUXjrp4 zmNkm$(B^1(T1`fWfS?HRJfLpftJ47`!h#Xu17eHPb;wNp(619DqRtV##Y`beecA*= z=!r{bNsp&!hW8_e_+ZJbp_EPP)~DgW7Qxy&4ew^?qHetjBJ}8eX8LLx0cgZ{&y+Tl znwI90E>akQ1E?VJpDBU{PfIfdV}VUX1L2bBz0rjxq&V5L(`&9Xi>~`rkNRl1R4eqo z@u61}!=Ghw$Vd-$eiZ@&-!w8y(a}tWP1PSb;Ph%D&oMO`ZB#>FXtGM9C(X4Zc(o0b zm|0yrHA^B13z;rDh!~fwP%>OOx@M^_pcprCSy{dQ!7u9Lv9EJ*s(v z<#}q|+6zr;R=sXLFf;G>>Of%UFBqoQ!Dl#wyhZ4cX6O-mnN!QkG(DcsfncXaHADVL%>#p9$^h#ybiNLHtUE311cVG=^VNsbG$6fxU)TDu z6TVTZW5G1tShEgB&ZuLEAwq#5)O6q{)~y>fXb>^3cd8!8*41_Ewcb=>3)1}u0a=Hn zQa5C`oF$<~Zs0ev4g-YeVpBK6KAm^;g-(%j*ke%>PXi6HjU$pZ>r70Oisz!5_HwQ! zNgsly>4(02jSpf7%QaPEu)Te6o#x~z@JG)AjOfei8$?G_1x8Q@oknn5J%_97(F!SK ziDPYbehXwWrUPTqNg1tK->F;pjo$GAO;8_QFGbqJ;hJ?AGC@ZQPmqeW+W*Zm#)}=S z=iXLY2hDLMkeKVB;2T_m5~~9aqiZyWhuDyJLdNR6OLMh@QdEXxSQ>BEvBM6Q{2|(D z-z;5^HS2WC>eQ`xX5Be8YlV&uiM>(N7)B5Z4t!GAadz5G@qy+yjEnw7PzLqO3lG!7UGl7FN(MyvwM+HaP% zYG(Z&uk$rfvm(p-jn+YkvYAL?^}V7C8QTsF!ZJ$XPcQz*)U8QXhBfPP%lbMZtf`1C z5u?Ve!RNQ(Jn98dPk&U{L4%JAFC2qSBxJ6+w=0TtqJL;vH|S@-W*w;~ECw<$OHMZ= z52A;xh9^j1SVI?ZrcY-UYj&wl92&y&qjdUyZduRPtQG{8Zuj4uw$q7#| zE^KS+=Q;#mw>S&|!93UE1xdPweVs43eJZlivfihudoM0gC{jBxf~ODR(#;k%;cAHe zUxW58%Nj(H<|L-Ct--9-tnKR7pbi0{=*7R+9G@i(;G}N*_fx}z;#u|aO zK5dJY)f>@LO+g~eQ`ifliue?5J24zW%pAjdwF;=&J?wbpe>#WY*@2i&>bEfA-54; zxB)xxYNLh@*&?HZ1Ga~R%k zkA1RcJyVyv^uLe^Fph-Rm4)2?xr#`Vd+OFnHS0xegLP|OP1fChbql$DE@D`-4!5KU zwl72vUdhDiq@Yu1;MhqRrVi&IZFQ5*0tR?7>cd0r1=Z}D^-j%p80kHT39b<6w6{PI zaF}|R4j&pAXO3CY3&MpBO0FC;`L-7$2tfT9CBhm$q@gf>$ z^xV*yk{r+-60RcPaI6=TQC$nGH2!ss2F$`5wkF)i@I_`5y)hztd)F!i3Jo!{nC{-R z_L3hLr=@BWqkxl0$PGF{h%NfX?BK(FIIy(zJk2`PK|mhEg>#l1DA*{FjdLvPYjq2^ zL0nPbFWGd0dil`XWY8DFBCDwv zSlH3*!T|BWjSV`F>v|VX-CK|YXoXdV2cI!7@C_+}k@n^Y_Tdjc!&T(lej1QPnsuXU z!Rh4~CJ4d7bRZ_W(C$+s2=%DOt>jGY(COn6?vPgANz)6H1Ltd{(DmJl8^z6n~e3vFFCij1IfG~KkMj+Gq#r}p~evKaW z2zwEAEbCD%I#maYj^G=5$1K1;!iW#jyCrVitsBcKHS!kSFtMYe0=z<<<8(q1w7!}1 zaUEKrR0oI%V1GtUIo9@<^Uu+N{^D0AepiQB4wCr$gebo?uTH z)g_E<#I1D)9R*AwH*n{XdC@N&+t#dKSys1h{dwjZxvp-_)(VJxZ_UD`kGyfk()$t? zIIcI?U3m#Xr&xx1E{of643mhdu_Su`u&n;Nby)AphXY8118>*sENsA7G&rc-2aPTS ze8AT_xrxnUwqv~`CjXavx?RZiOjpEd`h6{|TfPPmK48i)*q;AVO~tD;G8i3J2jYMY zJcLdC+K7ARgE&Uj?3ZS80NIWpz!?db)KHFM}!Fqc9NIL50ugRTDu#b7+w87@#C1 zKIq-7t%(Oe*Uen5&%-?v!I>E#@*E2v2BF_v6XQ{Jwb9#YXOa`UJuI)%3%R(V>G2;8 z3;Nwz7b!lRrXH?W2Y#w|l@=}%Xsc@+Z%9wjO!MJ@?o_-*;B-dtQB9APbu){oU6XHQ zPt~m{?XhS7{@(7_b6At=RK4e1pxdL5aUlX&CWyIuwW?;lVp$)n%lBm*5KDB5G5ifR z3loYf-+8(lypfHFGaNv36yXwrJNapFPqVsrR_3b2X^Tlm!uL)zTGm;>jTA18YA7%w z3{9?Q+9O1aqL+lo9CQ@uM4$qCtk2B_e`|0>;Ad7m#RMqe&2s>I|whvjx~sZ zz)v}$bmgL>{p!|M`b8TRq_h`FJ+t5gzZ$^ue{FQIe4%C+f`BQIEn?<)LYz?(c9!aG z0mH}c!PG+Ux|5(3YY^RGYEJpDO%)3Sd5E0BqDIZ$&0&KkWJPgQD+?8 zA^0$eX+@ezbG3j>#;Ddzq|@2$gTtn4=DN@0oq_m6;WX6X8GqwX|_(lSESc zHBA8Yb&G}t!`Z0&Ji?1;V3~Yd7lN&e0#n>un{T`*gICztad!9B8SMzYFV&3{MQDp`gekGFJ2Q%Q>di$j{u;5KotlOk&GCf-)fT7`Y+nvU zOq|x_>ei0l`NpEqGZzhUbixP*g40%d?+r}@g0MgjKMfL0J;CRm+XzuzU4jTBy~T(_ zAD?@gQH^S-4nuj0im)alf>IrWkuj}+CeZh3^Indv+howvA7r5Zz%_AC|HCXPvCfrP zWlCHal~~@ElwskhjLcHvlBC2bV2KU9K2aI3w3J(u2*1kPl5Z#9LE>_$Ul835wknl&8qOso#h4G`Wi0m)sAO_6Lv$ zQIAtd{WyerY)~rW(9rrHq|HNM$63Wkz7myc%QvV|I zV(LFneu2D%{37`!aszoOc^P>*`DOAe-<$*+-LCvPKfC+{G?LEcGzle~+(o4kkINPdgF7nFE@hx{J(_mTIL-)H%Qpv=?5 z)IUN#3W}Y_$RCkE0cAd)AfKfEXQ0^mCH21|e+`PArz!silzP9V{4Du9Q0o1G@*l}R zfl~jkl>bIPNB*6B9+dX~r2GQ;FY-lD?7WQsq~5FePsZ^d@-^~xQ0n2Te2) z9xnowZ(%vEMp|!6Q0i?(;_r{D-Z;}Jl&!s$%+?~WbULEfq=8hbRw|i^&mk z2`KgOy-Mwkk^zY~{i-+Q7}+A*B>pa@^_G$2WK4F*giOhd+>6Y~f-K33Tu$Q8C)(d6 z*(FziGM>FDucSOpc@?=YxgWVdc>sAJc@QY}4xxM~c^LIaQ2rq0qbMIu;;+l<=W6m; z@;LHC6B-fB1CD)Q4BTpjNktdU9oL9QpyAkPG) z-KQv@MV?KbL!L{1nmms@AC&eNP`;4zMU+2BUQB)-ly(0_%3lJd{iT#IBQFP~-W8Ou zq2$33xa48$mqQx5#_RZY7~ zA0QtB#r`9de@H$~{+N7%{3-c!@|WbV$)`a))^8~P5BV(ld-9K<^!pdee*^JY&r$ym z>R+Jz66Kf4S3x}TEl&9w`8p_eYZ$DQ;~R<+-(7V4_*;U?ctfc2n<(RDqU!N#MTzgV z$}LH}DODL?rqw>)Dr)<8P`@3CFIQS`dlFx*RDKuvZgNNRJs=(nf7j4@?auGQM;*qcLYG*0+J~;~F zk$3ZIA72->UYq)5)Q?k-@9bJHB{L9@{FzVn1zA$Robm)YNp@L2MHzpe(Do~-pQgNu z+?U*s+@CyvJdiwyJeWKL#3L_xm3T*?{d|x-lKP`5;{~~vuO^RW`G?5kNxXK}dM8r; zDCM=}$HRls`qDMV?KbL!Jvt-keVvf9F?! zF97k#KhIP7BJy)2-hpfR7bsss`Ad{HfMWM@%3o&r6_l?euOhD|uL1E`*HQi|c|Cap zh{w8#^3CKebSU;uyXVm|adyK{;3c0Lp&(M-Y$v zu|(y+kbforMm`7Pv7V>=5AvVn3*^7Z7s;2%f0Hkhcr&N{y-NOv#NUxr|2ipy6hHC0 zNc+c|Qyn*6ZmW#!UIVI~50JB2z6<4DNxY2HcDqrYLm7Wu(S8P~#~Wz1H<$YPp!ByVxsdu{P~xzd z`X!W?l0J!daB3fK^0odLDE8Wv@fQ=-<3+gYV=@8pSbO1@^pjIxQm)A5*xuEO|6fAt)TMhmw-k$j2#H~BL83i&Ge zAM!O&>`KsuHBi=Po!o@nl-!KmoZJGGc5en@%G#3pw^6?}T<1yesK|Qg06B2H8(~WRn~q2SKqnkDO2a9+Vf5i>MzWhsnj{ z2)Tq@O8TJK4=9JEA;-uT*#@QlGRotij4Pp>k{P)dnUe)sk`=j}oFFI3F1do7BKIa& zlKYU;U{;2c2`n=6?rxF*HXTY^7Z76)ZawjOx{A?N`4I#`?pcP9h83W zr2I|tF7j^j9&#i3El}Ehhw^tpv3noo`zb#_`9bm_>K~^32>B@Wk5PV{{1Np(q5K5- zBq;s=oaMiy{#WF$$*0JtLGkYy^0(AKOa6}hJfR^-;wfrDZh_$A8C`bS-vynT|u$88`)2Nlk!|p{F_JaPR=Ly0A+j&C@&-z zQ9n$1F*!mmA(xUqD0TwMA!(>@f#T;f>c^??P)=CB7g&Y9)8_AoKiNm_MB1SA zGn?|xo*3sb5c?Nq&kv z8pGWyKbCT}5cCBFuWAGcAyoxFqm26-na_3om4H+c`ak>&SN{x;?BQvM$0 z`ze2)e1LqAe2Dx3DE&P``BCzRJ8-<8BrgD63-6hj4Y@x z$%uGR1Et>alusZ(LY_#jAwNp41;yS;$WK#$ z9w_!MATMJ1#gs20H-KXQQkGv%{T0+-NnS->ORL%uRy8)H05W=-;%#0{{Tw6KT`fP`B(Bemj9i6p8N;-Pf+@Kk@8EFUjb$R zdYyXtXY3M>8YunM$xX;j$<4^k$t^&!{}%FX)Ncify=^FOOTL|a2e}<6?RNmB{=3Qd zfZ|^tWg8T~K0wX}rQNP9cd6fvoI^Iqe$peGM0uF<5^|LK z5EMTRz0MR@`gKUR<{S-uZBO|ByMCHDiR-GQLkJ(&7K z$V17)$ivAa$Pbc7g3|tI%Eyqa$z#dmK&kg(%Eyx@P=6xjHRMOhwV?R9j`GRmDdef- zX`t9Yom@}-8RVJdC&^EdXOU-<=aA=;pC->E&nG`aUO-+*eijseFQ)u?@(a{|iSh>W zQt~qLa`MaMSI8^KE6J`(T`!?n8kl!W0N8U%?Pkx_#0F?F*ffDaW$j7KZU|T5hBV{|e zLp%Aoy-Q%buI)B#*R$Or+nuuAwRV5M-Sq82+a4US2j|;^d)V`Ad;Wm!XLbz*Jf$6lcI?}6WOpJvvF*gzscol~o%wcN*_CZqiCyLPgl|vw+f#$~)LeUNo;|hu zY`ZzzZqK$mv+ZiOJ+(_vIXn4|-S5~<#||7jbnG$5Zaa45*s)_Lj-5Jo=Gc{EPdN6Z zV^2A=ZO3&Tx8b;+;|@6k4QIe}<_$Q0?)Zh{PdKBg6SSQmb^?5;oG^95$}x#!CY_dX zT9wl-ov7hNiLOL>U4~g;HjJx&xDitPG+3kcXHztfm5VTQ95PrRCo$! zx$jJ*&YCfICwLRO0{nQcJLGzv>kYeJ%k^^CD_pO1JH9*Rxhsbd<~eiRIdg{Q%!%ei zEBkF1QSa{$`uoHF{&s(V+~1$}_h7k3gZ=}S5#hUyfXF5+=I_m=`HuY2|R6YBKKCVY|77Ib8v2R z_mxdQYX1NH!Z77PpwHwQY!z;tKOb_d;+gU#Iso55f+A8b~rIyf*eICsy%xhs1)KDcPX z;L65aw=viA;K$rOy}2ug=GpE%7f)kebN6`z?(WUq=iBalw}I6#f54qT(3w9lJ-<`T zpYH5oyL)=*(_S#JV4>SsINx13zq4@u^umSi!iAlM3#S)$iiOjiMa|}-1@J2xZYIOc zbhw!fH;dtBIUJ_Lt!lVk4o98gWyNsE3@6oaS`BCUa1jg_<#16Am;P{R7TcZ0Yn;Vv z;t|IkG0BLT97)WQC5xBDkv}@&R z(r+2RmG}{!(vOXg=5g%D9X~Goxbi#3?__?b@DtBZ0zYZ_N!QPepGAI_`B~xTzMmUE zZ~1xT=N&)K{T#~D&%1tM{9>73jQd657o}fRe$n+y-!B8dG=ACk%g8SazpVT!_9t9_ zqTx^Y{-onihW=#7pPcr)j^CXg^@CBr7&T*~CLT5UXlzE~XfzE+({!}!jCRY>X@7J& z!e$XTZr}ugV*;lgI62%6{0yB1feB1AFi~LQz$Agm0#nEeKwu&hL}f7U2IGUl_)rl0 zK^z5f8YF3uhCvz!X%eJ)kXAu%f;58ai3%gUr8)vq0T;mKFXH;B}&2gEL4Y9Wm z%HD^K&$zB}8^#?no{xRRc*e+15n(SdUWR3l6>hu<(=5$!(=1+NMjSI@kcBcJ$uOh~ zG6Ugjn;=CHO;DN8HKAuh--O155qyQCCY&wMZ$r~o`mmM)5F}aV_GkIWgWAe!49g`;}PfebgJU4k^^3vo}CZ9Hi zZ3@Q}t|=PWN=>l@xn_!vDKb+OrYKEOnbI+3!<3#W2TeI-%FvX?lw+oBnX+xl$ds8W zb5j^{Q|o{+xTr0w@uPEc{_^RQPEDrcAmD&GIFX2M`M2n z=Tp>N9{DY7Pf;)w1%4DnQIJPLfklYhM-)0y=tf~f4y$k^3YSEoiDXq2QMfiTNn{Gi zoj8i(IO>?F6Gfd&7E^+RYDGyIrB0MKqSTAhktj_fW5iUEW z8kq~nzxKf&?P@$q3&*5&9lwv~=?JEkFr zjA?aDr(=?iNwKuBS~{len2AmlpnpWa6P29~&LXFi#ht?K6pc>db+FLOs#9f&?Iw03 zab_oupEyP04JY1M;lyRb6Mh#CVrgwoy1QPKTrH32^`rKf(ZM25>!dhO+p7d zauWKoRfKU8c9Jkn!b0wV#!XC&1)rEQF%yZIOj=ITa+6jgX?aO&Bxx;?v#}M(2Gc5% zR++S>FqkAQlC(_HiKJ*Gg(rJYktRizlx|WslG01cMM*i5luMG*mu;y;CKgE*Csij| z?kCHmr0XQpMQXdL(@LERH@4KPQa?<6oJLg|Hqy{bLz9M48g|pMv2-j;$I5h>K|-W) zl*Vxy7ikB*+G*mXiJK;kH1X1;nI=PN;>-Ca<1}f~l1WZF@GniuG+CY|(`g!~X_;mw z&G367&FwUI)4YL8Uz!i4`QkM9(>#<-G#^j%BF)P*@1{kX7G+xcX=&23Edi)T(+a<{ zv?|jH5An$CM&`Jgw=DC@Z2myDaDKLMVYaB5`9bElGC#@uJoAgpFS8)d0=O`enIJP^ zW)keVSsQndCe}a}M_C7(cao)fmKIrNGURD)vOLQ2G%Ffefqgy7s?n?}vk6}}csF-i zxw9;H-P~>9Ql7g*d4H7m$FkXbQSRYGk>ggn*v|dY+z)a;&izjAC%Iqbewq6dx!=u4 zyK*4lcs7mPERuT=?g$2FFEnv(67j<9h2tSN1$J|6mwBtmTU8!8dF08BNw%;skCHq} z^Qg?D<@xvs)_)$`dFgDvP}A<~Z)EB=6dJ*U7t$yzAxN;k-MN zcUyTE`XcYH&8Jr8(@{R%$)~fzb_=^vIP>t$s&E3iVmO_`DGIlNFE)icRLq%Ecz)pp zatP>m23e+FT6mdw;T45f7TyHz^hI+`F@oa}7tOK4Zxw+r=VXxLT2tsfqc9Em-e890 zB54A-!syX1Ye-I9oTg7umpm98k=qHM_bm2yaK+_<{p&@Qp}caYRYnIVMIqO6K4 zD5|)qIz^Qi6H(Dkif&O%%_*j$V!Bh>ZfQ44d#H5m(s4`qo{3#El^&d`bf!z!E!`n} z8!Wv*?gCz`l&@RMWKYG$;AN$kix>J$sT>@@*MoBLno@7-rQg9NTU_(YGH91UQieE= z9J!Xt;k*f(tfSW{B;+8PBpd8D~v8rrUW!ov+ZrS$A_K@5=uu|K(+-f7- z6XP=K;84VYSH{?jv2n}ZSEhcM#-(lwSn3jwv@B%}FDiAdmRYCF@)C z<0`;q(W#7E8Lu+qxWiR)dn+p3YU4%~$5mWb@pRR3s*b5T9eL}JI8_o>iNT&*WpDrC1V|N|5>twPnoyo52b={$^7j!+-^*UWIla=Zf z-Ql9!GP+p(F3zybbc?84Ae5#%ovbj<3gfOYjTN|?&Y3gic~gVUskz?N+~(B0=G5-Z zDL=xta0Kse!eDX zuL4cR{Sjg`&;>WaK|2>kpII4 G{QNI#I_AOv literal 0 HcmV?d00001 diff --git a/tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/b1b5c09e-9587-484a-a059-f45ab2e4df3b.vsidx b/tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/b1b5c09e-9587-484a-a059-f45ab2e4df3b.vsidx new file mode 100644 index 0000000000000000000000000000000000000000..23baac3386a117f861375b7da592e016c70a0da7 GIT binary patch literal 10216 zcmY+}2bd&9*$43E$Vvu9^09>K#+lifUG~CoGte_rJ=?dPsOs6fb#53k92^{QM;rzY z1SIF2bIu|vNjY**F`$wZ6_g}`Vix%RTm9dA`1UFKS6%(qTUFiFJr7WCG&is;>q&tF z{>Cz_CTx@!G#4)Q7A@TCK()^yiVj8s_SC<`iLQdCRgeN>&L>N`e5KzH3>jWg+vqmi3XD9%hwgz}!&wx2)$)`!tgiy|RK4vkH=<%WG42 z;B(7DB(6SaS<6k#I%ahk3yoPX#G`^cj3cIsQBXl6TAnrYdEGRk{Z-3KOv33V22({O z#>Ejg9G6f*N3`IGvdm<_>2%X*n}BJSwfod5Voe;EXtV5>i2tz{5 z4Nn0TWXq1IAXUwTWgT(4A_FQ&vinpEPO+Rfr%n-xBw6`%Dl-Cbm)^Im4=rnN%fg*p zW`@gx+vXGjUojmqALPU(9M}K<$5eYgGn<+)1R!knsoRU>*O^|PWnDWJfW~vD?oxK^&;=_(J1Q6vuQc)?Z8lFd zVm_Ojt7v&?DiRCCYx0h{iX~rY`l2K9V9u+W<$PvYzIh80lMplC#j-yB!VX7#JT(^X zbIk-G1Hw>n6-P`UJH-)i6ZS1CmzgCjx2%;-aZO{D5QIi~tMLp}DH6jdK6fJmI zS^Ku;O++1)?MzNg9s?oyifk{LJjj5Ah|K1^+$?0pTF@PJtOx-}ju>o}lcq*NM?4g? zBMh0(Gwm3tIQ1#O>xto3bjSWd2E^lIf_Bs+GtX>jWJACSQycgllXDdl_JGNZAyCkQ zFdR|8&$2!+0q2@6hej0Kr3+0A_90e>fzX(kuxy}LENe&0!tVl3QSi7gF?$m8#Og2& zJXR#nIzD4ohdRo^rX4fPR)m$N<^f?8#A6f`%nfzS0UHU~(2@;$%2ZmkuVY!RY0rj0 z3o5&qU5(5uBGHIEDA@nmd~oY97P@C+p$n4Z5(dJnghsSv$E+Q}*y^YwRn}!i1(6-g z`l{)I42a1Buy#CCtOAj^foMbpzB5@f?wyzJ`3E=6i>sP<5?Ofr#?B}#uRHd=bKRcGMMwtD8A(8d<(iI z-HJ}9Thjr$4aL(k{kNldbmm-8n>us{`gNM4d0L=@v`9;Ihz`>o=?I-cXVO`8HZ9Yg z=p0(1Rk}0Xg}Ssxv7O918&pz{Ht8tE`(om;^^ABejra^2LmE;10GW2|T;r}(QM@ju zJ*6!=PUq42bb@|^;&;mQUqJD~n{#~nj9t1r-GlB)_o92#edxY)Ke|6%NDrU~(na(j zdN5r~521(B!{`#alpaoxphwc9=+X2T+M~zPK0S^ePnXdX=!x{3^dx#RJ%xUYo=Q)n zr_(d≠4rHa&-)OV6X{(+lW@^dfpOy@Xy$FQb>!E9jNKcGLP zkJIJ!3Hl^`iat%Bq0iFi==1ai`Xc=i{W1LseTn{*{*3;d{(`+}u!8~R)NCjA}#J^cfHi@r_&NdH9Nq3_c7==<~o`e*tf{R{nweoX&L|3*Kdf2aST z|D^w-|EB+;|E2$4ZUuh6g3jp^6uCUjG}8Qq+2LARt^(dl$+IzYFf+tTgm_Eb=tI&=s6b(*7j zTA+ipNK15x4$~d!2%SM^(phviEz_Oo99p4Ox-;E{y0k{?v_U2HXp@dopU$OYG@v1k zXiO8jD^*m}l(y(Nok!=>3HlA%rVD6??nb+Gce)4NlkP?Lru)!+>3(#7x{w|~52TCe zLG)m{m>xn8rH9cabSXWY9zl2kCd|_vrWOL-b+#2z``3Mt?wm zNFS%m=@axx`V@VdK0}|S&(Y`U3-m?$Bl=_d6Z#VUDg7D!IsFBFnf{XgivF6uLSLn? z(bwr4^f&ak^iBFZ`g{5Z`WAhg{*nHPzC+)o@6q?^2lUVML;4r`5&f9{mHv%>LjO+x zLH|krMgL9zL;p+vM?a;X(a-7Re?36eT8U1hE7Mizs&qBFI$eXVNxwwDOxL1o({<>& zbUnI0-GFXLH=DF|BZbP@F+tKZ*pf+{r4)p6Z zNAt8m2WgR(=nx&IJJJz4gU+P0=xkc1JJC6`LaTIVx(jt_jn-*{O6t)j9i={=cIobP54tDai|$SLq5IPP=>BveJ%Aoa z7tw?0!E`Y_gdR!{qf6*gdN@6T9!Za)N7G|yj~+|=^f-DvT}Dr!C(>`yljzCx6#6ZC zDm{&!PS2oc(zEE<^c;FFJ&&GGFQ6CFi|EDl5_&1Uj9yN!pjXnX=+*QZdM&+I=Ui0#`&rBqJi3EfQC#L?|s(OK2(5QIRUq zO2vF37DS@sh)zy)3bqioaBWeug=Y)j7Rnad7O5>3*tW2pjy+PeUB`BFw(Hq7$FAk< znzUtTdjq!T*j~r_f(D3l!K}^sFJ~6FxU$Rd%9RC76-%Ppehz~s1@<&iK3S)di`RjTyH$QBSn;*MvC2$($GjZoKYyv=$B^}O0$GB zd!##ic6W9+G%GHa3#D>lxIAa5JZGd_EtRW7O5e>1cTl8hryQddp5 zI(2o+O-J3-cT?@AEw>f8^X-}_*Bq37EhlP&ZmnFcNv|e@THw@zT&?TYx_(`h>rSU$ z8Ln4mVbXP}>w#a78}&G-$5B1j^`uo-aXq!`sbBAx8@6cJUSo2TsfMi^cCR75hExr| z-tePFAREeQXj=+LikuW>DLT^0NvACH0XBqr_TzHUl@%c?o^%^nl619nQ&~@C!a zJzsjU#LE=MGE8J-%cw4+hKy2~xH6G)*B0J0sT`?tQst#8NTsA2m#Ql*X#z(zB6hkqYX9c>(Qh&s$#z`{kryXzZ!ur zBR`aW==)*fN46j3{Yd&z(~nX=YWZ>GC$_J&uTwv*`01!W-|^??=EnY99gjKXF*z~T zE{?TJf#?K|6F9lR=?6Ix6m;O$0#^r81hO8;2qOi482CB}WDvVS+6Y?sE~wBEp{qi7 zepqwDS~rwAY@$$xq12)5hkg|LX&Aa;timJ?lQh&K)J`M{ktk2@HMlv1y`)J^8q#iex8h+EKF-#ZeTekrok> z>s+J@QEEr2J9!&Y9kpcCccOkdb{lbB#tlFAqc{lSC>KYCI4Z}Hj3XUKX`IMdq3Bqp zv6_grj&&NhnsF@P=&oDyZ_I4U2ge5mqD6`HCruFQ+7CSTE1)pDv4!h%aLOD;VvrO3Uy2AdA^>|y5s0>m8PEK=F(AxZ$|2elMmUC z%{VHZylZ}{MXH@t@099!X-l=FZZ$_+LD~xKRv5OTMk~^-#BM3KrDRJ*EnR7)PAe_6 zQg7VJjl03PUmtIm=K1M7U7nYY&KKqR_V|S8OjJfDbYY@hoM@NYqTUv=Ek@fSXp3a> z7TQr8zj?(@yVPmV)$OrPTeaIA$NUI89VgduI_9U??G$vUT8Br(Qmr1yk`B&3txdqTdQ{hc5GmwVRp&VKVv*_pl5<2Y%Z0L9E z>GY5ZaV7Q>(chQAl*_vwNjDQH+qUgGK$uR2oG z1FlY$buO7oy5_q<%A|`TJ>AHhyKTGV{ccifqUorld1-vARQc6nW<77frOmskskOQ& zhni?%)Qcijoq|-SAYF$d(rxmH=k0aDgKkNbMjhksnADN-tC1;QjYGFhw^7v8>k^h9 zHr?U#QbJ#MDC$LZ8lm0YWNNLF=iD|@6Fn~lDf2+LiGsA|Lrs*w-}CP6rcr#h`6r>21l)1o-L-kn~S>!g8;*{Czf|N;5K?#&umB+fuLDx#XXljb@b6u*Zqmm+b zx$&tlB{banY3Jv=XG$IE4Wu;Yg4F#$H?x|EW~XGTS0hmVoXe*Q^`bF*Zli^iA4+f^ z$}RKVKT2^fgfyDFKLXM>)7>8h%Q4Enbj(iL2WL4&89xpl4^M!LAsv~^I}w(@re(jA zVfn*a-k%CjgQr8KufZ!4>dwxDs9guY{}M5FCc9;Z<-ATnpDh1{*Mj2`vAzmFLieE!c(v zu7@Kqg&CxuKR1qoIotp>G|<8Vj>0iG4m)rooPd*X3SJGbf!D%Ka5LNjx5903JG>5F z4|l*D;7+&;?uIwQX?PQS47?f6z&-F5cq@D?d>ni{d;)wTybV4HJ{jH)XW<;2hfje| zg-?S|htGg};WObr_$>Hr_#F6L_&oT0_yYJs_#*gX_!9V1_%e70d^x-mz5>1yz6!n? zz6QP)z7D<~z5%`wz6rh=z6HJ&z74(|z5~7!z6-t^z6ZV+-UZ(W-w!_k?}i_QAA%o- z_rQ<9kHUN5$Kc1|C*Xc~A3Ol>hX>&&;iurI;b-7y;REn<@bmBs@Qd(E@XPQk@T>4^ z@aym!@SE^k@Z0b^@Im-p_&xX#{672v{2_c8{s{gU{sjIM{tW&c{sKM%e+hpDe+_>F ze+z#He-Hlv{|NsC{|x^E{|f&G{|^5F{|WyE{|)~G{|g_5<&QC4-U8SI7s6h61UwQR z1&@Zuz(w#_cpN+)o&XoaCGbRe54@oavm94ACG+= zFXJ(_3C=U#WW2?=kUWccrg)ZfnQ&=&Zn^fk4!N#zExFd*1l)w&R5eni zQyZkV$f6{RS{c(Bvl(w?++-Qc)M%F5OdHuB$|#mBl`NAOs@y7_ zD9x3z%1TuFC*?lz zOmnOGc==8Vu7%W+X%%awwJPYJHe4H{jny{LR%mNA%<&n1ZwJG2G z@^!b&+PH1w!t#t>rgDI$vhBdOBP(J$aw}*vIK83O2HEm~h1FDcXi96wY@uyoY$vcC zUNq8z*NQYP%A?H+nG~8AbQH!fj3{hW*nE`fQO-v*J;ubCuYtsa%ZuB)q!}(r49@%KriRbvu>- literal 0 HcmV?d00001 diff --git a/tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/ed065c11-22d8-4af3-a688-06109f4f5b47.vsidx b/tools/LoadTest/.vs/LoadTest.slnx/FileContentIndex/ed065c11-22d8-4af3-a688-06109f4f5b47.vsidx new file mode 100644 index 0000000000000000000000000000000000000000..33cdfdcf6462a6adfcd0b025ff988998239ffbc1 GIT binary patch literal 10708 zcmZwNd6*nU`3LY0M36&3ZbTs&8fJ#wo?}TME)H%@ckNE^c6W8Us`tq51Om$u6G$XM zkaZzIxE1ikTM5W1a^EQ7P*6}%Q9Jf2oZ{55B_pPBdMTf14ev@CF( zEgT2u`Hr)}aRwY`o-N>Vv*YwS&KZt_At9z4&~%(>$5~_}Z*m;hakg=sD;(z`$3foP zZ2f+YbGG9g=s3IDN~Fat96Q;L7T8ocqyCL^YWtmUYcPNTdw1Fv0>`<;UM{r5Kpr&g z26Q7)e&ZJIVyFl}lalSR8;SY__Hf^HMkR){%*M}moNeb~Fn&BT8Y0zZJM#S<=Vlv> zCL0`QljE$l^~gDGA7`D7FW63z3iShybEYk9VI$u-XLC=1dBgaT@CbY0a-(g98k7sR z7qsd&++_PjS{$gs#1?EB8PHKTL(`UV#w98j*!w-OJFTiyEZgKS~5p%S+?I8MtJ zkP~H8E_hQaTn^ZIUTB-(8UNp7gY6UlEh zwn1dm=0WlWcFeeifPx(-*0DQm+&#l?p1{6S3vENp37T|U&9fbS$hLBAC7u+I(42c- z%o1X7bQ9tdy&wY)6gJp|Xo8_4Audj>gIg#dEry3_pSBrLC2;@0l=R<{*~(fuU0=5h|qWy6rr3p(xApdqFaWmKXS zQgsU`<3Jg=9=C7M*0$XJydVq*0`Le3z!)$I*uam?CFwp|w>j=!X15vQkFZTpgK{?m zYLH>pE+4+t7}!R~IoUoM<^ek#2lC9b-*)V6w8g$c4GIt00#f1FWb+^lX>kh&-k<~Q zC2A0lZ0N|HDiT&CxF=69w!O#Fy+DGlM+X0GsS3W*8X|gG!uTdq(gE#~F5< z{T$~dJI=S*M?iAqMA#ccLR$pm+m0Gc`+0L)6qPudHZ2NBUa%dZfUt!&e~;Zo_$`bf zZL%ZprbQVA^o22W59G&4(6+l$=oDoP12LFhmOWA5%B)L@1YjNu{4Ci|&J z+Ku+Zb)apCON8OT<0BH6h(tUJ-33J@?ryM4hFd6)+VjG>#lj;`+jtBKcbj&Q58G^* zKvbgbW?MicT5YliB2hTcHW{#;;#rU%!Dxb-`Sy&<&9-uZtw(d*ee;3Hc^mg|><{wW zAKdT6*gxpUx+O(gdyQ$cZbdO;_PUd!(-yOA#S&Y$qubNB(H-cH6i;E}-%hdh?e#7c z%WJQ9quA&6y7LH~e)pt%QT&#(^?TEI(s$8)=)QCTT}TTQ`_ATZ>HZXpZ0n1(M9UPr z#NNkdw&F#%dbC2Tv_|W+j~+x9(Z%#&dI()Y-%b1Jq4YhpK@X$vr2|yZCiQ7RB^{(g zv_(TYOh;%$JAX;CUlXQx(evpA^g{Y!`Vo2&y_jA?KT1DFKTbbE zKS@7DFQuQRpP`?npQE3rU!Y&4U!q^8m(fl1a(V^*3cZqEMX#pU&}->+^sDrG`Zan3 zy^-ETZ>G1DTEu=zVlEy`MfnAEXb_Z_;nkhv_5q+w?p1 zQTiDDF8v;ToIXLnPk%svNS~xXqCcij(Vx(t(x1_v)2Hb(^jZ1~`b+v8eV)ERU!=dH zFVUCjEA&4gD?s9sNE11N|fY6a6#&3;iqo8~r=|2mL4g7k!=noBoIXm;R4- zJ_rLJKclsN%x}f zpnKDI(s$8)=)QCTT}TUbKkCx`=>fDzOSDW6q&>8kdbC2Tv_|W+j~+x9(Z%#&dI()Y z-%b1Jq4YhpK@X$vr2|yZCiQ7RB^{(gv_(TYOh;%$W13J!Q@WI9R8vE9I!edrIGv!& z=p>z@ZMvKuPLH4~=#lg&I!%wJ$IxTxadahpA6-RP)8pw0bPZig-%n4Z>*#uV68!)@ znVv#FNKd6R^h0!(o<>in8|WGIOnMgGNYAF{&~xc|^n7{&y^wyGeuQ2`FQ%8!kJ69P zkJC@kPts4(OX;WSXXt0?=ji9@7w8x1m*|)2Wpoq0oL)h{La(G((W~h-^jdly{VKhl zevRHhZ=^TTo9Qj|R(cz~o!&w3q<7J~={@vb`gQsZdLP|P@23yY2kArfoAg`sVfqOD zHvJBLls-nkOTR}Sr%%xD(;v_u(kJPU=#S}B^e6PE^k?+v^lADGeU|=${*pdNpQkU- z7wNC)OY~*>3VoHnMt@CzLw`$uM}JTMK>tYpME^|xLjOwtM*mL#LH|krMPH}?rvIV; zrT?Rye}X{KnMb#vThjUTEp#ioHGM1HhHgu@qubNB(H-cHbSL_Dx-;E{?n-x~yVE`B zo^&tz4!SpeCw&*)hwe)k(1o->_oFV|pB_Mqv_#AFK-xolsYffcN^7)E`{+S*5nW6V zriaia^xd?d9!lRs8}u;xUOGSpZBm~GRMJ5@L|ZhZ!*qm3G^PnvG^I;vMm04wr=xU? zj?)Rcj84)i+NR6t;q(Z)f*whaqSN$fdJH|59!FQw_t8~!H9el5K-bW<^!@Zix{j`= zC(#eklj$k+gY;B7Lq9}k>1p(Ix`CcS&!lJ3jr44K4n3EiN6)7h&get~|Geu;jWUPd?3%jp&LEA&cw6}_5XL$9UR z(XZ0$>DTBD^hSCUy_w!ZZ>6`<+vy$jPI?!;o8Ck3rC+Dtp!dT9uh3WNYxLLjH}tpkcl7u4&HvA!;6?>EF9fO(i9#X@Szef&aSLU) zlubF#(wVRhtVXJu$*Re!Gxb`zw^pguD)m~eT&wlg@Ux^=>t9mqk888lda<`&&2X>YcSyZ2 zuJf?r17L_N|VdcP>u^Z9uA6dP-cT+G#Dm>VK%6;K_dtA zWT;dgl9eIZ7?RnLG(&B-Rn1ybw8Eqn>Xy>2Otp+@weflA3Gr6=X&8twkfBV%Crl$=*)`IiJ44HyE8p`l#F`GXn!)Ql-E=uP|acG3+0cfK&miN!%~e% z6=@ZXV#F#|osF4Dl|(8@RbrHilrkzUs#L2?s7$KNsBA)Mql`f3D#u~eDE3iLTJh6L zEA6kQjhR#or6Nm(Nu|KfOCy=8FimBe;Xtx_s{K^UREMe7sman@r@2X|bY~B`S>{Dq zf0PM76LBUIyruZeXHwve%;aDuqfEw`OghQrQtZ@Bnk-DRFwH^~#<99toM%axso_ki zOl6rG!yjyuOq*Zo4RFuWn|e%5AV5=F^1piL5`bN z6`S3(GQ209#SgJ2(x@0Khh@W3VVz9cZ!o!?NyO|ZlT8?1HoDj7iqVG}-7t7OlbSp; zxi*t+GnJXPYuW=j-uW=H`zXpIlP6xD_<5r91hFE|B200v8@ZjVT!(0#n?i2Nx$$z- zzwmO4 + new(raw, Encoding.UTF8, "application/json"); + + public static HttpRequestMessage Request(HttpMethod method, string url, Guid? userId = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (userId is not null) + { + request.Headers.Add("X-User-Id", userId.Value.ToString()); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест" }); + var json = await ReadJsonAsync(response); + response.EnsureSuccessStatusCode(); + return new TestUser(json.GetProperty("id").GetGuid(), username); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner.Id, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + public static async Task SendMessageAsync(HttpClient client, TestUser sender, Guid chatId, string text) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender.Id, + JsonContent.Create(new { text })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return response; + } + } +} diff --git a/tools/LoadTest/LoadTest.csproj b/tools/LoadTest/LoadTest.csproj new file mode 100644 index 00000000..ed9781c2 --- /dev/null +++ b/tools/LoadTest/LoadTest.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/LoadTest/Phases.cs b/tools/LoadTest/Phases.cs new file mode 100644 index 00000000..46a4f82d --- /dev/null +++ b/tools/LoadTest/Phases.cs @@ -0,0 +1,143 @@ +using System.Diagnostics; + +namespace LoadTest +{ + ///

Пользователь и чат с заранее залитой историей; Cursor — позиция нужной страницы (null = первая). + internal sealed record Scenario(Guid UserId, Guid ChatId, string? Cursor); + + /// Сырые данные измерения: задержки успешных запросов, число ошибок и фактическая длительность. + internal sealed record MeasureResult(List LatenciesMs, int Errors, double ElapsedSeconds); + + internal sealed record Summary( + int Successful, + int Errors, + double ElapsedSeconds, + double Rps, + double P50Ms, + double P95Ms, + double P99Ms, + double MaxMs); + + internal static class Phases + { + /// Создаёт пользователя и чат и заливает historySize сообщений не более чем в fillConcurrency потоков. + public static async Task PrepareAsync( + HttpClient client, int historySize, int fillConcurrency, int limit, bool lastPage) + { + var user = await Helpers.CreateUserAsync(client); + var chatId = await Helpers.CreateChatAsync(client, user); + + var options = new ParallelOptions { MaxDegreeOfParallelism = fillConcurrency }; + await Parallel.ForEachAsync(Enumerable.Range(0, historySize), options, async (i, _) => + { + using var response = await Helpers.SendMessageAsync(client, user, chatId, $"history message {i}"); + response.EnsureSuccessStatusCode(); + }); + + string? cursor = null; + if (lastPage) + { + cursor = await FindLastPageCursorAsync(client, user, chatId, limit); + } + + return new Scenario(user.Id, chatId, cursor); + } + + public static async Task WarmUpAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + // Результат прогрева отбрасывается: он нужен только для JIT, пулов потоков и соединений. + await MeasureAsync(client, scenario, clients, duration, limit); + } + + /// Замкнутый цикл: каждый из clients клиентов шлёт GET страницы истории до истечения duration. + public static async Task MeasureAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + var url = PageUrl(scenario.ChatId, limit, scenario.Cursor); + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + + // У каждого клиента свой список задержек: общей изменяемой структуры нет, блокировки не нужны. + var workers = Enumerable.Range(0, clients).Select(_ => Task.Run(async () => + { + var latencies = new List(); + var errors = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var requestStarted = Stopwatch.GetTimestamp(); + try + { + using var request = Helpers.Request(HttpMethod.Get, url, scenario.UserId); + // Тело читается целиком (буферизация по умолчанию), но не разбирается как JSON. + using var response = await client.SendAsync(request); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(requestStarted).TotalMilliseconds); + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors); + })).ToArray(); + + var results = await Task.WhenAll(workers); + var elapsed = Stopwatch.GetElapsedTime(started).TotalSeconds; + + return new MeasureResult( + results.SelectMany(r => r.latencies).ToList(), + results.Sum(r => r.errors), + elapsed); + } + + public static Summary GetResults(MeasureResult result) + { + var sorted = result.LatenciesMs.OrderBy(x => x).ToList(); + double Percentile(double p) => + sorted.Count == 0 ? double.NaN : sorted[Math.Max(0, (int)Math.Ceiling(p * sorted.Count) - 1)]; + + return new Summary( + sorted.Count, + result.Errors, + Math.Round(result.ElapsedSeconds, 3), + Math.Round(sorted.Count / result.ElapsedSeconds, 2), + Math.Round(Percentile(0.50), 3), + Math.Round(Percentile(0.95), 3), + Math.Round(Percentile(0.99), 3), + sorted.Count == 0 ? double.NaN : Math.Round(sorted[^1], 3)); + } + + private static string PageUrl(Guid chatId, int limit, string? cursor) => + $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + + /// Идёт по страницам до конца и возвращает cursor, с которым была запрошена последняя страница. + private static async Task FindLastPageCursorAsync( + HttpClient client, TestUser user, Guid chatId, int limit) + { + string? cursor = null; + while (true) + { + using var request = Helpers.Request(HttpMethod.Get, PageUrl(chatId, limit, cursor), user.Id); + using var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + var page = await Helpers.ReadJsonAsync(response); + var next = page.GetProperty("next_cursor"); + if (next.ValueKind == System.Text.Json.JsonValueKind.Null) + { + return cursor; + } + + cursor = next.GetString(); + } + } + } +} diff --git a/tools/LoadTest/Program.cs b/tools/LoadTest/Program.cs new file mode 100644 index 00000000..2025f313 --- /dev/null +++ b/tools/LoadTest/Program.cs @@ -0,0 +1,91 @@ +using System.Text.Json; +using LoadTest; + +// Использование (запускать в Release, сервер должен быть уже запущен): +// dotnet run -c Release --project tools/LoadTest -- --history 10000 --clients 8 --duration 15 \ +// --container mtusi-messenger-lab1 --label before --output evidence/track1/results.jsonl +var options = ParseArguments(args); +string Get(string key, string fallback) => options.TryGetValue(key, out var value) ? value : fallback; + +var url = Get("url", "http://127.0.0.1:8080"); +var history = int.Parse(Get("history", "1000")); +var clients = int.Parse(Get("clients", "1")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "15"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "3"))); +var limit = int.Parse(Get("limit", "50")); +var fillConcurrency = int.Parse(Get("fill-concurrency", "16")); +var lastPage = Get("page", "first") == "last"; +var container = options.GetValueOrDefault("container"); +var label = Get("label", "run"); +var output = options.GetValueOrDefault("output"); + +using var client = new HttpClient { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +var rssIdle = Rss.ReadMegabytes(container); +Console.Error.WriteLine($"[1/4] prepare: filling {history} messages ({fillConcurrency} parallel)..."); +var scenario = await Phases.PrepareAsync(client, history, fillConcurrency, limit, lastPage); +var rssAfterPrepare = Rss.ReadMegabytes(container); + +Console.Error.WriteLine($"[2/4] warm-up: {warmup.TotalSeconds} s, {clients} clients"); +await Phases.WarmUpAsync(client, scenario, clients, warmup, limit); + +Console.Error.WriteLine($"[3/4] measure: {duration.TotalSeconds} s, {clients} clients, page={(lastPage ? "last" : "first")}"); +var measured = await Phases.MeasureAsync(client, scenario, clients, duration, limit); +var rssAfterMeasure = Rss.ReadMegabytes(container); + +Console.Error.WriteLine("[4/4] results"); +var summary = Phases.GetResults(measured); + +var report = new +{ + label, + timestamp = DateTimeOffset.UtcNow.ToString("O"), + history, + clients, + page = lastPage ? "last" : "first", + limit, + duration_seconds = duration.TotalSeconds, + successful_requests = summary.Successful, + errors = summary.Errors, + elapsed_seconds = summary.ElapsedSeconds, + rps = summary.Rps, + p50_ms = summary.P50Ms, + p95_ms = summary.P95Ms, + p99_ms = summary.P99Ms, + max_ms = summary.MaxMs, + rss_mb_idle = rssIdle, + rss_mb_after_prepare = rssAfterPrepare, + rss_mb_after_measure = rssAfterMeasure, +}; + +var json = JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = false }); +Console.WriteLine(JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = true })); + +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, json + Environment.NewLine); +} + +return summary.Errors == 0 && summary.Successful > 0 ? 0 : 1; + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--")) + { + throw new ArgumentException($"Unexpected argument: {args[i]}"); + } + + if (i + 1 >= args.Length) + { + throw new ArgumentException($"Missing value for {args[i]}"); + } + + result[args[i][2..]] = args[++i]; + } + + return result; +} diff --git a/tools/LoadTest/Rss.cs b/tools/LoadTest/Rss.cs new file mode 100644 index 00000000..6b2fdeb0 --- /dev/null +++ b/tools/LoadTest/Rss.cs @@ -0,0 +1,45 @@ +using System.Diagnostics; + +namespace LoadTest +{ + internal static class Rss + { + /// + /// RSS процесса приложения в МБ: читает VmRSS из /proc/1/status внутри контейнера + /// (PID 1 — dotnet, ENTRYPOINT в exec-форме). Возвращает null, если контейнер не задан или недоступен. + /// + public static double? ReadMegabytes(string? container) + { + if (string.IsNullOrEmpty(container)) + { + return null; + } + + try + { + var info = new ProcessStartInfo("docker", ["exec", container, "cat", "/proc/1/status"]) + { + RedirectStandardOutput = true, + RedirectStandardError = true, + }; + using var process = Process.Start(info)!; + var output = process.StandardOutput.ReadToEnd(); + process.WaitForExit(); + + var line = output.Split('\n').FirstOrDefault(l => l.StartsWith("VmRSS:")); + if (line is null) + { + return null; + } + + var kb = double.Parse(line.Split(' ', StringSplitOptions.RemoveEmptyEntries)[1], + System.Globalization.CultureInfo.InvariantCulture); + return Math.Round(kb / 1024, 1); + } + catch (Exception) + { + return null; + } + } + } +} diff --git a/tools/LoadTest/run-matrix.ps1 b/tools/LoadTest/run-matrix.ps1 new file mode 100644 index 00000000..f71090a9 --- /dev/null +++ b/tools/LoadTest/run-matrix.ps1 @@ -0,0 +1,88 @@ +<# +.SYNOPSIS + Track 1: матрица размер истории x число клиентов с перезапуском контейнера на каждую точку. + +.EXAMPLE + # замеры "до" (образ уже собран) + .\tools\LoadTest\run-matrix.ps1 -Label before + # замеры "после": пересобрать образ и повторить те же точки + .\tools\LoadTest\run-matrix.ps1 -Label after -Rebuild + # быстрая проверка скрипта + .\tools\LoadTest\run-matrix.ps1 -Label smoke -Sizes 1000 -Clients 1 -Repeats 1 -Duration 3 -Warmup 2 -Output $env:TEMP\smoke.jsonl +#> +[CmdletBinding()] +param( + [string]$Label = 'before', + [int[]]$Sizes = @(1000, 10000, 50000), + [int[]]$Clients = @(1, 8, 32), + [int]$Repeats = 2, + [int]$Duration = 8, + [int]$Warmup = 5, + [string]$Cpus = '2', + [string]$Memory = '512m', + [string]$Output = 'evidence/track1/results.jsonl', + [string]$Image = 'mtusi-messenger:lab1', + [ValidateSet('first', 'last')][string]$Page = 'first', + [switch]$Rebuild +) + +$ErrorActionPreference = 'Stop' +Set-Location (Resolve-Path (Join-Path $PSScriptRoot '..\..')) + +$name = 'mtusi-messenger-lab1' +$url = 'http://127.0.0.1:8080' + +function Remove-Api { + if (docker ps -aq --filter "name=^/$name$") { + docker rm -f $name | Out-Null + } +} + +function Start-Api { + Remove-Api + docker run -d --rm --name $name --cpus $Cpus --memory $Memory ` + -p 127.0.0.1:8080:8080 --env-file .env $Image | Out-Null + for ($i = 0; $i -lt 60; $i++) { + try { + if ((Invoke-WebRequest "$url/health/ready" -UseBasicParsing -TimeoutSec 2).StatusCode -eq 200) { return } + } catch { } + Start-Sleep -Milliseconds 500 + } + throw 'API did not become ready within 30 s' +} + +if ($Rebuild) { + Write-Host 'Rebuilding image...' + docker build -t $Image . | Out-Null + if ($LASTEXITCODE -ne 0) { throw 'docker build failed' } +} + +dotnet build tools/LoadTest -c Release -v q | Out-Null +if ($LASTEXITCODE -ne 0) { throw 'LoadTest build failed' } + +$points = @(foreach ($n in $Sizes) { foreach ($c in $Clients) { [pscustomobject]@{ History = $n; Clients = $c } } }) +$total = $points.Count * $Repeats +$done = 0 +$started = Get-Date +Write-Host "Label=$Label page=$Page points=$($points.Count) repeats=$Repeats runs=$total cpus=$Cpus memory=$Memory output=$Output" + +try { + for ($rep = 1; $rep -le $Repeats; $rep++) { + # Случайный порядок точек в каждом повторе: эффект прогрева не должен совпасть с одним размером. + foreach ($p in ($points | Sort-Object { Get-Random })) { + $done++ + Write-Host ("[{0}/{1}] rep={2} history={3} clients={4} (elapsed {5:mm\:ss})" -f $done, $total, $rep, $p.History, $p.Clients, ((Get-Date) - $started)) + Start-Api + dotnet run -c Release --project tools/LoadTest --no-build -- ` + --url $url --history $p.History --clients $p.Clients ` + --duration $Duration --warmup $Warmup ` + --page $Page --container $name --label "$Label-r$rep" --output $Output | Out-Null + if ($LASTEXITCODE -ne 0) { Write-Warning "run failed (exit $LASTEXITCODE), continuing" } + } + } +} +finally { + Remove-Api +} + +Write-Host ("Done in {0:mm\:ss}. Results appended to {1}" -f ((Get-Date) - $started), $Output) diff --git a/tools/LoadTest/summarize.py b/tools/LoadTest/summarize.py new file mode 100644 index 00000000..b307fdcf --- /dev/null +++ b/tools/LoadTest/summarize.py @@ -0,0 +1,76 @@ +import json, statistics as st, collections, sys + +path = sys.argv[1] +rows = [json.loads(l) for l in open(path, encoding='utf-8') if l.strip()] + +def group(prefix, page='first'): + g = collections.defaultdict(list) + for r in rows: + if r['label'].startswith(prefix) and r['page'] == page: + g[(r['history'], r['clients'])].append(r) + return g + +def mean(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return st.mean(v) + +def rng(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return min(v), max(v) + +before = group('before-r') +after = group('after-r') + +out = [] +out.append('Track 1: before/after summary (mean of repeats; page=first, limit=50; container --cpus=2 --memory=512m)') +out.append('') +hdr = f"{'N':>6} {'C':>3} {'runs':>4} | {'RPS before':>10} {'RPS after':>10} {'x':>6} | {'p50 b':>7} {'p50 a':>7} | {'p95 b':>7} {'p95 a':>7} | {'p99 b':>7} {'p99 a':>7} | {'RSS prep b/a':>12} {'RSS end b/a':>12} | err b/a" +out.append(hdr) +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if not b or not a: + continue + rb, ra = mean(b, 'rps'), mean(a, 'rps') + out.append( + f"{key[0]:>6} {key[1]:>3} {len(b):>1}/{len(a):<2} | {rb:>10.0f} {ra:>10.0f} {ra/rb:>6.1f} | " + f"{mean(b,'p50_ms'):>7.1f} {mean(a,'p50_ms'):>7.1f} | {mean(b,'p95_ms'):>7.1f} {mean(a,'p95_ms'):>7.1f} | " + f"{mean(b,'p99_ms'):>7.1f} {mean(a,'p99_ms'):>7.1f} | " + f"{mean(b,'rss_mb_after_prepare'):>5.0f}/{mean(a,'rss_mb_after_prepare'):<5.0f} {mean(b,'rss_mb_after_measure'):>5.0f}/{mean(a,'rss_mb_after_measure'):<5.0f} | " + f"{sum(r['errors'] for r in b)}/{sum(r['errors'] for r in a)}") + +out.append('') +out.append('RPS spread (min-max across repeats):') +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if b and a: + out.append(f" N={key[0]:>6} C={key[1]:>2} before {rng(b,'rps')[0]:.0f}-{rng(b,'rps')[1]:.0f} after {rng(a,'rps')[0]:.0f}-{rng(a,'rps')[1]:.0f}") + +out.append('') +out.append('Idle RSS (empty process, MB): before %.0f, after %.0f' % ( + st.mean([r['rss_mb_idle'] for rs in before.values() for r in rs]), + st.mean([r['rss_mb_idle'] for rs in after.values() for r in rs]))) + +# last page vs first page at N=50000, C=8 +bl, al = group('before-last', 'last'), group('after-last', 'last') +out.append('') +out.append('First vs last page, N=50000, C=8 (mean RPS / p95 ms):') +key = (50000, 8) +for name, g_first, g_last in (('before', before, bl), ('after', after, al)): + f, l = g_first.get(key, []), g_last.get(key, []) + if f and l: + out.append(f" {name}: first {mean(f,'rps'):.0f} rps / {mean(f,'p95_ms'):.1f} ms ({len(f)} runs); last {mean(l,'rps'):.0f} rps / {mean(l,'p95_ms'):.1f} ms ({len(l)} runs)") + +# saturation: RPS growth with clients per N +out.append('') +out.append('Throughput vs clients (mean RPS):') +for name, g in (('before', before), ('after', after)): + for n in sorted({k[0] for k in g}): + out.append(f" {name} N={n:>6}: " + ' '.join(f"C={c}: {mean(g[(n,c)],'rps'):.0f}" for c in sorted({k[1] for k in g if k[0]==n}))) + +# per-message cost under saturation (before): 1000/rps at C=32 -> ms per request +out.append('') +out.append('Service time at saturation, C=32 (ms per request = 1000/RPS):') +for name, g in (('before', before), ('after', after)): + out.append(f" {name}: " + ' '.join(f"N={n}: {1000/mean(g[(n,32)],'rps'):.3f}" for n in sorted({k[0] for k in g}) if (n, 32) in g)) + +print('\n'.join(out)) diff --git a/tools/ScaleLoad/Program.cs b/tools/ScaleLoad/Program.cs new file mode 100644 index 00000000..435c11da --- /dev/null +++ b/tools/ScaleLoad/Program.cs @@ -0,0 +1,209 @@ +using System.Diagnostics; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +// Генератор нагрузки для трека 1 (цена масштабирования). Замкнутый цикл: каждый из --clients потоков шлёт запрос, +// ждёт ответ и сразу шлёт следующий. Профиль: --write-ratio доля POST сообщения (уникальный Idempotency-Key), +// остальное — GET страницы истории (limit=50). У каждого пользователя свой чат с --history сообщений, +// поэтому записи разных клиентов не сериализуются на одной строке чата. +// +// Запуск (стенд поднят): +// dotnet run -c Release --project tools/ScaleLoad -- --url http://localhost:8081 --clients 64 --duration 20 \ +// --label A-2x1.0 --output evidence/track1/results.jsonl +// Загрузка CPU контейнеров снимается `docker stats` во время измерения (если доступен docker CLI). +var o = ParseArguments(args); +string Get(string k, string d) => o.TryGetValue(k, out var v) ? v : d; +var url = Get("url", "http://localhost:8080"); +var clients = int.Parse(Get("clients", "32")); +var users = int.Parse(Get("users", "32")); +var history = int.Parse(Get("history", "200")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "20"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "5"))); +var writeRatio = double.Parse(Get("write-ratio", "0.2"), System.Globalization.CultureInfo.InvariantCulture); +var label = Get("label", "run"); +var output = o.GetValueOrDefault("output"); +var project = Get("compose-project", "messenger-lab3"); + +var handler = new SocketsHttpHandler { MaxConnectionsPerServer = clients * 2, PooledConnectionLifetime = TimeSpan.FromMinutes(5) }; +using var http = new HttpClient(handler) { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +Console.Error.WriteLine($"[1/4] prepare: {users} users, {history} messages per chat"); +var actors = await Prepare(http, users, history); + +Console.Error.WriteLine($"[2/4] warm-up {warmup.TotalSeconds}s, {clients} clients"); +await Measure(http, actors, clients, warmup, writeRatio); + +Console.Error.WriteLine($"[3/4] measure {duration.TotalSeconds}s"); +using var statsCts = new CancellationTokenSource(); +var statsTask = Task.Run(() => SampleDockerStats(project, statsCts.Token)); +var r = await Measure(http, actors, clients, duration, writeRatio); +statsCts.Cancel(); +var stats = await statsTask; + +Console.Error.WriteLine("[4/4] results"); +var lat = r.Latencies.OrderBy(x => x).ToArray(); +double P(double p) => lat.Length == 0 ? double.NaN : Math.Round(lat[Math.Max(0, (int)Math.Ceiling(p * lat.Length) - 1)], 2); +var report = new Dictionary +{ + ["label"] = label, + ["timestamp"] = DateTimeOffset.UtcNow.ToString("O"), + ["clients"] = clients, ["users"] = users, ["history"] = history, ["write_ratio"] = writeRatio, + ["duration_s"] = Math.Round(r.Elapsed, 2), + ["ok"] = lat.Length, ["errors"] = r.Errors, ["ok_get"] = r.OkGet, ["ok_post"] = r.OkPost, + ["rps"] = Math.Round(lat.Length / r.Elapsed, 1), + ["p50_ms"] = P(0.50), ["p95_ms"] = P(0.95), ["p99_ms"] = P(0.99), + ["cpu_pct"] = stats, +}; +var line = JsonSerializer.Serialize(report); +Console.WriteLine(line); +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, line + Environment.NewLine); +} +return r.Errors == 0 ? 0 : 1; + +static async Task Prepare(HttpClient http, int users, int history) +{ + var result = new Actor[users]; + await Parallel.ForEachAsync(Enumerable.Range(0, users), new ParallelOptions { MaxDegreeOfParallelism = 4 }, async (i, ct) => + { + var username = "sl" + Guid.NewGuid().ToString("N")[..14]; + var password = "Load-" + Guid.NewGuid().ToString("N"); + using var reg = await http.PostAsJsonAsync("/api/v1/users", new { username, display_name = "Load", password }, ct); + reg.EnsureSuccessStatusCode(); + var me = (await reg.Content.ReadFromJsonAsync(ct)).GetProperty("id").GetGuid(); + using var login = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + login.Headers.Authorization = new AuthenticationHeaderValue("Basic", Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}"))); + using var loginResponse = await http.SendAsync(login, ct); + loginResponse.EnsureSuccessStatusCode(); + var token = (await loginResponse.Content.ReadFromJsonAsync(ct)).GetProperty("token").GetString()!; + using var chatRequest = Authorized(HttpMethod.Post, "/api/v1/chats", token); + chatRequest.Content = JsonContent.Create(new { title = "Load", member_ids = new[] { me } }); + using var chatResponse = await http.SendAsync(chatRequest, ct); + chatResponse.EnsureSuccessStatusCode(); + var chatId = (await chatResponse.Content.ReadFromJsonAsync(ct)).GetProperty("id").GetGuid(); + for (var m = 0; m < history; m++) + { + using var post = PostMessage(chatId, token, $"history {m}"); + using var response = await http.SendAsync(post, ct); + response.EnsureSuccessStatusCode(); + } + result[i] = new Actor(token, chatId); + }); + return result; +} + +static HttpRequestMessage Authorized(HttpMethod method, string path, string token) +{ + var request = new HttpRequestMessage(method, path); + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", token); + return request; +} + +static HttpRequestMessage PostMessage(Guid chatId, string token, string text) +{ + var request = Authorized(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", token); + request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N")); + request.Content = JsonContent.Create(new { text }); + return request; +} + +static async Task Measure(HttpClient http, Actor[] actors, int clients, TimeSpan duration, double writeRatio) +{ + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + var workers = Enumerable.Range(0, clients).Select(i => Task.Run(async () => + { + var actor = actors[i % actors.Length]; + var rnd = new Random(i * 7919 + Environment.TickCount); + var latencies = new List(); + int errors = 0, okGet = 0, okPost = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var write = rnd.NextDouble() < writeRatio; + var t = Stopwatch.GetTimestamp(); + try + { + using var request = write + ? PostMessage(actor.ChatId, actor.Token, "load " + Guid.NewGuid().ToString("N")) + : Authorized(HttpMethod.Get, $"/api/v1/chats/{actor.ChatId}/messages?limit=50", actor.Token); + using var response = await http.SendAsync(request); + await response.Content.ReadAsByteArrayAsync(); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(t).TotalMilliseconds); + if (write) okPost++; else okGet++; + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors, okGet, okPost); + })).ToArray(); + + var results = await Task.WhenAll(workers); + return new Result( + results.SelectMany(x => x.latencies).ToList(), results.Sum(x => x.errors), + results.Sum(x => x.okGet), results.Sum(x => x.okPost), Stopwatch.GetElapsedTime(started).TotalSeconds); +} + +// Средняя загрузка CPU (в % одного ядра, как в docker stats) по роли контейнера за время измерения. +static async Task> SampleDockerStats(string project, CancellationToken ct) +{ + var sums = new Dictionary(); + try + { + while (!ct.IsCancellationRequested) + { + var info = new ProcessStartInfo("docker", ["stats", "--no-stream", "--format", "{{.Name}} {{.CPUPerc}}"]) + { RedirectStandardOutput = true, RedirectStandardError = true }; + using var p = Process.Start(info)!; + var text = await p.StandardOutput.ReadToEndAsync(ct); + await p.WaitForExitAsync(ct); + // Внутри одного снимка суммируем реплики одной роли, затем усредняем снимки. + var snapshot = new Dictionary(); + foreach (var line in text.Split('\n', StringSplitOptions.RemoveEmptyEntries)) + { + var parts = line.Trim().Split(' '); + if (parts.Length < 2 || !parts[0].StartsWith(project + "-")) continue; + var role = parts[0][(project.Length + 1)..]; + role = role[..role.LastIndexOf('-')]; + if (!double.TryParse(parts[1].TrimEnd('%'), System.Globalization.NumberStyles.Float, System.Globalization.CultureInfo.InvariantCulture, out var cpu)) continue; + snapshot[role] = snapshot.GetValueOrDefault(role) + cpu; + } + + foreach (var (role, cpu) in snapshot) + { + var (sum, n) = sums.GetValueOrDefault(role); + sums[role] = (sum + cpu, n + 1); + } + } + } + catch (OperationCanceledException) { } + catch (Exception) { } + return sums.ToDictionary(kv => kv.Key, kv => Math.Round(kv.Value.Sum / Math.Max(1, kv.Value.N), 1)); +} + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--") || i + 1 >= args.Length) throw new ArgumentException($"Bad argument: {args[i]}"); + result[args[i][2..]] = args[++i]; + } + return result; +} + +internal sealed record Actor(string Token, Guid ChatId); +internal sealed record Result(List Latencies, int Errors, int OkGet, int OkPost, double Elapsed); diff --git a/tools/ScaleLoad/ScaleLoad.csproj b/tools/ScaleLoad/ScaleLoad.csproj new file mode 100644 index 00000000..dfb40caa --- /dev/null +++ b/tools/ScaleLoad/ScaleLoad.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/ScaleLoad/compose.cpuset.yaml b/tools/ScaleLoad/compose.cpuset.yaml new file mode 100644 index 00000000..83c4136d --- /dev/null +++ b/tools/ScaleLoad/compose.cpuset.yaml @@ -0,0 +1,6 @@ +# Override для эксперимента трека 1: API закрепляется за ядрами (cpuset) вместо квоты CFS. +# Использование: COMPOSE_FILE=compose.yaml:tools/ScaleLoad/compose.cpuset.yaml API_CPUSET=0-1 API_CPUS=16 docker compose up -d ... +# API_CPUS=16 делает квоту CFS практически неограниченной: бюджет задаёт только cpuset. +services: + api: + cpuset: ${API_CPUSET:?задайте API_CPUSET, например 0-1} diff --git a/tools/ScaleLoad/run-config.sh b/tools/ScaleLoad/run-config.sh new file mode 100644 index 00000000..75442802 --- /dev/null +++ b/tools/ScaleLoad/run-config.sh @@ -0,0 +1,30 @@ +#!/bin/bash +# Один замер трека 1: применяет конфигурацию стенда (реплики/ресурсы), ждёт готовности LB и запускает ScaleLoad. +# Использование: +# tools/ScaleLoad/run-config.sh