Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
6308f21ec7 |
@@ -18,3 +18,6 @@ __pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
**/bin
|
||||
**/obj
|
||||
**/.vs
|
||||
|
||||
@@ -10,11 +10,17 @@ DATABASE_URL_FILE=/run/secrets/database_url
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
# Host ports; APP_PORT remains the internal API port.
|
||||
LB_PUBLISHED_PORT=18084
|
||||
LB_STATS_PORT=18404
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
# API credentials only; root credentials are generated separately by scripts/init-secrets.sh.
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
UPLOAD_CLEANUP_GRACE_SECONDS=300
|
||||
UPLOAD_CLEANUP_INTERVAL_SECONDS=30
|
||||
|
||||
@@ -0,0 +1,2 @@
|
||||
# Shell scripts run in Linux containers even when checked out on Windows.
|
||||
*.sh text eol=lf
|
||||
+34
@@ -0,0 +1,34 @@
|
||||
# Версии закреплены тегом и digest (SDK 10.0.401, runtime 10.0.12), сборка воспроизводима.
|
||||
FROM mcr.microsoft.com/dotnet/sdk:10.0.401@sha256:e70cdb7f80b0348f5cb85f19a8f670fca061f033d57eed12fa003d58b0e06317 AS build
|
||||
WORKDIR /src
|
||||
|
||||
COPY scr/Messenger.Api/Messenger.Api.csproj scr/Messenger.Api/
|
||||
RUN dotnet restore scr/Messenger.Api/Messenger.Api.csproj
|
||||
|
||||
COPY scr/Messenger.Api/ scr/Messenger.Api/
|
||||
RUN dotnet publish scr/Messenger.Api/Messenger.Api.csproj \
|
||||
--configuration Release \
|
||||
--output /app/publish \
|
||||
--no-restore
|
||||
|
||||
FROM mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 AS runtime
|
||||
WORKDIR /app
|
||||
|
||||
COPY --from=build /app/publish .
|
||||
|
||||
# Версия сборки (видна в логе старта; отличает старую реплику от новой при rolling update).
|
||||
# ARG стоит после COPY: смена версии пересобирает только этот слой, а не всю сборку.
|
||||
ARG APP_VERSION=dev
|
||||
ENV APP_VERSION=${APP_VERSION}
|
||||
LABEL org.opencontainers.image.version=${APP_VERSION}
|
||||
|
||||
ENV ASPNETCORE_URLS=http://0.0.0.0:8080
|
||||
EXPOSE 8080
|
||||
|
||||
# Непривилегированный пользователь (APP_UID задан в базовом образе aspnet).
|
||||
USER $APP_UID
|
||||
|
||||
# curl в образе нет, поэтому проверку выполняет само приложение (/health/live).
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 CMD ["dotnet", "Messenger.Api.dll", "--healthcheck"]
|
||||
|
||||
ENTRYPOINT ["dotnet", "Messenger.Api.dll"]
|
||||
@@ -1,37 +1,103 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Автор, группа: Полуднев Юлиан, БВТ2303
|
||||
- Состояние: реализован минимум на 3 и все пункты уровня 4; исследовательский трек 5 не заявлен.
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Библиотеки: AWSSDK.S3 4.1.0, StbImageSharp 2.30.16 (декодирование PNG/JPEG), EF Core/Npgsql, Argon2 и Valkey-клиент из lab3. Claude помог с реализацией, разбором ошибок и проверками;
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker с Compose, Python 3.9+, Git Bash/WSL для `sh`; для собственных C#-тестов — .NET SDK 10.0.401. Dockerfile закрепляет SDK 10.0.401 и ASP.NET Runtime 10.0.12 по digest; все образы сервисов закреплены в Compose.
|
||||
|
||||
```sh
|
||||
# Только для первого запуска, если .env ещё нет:
|
||||
cp .env.example .env
|
||||
sh scripts/init-secrets.sh
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build --wait
|
||||
python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084
|
||||
python -X utf8 scripts/check_contract.py
|
||||
python -X utf8 tests/smoke.py --base-url http://localhost:18084
|
||||
python -X utf8 student-tests/attachments.py --base-url http://localhost:18084
|
||||
```
|
||||
|
||||
В `.env.example` публичный порт lab4 — 18084, статистика LB — 18404 (только localhost). При изменении `LB_PUBLISHED_PORT` замените порт в командах тестов. Во время проверки 8081 уже использовался прошлой лабораторной, поэтому локальный `.env` переключён на 18084/18404.
|
||||
|
||||
Секреты создаются один раз и не перезаписываются. Каталог `secrets/` закрыт для других пользователей хоста; файлы, смонтированные в непривилегированный API, имеют права чтения внутри контейнера. Root-ключи S3 в API не монтируются. Схему применяет одноразовый сервис `migrate`, bucket/политику — `s3-init`; оба должны завершаться с кодом 0.
|
||||
|
||||
Обычная остановка: `docker compose --env-file .env stop` или `down` без `-v`. Для **намеренного уничтожения всех учебных данных**: `docker compose --env-file .env down -v`.
|
||||
|
||||
Проверка отказов явно останавливает сервисы **только проекта lab4**, восстанавливает их и не удаляет volumes:
|
||||
|
||||
```sh
|
||||
python -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults
|
||||
dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj
|
||||
python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084
|
||||
python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084
|
||||
```
|
||||
|
||||
Собственные C#-тесты используют одноразовые контейнеры PostgreSQL, Valkey и MinIO. Старые публичные `make test-persistence/test-failover` требуют отдельно реализованных hooks; приведённый выше сценарий `--faults` выполняет проверки отказов напрямую из Python и работает в Windows.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
### Подключение S3 (выполненный этап)
|
||||
|
||||
В Compose добавлены MinIO (`s3`), одноразовый bootstrap (`s3-init`) и проверка
|
||||
(`s3-check`, профиль tools). Байты хранятся в `s3data`, метаданные — в PostgreSQL.
|
||||
Bucket приватный, API получает отдельные ограниченные ключи через Compose secrets.
|
||||
MinIO и клиент mc используют один образ, закреплённый по digest. Порты S3 не опубликованы,
|
||||
браузерная консоль выключена. Bootstrap можно выполнять повторно без удаления данных.
|
||||
|
||||
Команды и соответствие настроек описаны в [infra/s3/README.md](infra/s3/README.md).
|
||||
Результаты проверки этого этапа: [evidence/s3-setup.md](evidence/s3-setup.md).
|
||||
C#-сервис `S3AttachmentStorage` реализован и проверен с ограниченными ключами API:
|
||||
загрузка, скачивание, совпадение байтов/SHA-256, запрет анонимного чтения и удаление.
|
||||
Команды и вывод: [evidence/s3-client-check.md](evidence/s3-client-check.md).
|
||||
HTTP API вложений реализован: синхронный POST, GET метаданных и GET оригинала через API.
|
||||
|
||||
Схема: клиент → HAProxy → две API-реплики → PostgreSQL (данные, сессии, метаданные, ключи идемпотентности) + MinIO (оригиналы). Valkey — необязательный кэш истории. Из lab3 сохранены аутентификация, keyset-пагинация, общие сессии, версия истории и транзакционная идемпотентность. Ключи кэша lab4 имеют отдельный префикс.
|
||||
|
||||
В сообщении хранится упорядоченный массив `attachment_ids` (`uuid[]`, максимум 10): при отправке сервер проверяет существование и готовность каждого вложения и его принадлежность чату. Сообщение, ссылки и ключ идемпотентности сохраняются одной транзакцией. Массив сохраняет порядок без N+1 запросов; внешние ключи на элементы массива отсутствуют, корректность ссылок обеспечивает API. API удаления вложений/изменения участников нет. Хеш идемпотентности учитывает текст и список вложений; отсутствие списка равно `[]`.
|
||||
|
||||
Upload: доступ → имя/MIME → ограниченное чтение в временный файл → заголовок и лимит пикселей → CRC/лимит распаковки PNG и полное декодирование → SHA-256 → S3 PUT → метаданные PostgreSQL → 201 ready. Временный файл удаляется при завершении запроса, после 201 он не нужен. Имя файла не используется как object key; ключ генерируется сервером в `originals/`. Оригинал не перекодируется. DTO не раскрывает S3-ключи и адреса.
|
||||
|
||||
Лимиты: 10 MiB, 40 млн пикселей, одна проверка/загрузка на реплику, ожидание слота до 2 секунд, общий таймаут upload 30 секунд. Download буферизует максимум размер из метаданных (не более 10 MiB), сверяет SHA-256 и только затем начинает ответ. Входные лимиты задаются `MAX_UPLOAD_BYTES`/`MAX_IMAGE_PIXELS` и могут только уменьшать ограничения контракта. Сведения о настройках S3 — в `infra/s3/README.md`.
|
||||
|
||||
Готовность требует PostgreSQL и S3, Valkey не критичен. При отказе зависимости API возвращает 503; после вывода всех реплик из ротации HAProxy сам возвращает 503, его ответ может не иметь JSON/заголовков API. `/health/live` внутри API проверяет только процесс.
|
||||
|
||||
Общей транзакции S3/PostgreSQL нет. Теперь перед каждым PUT приложение сохраняет намерение в `upload_intents`. Публикация Attachment и удаление намерения выполняются одним COMMIT под блокировкой строки. После истечения lease публикация запрещена. Worker на каждой реплике забирает до 16 просроченных записей с `FOR UPDATE SKIP LOCKED`, проверяет отсутствие готового Attachment и выполняет идемпотентный DELETE. Свежие записи защищены grace period 300 с (минимум 120 с), проходы повторяются каждые 30 с. После сбоя S3/БД журнал не теряется. Неудачные намерения остаются tombstones и повторно удаляют запоздавший PUT; готовые объекты не удаляются. Цена — постоянная небольшая SQL-запись на неудачную загрузку. Подробности, модель отказов и команды: [infra/s3/cleanup.md](infra/s3/cleanup.md).
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke | `python -X utf8 tests/smoke.py --base-url http://localhost:18084` | PASS | [endpoint checks](evidence/attachments-api.md) |
|
||||
| Приватный bucket и ограниченные ключи | `docker compose run --rm --no-deps s3-check` | PASS | [S3](evidence/s3-setup.md) |
|
||||
| PNG/JPEG, байты, ACL, filename, MIME, размер и пиксели | `python -X utf8 student-tests/attachments.py --base-url http://localhost:18084` | PASS | [endpoint checks](evidence/attachments-api.md) |
|
||||
| Файл через другую реплику после остановки загрузившей | тот же сценарий с `--faults` | PASS | [endpoint checks](evidence/attachments-api.md) |
|
||||
| Отказ S3 и restart всего стенда с прежними сессиями | тот же сценарий с `--faults` | PASS | [endpoint checks](evidence/attachments-api.md) |
|
||||
| Регрессия lab3 и новые проверки cleanup | `dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj` | 85 тестов PASS | [уровень 4](evidence/grade4.md) |
|
||||
| 4: повреждения/MIME/чужие ID/чужой чат/лимиты | `student-tests/attachments.py` | PASS, ошибки клиента не стали 500 | [уровень 4](evidence/grade4.md) |
|
||||
| 4: сбой S3 PUT → metadata COMMIT, grace, retries, защита ready, поздний PUT | `dotnet test --filter FullyQualifiedName~UploadCleanupTests` (проект указан выше) | 7 новых тестов PASS | [уровень 4](evidence/grade4.md) |
|
||||
| 4: прерванный TCP upload и ≥10 параллельных загрузок/пик RAM | `student-tests/upload_memory.py` | Нет публикации/временного файла после обрыва; два размера × 10 запросов, память ниже лимита | [raw JSON](evidence/upload-memory.json) |
|
||||
| 4: повторяемый bootstrap и ограниченные ключи | `student-tests/s3_bootstrap.py` | Два bootstrap сохраняют файл; прямой анонимный GET 403; admin/чужой prefix запрещены | [уровень 4](evidence/grade4.md) |
|
||||
| Трек уровня 5 | не реализован | — | — |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Проверка `--faults` находит контейнер по `X-Instance-Id` ответа upload, останавливает именно его и получает те же байты от другой реплики. Затем останавливает/поднимает S3 и перезапускает db/cache/s3/api/lb с теми же volumes. После воздействия использует прежние токены и сравнивает сообщение, метаданные и исходный файл.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Проведён эксперимент уровня 4: два размера настоящих синтетических PNG, по 10 одновременно стартующих HTTP-загрузок без повторов. Перед каждым размером API перезапускались, затем измерялись baseline и kernel high-water cgroup/RSS; также записаны CPU usage delta, RPS и p50/p95/p99 успешных ответов. На реплику — 1 CPU/512 MiB, S3 — 1 CPU/512 MiB, DB — 2 CPU/1 GiB. Сводка и ограничения — [evidence/grade4.md](evidence/grade4.md), raw результаты — [upload-memory.json](evidence/upload-memory.json). Старые LoadTest/ScaleLoad за этот этап не засчитываются. Универсальный/максимальный RPS не заявляется; 503 при переполнении очереди — ожидаемая защита.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Остановка загрузившей API-реплики | другой API читает тот же файл | PASS | Без потери подтверждённого оригинала |
|
||||
| Остановка S3 | readiness и запросы вложений недоступны | 503 | После запуска S3 файл доступен |
|
||||
| Restart db/cache/s3/api/lb | старые токены и данные сохраняются | PASS | Volumes сохранены; время восстановления отдельно не измерялось |
|
||||
| S3 PUT успешен, metadata COMMIT блокируется | журнал переживает пересоздание API, worker удаляет orphan | PASS в одноразовых PostgreSQL/MinIO | Grace имитируется timestamps только в тестовой БД |
|
||||
| Отказ DELETE / запоздавший PUT | повторная очистка не забывает объект | PASS | Tombstone сохраняется |
|
||||
| Прерванный TCP upload | нет публикации и временных файлов | PASS | До S3 PUT загрузка не дошла |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Проверены отказы одной API-реплики и временная недоступность S3, restart без удаления volumes, сбой после PUT и восстановление очистки. Один Docker-host, единственные PostgreSQL/S3/LB остаются точками отказа. Журнал охватывает загрузки приложения начиная с миграции AddUploadIntents; произвольные объекты, созданные вручную вне приложения, он не удаляет. Tombstones не архивируются автоматически. Полный аудит orphan/missing всего bucket, presigned flow и исследовательский трек 5 не реализованы. Измерения памяти относятся к указанным размерам/ресурсам, не являются гарантией всех возможных workload.
|
||||
|
||||
+285
@@ -0,0 +1,285 @@
|
||||
# Lab 4: PostgreSQL + Valkey + приватный MinIO + API-реплики за HAProxy.
|
||||
# Имя проекта задаёт отдельные тома и сети для lab4.
|
||||
# Запуск (одна последовательность):
|
||||
# sh scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait
|
||||
name: messenger-lab4
|
||||
|
||||
# Один образ и для API, и для миграций: схема всегда соответствует коду. build продублирован намеренно,
|
||||
# чтобы `up --build` собрал образ раньше, чем стартует migrate (второй build берётся из кэша).
|
||||
x-api-image: &api-image
|
||||
image: messenger-api:lab4
|
||||
build:
|
||||
context: .
|
||||
dockerfile: Dockerfile
|
||||
args:
|
||||
APP_VERSION: ${APP_VERSION:-1}
|
||||
|
||||
# MinIO RELEASE.2025-09-07T16-13-09Z; включает mc RELEASE.2025-08-13T08-35-41Z.
|
||||
x-s3-image: &s3-image
|
||||
image: quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e
|
||||
|
||||
services:
|
||||
s3:
|
||||
<<: *s3-image
|
||||
restart: unless-stopped
|
||||
entrypoint: ["/bin/sh", "/infra/start.sh"]
|
||||
environment:
|
||||
MINIO_SITE_REGION: ${S3_REGION:-us-east-1}
|
||||
MINIO_BROWSER: "off"
|
||||
secrets:
|
||||
- s3_root_user
|
||||
- s3_root_password
|
||||
volumes:
|
||||
- s3data:/data
|
||||
- ./infra/s3:/infra:ro
|
||||
# S3 и административная консоль не публикуются на хост.
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "--fail", "--silent", "http://127.0.0.1:9000/minio/health/ready"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1"
|
||||
memory: 512m
|
||||
networks: [backend]
|
||||
|
||||
s3-init:
|
||||
<<: *s3-image
|
||||
restart: "no"
|
||||
entrypoint: ["/bin/sh", "/infra/bootstrap.sh"]
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
environment:
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
MC_CONFIG_DIR: /tmp/mc
|
||||
secrets:
|
||||
- s3_root_user
|
||||
- s3_root_password
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
volumes:
|
||||
- ./infra/s3:/infra:ro
|
||||
networks: [backend]
|
||||
|
||||
s3-check:
|
||||
<<: *s3-image
|
||||
profiles: [tools]
|
||||
restart: "no"
|
||||
entrypoint: ["/bin/sh", "/infra/check.sh"]
|
||||
depends_on:
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
environment:
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
MC_CONFIG_DIR: /tmp/mc
|
||||
secrets:
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
volumes:
|
||||
- ./infra/s3:/infra:ro
|
||||
- ./tests/fixtures:/fixtures:ro
|
||||
networks: [backend]
|
||||
|
||||
s3-client-check:
|
||||
image: mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4
|
||||
profiles: [tools]
|
||||
restart: "no"
|
||||
entrypoint: ["dotnet", "/check/StorageCheck.dll", "/fixtures/sample.png"]
|
||||
depends_on:
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
environment:
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
secrets:
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
volumes:
|
||||
- ./tools/StorageCheck/bin/Release/net10.0:/check:ro
|
||||
- ./tests/fixtures:/fixtures:ro
|
||||
networks: [backend]
|
||||
|
||||
db:
|
||||
# PostgreSQL 17.11; тег закреплён digest'ом, сборка воспроизводима.
|
||||
image: postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe
|
||||
restart: unless-stopped
|
||||
# max_connections с запасом: до 8 реплик x пул DB_MAX_POOL_SIZE (по умолчанию 20) + миграции + служебные.
|
||||
command: ["postgres", "-c", "max_connections=300"]
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
|
||||
secrets:
|
||||
- db_password
|
||||
volumes:
|
||||
# Именованный volume: переживает restart/down; удаляется только явным `docker compose down -v`.
|
||||
- pgdata:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "${DB_CPUS:-2}"
|
||||
memory: ${DB_MEMORY:-1g}
|
||||
networks: [backend]
|
||||
|
||||
cache:
|
||||
# Valkey 8.1: кэш страниц истории сообщений. Источник истины — PostgreSQL, потеря содержимого кэша ничего не ломает,
|
||||
# поэтому persistence выключена (--save "" --appendonly no). Память ограничена, вытеснение LRU.
|
||||
# Кэш общий для всех реплик: ключ содержит версию истории чата, поэтому реплики не отдают друг другу устаревшие страницы.
|
||||
image: valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2
|
||||
restart: unless-stopped
|
||||
command:
|
||||
- sh
|
||||
- -c
|
||||
- exec valkey-server --requirepass "$$(cat /run/secrets/cache_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru
|
||||
secrets:
|
||||
- cache_password
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/cache_password)\" valkey-cli ping | grep -q PONG"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.5"
|
||||
memory: 128m
|
||||
networks: [backend]
|
||||
|
||||
# One-shot: применяет миграции и завершается. API-реплики схему не меняют (MIGRATE_ON_START выключен),
|
||||
# поэтому одновременный старт N реплик не создаёт гонку. Миграции только добавляют объекты (expand), что
|
||||
# совместимо с ещё работающей предыдущей версией API при rolling update.
|
||||
migrate:
|
||||
<<: *api-image
|
||||
command: ["--migrate"]
|
||||
restart: "no"
|
||||
depends_on:
|
||||
db:
|
||||
condition: service_healthy
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets:
|
||||
- database_url
|
||||
networks: [backend]
|
||||
|
||||
api:
|
||||
<<: *api-image
|
||||
restart: unless-stopped
|
||||
# Без container_name и без published ports: сервис масштабируется (--scale api=N / API_REPLICAS), а снаружи
|
||||
# реплики доступны только через lb. Кэш не входит в depends_on: API обязан работать без него.
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
db:
|
||||
condition: service_healthy
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
environment:
|
||||
ASPNETCORE_URLS: http://0.0.0.0:8080
|
||||
APP_PORT: "8080"
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CACHE_TTL_SECONDS: ${CACHE_TTL_SECONDS:-300}
|
||||
DIAGNOSTIC_HEADERS: ${DIAGNOSTIC_HEADERS:-false}
|
||||
DB_MAX_POOL_SIZE: ${DB_MAX_POOL_SIZE:-20}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
SHUTDOWN_DRAIN_SECONDS: ${SHUTDOWN_DRAIN_SECONDS:-3}
|
||||
MIGRATE_ON_START: "false"
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
UPLOAD_CLEANUP_GRACE_SECONDS: ${UPLOAD_CLEANUP_GRACE_SECONDS:-300}
|
||||
UPLOAD_CLEANUP_INTERVAL_SECONDS: ${UPLOAD_CLEANUP_INTERVAL_SECONDS:-30}
|
||||
secrets:
|
||||
- database_url
|
||||
- cache_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
expose:
|
||||
- "8080"
|
||||
healthcheck:
|
||||
# Живость процесса (готовность проверяет LB). start_interval ускоряет первый успех для `up --wait`.
|
||||
test: ["CMD", "dotnet", "Messenger.Api.dll", "--healthcheck"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
start_period: 20s
|
||||
start_interval: 2s
|
||||
# SIGTERM -> drain 3 с + до 5 с на активные запросы = < 10 с; 15 с — запас до SIGKILL.
|
||||
stop_grace_period: 15s
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources:
|
||||
limits:
|
||||
cpus: "${API_CPUS:-1}"
|
||||
memory: ${API_MEMORY:-512m}
|
||||
networks: [backend]
|
||||
|
||||
lb:
|
||||
# HAProxy 3.0 LTS; digest закреплён. Образ получен через mirror.gcr.io (зеркало официального образа Docker Hub,
|
||||
# тот же digest), потому что Docker Hub был недоступен при разработке.
|
||||
image: mirror.gcr.io/library/haproxy:3.0-alpine@sha256:1c15903c50d5510dcc01de755049e7015a6dd3f35bb2dc4582e888116cb71d8f
|
||||
restart: unless-stopped
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
ports:
|
||||
# Единственная публичная точка входа.
|
||||
- "${LB_PUBLISHED_PORT:-8080}:8080"
|
||||
# Статистика LB (состояние backend'ов): только с этого компьютера.
|
||||
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q --spider http://127.0.0.1:8404/healthz"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 5
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "${LB_CPUS:-1}"
|
||||
memory: 128m
|
||||
networks: [backend]
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
s3data:
|
||||
|
||||
networks:
|
||||
backend:
|
||||
|
||||
secrets:
|
||||
db_password:
|
||||
file: ./secrets/db_password
|
||||
database_url:
|
||||
file: ./secrets/database_url.compose
|
||||
cache_password:
|
||||
file: ./secrets/cache_password
|
||||
cache_url:
|
||||
file: ./secrets/cache_url
|
||||
s3_root_user:
|
||||
file: ./secrets/s3_root_user
|
||||
s3_root_password:
|
||||
file: ./secrets/s3_root_password
|
||||
s3_access_key_id:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
@@ -0,0 +1,13 @@
|
||||
{
|
||||
"version": 1,
|
||||
"isRoot": true,
|
||||
"tools": {
|
||||
"dotnet-ef": {
|
||||
"version": "10.0.13",
|
||||
"commands": [
|
||||
"dotnet-ef"
|
||||
],
|
||||
"rollForward": false
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,89 @@
|
||||
# Endpoint вложений — проверка 13.11.2026
|
||||
|
||||
Это протокол предыдущего этапа на 3. Последующее выполнение всех пунктов уровня 4
|
||||
зафиксировано в [grade4.md](grade4.md).
|
||||
|
||||
Рабочее дерево lab4, изменения ещё не закоммичены. .NET SDK 10.0.401,
|
||||
ASP.NET Runtime 10.0.12, Docker Engine 29.4.1, Compose v5.1.3,
|
||||
две Linux API-реплики за HAProxy, PostgreSQL, Valkey и приватный MinIO.
|
||||
Образы закреплены в Dockerfile/Compose. Проверенный адрес: `http://localhost:18084`.
|
||||
Секреты и токены в этот файл не включены.
|
||||
|
||||
## Реализация
|
||||
|
||||
- `POST /api/v1/chats/{chat_id}/attachments?filename=...` — сырые PNG/JPEG,
|
||||
201 ready после S3 PUT и сохранения метаданных в PostgreSQL.
|
||||
- `GET /api/v1/attachments/{id}` — DTO без внутреннего object key.
|
||||
- `GET /api/v1/attachments/{id}/content` — исходные bytes через API, без redirect.
|
||||
- `attachment_ids` в запросах/ответах сообщений, пустой текст с вложением,
|
||||
проверка чата/готовности, идемпотентность с учётом вложений.
|
||||
- Миграция `20261113171218_AddMessageAttachments` применена сервисом `migrate`.
|
||||
Старые текстовые сообщения получают пустой массив.
|
||||
|
||||
## Сборка и существующие тесты
|
||||
|
||||
```sh
|
||||
dotnet build mtusi2026lab3-fork.sln --no-restore
|
||||
dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --no-build --no-restore
|
||||
docker compose --env-file .env up -d --build --wait
|
||||
```
|
||||
|
||||
Debug и Docker Release сборки прошли. Существующие тесты:
|
||||
|
||||
```text
|
||||
Passed: 78, Failed: 0, Skipped: 0, Total: 78
|
||||
```
|
||||
|
||||
Их fixture использует одноразовые PostgreSQL/Valkey/MinIO; стенд lab4 не подменяется моками.
|
||||
Проверка EF `migrations has-pending-model-changes` не обнаружила изменений модели.
|
||||
|
||||
## HTTP API и отказы
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084
|
||||
python -X utf8 tests/smoke.py --base-url http://localhost:18084
|
||||
python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults
|
||||
```
|
||||
|
||||
Последний прогон после проверки ограниченной распаковки PNG завершился с кодом 0:
|
||||
|
||||
```text
|
||||
PASS: API is ready through the load balancer.
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
PASS: ready metadata, original bytes, authentication and chat ACL.
|
||||
PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits.
|
||||
PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection.
|
||||
PASS: stopping the uploading API replica preserves the file on another replica.
|
||||
PASS: S3 outage makes readiness unavailable (503).
|
||||
PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes.
|
||||
```
|
||||
|
||||
Сценарий проверяет повреждённый PNG/CRC, обрезанные PNG/JPEG, MIME spoofing,
|
||||
опасные/слишком длинные filename, 10 MiB + 1 byte, 100 млн пикселей в PNG-заголовке,
|
||||
PNG с распаковкой больше размеров. Проверяются 401/404, неизвестное/чужое вложение,
|
||||
чужой чат, повторяющиеся/слишком многочисленные ID и конфликт Idempotency-Key.
|
||||
|
||||
При failover контейнер upload определяется по его `X-Instance-Id`, проверяется наличие
|
||||
минимум двух реплик, затем останавливается именно загрузивший контейнер. Ответ download
|
||||
должен прийти с другим ID и вернуть те же bytes. Контейнер восстанавливается в `finally`.
|
||||
|
||||
При остановке S3 проверены 503 для readiness, GET содержимого и POST загрузки через LB.
|
||||
После вывода всех API из ротации 503 создаёт HAProxy (JSON/заголовки API в этом случае
|
||||
не проверяются). После подъёма S3 оригинал сохраняется.
|
||||
|
||||
Затем выполнен реальный `docker compose restart db cache s3 api lb`, без удаления volumes.
|
||||
С теми же токенами проверены пользователь, метаданные, сообщение со ссылкой и файл.
|
||||
Стенд оставлен работающим; все основные сервисы healthy, migrate/s3-init — Exited (0).
|
||||
|
||||
## Готовность
|
||||
|
||||
Пять основных пунктов раздела «Что сделать» README реализованы и проверены на этом стенде:
|
||||
закреплённый S3/private bucket, Attachment и ссылки, upload/download, общий volume и
|
||||
смена API-реплики, ACL/отказ S3/restart. Это подтверждает обязательный минимум на 3.
|
||||
|
||||
Уровень 4 не завершён: нет долговечной сверки/очистки orphan после аварийного завершения
|
||||
процесса и эксперимента ≥10 одновременных upload с измерением пика памяти.
|
||||
Уровень 5 не реализован. Автор/группа и commit/PR ещё должны быть заполнены в отчёте.
|
||||
|
||||
Валидация изображения использует [StbImageSharp 2.30.16](https://github.com/StbSharp/StbImageSharp),
|
||||
без изменения оригинала. CRC и ограничение распаковки PNG проверяются отдельно до декодирования.
|
||||
@@ -0,0 +1,153 @@
|
||||
# Подтверждение уровня 4 — 13.11.2026
|
||||
|
||||
Рабочее дерево lab4, изменения не закоммичены. Базовый API работает через
|
||||
`http://localhost:18084`. .NET SDK 10.0.401, ASP.NET Runtime 10.0.12,
|
||||
Docker Engine 29.4.1. В Docker доступны 16 logical CPU и 8 032 436 224 байт RAM.
|
||||
Две API-реплики, каждая ограничена 1 CPU и 512 MiB. Образы закреплены по digest.
|
||||
|
||||
## 1. Негативные проверки файлов и доступа
|
||||
|
||||
```sh
|
||||
python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults
|
||||
```
|
||||
|
||||
Код завершения 0. Проверены PNG/JPEG, подмена MIME, повреждения/CRC, обрезанные
|
||||
файлы, опасные имена, 10 MiB + 1 byte, 100 млн пикселей, чрезмерная распаковка PNG,
|
||||
чужой/неизвестный attachment ID и привязка файла другого чата. Ошибки клиента
|
||||
возвращают предусмотренные 400/401/404/409/413/415, не 500.
|
||||
|
||||
```text
|
||||
PASS: ready metadata, original bytes, authentication and chat ACL.
|
||||
PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits.
|
||||
PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection.
|
||||
PASS: stopping the uploading API replica preserves the file on another replica.
|
||||
PASS: S3 outage makes readiness unavailable (503).
|
||||
PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes.
|
||||
```
|
||||
|
||||
Публичный smoke повторно прошёл с кодом 0:
|
||||
|
||||
```text
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
```
|
||||
|
||||
## 2. Долговечная очистка после сбоев
|
||||
|
||||
Применена миграция `20261113175727_AddUploadIntents`. Перед PUT намерение сохраняется
|
||||
в PostgreSQL; публикация метаданных и удаление намерения атомарны. Worker на каждой
|
||||
реплике использует блокировки `FOR UPDATE SKIP LOCKED`, grace 300 с (минимум 120 с),
|
||||
проход каждые 30 с, до 16 записей за проход. Готовый Attachment защищён проверкой
|
||||
ссылки, публикация просроченного upload запрещена. После удаления tombstone остаётся
|
||||
для повторного удаления запоздавшего PUT. Подробности: [cleanup.md](../infra/s3/cleanup.md).
|
||||
|
||||
```sh
|
||||
dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --no-build --no-restore --filter FullyQualifiedName~UploadCleanupTests
|
||||
```
|
||||
|
||||
```text
|
||||
Passed: 7, Failed: 0, Skipped: 0, Total: 7
|
||||
```
|
||||
|
||||
Тесты используют реальные одноразовые PostgreSQL и MinIO. Покрыты:
|
||||
|
||||
- успешный PUT и внедрённый отказ сохранения метаданных; новый экземпляр API
|
||||
автоматически обнаруживает и удаляет оставшийся объект;
|
||||
- защита свежего намерения grace period;
|
||||
- защита готового Attachment при просроченном намерении;
|
||||
- сбой DELETE, последующий retry и повторное удаление позднего PUT;
|
||||
- запрет публикации после истечения lease;
|
||||
- два параллельных очистителя;
|
||||
- сохранение старого tombstone, чтобы объект не мог быть забыт.
|
||||
|
||||
Timestamps сдвигаются только в одноразовой тестовой БД. Production grace не менялся.
|
||||
После всех изменений выполнен полный финальный прогон C#-тестов без фильтра:
|
||||
|
||||
```text
|
||||
Passed: 85, Failed: 0, Skipped: 0, Total: 85
|
||||
```
|
||||
|
||||
Сборка и семь новых тестов очистки также отдельно прошли до полного прогона.
|
||||
|
||||
Ручной проход на основном стенде (нет просроченных неудачных загрузок):
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm --no-deps api --cleanup-uploads
|
||||
```
|
||||
|
||||
```json
|
||||
{"Scanned":0,"Deleted":0,"Protected":0,"Failed":0}
|
||||
```
|
||||
|
||||
## 3. Прерванный upload и измерение RAM
|
||||
|
||||
```sh
|
||||
python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 --output evidence/upload-memory.json
|
||||
```
|
||||
|
||||
Сначала клиент обрывает настоящий TCP upload до передачи Content-Length. После
|
||||
обрыва число Attachment/UploadIntent не изменилось; на обеих репликах нет временных
|
||||
`attachment-*` файлов.
|
||||
|
||||
Затем для каждого размера запускаются 10 потоков с общим barrier, без retries.
|
||||
Файлы — детерминированные RGB PNG с псевдослучайными пикселями: 1024×1024 и
|
||||
1600×1600, реально декодируются сервером. Перед каждым размером API перезапускаются,
|
||||
ожидается готовность LB, снимаются baseline и kernel high-water. Использован cgroup v1
|
||||
`memory.max_usage_in_bytes`, текущая память, лимит, `/proc/1/status` VmHWM/VmRSS и
|
||||
разность cgroup `cpuacct.usage`. Сохраняются счётчики и по каждой реплике.
|
||||
|
||||
Основной прогон с CPU-метриками:
|
||||
|
||||
| PNG bytes | Конкуренция | 201 | 503 overload | Время, с | Успешных RPS | p50 / p95 / p99 успешных, с |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| 3 147 775 | 10 | 10 | 0 | 2,2051 | 4,535 | 1,4404 / 1,9381 / 1,9381 |
|
||||
| 7 684 003 | 10 | 7 | 3 | 3,1424 | 2,228 | 2,2412 / 2,8819 / 2,8819 |
|
||||
|
||||
| PNG bytes | Cgroup peak API 1 / API 2, MiB | RSS peak API 1 / API 2, MiB | Средний CPU API 1 / API 2, % одного ядра |
|
||||
| --- | --- | --- | --- |
|
||||
| 3 147 775 | 125,49 / 99,41 | 202,09 / 178,00 | 83,66 / 50,95 |
|
||||
| 7 684 003 | 161,80 / 69,41 | 234,80 / 142,02 | 75,72 / 2,40 |
|
||||
|
||||
Максимум cgroup-памяти — 161,80 MiB, RSS — 234,80 MiB, лимит каждой реплики —
|
||||
512 MiB. Это разные метрики: cgroup charge и RSS по-разному учитывают shared pages,
|
||||
складывать их нельзя. Оба high-water счётчика включают startup/readiness после restart.
|
||||
Ожидание readiness гарантирует хотя бы один готовый backend, не одинаковый прогрев
|
||||
обеих реплик: распределение CPU в коротких сериях получилось неравномерным.
|
||||
|
||||
503 — предусмотренный ответ очереди: одна активная проверка/upload на реплику,
|
||||
ожидание слота до 2 с. Не было 500, неверных checksum или превышения лимита памяти.
|
||||
После нагрузки новая небольшая загрузка успешно вернула 201.
|
||||
|
||||
Raw результаты: [upload-memory.json](upload-memory.json). Дополнительный первичный
|
||||
прогон без CPU: [upload-memory-initial.json](upload-memory-initial.json) — 10/10 и
|
||||
9/10 успешных, максимум 161,15 MiB cgroup / 235,70 MiB RSS. Прогоны не усреднялись.
|
||||
|
||||
Ограничения: это короткие closed-loop серии, а не поиск максимального устойчивого
|
||||
RPS. В elapsed входит создание клиентов; percentiles относятся только к успешным
|
||||
запросам. Малая выборка и прогрев влияют на распределение. RAM клиента, который
|
||||
генерирует PNG, не относится к контейнерам API. Прогон доказывает ограничение
|
||||
ресурсов на указанном профиле, не универсальную верхнюю границу всех workload.
|
||||
|
||||
## 4. Bootstrap, права и приватность
|
||||
|
||||
```sh
|
||||
python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084
|
||||
```
|
||||
|
||||
Код 0:
|
||||
|
||||
```text
|
||||
PASS: two bootstrap runs preserve an existing API attachment and credentials.
|
||||
PASS: S3 has no published ports or browser console; API has no root credentials.
|
||||
PASS: API credentials upload/download match SHA-256 and size.
|
||||
PASS: anonymous GET of an existing object returns 403.
|
||||
PASS: API credentials cannot administer S3 or write outside originals/.
|
||||
PASS: API credentials delete the temporary object.
|
||||
```
|
||||
|
||||
## Состояние после проверки
|
||||
|
||||
Основные сервисы healthy, `migrate` и `s3-init` завершились с кодом 0. Схема EF
|
||||
совпадает с миграциями, `git diff --check` и `scripts/check_contract.py` прошли.
|
||||
Реализованы все четыре пункта уровня 4 в дополнение к минимуму уровня 3.
|
||||
Это не заявка на уровень 5: полного аудита orphan/missing всего bucket, dry-run
|
||||
reconciler либо исследования presigned upload пока нет.
|
||||
@@ -0,0 +1,45 @@
|
||||
# Проверка C#-сервиса S3 — 13.11.2026
|
||||
|
||||
Проверено рабочее дерево lab4, изменения ещё не закоммичены. Используется существующий
|
||||
MinIO из Compose и отдельные ограниченные credentials API, без root credentials.
|
||||
SDK AWSSDK.S3 4.1.0, .NET SDK 10.0.401, проверка выполняется в Linux-контейнере
|
||||
ASP.NET Runtime 10.0.12. Тестовый файл: `tests/fixtures/sample.png`.
|
||||
|
||||
## Исправления после проверки реализации
|
||||
|
||||
- Два исходника хранилища были сохранены без `.cs` и не участвовали в сборке.
|
||||
Добавлены расширения и отсутствующие `using` для AWS SDK.
|
||||
- `S3Settings` читал `S3_ACCESS_KEY`/`S3_SECRET_KEY`, которых нет в Compose.
|
||||
Исправлено чтение `S3_ACCESS_KEY_ID_FILE`/`S3_SECRET_ACCESS_KEY_FILE`.
|
||||
- Добавлены регион подписи, проверка обязательных настроек и HTTP/HTTPS endpoint.
|
||||
При отсутствии ключей сервис выдаёт ошибку конфигурации вместо поиска credentials вне стенда.
|
||||
- SDK оставляет входной поток открытым; клиент SDK освобождается при остановке DI.
|
||||
|
||||
## Команды
|
||||
|
||||
```sh
|
||||
dotnet build tools/StorageCheck/StorageCheck.csproj -c Release
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env run --rm --no-deps s3-client-check
|
||||
```
|
||||
|
||||
Сборка инструмента и проекта API прошла без ошибок и предупреждений.
|
||||
Проверка C#-сервиса завершилась с кодом 0:
|
||||
|
||||
```text
|
||||
PASS: C# PutAsync uploads PNG and keeps the caller's stream open.
|
||||
PASS: C# CopyToAsync returns identical bytes and SHA-256.
|
||||
PASS: anonymously downloading the C#-uploaded object returns 403.
|
||||
PASS: C# DeleteAsync removes the object; subsequent GET returns 404.
|
||||
```
|
||||
|
||||
Также повторно прошёл `docker compose --env-file .env run --rm --no-deps s3-check`:
|
||||
проверка SHA-256/размера, анонимного GET, ограничений администрирования и записи
|
||||
вне `originals/`, удаления временного объекта.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Это проверка сервиса хранения, а не HTTP API вложений. Здесь ещё не проверяются
|
||||
валидация изображений, лимиты upload, членство в чатах, транзакции PostgreSQL/S3,
|
||||
связь с сообщениями и сохранность после отказа API/S3. Соответствующие endpoint
|
||||
и обработка ошибок зависимостей ещё предстоят.
|
||||
@@ -0,0 +1,58 @@
|
||||
# Проверка S3 — 13.11.2026
|
||||
|
||||
Проверено на рабочем дереве lab4 до commit; это результаты этапа инфраструктуры S3,
|
||||
не подтверждение готовности всей лабораторной. Docker Engine 29.4.1, Compose v5.1.3,
|
||||
контейнер linux/amd64. Лимиты MinIO: 1 CPU, 512 MiB RAM.
|
||||
|
||||
Образ: `quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e`.
|
||||
Внутри подтверждены MinIO RELEASE.2025-09-07T16-13-09Z и mc RELEASE.2025-08-13T08-35-41Z.
|
||||
|
||||
## Конфигурация и запуск
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --wait s3 s3-init
|
||||
docker compose --env-file .env logs --no-log-prefix s3-init
|
||||
```
|
||||
|
||||
Конфигурация валидна. `s3` — running/healthy, `s3-init` — exited с кодом 0.
|
||||
|
||||
```text
|
||||
S3 bootstrap complete: private bucket and restricted API credentials.
|
||||
```
|
||||
|
||||
Проверен `sh -n` для `scripts/init-secrets.sh` и скриптов `infra/s3/`.
|
||||
В итоговой конфигурации Compose проверены отсутствие опубликованных портов S3,
|
||||
`MINIO_BROWSER=off`, наличие ключей API и отсутствие root credentials у сервиса API.
|
||||
|
||||
## Повторный bootstrap
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm --no-deps s3-init
|
||||
```
|
||||
|
||||
Код 0, то же сообщение об успешной настройке; существующий bucket принят без ошибки.
|
||||
|
||||
## Операции с объектом и права доступа
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm --no-deps s3-check
|
||||
```
|
||||
|
||||
Код завершения 0:
|
||||
|
||||
```text
|
||||
PASS: API credentials upload/download match SHA-256 and size.
|
||||
PASS: anonymous GET of an existing object returns 403.
|
||||
PASS: API credentials cannot administer S3 or write outside originals/.
|
||||
PASS: API credentials delete the temporary object.
|
||||
```
|
||||
|
||||
Использован синтетический `tests/fixtures/sample.png`. Временный объект удалён.
|
||||
Проверка структуры skeleton `python -X utf8 scripts/check_contract.py` прошла.
|
||||
|
||||
## Границы проверки
|
||||
|
||||
HTTP upload/download приложения и чтение S3-настроек в C# ещё не реализованы.
|
||||
Полный smoke, persistence/failover API и эксперимент параллельных загрузок на этом
|
||||
этапе не выполнялись. Сохранность объектов после restart здесь отдельно не проверялась.
|
||||
@@ -0,0 +1,212 @@
|
||||
{
|
||||
"date": "2026-11-13",
|
||||
"method": "10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup memory.peak and /proc/1/status VmHWM",
|
||||
"docker_host": {
|
||||
"logical_cpus": 16,
|
||||
"memory_bytes": 8032436224
|
||||
},
|
||||
"api_limits": {
|
||||
"cpus": 1,
|
||||
"memory": "536870912"
|
||||
},
|
||||
"docker": "29.4.1",
|
||||
"interrupted_upload": "PASS",
|
||||
"trials": [
|
||||
{
|
||||
"width": 1024,
|
||||
"height": 1024,
|
||||
"size_bytes": 3147775,
|
||||
"concurrency": 10,
|
||||
"successful": 10,
|
||||
"overload_503": 0,
|
||||
"elapsed_seconds": 2.3438,
|
||||
"successful_rps": 4.267,
|
||||
"p50_success_seconds": 1.6475,
|
||||
"p95_success_seconds": 2.0273,
|
||||
"p99_success_seconds": 2.0273,
|
||||
"baseline": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 63361024,
|
||||
"cgroup_peak_bytes": 69242880,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 145293312,
|
||||
"rss_peak_bytes": 145293312
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 67284992,
|
||||
"cgroup_peak_bytes": 70815744,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 149348352,
|
||||
"rss_peak_bytes": 149348352
|
||||
}
|
||||
},
|
||||
"after": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 102457344,
|
||||
"cgroup_peak_bytes": 113156096,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 184115200,
|
||||
"rss_peak_bytes": 192253952
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 105439232,
|
||||
"cgroup_peak_bytes": 122503168,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 187265024,
|
||||
"rss_peak_bytes": 201420800
|
||||
}
|
||||
},
|
||||
"responses": [
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.6475,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.9218,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.3649,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.6865,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.8,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.5402,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.5217,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.0273,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.7696,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.2418,
|
||||
"instance": "39388a6229cb"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"width": 1600,
|
||||
"height": 1600,
|
||||
"size_bytes": 7684003,
|
||||
"concurrency": 10,
|
||||
"successful": 9,
|
||||
"overload_503": 1,
|
||||
"elapsed_seconds": 3.6558,
|
||||
"successful_rps": 2.462,
|
||||
"p50_success_seconds": 2.7267,
|
||||
"p95_success_seconds": 3.32,
|
||||
"p99_success_seconds": 3.32,
|
||||
"baseline": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 65519616,
|
||||
"cgroup_peak_bytes": 67182592,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 149217280,
|
||||
"rss_peak_bytes": 149217280
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 69623808,
|
||||
"cgroup_peak_bytes": 70758400,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 153239552,
|
||||
"rss_peak_bytes": 153239552
|
||||
}
|
||||
},
|
||||
"after": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 126455808,
|
||||
"cgroup_peak_bytes": 148439040,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 211324928,
|
||||
"rss_peak_bytes": 226566144
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 149491712,
|
||||
"cgroup_peak_bytes": 168980480,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 234516480,
|
||||
"rss_peak_bytes": 247148544
|
||||
}
|
||||
},
|
||||
"responses": [
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.7595,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.0868,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.7267,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 503,
|
||||
"latency_seconds": 3.1155,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.4065,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 3.0388,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 3.1288,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.0735,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 3.32,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.4462,
|
||||
"instance": "c8e68f4d537a"
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"post_load_recovery": "PASS",
|
||||
"limitations": "Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput."
|
||||
}
|
||||
@@ -0,0 +1,228 @@
|
||||
{
|
||||
"date": "2026-11-13",
|
||||
"method": "10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup high-water (v1/v2) and /proc/1/status VmHWM; cgroup CPU usage delta",
|
||||
"docker_host": {
|
||||
"logical_cpus": 16,
|
||||
"memory_bytes": 8032436224
|
||||
},
|
||||
"api_limits": {
|
||||
"cpus": 1,
|
||||
"memory": "536870912"
|
||||
},
|
||||
"docker": "29.4.1",
|
||||
"interrupted_upload": "PASS",
|
||||
"trials": [
|
||||
{
|
||||
"width": 1024,
|
||||
"height": 1024,
|
||||
"size_bytes": 3147775,
|
||||
"concurrency": 10,
|
||||
"successful": 10,
|
||||
"overload_503": 0,
|
||||
"elapsed_seconds": 2.2051,
|
||||
"successful_rps": 4.535,
|
||||
"p50_success_seconds": 1.4404,
|
||||
"p95_success_seconds": 1.9381,
|
||||
"p99_success_seconds": 1.9381,
|
||||
"cpu_core_seconds": {
|
||||
"39388a6229cb": 1.8447,
|
||||
"c8e68f4d537a": 1.1234
|
||||
},
|
||||
"average_cpu_percent_of_one_core": {
|
||||
"39388a6229cb": 83.66,
|
||||
"c8e68f4d537a": 50.95
|
||||
},
|
||||
"baseline": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 64466944,
|
||||
"cgroup_peak_bytes": 67948544,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 147685376,
|
||||
"rss_peak_bytes": 147693568
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 66523136,
|
||||
"cgroup_peak_bytes": 68968448,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 150061056,
|
||||
"rss_peak_bytes": 150061056
|
||||
}
|
||||
},
|
||||
"after": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 125059072,
|
||||
"cgroup_peak_bytes": 131584000,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 206090240,
|
||||
"rss_peak_bytes": 211906560
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 92610560,
|
||||
"cgroup_peak_bytes": 104239104,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 177537024,
|
||||
"rss_peak_bytes": 186650624
|
||||
}
|
||||
},
|
||||
"responses": [
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.1419,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.2215,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.4404,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.0314,
|
||||
"instance": "c8e68f4d537a"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.9381,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.8361,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.7294,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.5446,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.6469,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.3374,
|
||||
"instance": "39388a6229cb"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"width": 1600,
|
||||
"height": 1600,
|
||||
"size_bytes": 7684003,
|
||||
"concurrency": 10,
|
||||
"successful": 7,
|
||||
"overload_503": 3,
|
||||
"elapsed_seconds": 3.1424,
|
||||
"successful_rps": 2.228,
|
||||
"p50_success_seconds": 2.2412,
|
||||
"p95_success_seconds": 2.8819,
|
||||
"p99_success_seconds": 2.8819,
|
||||
"cpu_core_seconds": {
|
||||
"39388a6229cb": 2.3794,
|
||||
"c8e68f4d537a": 0.0755
|
||||
},
|
||||
"average_cpu_percent_of_one_core": {
|
||||
"39388a6229cb": 75.72,
|
||||
"c8e68f4d537a": 2.4
|
||||
},
|
||||
"baseline": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 68059136,
|
||||
"cgroup_peak_bytes": 74723328,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 150568960,
|
||||
"rss_peak_bytes": 150573056
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 64077824,
|
||||
"cgroup_peak_bytes": 72781824,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 146657280,
|
||||
"rss_peak_bytes": 146665472
|
||||
}
|
||||
},
|
||||
"after": {
|
||||
"39388a6229cb": {
|
||||
"cgroup_current_bytes": 162414592,
|
||||
"cgroup_peak_bytes": 169664512,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 246210560,
|
||||
"rss_peak_bytes": 246210560
|
||||
},
|
||||
"c8e68f4d537a": {
|
||||
"cgroup_current_bytes": 67170304,
|
||||
"cgroup_peak_bytes": 72781824,
|
||||
"limit_bytes": 536870912,
|
||||
"rss_bytes": 148914176,
|
||||
"rss_peak_bytes": 148914176
|
||||
}
|
||||
},
|
||||
"responses": [
|
||||
{
|
||||
"status": 503,
|
||||
"latency_seconds": 2.8694,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.6692,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.4845,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.9776,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 1.7166,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 503,
|
||||
"latency_seconds": 2.8693,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.2412,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 503,
|
||||
"latency_seconds": 2.8574,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.4645,
|
||||
"instance": "39388a6229cb"
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"latency_seconds": 2.8819,
|
||||
"instance": "39388a6229cb"
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"post_load_recovery": "PASS",
|
||||
"limitations": "Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput."
|
||||
}
|
||||
@@ -0,0 +1,63 @@
|
||||
# Единая публичная точка входа лабораторной 3: HAProxy распределяет запросы между API-репликами.
|
||||
#
|
||||
# Как LB узнаёт адреса реплик: `server-template` создаёт до 8 «слотов», а встроенный DNS-резолвер раз в секунду
|
||||
# спрашивает у Docker (127.0.0.11) все A-записи имени `api`. Реплика добавилась/исчезла — слот получил/потерял адрес
|
||||
# без перезапуска LB. Именно поэтому масштабирование (`--scale api=N`) и замена контейнеров не требуют правки конфига.
|
||||
#
|
||||
# Как LB исключает неработающий backend: активная проверка GET /health/ready каждую секунду;
|
||||
# 2 неудачи подряд (fall 2) → слот DOWN, 2 успеха (rise 2) → снова UP. Расчёт времени обнаружения — в REPORT.md.
|
||||
# Sticky-сессий нет: любой запрос может попасть на любую реплику, состояние (сессии, ключи идемпотентности) в PostgreSQL.
|
||||
|
||||
global
|
||||
log stdout format raw local0 info
|
||||
maxconn 4096
|
||||
|
||||
resolvers docker
|
||||
nameserver dns1 127.0.0.11:53
|
||||
accepted_payload_size 8192
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 2s
|
||||
hold other 1s
|
||||
hold refused 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
hold obsolete 1s
|
||||
|
||||
defaults
|
||||
mode http
|
||||
log global
|
||||
option httplog
|
||||
option dontlognull
|
||||
timeout connect 2s
|
||||
timeout client 20s
|
||||
timeout server 20s
|
||||
timeout http-request 10s
|
||||
timeout http-keep-alive 5s
|
||||
timeout check 2s
|
||||
# Если выбранный backend не принял соединение или закрыл его, не ответив (реплика остановлена между проверками),
|
||||
# запрос повторяется на другой реплике. Повтор POST безопасен: сообщение защищено Idempotency-Key.
|
||||
retries 3
|
||||
option redispatch 1
|
||||
retry-on conn-failure empty-response
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend api
|
||||
|
||||
backend api
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
|
||||
server-template api 1-8 api:8080
|
||||
|
||||
# Служебный порт внутри сети Compose (наружу публикуется только на 127.0.0.1): состояние backend'ов и healthcheck самого LB.
|
||||
frontend ops
|
||||
bind :8404
|
||||
monitor-uri /healthz
|
||||
stats enable
|
||||
stats uri /stats
|
||||
stats refresh 2s
|
||||
@@ -0,0 +1,87 @@
|
||||
# S3-хранилище lab4
|
||||
|
||||
Используется MinIO RELEASE.2025-09-07T16-13-09Z. Образ закреплён по digest
|
||||
`quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e`.
|
||||
В этот же образ входит `mc` RELEASE.2025-08-13T08-35-41Z: отдельный образ для bootstrap не требуется.
|
||||
|
||||
## Запуск
|
||||
|
||||
Из корня репозитория, `sh` доступен в Git Bash или WSL:
|
||||
|
||||
```sh
|
||||
# Только при первом запуске, если .env ещё нет:
|
||||
cp .env.example .env
|
||||
sh scripts/init-secrets.sh
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --wait s3 s3-init
|
||||
docker compose --env-file .env logs s3-init
|
||||
```
|
||||
|
||||
Для всего стенда: `docker compose --env-file .env up -d --build --wait`.
|
||||
После изменения настроек API эта команда пересоздаст API-контейнеры.
|
||||
|
||||
`s3` хранит файлы и IAM-настройки в именованном volume `s3data`.
|
||||
`s3-init` — одноразовый контейнер; нормальное состояние после успеха — Exited (0).
|
||||
Он создаёт bucket, запрещает анонимный доступ и настраивает отдельного пользователя API.
|
||||
Повторный запуск не удаляет bucket или объекты:
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm --no-deps s3-init
|
||||
```
|
||||
|
||||
## Настройки и права
|
||||
|
||||
- Внутренний endpoint: `http://s3:9000`, доступен из сети Compose.
|
||||
- `S3_BUCKET` по умолчанию `messenger-attachments`; `S3_REGION` — `us-east-1`.
|
||||
- Порт S3 не публикуется на хост, браузерная консоль выключена.
|
||||
- Root credentials: `secrets/s3_root_user` и `secrets/s3_root_password`.
|
||||
Они доступны только серверу и bootstrap, не API.
|
||||
- Ключи API: `secrets/s3_access_key_id` и `secrets/s3_secret_access_key`.
|
||||
API получает пути через `S3_ACCESS_KEY_ID_FILE` и `S3_SECRET_ACCESS_KEY_FILE`.
|
||||
- Политика `attachments-api` разрешает просмотр одного bucket и операции
|
||||
чтения/записи/удаления объектов только внутри `originals/`.
|
||||
Администрирование S3 и работа с другими bucket не разрешены.
|
||||
- Object key будущего upload должен иметь вид `originals/<server-generated-id>`.
|
||||
Имя пользовательского файла в ключ не включается.
|
||||
- Секреты генерируются локально; скрипт не перезаписывает существующие файлы.
|
||||
После изменения ключей нужно повторить bootstrap и пересоздать API.
|
||||
|
||||
Настройки читаются C#-сервисом `S3AttachmentStorage` из `IConfiguration` и файлов
|
||||
секретов. Он реализует запись, потоковое скачивание и удаление объекта. Клиент SDK
|
||||
использует заданный регион подписи и path-style адресацию. Входной поток загрузки
|
||||
и поток назначения принадлежат вызывающему коду; клиент SDK освобождается DI при остановке.
|
||||
HTTP-endpoint вложений реализованы в `AttachmentEndpoints.cs`. Проверка `/health/ready`
|
||||
требует доступности PostgreSQL и S3. Примеры запуска и HTTP-проверок — в корневом `REPORT.md`.
|
||||
Устойчивый журнал, grace period и worker очистки описаны в [cleanup.md](cleanup.md).
|
||||
|
||||
## Проверка
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm --no-deps s3-check
|
||||
```
|
||||
|
||||
Проверка использует только ключи API: загружает `tests/fixtures/sample.png` в уникальный
|
||||
временный объект, скачивает и сверяет SHA-256 и размер. Анонимный GET существующего
|
||||
объекта должен вернуть 403. Проверяются запрет администрирования, запрет записи вне
|
||||
`originals/` и удаление временного объекта. При ошибке скрипт возвращает ненулевой код.
|
||||
|
||||
Проверка реального C#-сервиса с теми же ограниченными ключами API:
|
||||
|
||||
```sh
|
||||
dotnet build tools/StorageCheck/StorageCheck.csproj -c Release
|
||||
docker compose --env-file .env run --rm --no-deps s3-client-check
|
||||
```
|
||||
|
||||
Сначала соберите инструмент на хосте, затем запустите в Linux-контейнере в сети
|
||||
Compose. Сборка подключает проект API, поэтому проверяется именно его реализация.
|
||||
Тест проверяет загрузку, сохранение открытого входного потока, скачивание с побайтовым
|
||||
сравнением и SHA-256, анонимный GET с кодом 403, удаление и последующий GET с кодом 404.
|
||||
Объект получает уникальный ключ; `finally` удаляет его и при неудачной проверке.
|
||||
Результаты: [evidence/s3-client-check.md](../../evidence/s3-client-check.md).
|
||||
|
||||
Для обычной остановки: `docker compose --env-file .env stop` или `down` без `-v`.
|
||||
Не удаляйте volume при проверке сохранности. Удаление volume уничтожает файлы и IAM-настройки.
|
||||
|
||||
Первичные материалы: [релиз MinIO](https://github.com/minio/minio/releases/tag/RELEASE.2025-09-07T16-13-09Z),
|
||||
[релиз mc](https://github.com/minio/mc/releases/tag/RELEASE.2025-08-13T08-35-41Z),
|
||||
[настройки сервера](https://github.com/minio/minio/blob/RELEASE.2025-09-07T16-13-09Z/docs/config/README.md).
|
||||
@@ -0,0 +1,38 @@
|
||||
#!/bin/sh
|
||||
# Повторный запуск сохраняет bucket и объекты; обновляет только нашу политику/пользователя.
|
||||
set -eu
|
||||
umask 077
|
||||
bucket=${S3_BUCKET:?S3_BUCKET is required}
|
||||
case "$bucket" in
|
||||
''|*[!a-z0-9.-]*) echo 'Invalid bucket name' >&2; exit 1 ;;
|
||||
esac
|
||||
|
||||
mc alias set storage http://s3:9000 \
|
||||
"$(cat /run/secrets/s3_root_user)" \
|
||||
"$(cat /run/secrets/s3_root_password)" >/dev/null
|
||||
mc mb --ignore-existing "storage/$bucket" >/dev/null
|
||||
mc anonymous set none "storage/$bucket" >/dev/null
|
||||
|
||||
cat > /tmp/attachments-policy.json <<EOF
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:GetBucketLocation", "s3:ListBucket"],
|
||||
"Resource": ["arn:aws:s3:::$bucket"]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject", "s3:AbortMultipartUpload", "s3:ListMultipartUploadParts"],
|
||||
"Resource": ["arn:aws:s3:::$bucket/originals/*"]
|
||||
}
|
||||
]
|
||||
}
|
||||
EOF
|
||||
|
||||
mc admin policy create storage attachments-api /tmp/attachments-policy.json >/dev/null
|
||||
access_key=$(cat /run/secrets/s3_access_key_id)
|
||||
mc admin user add storage "$access_key" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null
|
||||
mc admin policy attach storage attachments-api --user "$access_key" >/dev/null
|
||||
echo 'S3 bootstrap complete: private bucket and restricted API credentials.'
|
||||
@@ -0,0 +1,37 @@
|
||||
#!/bin/sh
|
||||
# Проверка непосредственно S3. Endpoint приложения будет добавлен на следующем этапе.
|
||||
set -eu
|
||||
umask 077
|
||||
bucket=${S3_BUCKET:?S3_BUCKET is required}
|
||||
mc alias set app http://s3:9000 \
|
||||
"$(cat /run/secrets/s3_access_key_id)" \
|
||||
"$(cat /run/secrets/s3_secret_access_key)" >/dev/null
|
||||
key="originals/infra-check-$(cat /proc/sys/kernel/random/uuid).png"
|
||||
cleanup() { mc rm "app/$bucket/$key" >/dev/null 2>&1 || true; }
|
||||
trap cleanup EXIT
|
||||
|
||||
mc cp /fixtures/sample.png "app/$bucket/$key" >/dev/null
|
||||
mc cp "app/$bucket/$key" /tmp/download.png >/dev/null
|
||||
original_hash=$(sha256sum /fixtures/sample.png | cut -d ' ' -f 1)
|
||||
download_hash=$(sha256sum /tmp/download.png | cut -d ' ' -f 1)
|
||||
[ "$original_hash" = "$download_hash" ]
|
||||
[ "$(wc -c < /fixtures/sample.png)" = "$(wc -c < /tmp/download.png)" ]
|
||||
echo 'PASS: API credentials upload/download match SHA-256 and size.'
|
||||
|
||||
code=$(curl --silent --show-error --max-time 10 --output /dev/null --write-out '%{http_code}' "http://s3:9000/$bucket/$key")
|
||||
[ "$code" = 403 ] || { echo "FAIL: anonymous GET returned $code" >&2; exit 1; }
|
||||
echo 'PASS: anonymous GET of an existing object returns 403.'
|
||||
|
||||
if mc admin info app >/dev/null 2>&1; then
|
||||
echo 'FAIL: API credentials have admin access' >&2; exit 1
|
||||
fi
|
||||
if mc cp /fixtures/sample.png "app/$bucket/forbidden-check.png" >/dev/null 2>&1; then
|
||||
mc rm "app/$bucket/forbidden-check.png" >/dev/null
|
||||
echo 'FAIL: API credentials can write outside originals/' >&2; exit 1
|
||||
fi
|
||||
echo 'PASS: API credentials cannot administer S3 or write outside originals/.'
|
||||
mc rm "app/$bucket/$key" >/dev/null
|
||||
if mc stat "app/$bucket/$key" >/dev/null 2>&1; then
|
||||
echo 'FAIL: object was not deleted' >&2; exit 1
|
||||
fi
|
||||
echo 'PASS: API credentials delete the temporary object.'
|
||||
@@ -0,0 +1,79 @@
|
||||
# Долговечная очистка незавершённых upload
|
||||
|
||||
## Граница атомарности
|
||||
|
||||
PostgreSQL и S3 не имеют общей транзакции. Каждая загрузка приложения создаёт
|
||||
`upload_intents(id, object_key, created_at, expires_at, next_attempt_at, delete_count)`
|
||||
**до первого S3 PUT**. Если журнал недоступен, PUT не начинается.
|
||||
|
||||
После PUT сервер берёт блокировку строки намерения (`FOR UPDATE`) и проверяет,
|
||||
что lease ещё действует. Создание `attachments` и удаление соответствующего
|
||||
намерения выполняются одним PostgreSQL COMMIT. Неопределённый исход COMMIT безопасен:
|
||||
либо есть Attachment и нет intent, либо intent остаётся для очистки.
|
||||
После истечения lease старый upload не может опубликовать Attachment.
|
||||
|
||||
## Фоновый проход
|
||||
|
||||
`UploadCleanupWorker` работает на каждой API-реплике. При старте и затем раз в
|
||||
`UPLOAD_CLEANUP_INTERVAL_SECONDS` (по умолчанию 30 с) выбирает до 16 просроченных
|
||||
намерений, с `FOR UPDATE SKIP LOCKED`. Одна строка не обрабатывается двумя
|
||||
репликами одновременно. Финализация upload использует ту же блокировку.
|
||||
|
||||
Перед удалением проверяется, что ни один `Attachment` не использует object key.
|
||||
Готовый объект никогда не удаляется: при наличии метаданных удаляется только
|
||||
лишнее намерение. Очистка принимает исключительно ключ `originals/<intent UUID>`.
|
||||
|
||||
`UPLOAD_CLEANUP_GRACE_SECONDS` по умолчанию 300 с; значения меньше 120 с запрещены.
|
||||
Это больше HTTP-deadline upload 30 с и таймаутов/повторов SDK с запасом. Свежие
|
||||
намерения не выбираются, даже если объект уже записан. Нет переключателя обхода grace.
|
||||
|
||||
После DELETE журнал не забывается: остаётся tombstone, следующий проход повторяет
|
||||
идемпотентный DELETE. Так даже PUT, завершившийся с задержкой после аварии/первой
|
||||
очистки, будет удалён на последующих проходах. `delete_count` показывает число
|
||||
успешных попыток. При отказе S3/БД журнал сохраняется; проход повторится после
|
||||
восстановления. Если процесс остановился между DELETE и COMMIT, повтор безопасен.
|
||||
|
||||
Цена этого решения — постоянная небольшая SQL-запись и периодический DELETE на
|
||||
неудачную загрузку. Автоматически удалять tombstones нельзя без дополнительного
|
||||
доказательства, что старый PUT больше не завершится. Архивация журнала и полный
|
||||
аудит объектов, созданных вручную вне приложения, относятся к дальнейшим улучшениям.
|
||||
|
||||
## Ручной проход и наблюдение
|
||||
|
||||
```sh
|
||||
docker compose --env-file .env run --rm --no-deps api --cleanup-uploads
|
||||
docker compose --env-file .env logs --since 10m api
|
||||
```
|
||||
|
||||
Команда использует те же настройки, ограничения и grace, что фоновый worker.
|
||||
Она выводит счётчики `Scanned`, `Deleted`, `Protected`, `Failed`. При ненулевом
|
||||
`Failed` проверьте доступность S3 и повторите после восстановления. Обычная работа
|
||||
не требует этой команды: worker запускается автоматически.
|
||||
|
||||
## Проверка с реальными хранилищами
|
||||
|
||||
```sh
|
||||
dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --filter FullyQualifiedName~UploadCleanupTests
|
||||
python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084
|
||||
```
|
||||
|
||||
Семь C#-тестов используют одноразовые настоящие PostgreSQL/MinIO:
|
||||
|
||||
1. S3 PUT проходит, interceptor блокирует сохранение метаданных. После пересоздания
|
||||
приложения worker сам читает журнал и удаляет объект.
|
||||
2. Свежий intent защищён grace period.
|
||||
3. Готовый Attachment защищён даже при добавленном просроченном intent.
|
||||
4. Отказ DELETE не теряет журнал; после восстановления удаляется и повторно
|
||||
записанный запоздавшим PUT объект.
|
||||
5. Истёкший lease не допускает публикацию метаданных.
|
||||
6. Два параллельных прохода захватывают одну запись только один раз.
|
||||
7. Старый tombstone сохраняется, чтобы не забыть очень поздний PUT.
|
||||
|
||||
Чтобы не ждать пять минут, тесты меняют timestamps **только собственных записей
|
||||
в одноразовой тестовой БД**. Production grace остаётся 300 с.
|
||||
|
||||
Python дополнительно закрывает настоящий TCP upload до передачи Content-Length:
|
||||
число метаданных/намерений не меняется, временные spool-файлы удаляются. На каждой
|
||||
реплике один upload/декодер, очередь ждёт до 2 с, затем возвращается 503 unavailable.
|
||||
Все чтения тела ограничены байтами, размер изображения проверяется до декодирования,
|
||||
распаковка PNG предварительно ограничивается по размерам.
|
||||
@@ -0,0 +1,5 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
export MINIO_ROOT_USER="$(cat /run/secrets/s3_root_user)"
|
||||
export MINIO_ROOT_PASSWORD="$(cat /run/secrets/s3_root_password)"
|
||||
exec minio server /data --address :9000
|
||||
@@ -0,0 +1,36 @@
|
||||
Microsoft Visual Studio Solution File, Format Version 12.00
|
||||
# Visual Studio Version 17
|
||||
VisualStudioVersion = 17.5.2.0
|
||||
MinimumVisualStudioVersion = 10.0.40219.1
|
||||
Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "scr", "scr", "{027FA04E-56EC-7B26-372C-A48CC532505F}"
|
||||
EndProject
|
||||
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api", "scr\Messenger.Api\Messenger.Api.csproj", "{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}"
|
||||
EndProject
|
||||
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api.Tests", "scr\Messenger.Api.Tests\Messenger.Api.Tests.csproj", "{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}"
|
||||
EndProject
|
||||
Global
|
||||
GlobalSection(SolutionConfigurationPlatforms) = preSolution
|
||||
Debug|Any CPU = Debug|Any CPU
|
||||
Release|Any CPU = Release|Any CPU
|
||||
EndGlobalSection
|
||||
GlobalSection(ProjectConfigurationPlatforms) = postSolution
|
||||
{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.ActiveCfg = Debug|Any CPU
|
||||
{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.Build.0 = Debug|Any CPU
|
||||
{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.ActiveCfg = Release|Any CPU
|
||||
{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.Build.0 = Release|Any CPU
|
||||
{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.ActiveCfg = Debug|Any CPU
|
||||
{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.Build.0 = Debug|Any CPU
|
||||
{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.ActiveCfg = Release|Any CPU
|
||||
{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.Build.0 = Release|Any CPU
|
||||
EndGlobalSection
|
||||
GlobalSection(SolutionProperties) = preSolution
|
||||
HideSolutionNode = FALSE
|
||||
EndGlobalSection
|
||||
GlobalSection(NestedProjects) = preSolution
|
||||
{630C0B6F-93DF-AAC7-9A7B-184D4E60B431} = {027FA04E-56EC-7B26-372C-A48CC532505F}
|
||||
{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2} = {027FA04E-56EC-7B26-372C-A48CC532505F}
|
||||
EndGlobalSection
|
||||
GlobalSection(ExtensibilityGlobals) = postSolution
|
||||
SolutionGuid = {41A93240-9911-4469-8EAB-F192C6DC6640}
|
||||
EndGlobalSection
|
||||
EndGlobal
|
||||
@@ -0,0 +1,128 @@
|
||||
using DotNet.Testcontainers.Builders;
|
||||
using DotNet.Testcontainers.Containers;
|
||||
using Microsoft.AspNetCore.Hosting;
|
||||
using Microsoft.AspNetCore.Mvc.Testing;
|
||||
using Npgsql;
|
||||
using StackExchange.Redis;
|
||||
using Testcontainers.PostgreSql;
|
||||
using Amazon.S3;
|
||||
using Amazon.S3.Model;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
// Один одноразовый контейнер PostgreSQL и один Valkey на весь тестовый прогон. Приложение поднимается в процессе теста
|
||||
// и применяет миграции к пустой БД, как при настоящем старте. Нужен только запущенный Docker.
|
||||
// Настройки передаются через UseSetting (а не переменные окружения), поэтому тест может поднять второй экземпляр
|
||||
// приложения с другими настройками: fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")).
|
||||
public sealed class ApiFixture : WebApplicationFactory<Program>, IAsyncLifetime
|
||||
{
|
||||
public const string PostgresImage = "postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe";
|
||||
private const string ValkeyImage = "valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2";
|
||||
|
||||
private readonly PostgreSqlContainer _db = new PostgreSqlBuilder().WithImage(PostgresImage).Build();
|
||||
|
||||
private readonly IContainer _cache = new ContainerBuilder()
|
||||
.WithImage(ValkeyImage)
|
||||
.WithPortBinding(6379, true)
|
||||
.WithWaitStrategy(Wait.ForUnixContainer().UntilMessageIsLogged("Ready to accept connections"))
|
||||
.Build();
|
||||
|
||||
private string _connectionFile = string.Empty;
|
||||
private string _s3AccessFile = string.Empty;
|
||||
private string _s3SecretFile = string.Empty;
|
||||
private const string S3Access = "integration-test-user";
|
||||
private const string S3Secret = "integration-only-not-a-real-secret";
|
||||
private readonly IContainer _s3 = new ContainerBuilder()
|
||||
.WithImage("quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e")
|
||||
.WithEnvironment("MINIO_ROOT_USER", S3Access)
|
||||
.WithEnvironment("MINIO_ROOT_PASSWORD", S3Secret)
|
||||
.WithEnvironment("MINIO_BROWSER", "off")
|
||||
.WithCommand("server", "/data")
|
||||
.WithPortBinding(9000, true)
|
||||
.WithWaitStrategy(Wait.ForUnixContainer().UntilHttpRequestIsSucceeded(r => r.ForPort(9000).ForPath("/minio/health/ready")))
|
||||
.Build();
|
||||
|
||||
public string ConnectionString => _db.GetConnectionString();
|
||||
public string CacheConnection => $"{_cache.Hostname}:{_cache.GetMappedPublicPort(6379)}";
|
||||
|
||||
public async Task InitializeAsync()
|
||||
{
|
||||
await Task.WhenAll(_db.StartAsync(), _cache.StartAsync(), _s3.StartAsync());
|
||||
_connectionFile = WriteConnectionFile(_db.GetConnectionString());
|
||||
_s3AccessFile = WriteConnectionFile(S3Access);
|
||||
_s3SecretFile = WriteConnectionFile(S3Secret);
|
||||
using var client = new AmazonS3Client(S3Access, S3Secret, new AmazonS3Config
|
||||
{ ServiceURL = $"http://{_s3.Hostname}:{_s3.GetMappedPublicPort(9000)}", ForcePathStyle = true, AuthenticationRegion = "us-east-1" });
|
||||
await client.PutBucketAsync(new PutBucketRequest { BucketName = "integration-attachments" });
|
||||
}
|
||||
|
||||
async Task IAsyncLifetime.DisposeAsync()
|
||||
{
|
||||
await _db.DisposeAsync();
|
||||
await _cache.DisposeAsync();
|
||||
await _s3.DisposeAsync();
|
||||
File.Delete(_connectionFile);
|
||||
File.Delete(_s3AccessFile);
|
||||
File.Delete(_s3SecretFile);
|
||||
}
|
||||
|
||||
protected override void ConfigureWebHost(IWebHostBuilder builder)
|
||||
{
|
||||
builder.UseSetting("DATABASE_URL_FILE", _connectionFile);
|
||||
builder.UseSetting("CACHE_CONNECTION", CacheConnection);
|
||||
builder.UseSetting("DIAGNOSTIC_HEADERS", "true");
|
||||
builder.UseSetting("S3_ENDPOINT", $"http://{_s3.Hostname}:{_s3.GetMappedPublicPort(9000)}");
|
||||
builder.UseSetting("S3_BUCKET", "integration-attachments");
|
||||
builder.UseSetting("S3_ACCESS_KEY_ID_FILE", _s3AccessFile);
|
||||
builder.UseSetting("S3_SECRET_ACCESS_KEY_FILE", _s3SecretFile);
|
||||
// В Compose схему применяет отдельный контейнер (--migrate); тестовый процесс мигрирует пустую БД сам.
|
||||
builder.UseSetting("MIGRATE_ON_START", "true");
|
||||
builder.UseSetting("SHUTDOWN_DRAIN_SECONDS", "0");
|
||||
}
|
||||
|
||||
public static string WriteConnectionFile(string connectionString)
|
||||
{
|
||||
var path = Path.Combine(Path.GetTempPath(), $"messenger-test-{Guid.NewGuid():N}.conn");
|
||||
File.WriteAllText(path, connectionString);
|
||||
return path;
|
||||
}
|
||||
|
||||
// Прямой доступ к БД для проверок, которые нельзя выразить через API (например, состояние таблицы sessions).
|
||||
public async Task<NpgsqlConnection> OpenConnectionAsync()
|
||||
{
|
||||
var connection = new NpgsqlConnection(ConnectionString);
|
||||
await connection.OpenAsync();
|
||||
return connection;
|
||||
}
|
||||
|
||||
public async Task<T?> ScalarAsync<T>(string sql, params (string Name, object Value)[] parameters)
|
||||
{
|
||||
await using var db = await OpenConnectionAsync();
|
||||
await using var command = new NpgsqlCommand(sql, db);
|
||||
foreach (var (name, value) in parameters)
|
||||
{
|
||||
command.Parameters.AddWithValue(name, value);
|
||||
}
|
||||
|
||||
var result = await command.ExecuteScalarAsync();
|
||||
return result is null or DBNull ? default : (T)result;
|
||||
}
|
||||
|
||||
public async Task ExecuteAsync(string sql)
|
||||
{
|
||||
await using var db = await OpenConnectionAsync();
|
||||
await using var command = new NpgsqlCommand(sql, db);
|
||||
await command.ExecuteNonQueryAsync();
|
||||
}
|
||||
|
||||
// Полная очистка содержимого кэша (эквивалент FLUSHALL / перезапуска Valkey без persistence).
|
||||
public async Task FlushCacheAsync()
|
||||
{
|
||||
using var connection = await ConnectionMultiplexer.ConnectAsync(
|
||||
new ConfigurationOptions { EndPoints = { CacheConnection }, AllowAdmin = true });
|
||||
await connection.GetServer(connection.GetEndPoints()[0]).FlushAllDatabasesAsync();
|
||||
}
|
||||
}
|
||||
|
||||
[CollectionDefinition("api")]
|
||||
public sealed class ApiCollection : ICollectionFixture<ApiFixture>;
|
||||
@@ -0,0 +1,104 @@
|
||||
using System.Net;
|
||||
using System.Net.Http.Headers;
|
||||
using System.Net.Http.Json;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
internal sealed record TestUser(Guid Id, string Username, string Password, string Token);
|
||||
|
||||
internal static class ApiHelpers
|
||||
{
|
||||
public const string DefaultPassword = "correct horse battery staple";
|
||||
|
||||
public static StringContent Json(string raw) =>
|
||||
new(raw, Encoding.UTF8, "application/json");
|
||||
|
||||
// user != null — запрос с Bearer-токеном этого пользователя.
|
||||
public static HttpRequestMessage Request(HttpMethod method, string url, TestUser? user = null, HttpContent? content = null)
|
||||
{
|
||||
var request = new HttpRequestMessage(method, url) { Content = content };
|
||||
if (user is not null)
|
||||
{
|
||||
request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", user.Token);
|
||||
}
|
||||
|
||||
return request;
|
||||
}
|
||||
|
||||
public static async Task<JsonElement> ReadJsonAsync(HttpResponseMessage response)
|
||||
{
|
||||
var body = await response.Content.ReadAsStringAsync();
|
||||
return JsonDocument.Parse(body).RootElement.Clone();
|
||||
}
|
||||
|
||||
public static async Task<string> ErrorCodeAsync(HttpResponseMessage response)
|
||||
{
|
||||
var json = await ReadJsonAsync(response);
|
||||
return json.GetProperty("error").GetProperty("code").GetString()!;
|
||||
}
|
||||
|
||||
public static string BasicHeader(string username, string password) =>
|
||||
"Basic " + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}"));
|
||||
|
||||
public static async Task<HttpResponseMessage> LoginAsync(HttpClient client, string username, string password)
|
||||
{
|
||||
using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions");
|
||||
request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(username, password));
|
||||
return await client.SendAsync(request);
|
||||
}
|
||||
|
||||
// Регистрирует пользователя и входит: возвращает его с рабочим Bearer-токеном.
|
||||
public static async Task<TestUser> CreateUserAsync(HttpClient client, string? username = null)
|
||||
{
|
||||
username ??= "u" + Guid.NewGuid().ToString("N")[..12];
|
||||
var response = await client.PostAsJsonAsync("/api/v1/users",
|
||||
new { username, display_name = "Тест", password = DefaultPassword });
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid();
|
||||
|
||||
var login = await LoginAsync(client, username, DefaultPassword);
|
||||
Assert.Equal(HttpStatusCode.Created, login.StatusCode);
|
||||
var token = (await ReadJsonAsync(login)).GetProperty("token").GetString()!;
|
||||
return new TestUser(id, username, DefaultPassword, token);
|
||||
}
|
||||
|
||||
public static async Task<Guid> CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others)
|
||||
{
|
||||
var members = others.Append(owner).Select(u => u.Id).ToArray();
|
||||
using var request = Request(HttpMethod.Post, "/api/v1/chats", owner,
|
||||
JsonContent.Create(new { title = "Чат", member_ids = members }));
|
||||
var response = await client.SendAsync(request);
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
return (await ReadJsonAsync(response)).GetProperty("id").GetGuid();
|
||||
}
|
||||
|
||||
// key == null — новый уникальный Idempotency-Key (каждое сообщение независимо); иначе повтор с заданным ключом.
|
||||
public static async Task<HttpResponseMessage> SendMessageAsync(
|
||||
HttpClient client, TestUser sender, Guid chatId, string text, string? key = null)
|
||||
{
|
||||
using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender,
|
||||
JsonContent.Create(new { text }));
|
||||
request.Headers.Add("Idempotency-Key", key ?? Guid.NewGuid().ToString("N"));
|
||||
return await client.SendAsync(request);
|
||||
}
|
||||
|
||||
public static async Task<List<Guid>> ReadAllMessagesAsync(HttpClient client, Guid chatId, TestUser user, int limit)
|
||||
{
|
||||
string? cursor = null;
|
||||
var received = new List<Guid>();
|
||||
do
|
||||
{
|
||||
var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" +
|
||||
(cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor));
|
||||
using var request = Request(HttpMethod.Get, url, user);
|
||||
var page = await ReadJsonAsync(await client.SendAsync(request));
|
||||
received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid()));
|
||||
var next = page.GetProperty("next_cursor");
|
||||
cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString();
|
||||
}
|
||||
while (cursor is not null);
|
||||
return received;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,303 @@
|
||||
using System.Net;
|
||||
using System.Text.Json;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class ApiTests(ApiFixture fixture)
|
||||
{
|
||||
private HttpClient NewClient() => fixture.CreateClient();
|
||||
|
||||
[Fact]
|
||||
public async Task CreateUser_WithMalformedJson_ReturnsBadRequest()
|
||||
{
|
||||
using var client = NewClient();
|
||||
|
||||
var response = await client.PostAsync("/api/v1/users", Json("{bad"));
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
Assert.Equal("invalid_request", await ErrorCodeAsync(response));
|
||||
Assert.True(response.Headers.Contains("X-Request-Id"));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task CreateUser_WithoutBody_ReturnsBadRequest()
|
||||
{
|
||||
using var client = NewClient();
|
||||
|
||||
var response = await client.PostAsync("/api/v1/users", null);
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
Assert.Equal("invalid_request", await ErrorCodeAsync(response));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task CreateUser_WithDuplicateUsername_ReturnsConflict()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
var response = await client.PostAsync("/api/v1/users",
|
||||
Json($$"""{"username":"{{user.Username}}","display_name":"Другой","password":"{{DefaultPassword}}"}"""));
|
||||
|
||||
Assert.Equal(HttpStatusCode.Conflict, response.StatusCode);
|
||||
Assert.Equal("conflict", await ErrorCodeAsync(response));
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[InlineData("short")]
|
||||
[InlineData("12345678901")] // 11 символов
|
||||
public async Task CreateUser_WithShortPassword_ReturnsBadRequest(string password)
|
||||
{
|
||||
using var client = NewClient();
|
||||
|
||||
var response = await client.PostAsync("/api/v1/users",
|
||||
Json($$"""{"username":"short_pw_probe","display_name":"A","password":"{{password}}"}"""));
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task CreateUser_Response_DoesNotExposePasswordOrHash()
|
||||
{
|
||||
using var client = NewClient();
|
||||
|
||||
var response = await client.PostAsync("/api/v1/users",
|
||||
Json($$"""{"username":"no_leak_probe","display_name":"A","password":"{{DefaultPassword}}"}"""));
|
||||
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
var body = await response.Content.ReadAsStringAsync();
|
||||
Assert.DoesNotContain("password", body, StringComparison.OrdinalIgnoreCase);
|
||||
Assert.DoesNotContain("argon2", body, StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task GetChat_ByNonMember_ReturnsNotFound()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var eve = await CreateUserAsync(client);
|
||||
var chatId = await CreateChatAsync(client, alice, bob);
|
||||
|
||||
using var request = Request(HttpMethod.Get, $"/api/v1/chats/{chatId}", eve);
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.NotFound, response.StatusCode);
|
||||
Assert.Equal("not_found", await ErrorCodeAsync(response));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ListChats_ShowsOnlyChatsOfCurrentUser()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var eve = await CreateUserAsync(client);
|
||||
var shared = await CreateChatAsync(client, alice, bob);
|
||||
var other = await CreateChatAsync(client, eve);
|
||||
|
||||
using var request = Request(HttpMethod.Get, "/api/v1/chats", bob);
|
||||
var page = await ReadJsonAsync(await client.SendAsync(request));
|
||||
var ids = page.GetProperty("items").EnumerateArray().Select(c => c.GetProperty("id").GetGuid()).ToList();
|
||||
|
||||
Assert.Contains(shared, ids);
|
||||
Assert.DoesNotContain(other, ids);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task CreateChat_WithUnknownMember_ReturnsBadRequestAndCreatesNothing()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
|
||||
using var request = Request(HttpMethod.Post, "/api/v1/chats", alice,
|
||||
Json($$"""{"title":"X","member_ids":["{{alice.Id}}","{{Guid.NewGuid()}}"]}"""));
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
using var list = Request(HttpMethod.Get, "/api/v1/chats", alice);
|
||||
var page = await ReadJsonAsync(await client.SendAsync(list));
|
||||
Assert.Empty(page.GetProperty("items").EnumerateArray());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task SendMessage_ToForeignChat_ReturnsNotFound()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var eve = await CreateUserAsync(client);
|
||||
var chatId = await CreateChatAsync(client, alice, bob);
|
||||
|
||||
var response = await SendMessageAsync(client, eve, chatId, "чужое");
|
||||
|
||||
Assert.Equal(HttpStatusCode.NotFound, response.StatusCode);
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[InlineData("")]
|
||||
[InlineData(" ")]
|
||||
public async Task SendMessage_WithEmptyText_ReturnsBadRequest(string text)
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chatId = await CreateChatAsync(client, alice);
|
||||
|
||||
var response = await SendMessageAsync(client, alice, chatId, text);
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
Assert.Equal("invalid_request", await ErrorCodeAsync(response));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task SendMessage_SenderIsTakenFromSession_NotFromRequest()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var chatId = await CreateChatAsync(client, alice, bob);
|
||||
|
||||
using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", alice,
|
||||
Json($$"""{"text":"привет","sender_id":"{{bob.Id}}"}"""));
|
||||
request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N"));
|
||||
var withSender = await client.SendAsync(request);
|
||||
var ok = await SendMessageAsync(client, alice, chatId, "привет");
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, withSender.StatusCode); // sender_id в запросе не принимается
|
||||
Assert.Equal(alice.Id, (await ReadJsonAsync(ok)).GetProperty("sender_id").GetGuid());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ListMessages_WalksAllPagesWithoutGapsOrDuplicates()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var chatId = await CreateChatAsync(client, alice, bob);
|
||||
const int total = 7;
|
||||
var sent = new List<Guid>();
|
||||
for (var i = 0; i < total; i++)
|
||||
{
|
||||
var response = await SendMessageAsync(client, i % 2 == 0 ? alice : bob, chatId, $"сообщение {i}");
|
||||
sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid());
|
||||
}
|
||||
|
||||
var received = new List<Guid>();
|
||||
string? cursor = null;
|
||||
var pages = 0;
|
||||
do
|
||||
{
|
||||
var url = $"/api/v1/chats/{chatId}/messages?limit=3" +
|
||||
(cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor));
|
||||
using var request = Request(HttpMethod.Get, url, alice);
|
||||
var page = await ReadJsonAsync(await client.SendAsync(request));
|
||||
received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid()));
|
||||
var next = page.GetProperty("next_cursor");
|
||||
cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString();
|
||||
pages++;
|
||||
}
|
||||
while (cursor is not null && pages < 10);
|
||||
|
||||
Assert.Equal(3, pages);
|
||||
Assert.Equal(total, received.Count);
|
||||
// Один автор в одном чате: порядок истории совпадает с порядком отправки.
|
||||
Assert.Equal(sent, received);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ListMessages_WithCursorFromAnotherChat_ReturnsBadRequest()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat1 = await CreateChatAsync(client, alice);
|
||||
var chat2 = await CreateChatAsync(client, alice);
|
||||
await SendMessageAsync(client, alice, chat1, "a");
|
||||
await SendMessageAsync(client, alice, chat1, "b");
|
||||
using var first = Request(HttpMethod.Get, $"/api/v1/chats/{chat1}/messages?limit=1", alice);
|
||||
var cursor = (await ReadJsonAsync(await client.SendAsync(first))).GetProperty("next_cursor").GetString()!;
|
||||
|
||||
using var request = Request(HttpMethod.Get,
|
||||
$"/api/v1/chats/{chat2}/messages?cursor={Uri.EscapeDataString(cursor)}", alice);
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ListMessages_ReturnsSameOrderForAnyPageSize()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chatId = await CreateChatAsync(client, alice);
|
||||
var sent = new List<Guid>();
|
||||
for (var i = 0; i < 120; i++)
|
||||
{
|
||||
var response = await SendMessageAsync(client, alice, chatId, $"m{i}");
|
||||
sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid());
|
||||
}
|
||||
|
||||
var baseline = await ReadAllMessagesAsync(client, chatId, alice, 100);
|
||||
Assert.Equal(sent, baseline);
|
||||
foreach (var limit in new[] { 1, 7, 50 })
|
||||
{
|
||||
var received = await ReadAllMessagesAsync(client, chatId, alice, limit);
|
||||
Assert.Equal(baseline, received);
|
||||
}
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ListMessages_AfterConcurrentSends_IsOrderedByTimeThenId()
|
||||
{
|
||||
using var client = NewClient();
|
||||
var users = new List<TestUser>();
|
||||
for (var i = 0; i < 10; i++)
|
||||
{
|
||||
users.Add(await CreateUserAsync(client));
|
||||
}
|
||||
|
||||
var chatId = await CreateChatAsync(client, users[0], users.Skip(1).ToArray());
|
||||
|
||||
var sends = Enumerable.Range(0, 300).Select(i => SendMessageAsync(client, users[i % 10], chatId, $"m{i}"));
|
||||
foreach (var response in await Task.WhenAll(sends))
|
||||
{
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
}
|
||||
|
||||
var items = new List<(string CreatedAt, Guid Id)>();
|
||||
string? cursor = null;
|
||||
do
|
||||
{
|
||||
var url = $"/api/v1/chats/{chatId}/messages?limit=100" +
|
||||
(cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor));
|
||||
using var request = Request(HttpMethod.Get, url, users[0]);
|
||||
var page = await ReadJsonAsync(await client.SendAsync(request));
|
||||
items.AddRange(page.GetProperty("items").EnumerateArray()
|
||||
.Select(m => (m.GetProperty("created_at").GetString()!, m.GetProperty("id").GetGuid())));
|
||||
var next = page.GetProperty("next_cursor");
|
||||
cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString();
|
||||
}
|
||||
while (cursor is not null);
|
||||
|
||||
Assert.Equal(300, items.Count);
|
||||
Assert.Equal(300, items.Select(x => x.Id).Distinct().Count());
|
||||
// Серверное время строго возрастает внутри чата (см. last_message_at), поэтому порядок истории — порядок записи.
|
||||
Assert.Equal(300, items.Select(x => x.CreatedAt).Distinct().Count());
|
||||
Assert.Equal(items.OrderBy(x => x.CreatedAt, StringComparer.Ordinal).ToList(), items);
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[InlineData("""{"USERNAME":"probe_case_a","display_name":"A","password":"correct horse battery staple"}""")]
|
||||
[InlineData("""{"username":"probe_case_b","Display_Name":"A","password":"correct horse battery staple"}""")]
|
||||
[InlineData("""{"Username":"probe_case_c","display_name":"A","password":"correct horse battery staple"}""")]
|
||||
public async Task CreateUser_WithDifferentlyCasedFieldNames_ReturnsBadRequest(string body)
|
||||
{
|
||||
using var client = NewClient();
|
||||
|
||||
var response = await client.PostAsync("/api/v1/users", Json(body));
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
Assert.Equal("invalid_request", await ErrorCodeAsync(response));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,252 @@
|
||||
using System.Net;
|
||||
using System.Net.Http.Headers;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class AuthTests(ApiFixture fixture)
|
||||
{
|
||||
private static readonly string[] ProtectedGets =
|
||||
[
|
||||
"/api/v1/users/me",
|
||||
"/api/v1/chats",
|
||||
"/api/v1/chats/00000000-0000-0000-0000-000000000001",
|
||||
"/api/v1/chats/00000000-0000-0000-0000-000000000001/messages"
|
||||
];
|
||||
|
||||
[Fact]
|
||||
public async Task Login_WithValidCredentials_ReturnsOpaqueBearerSession()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
var response = await LoginAsync(client, user.Username, user.Password);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
var json = await ReadJsonAsync(response);
|
||||
Assert.Equal("Bearer", json.GetProperty("token_type").GetString());
|
||||
Assert.True(json.GetProperty("token").GetString()!.Length >= 43); // 256 бит в base64url
|
||||
Assert.Equal(user.Id, json.GetProperty("user").GetProperty("id").GetGuid());
|
||||
Assert.DoesNotContain("password", await response.Content.ReadAsStringAsync(), StringComparison.OrdinalIgnoreCase);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Login_AcceptsColonInPassword()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var username = "colon" + Guid.NewGuid().ToString("N")[..8];
|
||||
await client.PostAsync("/api/v1/users",
|
||||
Json($$"""{"username":"{{username}}","display_name":"A","password":"pass:with:colons-123"}"""));
|
||||
|
||||
var response = await LoginAsync(client, username, "pass:with:colons-123");
|
||||
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Login_WrongPasswordAndUnknownUser_GiveIdenticalUnauthorized()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
var wrongPassword = await LoginAsync(client, user.Username, "totally-wrong-password");
|
||||
var unknownUser = await LoginAsync(client, "nobody_" + Guid.NewGuid().ToString("N")[..8], DefaultPassword);
|
||||
|
||||
foreach (var response in new[] { wrongPassword, unknownUser })
|
||||
{
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode);
|
||||
Assert.Equal("Basic realm=\"messenger\", charset=\"UTF-8\"", response.Headers.WwwAuthenticate.ToString());
|
||||
Assert.Equal("unauthorized", await ErrorCodeAsync(response));
|
||||
}
|
||||
|
||||
var a = (await ReadJsonAsync(wrongPassword)).GetProperty("error").GetProperty("message").GetString();
|
||||
var b = (await ReadJsonAsync(unknownUser)).GetProperty("error").GetProperty("message").GetString();
|
||||
Assert.Equal(a, b);
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[InlineData("Basic !!!not-base64")]
|
||||
[InlineData("Basic bm9jb2xvbg==")] // "nocolon"
|
||||
[InlineData("Bearer sometoken")]
|
||||
[InlineData("")]
|
||||
public async Task Login_WithMalformedAuthorization_ReturnsUnauthorized(string header)
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions");
|
||||
if (header.Length > 0)
|
||||
{
|
||||
request.Headers.TryAddWithoutValidation("Authorization", header);
|
||||
}
|
||||
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode);
|
||||
Assert.StartsWith("Basic", response.Headers.WwwAuthenticate.ToString());
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[MemberData(nameof(ProtectedUrls))]
|
||||
public async Task ProtectedEndpoints_WithoutToken_ReturnUnauthorizedWithBearerChallenge(string url)
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
|
||||
var response = await client.GetAsync(url);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode);
|
||||
Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString());
|
||||
Assert.True(response.Headers.Contains("X-Request-Id"));
|
||||
}
|
||||
|
||||
public static IEnumerable<object[]> ProtectedUrls() => ProtectedGets.Select(u => new object[] { u });
|
||||
|
||||
[Fact]
|
||||
public async Task ProtectedEndpoint_WithBasicAuth_ReturnsUnauthorized()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
using var request = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me");
|
||||
request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(user.Username, user.Password));
|
||||
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task XUserIdHeader_IsIgnored()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var eve = await CreateUserAsync(client);
|
||||
|
||||
// Без токена X-User-Id не даёт доступа.
|
||||
using var anonymous = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me");
|
||||
anonymous.Headers.Add("X-User-Id", alice.Id.ToString());
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(anonymous)).StatusCode);
|
||||
|
||||
// С токеном — владелец сессии не подменяется.
|
||||
using var spoofed = Request(HttpMethod.Get, "/api/v1/users/me", alice);
|
||||
spoofed.Headers.Add("X-User-Id", eve.Id.ToString());
|
||||
var me = await ReadJsonAsync(await client.SendAsync(spoofed));
|
||||
Assert.Equal(alice.Id, me.GetProperty("id").GetGuid());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task UnauthenticatedPostWithMalformedBody_ReturnsUnauthorizedNotBadRequest()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
|
||||
var response = await client.PostAsync("/api/v1/chats", Json("{bad"));
|
||||
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); // сначала аутентификация
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Logout_RevokesTokenAndSecondLogoutIsUnauthorized()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
using var first = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user);
|
||||
var firstResponse = await client.SendAsync(first);
|
||||
Assert.Equal(HttpStatusCode.NoContent, firstResponse.StatusCode);
|
||||
Assert.Equal(0, firstResponse.Content.Headers.ContentLength ?? 0);
|
||||
|
||||
using var again = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user);
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(again)).StatusCode);
|
||||
using var me = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(me)).StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task LogoutOfOneSession_DoesNotAffectAnotherSessionOfSameUser()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
var secondLogin = await ReadJsonAsync(await LoginAsync(client, user.Username, user.Password));
|
||||
var second = user with { Token = secondLogin.GetProperty("token").GetString()! };
|
||||
|
||||
using var logout = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user);
|
||||
await client.SendAsync(logout);
|
||||
|
||||
using var me = Request(HttpMethod.Get, "/api/v1/users/me", second);
|
||||
Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(me)).StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ExpiredSession_IsRejected()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
using var before = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(before)).StatusCode);
|
||||
|
||||
// Состарим сессию в БД: created_at < expires_at < now (ограничение таблицы требует expires_at > created_at).
|
||||
await using (var db = await fixture.OpenConnectionAsync())
|
||||
await using (var age = new Npgsql.NpgsqlCommand(
|
||||
"update sessions set created_at = now() - interval '10 seconds', expires_at = now() - interval '5 seconds' where user_id = @u", db))
|
||||
{
|
||||
age.Parameters.AddWithValue("u", user.Id);
|
||||
Assert.Equal(1, await age.ExecuteNonQueryAsync());
|
||||
}
|
||||
|
||||
using var after = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(after)).StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ShortSessionTtl_ExpiresSessionByItself()
|
||||
{
|
||||
// Отдельный экземпляр приложения с SESSION_TTL_SECONDS=2 поверх той же БД: никаких подмен данных в таблице.
|
||||
await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2"));
|
||||
using var client = app.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
using (var alive = Request(HttpMethod.Get, "/api/v1/users/me", user))
|
||||
{
|
||||
Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(alive)).StatusCode);
|
||||
}
|
||||
|
||||
await Task.Delay(TimeSpan.FromSeconds(3));
|
||||
|
||||
using var expired = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
var response = await client.SendAsync(expired);
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode);
|
||||
Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString());
|
||||
// Истёкшая сессия не продлевается: повторный вход выдаёт новую.
|
||||
Assert.Equal(HttpStatusCode.Created, (await LoginAsync(client, user.Username, user.Password)).StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task SessionsTable_StoresTokenHashNotToken()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
await using var db = await fixture.OpenConnectionAsync();
|
||||
await using var query = new Npgsql.NpgsqlCommand(
|
||||
"select token_hash from sessions where user_id = @u", db);
|
||||
query.Parameters.AddWithValue("u", user.Id);
|
||||
var stored = (byte[])(await query.ExecuteScalarAsync())!;
|
||||
|
||||
Assert.Equal(32, stored.Length);
|
||||
Assert.NotEqual(System.Text.Encoding.UTF8.GetBytes(user.Token), stored);
|
||||
Assert.Equal(System.Security.Cryptography.SHA256.HashData(System.Text.Encoding.UTF8.GetBytes(user.Token)), stored);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task PasswordsAreStoredAsArgon2id()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
|
||||
await using var db = await fixture.OpenConnectionAsync();
|
||||
await using var query = new Npgsql.NpgsqlCommand("select password_hash from users where id = @u", db);
|
||||
query.Parameters.AddWithValue("u", user.Id);
|
||||
var hash = (string)(await query.ExecuteScalarAsync())!;
|
||||
|
||||
Assert.StartsWith("$argon2id$", hash);
|
||||
Assert.DoesNotContain(user.Password, hash);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,150 @@
|
||||
using System.Net;
|
||||
using Microsoft.AspNetCore.Mvc.Testing;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class CacheTests(ApiFixture fixture)
|
||||
{
|
||||
private static string Header(HttpResponseMessage response, string name) =>
|
||||
response.Headers.TryGetValues(name, out var values) ? values.First() : "";
|
||||
|
||||
private static async Task<HttpResponseMessage> GetPageAsync(
|
||||
HttpClient client, TestUser user, Guid chatId, int limit = 50, string? cursor = null)
|
||||
{
|
||||
var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" +
|
||||
(cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor));
|
||||
using var request = Request(HttpMethod.Get, url, user);
|
||||
return await client.SendAsync(request);
|
||||
}
|
||||
|
||||
private static async Task<(TestUser Alice, TestUser Bob, Guid Chat)> ChatWithMessagesAsync(HttpClient client, int messages)
|
||||
{
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice, bob);
|
||||
for (var i = 0; i < messages; i++)
|
||||
{
|
||||
Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, $"m{i}")).StatusCode);
|
||||
}
|
||||
|
||||
return (alice, bob, chat);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task SecondRead_IsServedFromCache_WithFewerSqlQueries_AndIdenticalBody()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var (_, bob, chat) = await ChatWithMessagesAsync(client, 3);
|
||||
|
||||
var first = await GetPageAsync(client, bob, chat);
|
||||
var second = await GetPageAsync(client, bob, chat);
|
||||
|
||||
Assert.Equal("miss", Header(first, "X-Cache"));
|
||||
Assert.Equal("hit", Header(second, "X-Cache"));
|
||||
// miss: сессия + версия/доступ + страница; hit: сессия + версия/доступ.
|
||||
Assert.Equal("3", Header(first, "X-Db-Queries"));
|
||||
Assert.Equal("2", Header(second, "X-Db-Queries"));
|
||||
Assert.Equal(await first.Content.ReadAsStringAsync(), await second.Content.ReadAsStringAsync());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ReadAfterWrite_NeverReturnsStaleCachedPage()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var (alice, bob, chat) = await ChatWithMessagesAsync(client, 2);
|
||||
await GetPageAsync(client, bob, chat); // прогрели кэш
|
||||
Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache"));
|
||||
|
||||
for (var i = 0; i < 20; i++)
|
||||
{
|
||||
var sent = await SendMessageAsync(client, alice, chat, $"new {i}");
|
||||
var id = (await ReadJsonAsync(sent)).GetProperty("id").GetGuid();
|
||||
|
||||
// Сразу после подтверждённой записи (201) следующее чтение обязано содержать новое сообщение.
|
||||
var ids = await ReadAllMessagesAsync(client, chat, bob, 100);
|
||||
Assert.Contains(id, ids);
|
||||
Assert.Equal(3 + i, ids.Count);
|
||||
}
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task FlushedCache_DoesNotChangeResults()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var (_, bob, chat) = await ChatWithMessagesAsync(client, 5);
|
||||
var before = await ReadAllMessagesAsync(client, chat, bob, 2);
|
||||
Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat, 2), "X-Cache"));
|
||||
|
||||
await fixture.FlushCacheAsync();
|
||||
|
||||
var response = await GetPageAsync(client, bob, chat, 2);
|
||||
Assert.Equal("miss", Header(response, "X-Cache"));
|
||||
Assert.Equal(before, await ReadAllMessagesAsync(client, chat, bob, 2));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task CachedPage_IsNotVisibleToNonMember()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var (_, bob, chat) = await ChatWithMessagesAsync(client, 2);
|
||||
var eve = await CreateUserAsync(client);
|
||||
await GetPageAsync(client, bob, chat);
|
||||
Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache"));
|
||||
|
||||
var response = await GetPageAsync(client, eve, chat);
|
||||
|
||||
Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); // доступ проверяется до обращения к кэшу
|
||||
Assert.DoesNotContain("m0", await response.Content.ReadAsStringAsync());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task PagesWithDifferentLimitsAndCursors_AreCachedSeparately()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var (_, bob, chat) = await ChatWithMessagesAsync(client, 9);
|
||||
|
||||
var firstPass = await ReadAllMessagesAsync(client, chat, bob, 4);
|
||||
var secondPass = await ReadAllMessagesAsync(client, chat, bob, 4); // все страницы уже в кэше
|
||||
var otherLimit = await ReadAllMessagesAsync(client, chat, bob, 3);
|
||||
|
||||
Assert.Equal(9, firstPass.Count);
|
||||
Assert.Equal(firstPass, secondPass);
|
||||
Assert.Equal(firstPass, otherLimit);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task UnavailableCache_IsBypassed_AndRequestsStillSucceed()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var (_, bob, chat) = await ChatWithMessagesAsync(client, 3);
|
||||
var expected = await ReadAllMessagesAsync(client, chat, bob, 100);
|
||||
|
||||
// Второй экземпляр приложения, у которого кэш указывает на закрытый порт.
|
||||
await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1"));
|
||||
using var brokenClient = broken.CreateClient();
|
||||
|
||||
for (var i = 0; i < 3; i++)
|
||||
{
|
||||
var response = await GetPageAsync(brokenClient, bob, chat);
|
||||
Assert.Equal(HttpStatusCode.OK, response.StatusCode);
|
||||
Assert.Equal("bypass", Header(response, "X-Cache"));
|
||||
}
|
||||
|
||||
Assert.Equal(expected, await ReadAllMessagesAsync(brokenClient, chat, bob, 100));
|
||||
// Запись тоже не зависит от кэша.
|
||||
Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(brokenClient, bob, chat, "при отказе кэша")).StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task UnavailableCache_DoesNotTrustAnonymousRequests()
|
||||
{
|
||||
await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1"));
|
||||
using var client = broken.CreateClient();
|
||||
|
||||
var response = await client.GetAsync($"/api/v1/chats/{Guid.NewGuid()}/messages");
|
||||
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,79 @@
|
||||
using System.Net;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class ConcurencyTests(ApiFixture fixture)
|
||||
{
|
||||
[Fact]
|
||||
public async Task Create100MessagesBy10DifferentUsers_Concurrent()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var users = new List<TestUser>();
|
||||
for (var i = 0; i < 10; i++)
|
||||
{
|
||||
users.Add(await CreateUserAsync(client));
|
||||
}
|
||||
|
||||
var chat = await CreateChatAsync(client, users[0], users.Skip(1).ToArray());
|
||||
|
||||
var messageTasks = Enumerable.Range(0, 100)
|
||||
.Select(i => SendMessageAsync(client, users[i % 10], chat, $"Message {i + 1} from {users[i % 10].Username}"))
|
||||
.ToList();
|
||||
|
||||
foreach (var response in await Task.WhenAll(messageTasks))
|
||||
{
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
}
|
||||
|
||||
var messages = await ReadAllMessagesAsync(client, chat, users[0], 7);
|
||||
|
||||
Assert.Equal(100, messages.Count);
|
||||
Assert.Equal(100, messages.Distinct().Count());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors()
|
||||
{
|
||||
// Проверяется гарантия уникального индекса, а не скорость железа: очередь хеширования делаем практически
|
||||
// неограниченной по времени (по умолчанию лишние запросы получают 503, см. следующий тест).
|
||||
await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "120"));
|
||||
using var client = app.CreateClient();
|
||||
var username = "race" + Guid.NewGuid().ToString("N")[..10];
|
||||
|
||||
var attempts = Enumerable.Range(0, 20).Select(_ => client.PostAsync("/api/v1/users",
|
||||
Json($$"""{"username":"{{username}}","display_name":"Гонка","password":"{{DefaultPassword}}"}""")));
|
||||
var statuses = (await Task.WhenAll(attempts)).Select(r => r.StatusCode).ToList();
|
||||
|
||||
Assert.Single(statuses, HttpStatusCode.Created);
|
||||
Assert.Equal(19, statuses.Count(s => s == HttpStatusCode.Conflict));
|
||||
|
||||
await using var db = await fixture.OpenConnectionAsync();
|
||||
await using var count = new Npgsql.NpgsqlCommand("select count(*) from users where username = @u", db);
|
||||
count.Parameters.AddWithValue("u", username);
|
||||
Assert.Equal(1L, await count.ExecuteScalarAsync());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task RegistrationBurstBeyondHashingCapacity_GetsBoundedUnavailable_NotServerError()
|
||||
{
|
||||
// Один слот Argon2 и ожидание 50 мс: пачка регистраций разных пользователей упирается в лимит.
|
||||
// Лишние запросы получают 503 unavailable (а не 500 и не зависание), принятые — 201.
|
||||
await using var app = fixture.WithWebHostBuilder(b => b
|
||||
.UseSetting("PASSWORD_HASH_CONCURRENCY", "1")
|
||||
.UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "0.05"));
|
||||
using var client = app.CreateClient();
|
||||
var prefix = "burst" + Guid.NewGuid().ToString("N")[..6];
|
||||
|
||||
var responses = await Task.WhenAll(Enumerable.Range(0, 12).Select(i => client.PostAsync("/api/v1/users",
|
||||
Json($$"""{"username":"{{prefix}}_{{i}}","display_name":"Пачка","password":"{{DefaultPassword}}"}"""))));
|
||||
var statuses = responses.Select(r => r.StatusCode).ToList();
|
||||
|
||||
Assert.All(statuses, s => Assert.True(s is HttpStatusCode.Created or HttpStatusCode.ServiceUnavailable, $"неожиданный статус {s}"));
|
||||
Assert.Contains(HttpStatusCode.Created, statuses);
|
||||
Assert.Contains(HttpStatusCode.ServiceUnavailable, statuses);
|
||||
var rejected = responses.First(r => r.StatusCode == HttpStatusCode.ServiceUnavailable);
|
||||
Assert.Equal("unavailable", await ErrorCodeAsync(rejected));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,192 @@
|
||||
using System.Diagnostics;
|
||||
using System.Net;
|
||||
using System.Net.Sockets;
|
||||
using Microsoft.AspNetCore.Mvc.Testing;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Microsoft.Extensions.DependencyInjection;
|
||||
using Testcontainers.PostgreSql;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class DependencyFailureTests(ApiFixture fixture)
|
||||
{
|
||||
private static int FreePort()
|
||||
{
|
||||
using var listener = new TcpListener(IPAddress.Loopback, 0);
|
||||
listener.Start();
|
||||
return ((IPEndPoint)listener.LocalEndpoint).Port;
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task DatabaseDown_Returns503_NeverTrustsAnonymous_AndRecovers()
|
||||
{
|
||||
// Отдельный контейнер БД, который тест останавливает и запускает снова на том же порту.
|
||||
var port = FreePort();
|
||||
await using var pg = new PostgreSqlBuilder().WithImage(ApiFixture.PostgresImage).WithPortBinding(port, 5432).Build();
|
||||
await pg.StartAsync();
|
||||
var file = ApiFixture.WriteConnectionFile(pg.GetConnectionString());
|
||||
try
|
||||
{
|
||||
await using var app = fixture.WithWebHostBuilder(b => b
|
||||
.UseSetting("DATABASE_URL_FILE", file)
|
||||
.UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "2"));
|
||||
using var client = app.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
using (var ok = Request(HttpMethod.Get, "/api/v1/users/me", user))
|
||||
{
|
||||
Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(ok)).StatusCode);
|
||||
}
|
||||
|
||||
await pg.StopAsync();
|
||||
|
||||
// Аутентифицированный запрос: ограниченная ошибка 503 без внутренних деталей.
|
||||
using var down = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
var downResponse = await client.SendAsync(down);
|
||||
Assert.Equal(HttpStatusCode.ServiceUnavailable, downResponse.StatusCode);
|
||||
Assert.Equal("unavailable", await ErrorCodeAsync(downResponse));
|
||||
var body = await downResponse.Content.ReadAsStringAsync();
|
||||
Assert.DoesNotContain("Npgsql", body);
|
||||
Assert.DoesNotContain("Host=", body);
|
||||
Assert.True(downResponse.Headers.Contains("X-Request-Id"));
|
||||
|
||||
// Анонимный запрос не становится доверенным: без токена по-прежнему 401, а не 200/503 «как гость».
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, (await client.GetAsync("/api/v1/chats")).StatusCode);
|
||||
// Токен, который нельзя проверить, не принимается.
|
||||
Assert.Equal(HttpStatusCode.ServiceUnavailable,
|
||||
(await LoginAsync(client, user.Username, user.Password)).StatusCode);
|
||||
// Готовность отражает отказ, живость — нет.
|
||||
Assert.Equal(HttpStatusCode.ServiceUnavailable, (await client.GetAsync("/health/ready")).StatusCode);
|
||||
Assert.Equal(HttpStatusCode.OK, (await client.GetAsync("/health/live")).StatusCode);
|
||||
|
||||
// Восстановление: после запуска БД тот же токен снова работает (данные не потеряны), без перезапуска API.
|
||||
await pg.StartAsync();
|
||||
var recovered = false;
|
||||
var started = Stopwatch.StartNew();
|
||||
while (started.Elapsed < TimeSpan.FromSeconds(30) && !recovered)
|
||||
{
|
||||
using var retry = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
recovered = (await client.SendAsync(retry)).StatusCode == HttpStatusCode.OK;
|
||||
if (!recovered)
|
||||
{
|
||||
await Task.Delay(500);
|
||||
}
|
||||
}
|
||||
|
||||
Assert.True(recovered, "API не восстановился после возврата PostgreSQL");
|
||||
}
|
||||
finally
|
||||
{
|
||||
File.Delete(file);
|
||||
}
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ExhaustedConnectionPool_ReturnsBoundedError()
|
||||
{
|
||||
using var setup = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(setup);
|
||||
|
||||
// Пул из одного соединения и короткое ожидание: пока тест держит единственное соединение, запросы не зависают.
|
||||
await using var app = fixture.WithWebHostBuilder(b => b
|
||||
.UseSetting("DB_MAX_POOL_SIZE", "1")
|
||||
.UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "1"));
|
||||
using var client = app.CreateClient();
|
||||
|
||||
using var scope = app.Services.CreateScope();
|
||||
var held = scope.ServiceProvider.GetRequiredService<Data.MessengerDbContext>();
|
||||
await held.Database.OpenConnectionAsync();
|
||||
try
|
||||
{
|
||||
var started = Stopwatch.StartNew();
|
||||
using var request = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
var response = await client.SendAsync(request);
|
||||
started.Stop();
|
||||
|
||||
Assert.Equal(HttpStatusCode.ServiceUnavailable, response.StatusCode);
|
||||
Assert.True(started.Elapsed < TimeSpan.FromSeconds(6), $"ответ занял {started.Elapsed}");
|
||||
}
|
||||
finally
|
||||
{
|
||||
await held.Database.CloseConnectionAsync();
|
||||
}
|
||||
|
||||
// После освобождения соединения сервис работает.
|
||||
using var after = Request(HttpMethod.Get, "/api/v1/users/me", user);
|
||||
Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(after)).StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task FailedMessageInsert_RollsBackVersionAndTimestamp()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "до сбоя")).StatusCode);
|
||||
|
||||
var marker = "boom-" + Guid.NewGuid().ToString("N");
|
||||
var suffix = Guid.NewGuid().ToString("N")[..8];
|
||||
// Сбой «после UPDATE чата, во время INSERT сообщения»: триггер БД отклоняет сообщение с маркером.
|
||||
await fixture.ExecuteAsync($$"""
|
||||
CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$
|
||||
BEGIN IF NEW.text = '{{marker}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$;
|
||||
CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}();
|
||||
""");
|
||||
try
|
||||
{
|
||||
var versionBefore = await fixture.ScalarAsync<long>("select history_version from chats where id = @c", ("c", chat));
|
||||
var lastBefore = await fixture.ScalarAsync<DateTime?>("select last_message_at from chats where id = @c", ("c", chat));
|
||||
|
||||
var failed = await SendMessageAsync(client, alice, chat, marker);
|
||||
|
||||
Assert.Equal(HttpStatusCode.InternalServerError, failed.StatusCode);
|
||||
var body = await failed.Content.ReadAsStringAsync();
|
||||
Assert.Contains("internal_error", body);
|
||||
Assert.DoesNotContain("injected", body); // внутренние детали не раскрываются
|
||||
Assert.Equal(versionBefore, await fixture.ScalarAsync<long>("select history_version from chats where id = @c", ("c", chat)));
|
||||
Assert.Equal(lastBefore, await fixture.ScalarAsync<DateTime?>("select last_message_at from chats where id = @c", ("c", chat)));
|
||||
Assert.Equal(1L, await fixture.ScalarAsync<long>("select count(*) from messages where chat_id = @c", ("c", chat)));
|
||||
|
||||
// Блокировка строки чата снята, следующая запись проходит и версия растёт ровно на 1.
|
||||
Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "после сбоя")).StatusCode);
|
||||
Assert.Equal(versionBefore + 1, await fixture.ScalarAsync<long>("select history_version from chats where id = @c", ("c", chat)));
|
||||
}
|
||||
finally
|
||||
{
|
||||
await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON messages; DROP FUNCTION fail_{suffix}();");
|
||||
}
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task FailedChatMemberInsert_RollsBackWholeChat()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var suffix = Guid.NewGuid().ToString("N")[..8];
|
||||
var title = "rollback-" + suffix;
|
||||
|
||||
// Сбой при добавлении второго участника, уже после вставки строки чата и первого участника.
|
||||
await fixture.ExecuteAsync($$"""
|
||||
CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$
|
||||
BEGIN IF NEW.user_id = '{{bob.Id}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$;
|
||||
CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON chat_members FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}();
|
||||
""");
|
||||
try
|
||||
{
|
||||
using var request = Request(HttpMethod.Post, "/api/v1/chats", alice,
|
||||
Json($$"""{"title":"{{title}}","member_ids":["{{alice.Id}}","{{bob.Id}}"]}"""));
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode);
|
||||
Assert.Equal(0L, await fixture.ScalarAsync<long>("select count(*) from chats where title = @t", ("t", title)));
|
||||
Assert.Equal(0L, await fixture.ScalarAsync<long>(
|
||||
"select count(*) from chat_members where user_id in (@a, @b) ", ("a", alice.Id), ("b", bob.Id)));
|
||||
}
|
||||
finally
|
||||
{
|
||||
await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON chat_members; DROP FUNCTION fail_{suffix}();");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
using System.Net;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class HealthTests(ApiFixture fixture)
|
||||
{
|
||||
[Fact]
|
||||
public async Task Live_ReturnsOk()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
|
||||
var response = await client.GetAsync("/health/live");
|
||||
|
||||
Assert.Equal(HttpStatusCode.OK, response.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Ready_ReturnsOkWhenDatabaseIsAvailable()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
|
||||
var response = await client.GetAsync("/health/ready");
|
||||
|
||||
Assert.Equal(HttpStatusCode.OK, response.StatusCode);
|
||||
Assert.True(response.Headers.Contains("X-Request-Id"));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,261 @@
|
||||
using System.Net;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
// lab3: общая идемпотентность отправки сообщения. «Разные реплики» в тесте моделируются разными экземплярами приложения
|
||||
// (fixture.WithWebHostBuilder) с общей PostgreSQL — ровно так же, как в Compose работают реплики за балансировщиком.
|
||||
[Collection("api")]
|
||||
public class IdempotencyTests(ApiFixture fixture)
|
||||
{
|
||||
private static string NewKey() => Guid.NewGuid().ToString("N");
|
||||
|
||||
private static async Task<int> CountMessagesAsync(HttpClient client, Guid chat, TestUser user) =>
|
||||
(await ReadAllMessagesAsync(client, chat, user, 100)).Count;
|
||||
|
||||
[Fact]
|
||||
public async Task Replay_ReturnsSameCodeAndSameMessage_WithoutDuplicate()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
|
||||
var first = await SendMessageAsync(client, alice, chat, "привет", key);
|
||||
var second = await SendMessageAsync(client, alice, chat, "привет", key);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Created, first.StatusCode);
|
||||
Assert.Equal(HttpStatusCode.Created, second.StatusCode);
|
||||
Assert.Equal((await ReadJsonAsync(first)).ToString(), (await ReadJsonAsync(second)).ToString());
|
||||
Assert.Equal(1, await CountMessagesAsync(client, chat, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task SameKeyDifferentBody_Conflict_AndOriginalIsKept()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
|
||||
await SendMessageAsync(client, alice, chat, "первое", key);
|
||||
var other = await SendMessageAsync(client, alice, chat, "второе", key);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Conflict, other.StatusCode);
|
||||
Assert.Equal("conflict", await ErrorCodeAsync(other));
|
||||
Assert.Equal(1, await CountMessagesAsync(client, chat, alice));
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[InlineData(null)]
|
||||
[InlineData("")]
|
||||
[InlineData("has space")]
|
||||
[InlineData("кириллица")]
|
||||
public async Task MissingOrInvalidKey_BadRequest(string? key)
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
|
||||
using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", alice,
|
||||
Json("""{"text":"x"}"""));
|
||||
if (key is not null)
|
||||
{
|
||||
request.Headers.TryAddWithoutValidation("Idempotency-Key", key);
|
||||
}
|
||||
|
||||
var response = await client.SendAsync(request);
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode);
|
||||
Assert.Equal(0, await CountMessagesAsync(client, chat, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task KeyTooLong_BadRequest_ButMaxLengthAccepted()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
|
||||
var tooLong = await SendMessageAsync(client, alice, chat, "x", new string('a', 129));
|
||||
var maxLength = await SendMessageAsync(client, alice, chat, "x", new string('a', 128));
|
||||
|
||||
Assert.Equal(HttpStatusCode.BadRequest, tooLong.StatusCode);
|
||||
Assert.Equal(HttpStatusCode.Created, maxLength.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task SameKeyIsIndependent_ForDifferentUsersAndDifferentChats()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var bob = await CreateUserAsync(client);
|
||||
var chat1 = await CreateChatAsync(client, alice, bob);
|
||||
var chat2 = await CreateChatAsync(client, alice, bob);
|
||||
var key = NewKey();
|
||||
|
||||
var statuses = new[]
|
||||
{
|
||||
(await SendMessageAsync(client, alice, chat1, "a1", key)).StatusCode,
|
||||
(await SendMessageAsync(client, bob, chat1, "b1", key)).StatusCode,
|
||||
(await SendMessageAsync(client, alice, chat2, "a2", key)).StatusCode,
|
||||
};
|
||||
|
||||
Assert.All(statuses, s => Assert.Equal(HttpStatusCode.Created, s));
|
||||
Assert.Equal(2, await CountMessagesAsync(client, chat1, alice));
|
||||
Assert.Equal(1, await CountMessagesAsync(client, chat2, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Replay_StillRequiresValidSessionAndAccess()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var eve = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
await SendMessageAsync(client, alice, chat, "секрет", key);
|
||||
|
||||
// Посторонний не может «прочитать» чужой результат по ключу; без токена — 401.
|
||||
var asEve = await SendMessageAsync(client, eve, chat, "секрет", key);
|
||||
using var anonymous = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", null, Json("""{"text":"секрет"}"""));
|
||||
anonymous.Headers.Add("Idempotency-Key", key);
|
||||
var noToken = await client.SendAsync(anonymous);
|
||||
|
||||
Assert.Equal(HttpStatusCode.NotFound, asEve.StatusCode);
|
||||
Assert.Equal(HttpStatusCode.Unauthorized, noToken.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ConcurrentReplays_OnOneInstance_CreateExactlyOneMessage()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
|
||||
var responses = await Task.WhenAll(Enumerable.Range(0, 30)
|
||||
.Select(_ => Task.Run(() => SendMessageAsync(client, alice, chat, "гонка", key))));
|
||||
|
||||
Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode));
|
||||
var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid()));
|
||||
Assert.Single(ids.Distinct());
|
||||
Assert.Equal(1, await CountMessagesAsync(client, chat, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ConcurrentReplays_ThroughDifferentInstances_CreateExactlyOneMessage()
|
||||
{
|
||||
// Три независимых экземпляра приложения (как три реплики) с общей PostgreSQL.
|
||||
await using var replicaB = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-b"));
|
||||
await using var replicaC = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-c"));
|
||||
using var a = fixture.CreateClient();
|
||||
using var b = replicaB.CreateClient();
|
||||
using var c = replicaC.CreateClient();
|
||||
|
||||
var alice = await CreateUserAsync(a); // сессия создана на A и действует на B и C: сессии общие
|
||||
var chat = await CreateChatAsync(a, alice);
|
||||
var clients = new[] { a, b, c };
|
||||
|
||||
for (var round = 0; round < 5; round++)
|
||||
{
|
||||
var key = NewKey();
|
||||
var responses = await Task.WhenAll(Enumerable.Range(0, 30)
|
||||
.Select(i => Task.Run(() => SendMessageAsync(clients[i % 3], alice, chat, $"гонка {round}", key))));
|
||||
|
||||
Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode));
|
||||
var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid()));
|
||||
Assert.Single(ids.Distinct());
|
||||
}
|
||||
|
||||
Assert.Equal(5, await CountMessagesAsync(b, chat, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ConcurrentSameKeyWithDifferentBodies_ExactlyOneWins_OthersConflict()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
|
||||
var responses = await Task.WhenAll(Enumerable.Range(0, 10)
|
||||
.Select(i => Task.Run(() => SendMessageAsync(client, alice, chat, $"вариант {i}", key))));
|
||||
|
||||
var created = responses.Count(r => r.StatusCode == HttpStatusCode.Created);
|
||||
var conflicts = responses.Count(r => r.StatusCode == HttpStatusCode.Conflict);
|
||||
Assert.True(created >= 1 && created + conflicts == 10, $"created={created}, conflicts={conflicts}");
|
||||
Assert.Equal(1, await CountMessagesAsync(client, chat, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task FailedWrite_IsNotRemembered_AndCanBeRetriedWithSameKey()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
|
||||
// Принудительная ошибка БД при вставке сообщения: транзакция (вместе с ключом) откатывается.
|
||||
var suffix = Guid.NewGuid().ToString("N")[..8];
|
||||
await fixture.ExecuteAsync($$"""
|
||||
CREATE FUNCTION fail_idem_{{suffix}}() RETURNS trigger AS $$ BEGIN RAISE EXCEPTION 'forced failure' USING ERRCODE = '53000'; END $$ LANGUAGE plpgsql;
|
||||
CREATE TRIGGER tr_idem_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW WHEN (NEW.chat_id = '{{chat}}') EXECUTE FUNCTION fail_idem_{{suffix}}();
|
||||
""");
|
||||
try
|
||||
{
|
||||
var failed = await SendMessageAsync(client, alice, chat, "повторимо", key);
|
||||
Assert.True((int)failed.StatusCode >= 500, $"expected 5xx, got {(int)failed.StatusCode}");
|
||||
Assert.Equal(0L, await fixture.ScalarAsync<long>("select count(*) from idempotency_keys where chat_id = @c", ("c", chat)));
|
||||
}
|
||||
finally
|
||||
{
|
||||
await fixture.ExecuteAsync($"DROP TRIGGER tr_idem_{suffix} ON messages; DROP FUNCTION fail_idem_{suffix}();");
|
||||
}
|
||||
|
||||
var retried = await SendMessageAsync(client, alice, chat, "повторимо", key);
|
||||
var again = await SendMessageAsync(client, alice, chat, "повторимо", key);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Created, retried.StatusCode);
|
||||
Assert.Equal(HttpStatusCode.Created, again.StatusCode);
|
||||
Assert.Equal(1, await CountMessagesAsync(client, chat, alice));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ExpiredKey_CanBeReused_AsNewMessage()
|
||||
{
|
||||
await using var shortTtl = fixture.WithWebHostBuilder(b => b.UseSetting("IDEMPOTENCY_TTL_SECONDS", "1"));
|
||||
using var client = shortTtl.CreateClient();
|
||||
var alice = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, alice);
|
||||
var key = NewKey();
|
||||
|
||||
var first = await SendMessageAsync(client, alice, chat, "срок", key);
|
||||
await Task.Delay(TimeSpan.FromMilliseconds(1500));
|
||||
var second = await SendMessageAsync(client, alice, chat, "срок", key);
|
||||
|
||||
Assert.Equal(HttpStatusCode.Created, first.StatusCode);
|
||||
Assert.Equal(HttpStatusCode.Created, second.StatusCode);
|
||||
Assert.NotEqual(
|
||||
(await ReadJsonAsync(first)).GetProperty("id").GetGuid(),
|
||||
(await ReadJsonAsync(second)).GetProperty("id").GetGuid());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task EveryResponse_HasInstanceId_IncludingErrorsAndHealth()
|
||||
{
|
||||
await using var replica = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-x"));
|
||||
using var client = replica.CreateClient();
|
||||
|
||||
var health = await client.GetAsync("/health/live");
|
||||
var ready = await client.GetAsync("/health/ready");
|
||||
var unauthorized = await client.GetAsync("/api/v1/users/me");
|
||||
var notFound = await client.GetAsync("/no/such/route");
|
||||
var badJson = await client.PostAsync("/api/v1/users", Json("{broken"));
|
||||
|
||||
foreach (var response in new[] { health, ready, unauthorized, notFound, badJson })
|
||||
{
|
||||
Assert.Equal("replica-x", Assert.Single(response.Headers.GetValues("X-Instance-Id")));
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,27 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
|
||||
<PropertyGroup>
|
||||
<TargetFramework>net10.0</TargetFramework>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
<Nullable>enable</Nullable>
|
||||
<IsPackable>false</IsPackable>
|
||||
</PropertyGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<PackageReference Include="coverlet.collector" Version="6.0.4" />
|
||||
<PackageReference Include="Microsoft.AspNetCore.Mvc.Testing" Version="10.0.12" />
|
||||
<PackageReference Include="Microsoft.NET.Test.Sdk" Version="17.14.1" />
|
||||
<PackageReference Include="Testcontainers.PostgreSql" Version="4.16.0" />
|
||||
<PackageReference Include="xunit" Version="2.9.3" />
|
||||
<PackageReference Include="xunit.runner.visualstudio" Version="3.1.4" />
|
||||
</ItemGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<ProjectReference Include="..\Messenger.Api\Messenger.Api.csproj" />
|
||||
</ItemGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<Using Include="Xunit" />
|
||||
</ItemGroup>
|
||||
|
||||
</Project>
|
||||
@@ -0,0 +1,69 @@
|
||||
using Messenger.Api.Services;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
public class PasswordHasherTests
|
||||
{
|
||||
private readonly Argon2PasswordHasher _hasher = new(new PasswordHashingSettings(4, TimeSpan.FromSeconds(30)));
|
||||
|
||||
[Fact]
|
||||
public async Task Hash_IsArgon2idPhcString_WithoutPlaintext()
|
||||
{
|
||||
var hash = await _hasher.HashAsync("correct horse battery staple", CancellationToken.None);
|
||||
|
||||
Assert.StartsWith("$argon2id$", hash);
|
||||
Assert.DoesNotContain("correct horse", hash);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Hash_UsesRandomSalt()
|
||||
{
|
||||
var a = await _hasher.HashAsync("same-password-123", CancellationToken.None);
|
||||
var b = await _hasher.HashAsync("same-password-123", CancellationToken.None);
|
||||
|
||||
Assert.NotEqual(a, b);
|
||||
}
|
||||
|
||||
[Theory]
|
||||
[InlineData("correct horse battery staple")]
|
||||
[InlineData("пароль-с-юникодом-и:двоеточием-12")]
|
||||
public async Task Verify_AcceptsCorrect_RejectsWrong(string password)
|
||||
{
|
||||
var hash = await _hasher.HashAsync(password, CancellationToken.None);
|
||||
|
||||
Assert.True(await _hasher.VerifyAsync(hash, password, CancellationToken.None));
|
||||
Assert.False(await _hasher.VerifyAsync(hash, password + "x", CancellationToken.None));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Verify_DoesNotTruncateLongPasswords()
|
||||
{
|
||||
// Это ограничение bcrypt (72 байта); Argon2id его не имеет. Пароли отличаются только хвостом.
|
||||
var prefix = new string('я', 60); // 120 байт в UTF-8
|
||||
var hash = await _hasher.HashAsync(prefix + "A", CancellationToken.None);
|
||||
|
||||
Assert.False(await _hasher.VerifyAsync(hash, prefix + "B", CancellationToken.None));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Hash_WhenAllSlotsAreBusy_FailsWithBusyException()
|
||||
{
|
||||
// Один слот и почти нулевое ожидание: параллельные вызовы не копят память, лишние получают исключение (→ 503).
|
||||
var hasher = new Argon2PasswordHasher(new PasswordHashingSettings(1, TimeSpan.FromMilliseconds(20)));
|
||||
|
||||
var attempts = await Task.WhenAll(Enumerable.Range(0, 6).Select(async _ =>
|
||||
{
|
||||
try { await hasher.HashAsync("some-long-enough-password", CancellationToken.None); return true; }
|
||||
catch (PasswordHasherBusyException) { return false; }
|
||||
}));
|
||||
|
||||
Assert.Contains(true, attempts); // кто-то получил слот
|
||||
Assert.Contains(false, attempts); // остальные получили контролируемый отказ
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task Verify_UnknownUser_ReturnsFalse()
|
||||
{
|
||||
Assert.False(await _hasher.VerifyAsync(null, "any-password-123", CancellationToken.None));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,211 @@
|
||||
using System.Net;
|
||||
using Amazon.S3;
|
||||
using Messenger.Api.Data;
|
||||
using Messenger.Api.Services;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Microsoft.EntityFrameworkCore.Diagnostics;
|
||||
using Microsoft.Extensions.DependencyInjection;
|
||||
using static Messenger.Api.Tests.ApiHelpers;
|
||||
|
||||
namespace Messenger.Api.Tests;
|
||||
|
||||
[Collection("api")]
|
||||
public class UploadCleanupTests(ApiFixture fixture)
|
||||
{
|
||||
private static byte[] Png => File.ReadAllBytes(Path.Combine(FindRoot(), "tests/fixtures/sample.png"));
|
||||
private static string FindRoot()
|
||||
{
|
||||
var dir = new DirectoryInfo(AppContext.BaseDirectory);
|
||||
while (dir is not null && !File.Exists(Path.Combine(dir.FullName, "lab.json"))) dir = dir.Parent;
|
||||
return dir?.FullName ?? throw new InvalidOperationException("Repository root missing");
|
||||
}
|
||||
|
||||
private static async Task<HttpResponseMessage> Upload(HttpClient client, TestUser user, Guid chat, string filename)
|
||||
{
|
||||
using var content = new ByteArrayContent(Png);
|
||||
content.Headers.ContentType = new("image/png");
|
||||
using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/attachments?filename={filename}", user, content);
|
||||
return await client.SendAsync(request);
|
||||
}
|
||||
|
||||
private sealed class MetadataFailure : SaveChangesInterceptor
|
||||
{
|
||||
public override ValueTask<InterceptionResult<int>> SavingChangesAsync(DbContextEventData data,
|
||||
InterceptionResult<int> result, CancellationToken ct = default)
|
||||
{
|
||||
if (data.Context!.ChangeTracker.Entries<AttachmentEntity>().Any(e => e.State == EntityState.Added))
|
||||
throw new InvalidOperationException("injected metadata commit failure");
|
||||
return ValueTask.FromResult(result);
|
||||
}
|
||||
}
|
||||
|
||||
private sealed class StorageDecorator(IAttachmentStorage inner) : IAttachmentStorage, IDisposable
|
||||
{
|
||||
public bool FailDelete { get; set; }
|
||||
public Func<string, Task>? AfterPut { get; set; }
|
||||
public Task CheckAsync(CancellationToken ct) => inner.CheckAsync(ct);
|
||||
public async Task PutAsync(string key, Stream content, string mime, CancellationToken ct)
|
||||
{ await inner.PutAsync(key, content, mime, ct); if (AfterPut is not null) await AfterPut(key); }
|
||||
public Task CopyToAsync(string key, Stream output, CancellationToken ct) => inner.CopyToAsync(key, output, ct);
|
||||
public Task DeleteAsync(string key, CancellationToken ct) => FailDelete
|
||||
? throw new HttpRequestException("injected S3 outage") : inner.DeleteAsync(key, ct);
|
||||
public void Dispose() => (inner as IDisposable)?.Dispose();
|
||||
}
|
||||
|
||||
private async Task<UploadIntentEntity> Seed(IServiceProvider services, bool expired = true)
|
||||
{
|
||||
using var scope = services.CreateScope();
|
||||
var db = scope.ServiceProvider.GetRequiredService<MessengerDbContext>();
|
||||
var id = Guid.NewGuid();
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
var intent = new UploadIntentEntity { Id = id, ObjectKey = $"originals/{id:N}", CreatedAt = now,
|
||||
ExpiresAt = expired ? now.AddMinutes(-1) : now.AddMinutes(5), NextAttemptAt = expired ? now.AddMinutes(-1) : now.AddMinutes(5) };
|
||||
db.UploadIntents.Add(intent);
|
||||
await db.SaveChangesAsync();
|
||||
await scope.ServiceProvider.GetRequiredService<IAttachmentStorage>().PutAsync(intent.ObjectKey,
|
||||
new MemoryStream(Png), "image/png", CancellationToken.None);
|
||||
return intent;
|
||||
}
|
||||
|
||||
private static async Task AssertMissing(IServiceProvider services, string key)
|
||||
{
|
||||
var storage = services.GetRequiredService<IAttachmentStorage>();
|
||||
var error = await Assert.ThrowsAnyAsync<AmazonS3Exception>(() => storage.CopyToAsync(key, Stream.Null, CancellationToken.None));
|
||||
Assert.Equal(HttpStatusCode.NotFound, error.StatusCode);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task MetadataFailureAfterS3Put_SurvivesApiRecreation_AndIsCleaned()
|
||||
{
|
||||
Guid pendingId;
|
||||
string key;
|
||||
var filename = $"fault-{Guid.NewGuid():N}.png";
|
||||
await using (var broken = fixture.WithWebHostBuilder(b => b.ConfigureServices(services =>
|
||||
services.AddDbContext<MessengerDbContext>(options => options.AddInterceptors(new MetadataFailure())))))
|
||||
{
|
||||
using var client = broken.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, user);
|
||||
var response = await Upload(client, user, chat, filename);
|
||||
Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode);
|
||||
using var scope = broken.Services.CreateScope();
|
||||
var db = scope.ServiceProvider.GetRequiredService<MessengerDbContext>();
|
||||
Assert.False(await db.Attachments.AnyAsync(a => a.Filename == filename));
|
||||
var intent = await db.UploadIntents.OrderByDescending(i => i.CreatedAt).FirstAsync();
|
||||
pendingId = intent.Id; key = intent.ObjectKey;
|
||||
using var output = new MemoryStream();
|
||||
await broken.Services.GetRequiredService<IAttachmentStorage>().CopyToAsync(key, output, CancellationToken.None);
|
||||
Assert.Equal(Png, output.ToArray());
|
||||
}
|
||||
// Новый экземпляр приложения читает тот же устойчивый журнал.
|
||||
await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '1 minute', next_attempt_at=now()-interval '1 minute' WHERE id='{pendingId}'");
|
||||
await using var recovered = fixture.WithWebHostBuilder(_ => { });
|
||||
using var recoveredClient = recovered.CreateClient();
|
||||
var deadline = DateTime.UtcNow.AddSeconds(10);
|
||||
while (await fixture.ScalarAsync<int>("SELECT delete_count FROM upload_intents WHERE id=@id",("id",pendingId)) == 0 && DateTime.UtcNow < deadline)
|
||||
await Task.Delay(50);
|
||||
await AssertMissing(recovered.Services, key);
|
||||
Assert.Equal(1L, await fixture.ScalarAsync<long>("SELECT count(*) FROM upload_intents WHERE id=@id AND delete_count>0", ("id",pendingId)));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task FreshIntent_IsProtectedByGracePeriod()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var intent = await Seed(fixture.Services, expired: false);
|
||||
await fixture.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
using var result = new MemoryStream();
|
||||
await fixture.Services.GetRequiredService<IAttachmentStorage>().CopyToAsync(intent.ObjectKey, result, CancellationToken.None);
|
||||
Assert.Equal(Png, result.ToArray());
|
||||
Assert.Equal(0, await fixture.ScalarAsync<int>("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id)));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task PublishedAttachment_IsNeverDeleted_EvenWithAnExpiredIntent()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client, user);
|
||||
var response = await Upload(client, user, chat, "protected.png");
|
||||
Assert.Equal(HttpStatusCode.Created, response.StatusCode);
|
||||
var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid();
|
||||
using var scope = fixture.Services.CreateScope();
|
||||
var db = scope.ServiceProvider.GetRequiredService<MessengerDbContext>();
|
||||
var attachment = await db.Attachments.SingleAsync(a => a.Id == id);
|
||||
var old = DateTimeOffset.UtcNow.AddMinutes(-1);
|
||||
db.UploadIntents.Add(new() { Id = id, ObjectKey = attachment.ObjectKey, CreatedAt = old, ExpiresAt = old, NextAttemptAt = old });
|
||||
await db.SaveChangesAsync();
|
||||
var cleanup = await fixture.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
Assert.True(cleanup.Protected >= 1);
|
||||
using var request = Request(HttpMethod.Get,$"/api/v1/attachments/{id}/content",user);
|
||||
Assert.Equal(Png, await (await client.SendAsync(request)).Content.ReadAsByteArrayAsync());
|
||||
Assert.False(await db.UploadIntents.AsNoTracking().AnyAsync(i => i.Id == id));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task CleanupRetriesAfterS3Failure_AndDeletesALatePutAgain()
|
||||
{
|
||||
StorageDecorator? decorator = null;
|
||||
await using var app = fixture.WithWebHostBuilder(b => b.ConfigureServices(services =>
|
||||
services.AddSingleton<IAttachmentStorage>(sp => decorator = new(new S3AttachmentStorage(sp.GetRequiredService<S3Settings>())))));
|
||||
using var client = app.CreateClient();
|
||||
var intent = await Seed(app.Services);
|
||||
decorator!.FailDelete = true;
|
||||
var failed = await app.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
Assert.True(failed.Failed >= 1);
|
||||
Assert.Equal(0, await fixture.ScalarAsync<int>("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id)));
|
||||
decorator.FailDelete = false;
|
||||
await fixture.ExecuteAsync($"UPDATE upload_intents SET next_attempt_at=now()-interval '1 minute' WHERE id='{intent.Id}'");
|
||||
await app.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
await AssertMissing(app.Services,intent.ObjectKey);
|
||||
// Имитация PUT, завершившегося с задержкой после первого DELETE.
|
||||
await decorator.PutAsync(intent.ObjectKey,new MemoryStream(Png),"image/png",CancellationToken.None);
|
||||
await fixture.ExecuteAsync($"UPDATE upload_intents SET next_attempt_at=now()-interval '1 minute' WHERE id='{intent.Id}'");
|
||||
await app.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
await AssertMissing(app.Services,intent.ObjectKey);
|
||||
Assert.Equal(2, await fixture.ScalarAsync<int>("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id)));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ExpiredUploadCannotPublish_AfterItsLeaseWasRevoked()
|
||||
{
|
||||
await using var app = fixture.WithWebHostBuilder(b => b.ConfigureServices(services =>
|
||||
services.AddSingleton<IAttachmentStorage>(sp => new StorageDecorator(new S3AttachmentStorage(sp.GetRequiredService<S3Settings>()))
|
||||
{ AfterPut = async key =>
|
||||
{
|
||||
var id = Guid.ParseExact(key["originals/".Length..],"N");
|
||||
await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '1 minute', next_attempt_at=now()-interval '1 minute' WHERE id='{id}'");
|
||||
}
|
||||
})));
|
||||
using var client = app.CreateClient();
|
||||
var user = await CreateUserAsync(client);
|
||||
var chat = await CreateChatAsync(client,user);
|
||||
var name = $"expired-{Guid.NewGuid():N}.png";
|
||||
Assert.Equal(HttpStatusCode.ServiceUnavailable,(await Upload(client,user,chat,name)).StatusCode);
|
||||
using var scope = app.Services.CreateScope();
|
||||
Assert.False(await scope.ServiceProvider.GetRequiredService<MessengerDbContext>().Attachments.AnyAsync(a=>a.Filename==name));
|
||||
await app.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task ConcurrentCleaners_ClaimAnIntentOnce()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var intent = await Seed(fixture.Services);
|
||||
var cleaner = fixture.Services.GetRequiredService<UploadCleanup>();
|
||||
await Task.WhenAll(cleaner.RunOnceAsync(CancellationToken.None),cleaner.RunOnceAsync(CancellationToken.None));
|
||||
await AssertMissing(fixture.Services,intent.ObjectKey);
|
||||
Assert.Equal(1,await fixture.ScalarAsync<int>("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id)));
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task OldTombstone_RemainsSoALatePutCannotBeForgotten()
|
||||
{
|
||||
using var client = fixture.CreateClient();
|
||||
var intent = await Seed(fixture.Services);
|
||||
await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '2 days' WHERE id='{intent.Id}'");
|
||||
await fixture.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(CancellationToken.None);
|
||||
await AssertMissing(fixture.Services,intent.ObjectKey);
|
||||
Assert.Equal(1L,await fixture.ScalarAsync<long>("SELECT count(*) FROM upload_intents WHERE id=@id AND delete_count>0",("id",intent.Id)));
|
||||
}
|
||||
}
|
||||
Binary file not shown.
BIN
Binary file not shown.
Binary file not shown.
Binary file not shown.
BIN
Binary file not shown.
@@ -0,0 +1,165 @@
|
||||
using System.Security.Cryptography;
|
||||
using Messenger.Api.Data;
|
||||
using Messenger.Api.Models;
|
||||
using Messenger.Api.Services;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using StbImageSharp;
|
||||
|
||||
namespace Messenger.Api.Endpoints;
|
||||
|
||||
public static class AttachmentEndpoints
|
||||
{
|
||||
public static IEndpointRouteBuilder MapAttachmentEndpoints(this IEndpointRouteBuilder endpoints)
|
||||
{
|
||||
endpoints.MapPost("/api/v1/chats/{chatId}/attachments", Upload).RequireAuthorization();
|
||||
endpoints.MapGet("/api/v1/attachments/{attachmentId}", Metadata).RequireAuthorization();
|
||||
endpoints.MapGet("/api/v1/attachments/{attachmentId}/content", Content).RequireAuthorization();
|
||||
return endpoints;
|
||||
}
|
||||
|
||||
private static async Task<IResult> Upload(Guid chatId, HttpContext http, MessengerDbContext db,
|
||||
IAttachmentStorage storage, UploadSettings limits, UploadGate gate, UploadCleanupSettings cleanup)
|
||||
{
|
||||
var user = http.GetUserId();
|
||||
if (!await db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == user, http.RequestAborted))
|
||||
return ApiErrors.Error(http, 404, "not_found", "Объект не найден");
|
||||
var names = http.Request.Query["filename"];
|
||||
var name = names.Count == 1 ? names[0] : null;
|
||||
if (string.IsNullOrWhiteSpace(name) || ApiErrors.CodePoints(name) > 255 ||
|
||||
name.Any(c => c is '/' or '\\' || char.IsControl(c)))
|
||||
return ApiErrors.Error(http, 400, "invalid_request", "Некорректное имя файла");
|
||||
var mime = http.Request.ContentType?.Split(';', 2)[0].Trim().ToLowerInvariant();
|
||||
if (mime is not ("image/png" or "image/jpeg"))
|
||||
return ApiErrors.Error(http, 415, "unsupported_media_type", "Требуется PNG или JPEG");
|
||||
if (http.Request.ContentLength > limits.MaxBytes)
|
||||
return ApiErrors.Error(http, 413, "payload_too_large", "Файл превышает лимит размера");
|
||||
|
||||
using var timeout = CancellationTokenSource.CreateLinkedTokenSource(http.RequestAborted);
|
||||
timeout.CancelAfter(TimeSpan.FromSeconds(30));
|
||||
var ct = timeout.Token;
|
||||
if (!await gate.Slots.WaitAsync(TimeSpan.FromSeconds(2), ct))
|
||||
return ApiErrors.Error(http, 503, "unavailable", "Загрузка временно перегружена");
|
||||
try
|
||||
{
|
||||
// Только временный spool; оригинал после 201 существует в S3, не на диске API.
|
||||
var path = Path.Combine(Path.GetTempPath(), $"attachment-{Guid.NewGuid():N}");
|
||||
await using var file = new FileStream(path, FileMode.CreateNew, FileAccess.ReadWrite, FileShare.None,
|
||||
65536, FileOptions.Asynchronous | FileOptions.DeleteOnClose);
|
||||
var buffer = new byte[65536];
|
||||
long size = 0;
|
||||
while (true)
|
||||
{
|
||||
var count = await http.Request.Body.ReadAsync(buffer, ct);
|
||||
if (count == 0) break;
|
||||
size += count;
|
||||
if (size > limits.MaxBytes)
|
||||
return ApiErrors.Error(http, 413, "payload_too_large", "Файл превышает лимит размера");
|
||||
await file.WriteAsync(buffer.AsMemory(0, count), ct);
|
||||
}
|
||||
file.Position = 0;
|
||||
try
|
||||
{
|
||||
var signature = new byte[8];
|
||||
if (size < 12) throw new InvalidDataException("Truncated image");
|
||||
await file.ReadExactlyAsync(signature, ct);
|
||||
var actual = signature.AsSpan().SequenceEqual(new byte[] {137,80,78,71,13,10,26,10}) ? "image/png" :
|
||||
signature[0] == 255 && signature[1] == 216 ? "image/jpeg" : "unknown";
|
||||
if (actual != mime)
|
||||
return ApiErrors.Error(http, 415, "unsupported_media_type", "Содержимое не соответствует MIME");
|
||||
file.Position = 0;
|
||||
var info = ImageInfo.FromStream(file) ?? throw new InvalidDataException("Invalid image header");
|
||||
if (info.Width <= 0 || info.Height <= 0) throw new InvalidDataException("Invalid dimensions");
|
||||
if ((long)info.Width * info.Height > limits.MaxPixels)
|
||||
return ApiErrors.Error(http, 413, "payload_too_large", "Слишком много пикселей");
|
||||
if (mime == "image/png") await PngIntegrity.ValidateAsync(file,
|
||||
(long)info.Width * info.Height * 8 + info.Height * 8L + 1024, ct);
|
||||
file.Position = 0;
|
||||
var image = ImageResult.FromStream(file, ColorComponents.Grey);
|
||||
if (image.Width != info.Width || image.Height != info.Height) throw new InvalidDataException("Invalid dimensions");
|
||||
ct.ThrowIfCancellationRequested();
|
||||
// Декодеры могут принимать обрезанные JPEG: обязательно проверяем окончание файла.
|
||||
var tail = new byte[12];
|
||||
if (size < tail.Length) throw new InvalidDataException("Truncated image");
|
||||
file.Position = size - tail.Length;
|
||||
await file.ReadExactlyAsync(tail, ct);
|
||||
if (mime == "image/png" && !tail.AsSpan().SequenceEqual(new byte[] { 0,0,0,0,73,69,78,68,174,66,96,130 }) ||
|
||||
mime == "image/jpeg" && (tail[^2] != 255 || tail[^1] != 217))
|
||||
throw new InvalidDataException("Truncated image");
|
||||
}
|
||||
catch (Exception ex) when (ex is InvalidDataException or EndOfStreamException or InvalidOperationException or ArgumentException or IndexOutOfRangeException)
|
||||
{
|
||||
return ApiErrors.Error(http, 415, "unsupported_media_type", "Повреждённое изображение");
|
||||
}
|
||||
file.Position = 0;
|
||||
var hash = Convert.ToHexStringLower(await SHA256.HashDataAsync(file, ct));
|
||||
var id = Guid.CreateVersion7();
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
var entity = new AttachmentEntity
|
||||
{
|
||||
Id = id, ChatId = chatId, OwnerId = user, Filename = name!, ContentType = mime!,
|
||||
ObjectKey = $"originals/{id:N}", SizeBytes = size, ChecksumSha256 = hash,
|
||||
Status = "ready", CreatedAt = now, UploadedAt = now
|
||||
};
|
||||
var intent = new UploadIntentEntity
|
||||
{
|
||||
Id = id, ObjectKey = entity.ObjectKey, CreatedAt = now,
|
||||
ExpiresAt = now + cleanup.Grace, NextAttemptAt = now + cleanup.Grace
|
||||
};
|
||||
db.UploadIntents.Add(intent);
|
||||
await db.SaveChangesAsync(ct); // S3 PUT не начинается без устойчивого журнала.
|
||||
file.Position = 0;
|
||||
await storage.PutAsync(entity.ObjectKey, file, entity.ContentType, ct);
|
||||
await using var tx = await db.Database.BeginTransactionAsync(ct);
|
||||
var activeIntent = await db.UploadIntents.FromSqlInterpolated($"""
|
||||
SELECT * FROM upload_intents WHERE id = {id} AND expires_at > clock_timestamp() FOR UPDATE
|
||||
""").SingleOrDefaultAsync(ct);
|
||||
if (activeIntent is null)
|
||||
return ApiErrors.Error(http, 503, "unavailable", "Время публикации вложения истекло");
|
||||
db.Attachments.Add(entity);
|
||||
db.UploadIntents.Remove(activeIntent);
|
||||
await db.SaveChangesAsync(ct);
|
||||
await tx.CommitAsync(ct); // Attachment и удаление intent — один COMMIT.
|
||||
return Results.Created($"/api/v1/attachments/{id}", ToDto(entity));
|
||||
}
|
||||
catch (OperationCanceledException) when (!http.RequestAborted.IsCancellationRequested)
|
||||
{
|
||||
return ApiErrors.Error(http, 503, "unavailable", "Истекло время загрузки");
|
||||
}
|
||||
finally { gate.Slots.Release(); }
|
||||
}
|
||||
|
||||
private static Task<AttachmentEntity?> Find(Guid id, HttpContext http, MessengerDbContext db) =>
|
||||
db.Attachments.AsNoTracking().FirstOrDefaultAsync(a => a.Id == id &&
|
||||
db.ChatMembers.Any(m => m.ChatId == a.ChatId && m.UserId == http.GetUserId()), http.RequestAborted);
|
||||
|
||||
private static async Task<IResult> Metadata(Guid attachmentId, HttpContext http, MessengerDbContext db)
|
||||
{
|
||||
var entity = await Find(attachmentId, http, db);
|
||||
return entity is null ? ApiErrors.Error(http, 404, "not_found", "Объект не найден") : Results.Ok(ToDto(entity));
|
||||
}
|
||||
|
||||
private static async Task<IResult> Content(Guid attachmentId, HttpContext http, MessengerDbContext db,
|
||||
IAttachmentStorage storage, string? variant)
|
||||
{
|
||||
var entity = await Find(attachmentId, http, db);
|
||||
if (entity is null) return ApiErrors.Error(http, 404, "not_found", "Объект не найден");
|
||||
if (entity.Status != "ready") return ApiErrors.Error(http, 409, "conflict", "Вложение не готово");
|
||||
if (variant is not (null or "original")) return ApiErrors.Error(http, 404, "not_found", "Вариант не найден");
|
||||
// Ограниченный 10 MiB буфер до начала ответа позволяет честно вернуть 503 при отказе S3.
|
||||
using var timeout = CancellationTokenSource.CreateLinkedTokenSource(http.RequestAborted);
|
||||
timeout.CancelAfter(TimeSpan.FromSeconds(30));
|
||||
using var output = new LimitedDownloadStream(Math.Min(entity.SizeBytes, 10485760));
|
||||
try { await storage.CopyToAsync(entity.ObjectKey, output, timeout.Token); }
|
||||
catch (OperationCanceledException) when (!http.RequestAborted.IsCancellationRequested)
|
||||
{ return ApiErrors.Error(http, 503, "unavailable", "Истекло время скачивания"); }
|
||||
catch (IOException) { return ApiErrors.Error(http, 503, "unavailable", "Ошибка чтения объекта"); }
|
||||
if (output.Length != entity.SizeBytes ||
|
||||
Convert.ToHexStringLower(SHA256.HashData(output.GetBuffer().AsSpan(0, (int)output.Length))) != entity.ChecksumSha256)
|
||||
return ApiErrors.Error(http, 503, "unavailable", "Объект не соответствует метаданным");
|
||||
http.Response.Headers["X-Content-Type-Options"] = "nosniff";
|
||||
return Results.File(output.ToArray(), entity.ContentType);
|
||||
}
|
||||
|
||||
private static Attachment ToDto(AttachmentEntity a) => new(a.Id, a.ChatId, a.OwnerId, a.Filename,
|
||||
a.ContentType, a.SizeBytes, a.ChecksumSha256, a.Status, [], null, a.CreatedAt, a.UploadedAt ?? a.CreatedAt);
|
||||
}
|
||||
@@ -0,0 +1,146 @@
|
||||
using System.Text;
|
||||
using Messenger.Api.Data;
|
||||
using Messenger.Api.Models;
|
||||
using Messenger.Api.Services;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
|
||||
namespace Messenger.Api.Endpoints;
|
||||
|
||||
public static class AuthEndpoints
|
||||
{
|
||||
private const string BasicChallenge = "Basic realm=\"messenger\", charset=\"UTF-8\"";
|
||||
|
||||
public static IEndpointRouteBuilder MapAuthEndpoints(this IEndpointRouteBuilder endpoints)
|
||||
{
|
||||
endpoints.MapPost("/api/v1/auth/sessions", CreateSession);
|
||||
endpoints.MapDelete("/api/v1/auth/sessions/current", RevokeCurrentSession).RequireAuthorization();
|
||||
return endpoints;
|
||||
}
|
||||
|
||||
private static async Task<IResult> CreateSession(
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
IPasswordHasher hasher,
|
||||
AuthSessionOptions options,
|
||||
CancellationToken ct)
|
||||
{
|
||||
// Любая проблема с заголовком или credentials даёт один и тот же ответ.
|
||||
var unauthorized = () => ApiErrors.Unauthorized(httpContext, BasicChallenge, "Неверное имя пользователя или пароль");
|
||||
|
||||
if (!TryParseBasic(httpContext.Request, out var username, out var password))
|
||||
{
|
||||
return unauthorized();
|
||||
}
|
||||
|
||||
var user = await db.Users.AsNoTracking().FirstOrDefaultAsync(u => u.Username == username, ct);
|
||||
|
||||
// Проверка выполняется и для несуществующего пользователя (null → заглушка), чтобы время ответа
|
||||
// не выдавало, существует ли username.
|
||||
bool passwordOk;
|
||||
try
|
||||
{
|
||||
passwordOk = await hasher.VerifyAsync(user?.PasswordHash, password, ct);
|
||||
}
|
||||
catch (PasswordHasherBusyException)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже");
|
||||
}
|
||||
|
||||
if (user is null || !passwordOk)
|
||||
{
|
||||
return unauthorized();
|
||||
}
|
||||
|
||||
var token = SessionTokens.Generate();
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
var session = new SessionEntity
|
||||
{
|
||||
Id = Guid.CreateVersion7(),
|
||||
TokenHash = SessionTokens.Hash(token),
|
||||
UserId = user.Id,
|
||||
CreatedAt = now,
|
||||
ExpiresAt = now + options.Ttl
|
||||
};
|
||||
|
||||
db.Sessions.Add(session);
|
||||
await db.SaveChangesAsync(ct);
|
||||
|
||||
// Ответ с токеном нельзя кэшировать промежуточными узлами.
|
||||
httpContext.Response.Headers.CacheControl = "no-store";
|
||||
|
||||
return Results.Json(
|
||||
new SessionResponse(
|
||||
token,
|
||||
"Bearer",
|
||||
session.ExpiresAt,
|
||||
new User
|
||||
{
|
||||
Id = user.Id,
|
||||
Username = user.Username,
|
||||
DisplayName = user.DisplayName,
|
||||
CreatedAt = user.CreatedAt
|
||||
}),
|
||||
statusCode: StatusCodes.Status201Created);
|
||||
}
|
||||
|
||||
private static async Task<IResult> RevokeCurrentSession(
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var sessionId = httpContext.GetSessionId();
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
|
||||
// Один UPDATE с условием: отзыв атомарен даже при двух параллельных DELETE с одним токеном.
|
||||
var revoked = await db.Sessions
|
||||
.Where(s => s.Id == sessionId && s.RevokedAt == null)
|
||||
.ExecuteUpdateAsync(s => s.SetProperty(x => x.RevokedAt, now), ct);
|
||||
|
||||
return revoked == 0
|
||||
? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен")
|
||||
: Results.NoContent();
|
||||
}
|
||||
|
||||
// Basic: base64("username:password"), разделитель — ПЕРВОЕ двоеточие (в пароле двоеточие допустимо).
|
||||
// Всё, что не разбирается строго (схема, base64, UTF-8, формат), считается неверными credentials.
|
||||
private static bool TryParseBasic(HttpRequest request, out string username, out string password)
|
||||
{
|
||||
username = password = string.Empty;
|
||||
|
||||
if (request.Headers.Authorization.Count != 1)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
var header = request.Headers.Authorization[0];
|
||||
const string prefix = "Basic ";
|
||||
if (header is null || !header.StartsWith(prefix, StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
string decoded;
|
||||
try
|
||||
{
|
||||
var bytes = Convert.FromBase64String(header[prefix.Length..].Trim());
|
||||
decoded = new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true).GetString(bytes);
|
||||
}
|
||||
catch (Exception ex) when (ex is FormatException or DecoderFallbackException)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
var separator = decoded.IndexOf(':');
|
||||
if (separator <= 0)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
username = decoded[..separator];
|
||||
password = decoded[(separator + 1)..];
|
||||
|
||||
// Username по контракту — ASCII [a-z0-9_]{3,32}; пароль — 12..128 code points. Отсекаем до дорогого Argon2.
|
||||
var length = ApiErrors.CodePoints(password);
|
||||
return username.Length is >= 3 and <= 32 && length is >= 12 and <= 128;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,158 @@
|
||||
using Messenger.Api.Data;
|
||||
using Messenger.Api.Models;
|
||||
using Messenger.Api.Services;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Npgsql;
|
||||
|
||||
namespace Messenger.Api.Endpoints;
|
||||
|
||||
public static class ChatEndpoints
|
||||
{
|
||||
public static IEndpointRouteBuilder MapChatEndpoints(
|
||||
this IEndpointRouteBuilder endpoints)
|
||||
{
|
||||
endpoints.MapPost("/api/v1/chats", CreateChat).RequireAuthorization();
|
||||
endpoints.MapGet("/api/v1/chats", ListChats).RequireAuthorization();
|
||||
endpoints.MapGet("/api/v1/chats/{chatId}", GetChat).RequireAuthorization();
|
||||
return endpoints;
|
||||
}
|
||||
|
||||
private static async Task<IResult> CreateChat(
|
||||
CreateChatRequest request,
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var userId = httpContext.GetUserId();
|
||||
|
||||
if (string.IsNullOrWhiteSpace(request.Title) ||
|
||||
ApiErrors.CodePoints(request.Title) > 100 ||
|
||||
request.MemberIds.Count is < 1 or > 100 ||
|
||||
request.MemberIds.Distinct().Count() != request.MemberIds.Count)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные данные чата");
|
||||
}
|
||||
|
||||
if (!request.MemberIds.Contains(userId))
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Создатель должен быть участником чата");
|
||||
}
|
||||
|
||||
var knownMembers = await db.Users.CountAsync(u => request.MemberIds.Contains(u.Id), ct);
|
||||
if (knownMembers != request.MemberIds.Count)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата");
|
||||
}
|
||||
|
||||
var chat = new ChatEntity
|
||||
{
|
||||
Id = Guid.CreateVersion7(),
|
||||
Title = request.Title,
|
||||
CreatedAt = Timestamps.UtcNowMilliseconds()
|
||||
};
|
||||
|
||||
// Чат и все его участники сохраняются одним SaveChanges, то есть одной транзакцией:
|
||||
// либо создано всё, либо ничего (нет чата без участников).
|
||||
db.Chats.Add(chat);
|
||||
db.ChatMembers.AddRange(request.MemberIds.Select(id => new ChatMemberEntity { ChatId = chat.Id, UserId = id }));
|
||||
|
||||
try
|
||||
{
|
||||
await db.SaveChangesAsync(ct);
|
||||
}
|
||||
catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.ForeignKeyViolation })
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата");
|
||||
}
|
||||
|
||||
return Results.Created($"/api/v1/chats/{chat.Id}", ToDto(chat, request.MemberIds.Order().ToList()));
|
||||
}
|
||||
|
||||
private static async Task<IResult> ListChats(
|
||||
int? limit,
|
||||
string? cursor,
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var userId = httpContext.GetUserId();
|
||||
var pageSize = limit ?? 50;
|
||||
|
||||
if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Chats, out var after))
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации");
|
||||
}
|
||||
|
||||
// Keyset: строковое сравнение (created_at, id) > (курсор), без OFFSET и без просмотра всей выдачи.
|
||||
IQueryable<ChatEntity> source = after is null
|
||||
? db.Chats.FromSql($"""
|
||||
SELECT c.* FROM chats c
|
||||
WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId})
|
||||
""")
|
||||
: db.Chats.FromSql($"""
|
||||
SELECT c.* FROM chats c
|
||||
WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId})
|
||||
AND (c.created_at, c.id) > ({after.Value.CreatedAt}, {after.Value.Id})
|
||||
""");
|
||||
|
||||
var chats = await source
|
||||
.AsNoTracking()
|
||||
.OrderBy(c => c.CreatedAt).ThenBy(c => c.Id)
|
||||
.Take(pageSize + 1)
|
||||
.ToListAsync(ct);
|
||||
|
||||
var hasNext = chats.Count > pageSize;
|
||||
if (hasNext)
|
||||
{
|
||||
chats.RemoveAt(chats.Count - 1);
|
||||
}
|
||||
|
||||
var ids = chats.Select(c => c.Id).ToList();
|
||||
var members = (await db.ChatMembers
|
||||
.AsNoTracking()
|
||||
.Where(m => ids.Contains(m.ChatId))
|
||||
.Select(m => new { m.ChatId, m.UserId })
|
||||
.ToListAsync(ct))
|
||||
.ToLookup(m => m.ChatId, m => m.UserId);
|
||||
|
||||
var items = chats.Select(c => ToDto(c, members[c.Id].Order().ToList())).ToList();
|
||||
var nextCursor = hasNext ? Cursors.Encode(Cursors.Chats, chats[^1].CreatedAt, chats[^1].Id) : null;
|
||||
|
||||
return Results.Ok(new { items, next_cursor = nextCursor });
|
||||
}
|
||||
|
||||
private static async Task<IResult> GetChat(
|
||||
Guid chatId,
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var userId = httpContext.GetUserId();
|
||||
|
||||
// Отсутствующий и чужой чат неразличимы: оба дают 404.
|
||||
var chat = await db.Chats
|
||||
.AsNoTracking()
|
||||
.FirstOrDefaultAsync(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId), ct);
|
||||
|
||||
if (chat is null)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден");
|
||||
}
|
||||
|
||||
var memberIds = await db.ChatMembers
|
||||
.AsNoTracking()
|
||||
.Where(m => m.ChatId == chatId)
|
||||
.Select(m => m.UserId)
|
||||
.ToListAsync(ct);
|
||||
|
||||
return Results.Ok(ToDto(chat, memberIds.Order().ToList()));
|
||||
}
|
||||
|
||||
private static Chat ToDto(ChatEntity chat, List<Guid> memberIds) => new()
|
||||
{
|
||||
Id = chat.Id,
|
||||
Title = chat.Title,
|
||||
MemberIds = memberIds,
|
||||
CreatedAt = chat.CreatedAt
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,241 @@
|
||||
using Messenger.Api.Data;
|
||||
using Messenger.Api.Models;
|
||||
using Messenger.Api.Services;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Microsoft.EntityFrameworkCore.Storage;
|
||||
using Microsoft.Extensions.Options;
|
||||
using Npgsql;
|
||||
|
||||
namespace Messenger.Api.Endpoints;
|
||||
|
||||
public static class MessageEndpoints
|
||||
{
|
||||
public static IEndpointRouteBuilder MapMessageEndpoints(
|
||||
this IEndpointRouteBuilder endpoints)
|
||||
{
|
||||
endpoints.MapPost("/api/v1/chats/{chatId}/messages", CreateMessage).RequireAuthorization();
|
||||
endpoints.MapGet("/api/v1/chats/{chatId}/messages", ListMessages).RequireAuthorization();
|
||||
return endpoints;
|
||||
}
|
||||
|
||||
private static async Task<IResult> CreateMessage(
|
||||
Guid chatId,
|
||||
CreateMessageRequest request,
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
IdempotencySettings idempotency,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var userId = httpContext.GetUserId();
|
||||
|
||||
// Сначала доступ к ресурсу (404 для постороннего), затем валидация ключа и тела. Доступ проверяется при каждом
|
||||
// запросе, в том числе при повторе с тем же Idempotency-Key.
|
||||
if (!await IsMemberAsync(db, chatId, userId, ct))
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден");
|
||||
}
|
||||
|
||||
var key = IdempotencyKeys.ReadKey(httpContext.Request);
|
||||
if (key is null)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Требуется заголовок Idempotency-Key ([A-Za-z0-9._:-], 1-128 символов)");
|
||||
}
|
||||
|
||||
if (request.AttachmentIds is null || request.AttachmentIds.Length > 10 ||
|
||||
request.AttachmentIds.Distinct().Count() != request.AttachmentIds.Length ||
|
||||
(string.IsNullOrWhiteSpace(request.Text) && request.AttachmentIds.Length == 0) ||
|
||||
ApiErrors.CodePoints(request.Text) > 4000)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения");
|
||||
}
|
||||
|
||||
if (request.AttachmentIds.Length > 0)
|
||||
{
|
||||
var attachments = await db.Attachments.AsNoTracking()
|
||||
.Where(a => a.ChatId == chatId && request.AttachmentIds.Contains(a.Id)).ToListAsync(ct);
|
||||
if (attachments.Count != request.AttachmentIds.Length)
|
||||
return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден");
|
||||
if (attachments.Any(a => a.Status != "ready"))
|
||||
return ApiErrors.Error(httpContext, 409, "conflict", "Вложение не готово");
|
||||
}
|
||||
|
||||
// Транзакция: (0) claim ключа идемпотентности, (1) UPDATE чата берёт блокировку его строки и выдаёт created_at,
|
||||
// (2) INSERT сообщения, (3) COMMIT. Записи в один чат идут строго по очереди, поэтому порядок коммитов совпадает
|
||||
// с порядком (created_at, id) и курсор не может «проскочить» сообщение, закоммиченное позже. Версия истории
|
||||
// растёт в той же транзакции. Ключ и сообщение коммитятся вместе: при любой ошибке откатывается и то и другое,
|
||||
// поэтому 5xx не «запоминается» как результат, а клиент может безопасно повторить запрос с тем же ключом.
|
||||
await using var tx = await db.Database.BeginTransactionAsync(ct);
|
||||
|
||||
var messageId = Guid.CreateVersion7();
|
||||
var (claim, storedMessageId) = await IdempotencyKeys.ClaimAsync(
|
||||
db, tx, userId, chatId, key, IdempotencyKeys.RequestHash(request.Text, request.AttachmentIds), messageId, idempotency.Ttl, ct);
|
||||
|
||||
if (claim == ClaimResult.Conflict)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 409, "conflict", "Idempotency-Key уже использован с другим сообщением");
|
||||
}
|
||||
|
||||
if (claim == ClaimResult.Replay)
|
||||
{
|
||||
// Повтор: ничего не пишем, возвращаем то же сообщение и тот же код 201.
|
||||
var original = await db.Messages.AsNoTracking().FirstAsync(m => m.Id == storedMessageId, ct);
|
||||
return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(original));
|
||||
}
|
||||
|
||||
var createdAt = await ReserveMessageSlotAsync(db, tx, chatId, userId, ct);
|
||||
if (createdAt is null)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден");
|
||||
}
|
||||
|
||||
var message = new MessageEntity
|
||||
{
|
||||
Id = messageId,
|
||||
ChatId = chatId,
|
||||
SenderId = userId,
|
||||
Text = request.Text,
|
||||
AttachmentIds = request.AttachmentIds,
|
||||
CreatedAt = createdAt.Value
|
||||
};
|
||||
|
||||
db.Messages.Add(message);
|
||||
try
|
||||
{
|
||||
await db.SaveChangesAsync(ct);
|
||||
}
|
||||
catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.CheckViolation })
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения");
|
||||
}
|
||||
|
||||
await tx.CommitAsync(ct);
|
||||
|
||||
return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(message));
|
||||
}
|
||||
|
||||
private static async Task<IResult> ListMessages(
|
||||
Guid chatId,
|
||||
int? limit,
|
||||
string? cursor,
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
IMessageHistoryCache cache,
|
||||
DiagnosticsSettings diagnostics,
|
||||
IOptions<Microsoft.AspNetCore.Http.Json.JsonOptions> jsonOptions,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var userId = httpContext.GetUserId();
|
||||
var pageSize = limit ?? 50;
|
||||
|
||||
// Один запрос проверяет доступ (null → 404) и читает актуальную версию истории из PostgreSQL.
|
||||
// Версия берётся из БД при каждом чтении, а не из кэша: после подтверждённой записи ключ гарантированно новый.
|
||||
var version = await db.Chats
|
||||
.AsNoTracking()
|
||||
.Where(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId))
|
||||
.Select(c => (long?)c.HistoryVersion)
|
||||
.FirstOrDefaultAsync(ct);
|
||||
|
||||
if (version is null)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден");
|
||||
}
|
||||
|
||||
if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Messages(chatId), out var after))
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации");
|
||||
}
|
||||
|
||||
// Ключ = чат + версия истории + размер страницы + курсор. Страница под этим ключом никогда не устаревает:
|
||||
// любая запись увеличивает версию, и читатели переходят на другой ключ.
|
||||
var key = $"hist4:{chatId:N}:v{version}:l{pageSize}:{cursor ?? "-"}";
|
||||
|
||||
var (cached, status) = await cache.GetAsync(key, ct);
|
||||
if (cached is not null)
|
||||
{
|
||||
return CachedJson(httpContext, diagnostics, cached, status);
|
||||
}
|
||||
|
||||
// Keyset по индексу (chat_id, created_at, id): читается только страница, а не вся история.
|
||||
IQueryable<MessageEntity> source = after is null
|
||||
? db.Messages.FromSql($"SELECT * FROM messages WHERE chat_id = {chatId}")
|
||||
: db.Messages.FromSql($"""
|
||||
SELECT * FROM messages
|
||||
WHERE chat_id = {chatId} AND (created_at, id) > ({after.Value.CreatedAt}, {after.Value.Id})
|
||||
""");
|
||||
|
||||
var messages = await source
|
||||
.AsNoTracking()
|
||||
.OrderBy(m => m.CreatedAt).ThenBy(m => m.Id)
|
||||
.Take(pageSize + 1)
|
||||
.ToListAsync(ct);
|
||||
|
||||
var hasNext = messages.Count > pageSize;
|
||||
if (hasNext)
|
||||
{
|
||||
messages.RemoveAt(messages.Count - 1);
|
||||
}
|
||||
|
||||
var nextCursor = hasNext
|
||||
? Cursors.Encode(Cursors.Messages(chatId), messages[^1].CreatedAt, messages[^1].Id)
|
||||
: null;
|
||||
|
||||
var json = System.Text.Json.JsonSerializer.Serialize(
|
||||
new { items = messages.Select(ToDto).ToList(), next_cursor = nextCursor },
|
||||
jsonOptions.Value.SerializerOptions);
|
||||
|
||||
await cache.SetAsync(key, json, ct);
|
||||
return CachedJson(httpContext, diagnostics, json, status);
|
||||
}
|
||||
|
||||
// Ответ из кэша и ответ из БД байт-в-байт одинаковы: сериализуется одна и та же структура теми же настройками.
|
||||
private static IResult CachedJson(HttpContext context, DiagnosticsSettings diagnostics, string json, CacheStatus status)
|
||||
{
|
||||
if (diagnostics.Headers)
|
||||
{
|
||||
context.Response.Headers["X-Cache"] = status.ToString().ToLowerInvariant();
|
||||
}
|
||||
|
||||
return Results.Content(json, "application/json; charset=utf-8");
|
||||
}
|
||||
|
||||
private static Task<bool> IsMemberAsync(MessengerDbContext db, Guid chatId, Guid userId, CancellationToken ct) =>
|
||||
db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == userId, ct);
|
||||
|
||||
// Атомарно: проверяет членство, увеличивает версию истории и возвращает created_at нового сообщения —
|
||||
// строго больше времени предыдущего (даже при откате системных часов или двух сообщениях в одну миллисекунду).
|
||||
// null — чата нет или пользователь не участник.
|
||||
private static async Task<DateTimeOffset?> ReserveMessageSlotAsync(
|
||||
MessengerDbContext db,
|
||||
IDbContextTransaction tx,
|
||||
Guid chatId,
|
||||
Guid userId,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var connection = (NpgsqlConnection)db.Database.GetDbConnection();
|
||||
await using var command = new NpgsqlCommand("""
|
||||
UPDATE chats c
|
||||
SET history_version = c.history_version + 1,
|
||||
last_message_at = GREATEST(@now, COALESCE(c.last_message_at + interval '1 millisecond', @now))
|
||||
WHERE c.id = @chat
|
||||
AND EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = @user)
|
||||
RETURNING c.last_message_at
|
||||
""", connection, (NpgsqlTransaction)tx.GetDbTransaction());
|
||||
|
||||
command.Parameters.AddWithValue("now", Timestamps.UtcNowMilliseconds());
|
||||
command.Parameters.AddWithValue("chat", chatId);
|
||||
command.Parameters.AddWithValue("user", userId);
|
||||
|
||||
await using var reader = await command.ExecuteReaderAsync(ct);
|
||||
return await reader.ReadAsync(ct) ? reader.GetFieldValue<DateTimeOffset>(0) : null;
|
||||
}
|
||||
|
||||
private static Message ToDto(MessageEntity m) => new()
|
||||
{
|
||||
Id = m.Id,
|
||||
ChatId = m.ChatId,
|
||||
SenderId = m.SenderId,
|
||||
Text = m.Text,
|
||||
CreatedAt = m.CreatedAt,
|
||||
AttachmentIds = m.AttachmentIds
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,125 @@
|
||||
using System.Text.RegularExpressions;
|
||||
using Messenger.Api.Models;
|
||||
using Messenger.Api.Services;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Messenger.Api.Data;
|
||||
using Npgsql;
|
||||
|
||||
namespace Messenger.Api.Endpoints;
|
||||
|
||||
public static class UserEndpoints
|
||||
{
|
||||
public static IEndpointRouteBuilder MapUserEndpoints(
|
||||
this IEndpointRouteBuilder endpoints)
|
||||
{
|
||||
endpoints.MapPost(
|
||||
"/api/v1/users",
|
||||
CreateUser);
|
||||
|
||||
endpoints.MapGet(
|
||||
"/api/v1/users/me",
|
||||
GetCurrentUser).RequireAuthorization();
|
||||
|
||||
return endpoints;
|
||||
}
|
||||
|
||||
private static async Task<IResult> CreateUser(
|
||||
CreateUserRequest request,
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
IPasswordHasher hasher,
|
||||
CancellationToken ct)
|
||||
{
|
||||
if (!Regex.IsMatch(request.Username, @"\A[a-z0-9_]{3,32}\z"))
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный username");
|
||||
}
|
||||
|
||||
if (string.IsNullOrWhiteSpace(request.DisplayName) ||
|
||||
ApiErrors.CodePoints(request.DisplayName) > 100)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "display_name должен содержать от 1 до 100 символов");
|
||||
}
|
||||
|
||||
var passwordLength = ApiErrors.CodePoints(request.Password);
|
||||
if (passwordLength < 12 || passwordLength > 128)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 400, "invalid_request", "Пароль должен содержать от 12 до 128 символов");
|
||||
}
|
||||
|
||||
// Быстрый отказ, чтобы не тратить дорогой Argon2 на заведомо занятый username.
|
||||
// Это только оптимизация: от гонки защищает уникальный индекс (см. catch ниже).
|
||||
if (await db.Users.AnyAsync(u => u.Username == request.Username, ct))
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят");
|
||||
}
|
||||
|
||||
// Хеш считается до SaveChanges: соединение с БД не простаивает на CPU-работе.
|
||||
string passwordHash;
|
||||
try
|
||||
{
|
||||
passwordHash = await hasher.HashAsync(request.Password, ct);
|
||||
}
|
||||
catch (PasswordHasherBusyException)
|
||||
{
|
||||
return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже");
|
||||
}
|
||||
|
||||
var entity = new UserEntity
|
||||
{
|
||||
Id = Guid.CreateVersion7(),
|
||||
Username = request.Username,
|
||||
DisplayName = request.DisplayName,
|
||||
PasswordHash = passwordHash,
|
||||
CreatedAt = Timestamps.UtcNowMilliseconds()
|
||||
};
|
||||
|
||||
db.Users.Add(entity);
|
||||
try
|
||||
{
|
||||
await db.SaveChangesAsync(ct);
|
||||
}
|
||||
catch (DbUpdateException ex) when (
|
||||
ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.UniqueViolation, ConstraintName: "ux_users_username" })
|
||||
{
|
||||
// Параллельный запрос с тем же username успел раньше проверки AnyAsync.
|
||||
return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят");
|
||||
}
|
||||
|
||||
// В ответ уходит API-модель без password_hash, а не сущность таблицы.
|
||||
var user = new User
|
||||
{
|
||||
Id = entity.Id,
|
||||
Username = entity.Username,
|
||||
DisplayName = entity.DisplayName,
|
||||
CreatedAt = entity.CreatedAt
|
||||
};
|
||||
|
||||
return Results.Created($"/api/v1/users/{user.Id}", user);
|
||||
}
|
||||
|
||||
private static async Task<IResult> GetCurrentUser(
|
||||
HttpContext httpContext,
|
||||
MessengerDbContext db,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var userId = httpContext.GetUserId();
|
||||
|
||||
var user = await db.Users
|
||||
.AsNoTracking()
|
||||
.Where(u => u.Id == userId)
|
||||
.Select(u => new User
|
||||
{
|
||||
Id = u.Id,
|
||||
Username = u.Username,
|
||||
DisplayName = u.DisplayName,
|
||||
CreatedAt = u.CreatedAt
|
||||
})
|
||||
.FirstOrDefaultAsync(ct);
|
||||
|
||||
// Сессия ссылается на пользователя внешним ключом, поэтому null здесь невозможен; ответ всё равно безопасный.
|
||||
return user is null
|
||||
? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен")
|
||||
: Results.Ok(user);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,27 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk.Web">
|
||||
|
||||
<PropertyGroup>
|
||||
<TargetFramework>net10.0</TargetFramework>
|
||||
<Nullable>enable</Nullable>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
</PropertyGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<Folder Include="Services\" />
|
||||
</ItemGroup>
|
||||
|
||||
<ItemGroup>
|
||||
<PackageReference Include="AWSSDK.S3" Version="4.1.0" />
|
||||
<PackageReference Include="EFCore.NamingConventions" Version="10.0.1" />
|
||||
<PackageReference Include="Isopoh.Cryptography.Argon2" Version="2.0.0" />
|
||||
<PackageReference Include="Microsoft.EntityFrameworkCore.Design" Version="10.0.13">
|
||||
<IncludeAssets>runtime; build; native; contentfiles; analyzers; buildtransitive</IncludeAssets>
|
||||
<PrivateAssets>all</PrivateAssets>
|
||||
</PackageReference>
|
||||
<PackageReference Include="Microsoft.EntityFrameworkCore.Relational" Version="10.0.13" />
|
||||
<PackageReference Include="Npgsql.EntityFrameworkCore.PostgreSQL" Version="10.0.3" />
|
||||
<PackageReference Include="StbImageSharp" Version="2.30.16" />
|
||||
<PackageReference Include="StackExchange.Redis" Version="3.4.20" />
|
||||
</ItemGroup>
|
||||
|
||||
</Project>
|
||||
@@ -0,0 +1,6 @@
|
||||
<?xml version="1.0" encoding="utf-8"?>
|
||||
<Project ToolsVersion="Current" xmlns="http://schemas.microsoft.com/developer/msbuild/2003">
|
||||
<PropertyGroup>
|
||||
<ActiveDebugProfile>https</ActiveDebugProfile>
|
||||
</PropertyGroup>
|
||||
</Project>
|
||||
@@ -0,0 +1,6 @@
|
||||
namespace Messenger.Api.Models;
|
||||
|
||||
public sealed record Attachment(
|
||||
Guid Id, Guid ChatId, Guid OwnerId, string Filename, string ContentType,
|
||||
long SizeBytes, string Sha256, string Status, object[] Variants,
|
||||
string? ErrorCode, DateTimeOffset CreatedAt, DateTimeOffset UpdatedAt);
|
||||
@@ -0,0 +1,14 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace Messenger.Api.Models
|
||||
{
|
||||
public sealed class Chat
|
||||
{
|
||||
public Guid Id { get; init; }
|
||||
public string Title { get; init; } = String.Empty;
|
||||
public List<Guid> MemberIds { get; init; } = new List<Guid>();
|
||||
public DateTimeOffset CreatedAt { get; init; }
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,6 @@
|
||||
namespace Messenger.Api.Models
|
||||
{
|
||||
public sealed record CreateChatRequest(
|
||||
[property: System.Text.Json.Serialization.JsonRequired] string Title,
|
||||
[property: System.Text.Json.Serialization.JsonRequired] List<Guid> MemberIds);
|
||||
}
|
||||
@@ -0,0 +1,6 @@
|
||||
namespace Messenger.Api.Models;
|
||||
|
||||
public sealed record CreateMessageRequest([property: System.Text.Json.Serialization.JsonRequired] string Text)
|
||||
{
|
||||
public Guid[] AttachmentIds { get; init; } = [];
|
||||
}
|
||||
@@ -0,0 +1,12 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace Messenger.Api.Models
|
||||
{
|
||||
public sealed record CreateUserRequest(
|
||||
[property: System.Text.Json.Serialization.JsonRequired] string Username,
|
||||
[property: System.Text.Json.Serialization.JsonRequired] string DisplayName,
|
||||
[property: System.Text.Json.Serialization.JsonRequired] string Password);
|
||||
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
using Microsoft.AspNetCore.Http.HttpResults;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace Messenger.Api.Models
|
||||
{
|
||||
public sealed class Message
|
||||
{
|
||||
public Guid Id { get; init; }
|
||||
public Guid ChatId { get; init; }
|
||||
public Guid SenderId { get; init; }
|
||||
public string Text { get; init; } = String.Empty;
|
||||
public DateTimeOffset CreatedAt { get; init; }
|
||||
public Guid[] AttachmentIds { get; init; } = [];
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,7 @@
|
||||
namespace Messenger.Api.Models;
|
||||
|
||||
public sealed record SessionResponse(
|
||||
string Token,
|
||||
string TokenType,
|
||||
DateTimeOffset ExpiresAt,
|
||||
User User);
|
||||
@@ -0,0 +1,14 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Text;
|
||||
|
||||
namespace Messenger.Api.Models
|
||||
{
|
||||
public sealed class User
|
||||
{
|
||||
public Guid Id { get; init; }
|
||||
public string Username { get; init; } = string.Empty;
|
||||
public string DisplayName { get; init; } = string.Empty;
|
||||
public DateTimeOffset CreatedAt { get; init; }
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,279 @@
|
||||
using Microsoft.AspNetCore.Diagnostics;
|
||||
using Messenger.Api.Endpoints;
|
||||
using Messenger.Api.Services;
|
||||
using Messenger.Api.Data;
|
||||
using System.Text.Json;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Microsoft.AspNetCore.Authentication;
|
||||
|
||||
// Режим для Docker HEALTHCHECK: в образе aspnet нет curl, поэтому проверку выполняет само приложение.
|
||||
if (args.Contains("--healthcheck"))
|
||||
{
|
||||
var port = Environment.GetEnvironmentVariable("APP_PORT") ?? "8080";
|
||||
try
|
||||
{
|
||||
using var probe = new HttpClient { Timeout = TimeSpan.FromSeconds(2) };
|
||||
var probeResponse = await probe.GetAsync($"http://127.0.0.1:{port}/health/live");
|
||||
return probeResponse.IsSuccessStatusCode ? 0 : 1;
|
||||
}
|
||||
catch (Exception)
|
||||
{
|
||||
return 1;
|
||||
}
|
||||
}
|
||||
|
||||
var builder = WebApplication.CreateBuilder(args);
|
||||
|
||||
// SIGTERM: сначала drain (SHUTDOWN_DRAIN_SECONDS, /health/ready → 503, запросы ещё принимаются), затем слушатель
|
||||
// закрывается и активные запросы получают не более 5 секунд. Итого < 10 секунд (лимит задания) и < stop_grace_period.
|
||||
builder.Services.Configure<HostOptions>(options => options.ShutdownTimeout = TimeSpan.FromSeconds(5));
|
||||
|
||||
// Настройки читаются лениво из IConfiguration (после Build), поэтому тесты могут задавать их через UseSetting.
|
||||
builder.Services.AddSingleton(sp => DatabaseSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => AuthSessionOptions.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => CacheSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => DiagnosticsSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => InstanceSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => IdempotencySettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => S3Settings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton(sp => UploadSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton<UploadGate>();
|
||||
builder.Services.AddSingleton(sp => UploadCleanupSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton<UploadCleanup>();
|
||||
builder.Services.AddHostedService<UploadCleanupWorker>();
|
||||
builder.Services.AddSingleton<IAttachmentStorage>(sp =>
|
||||
{
|
||||
var s3Settings = sp.GetRequiredService<S3Settings>();
|
||||
return new S3AttachmentStorage(s3Settings);
|
||||
});
|
||||
builder.Services.AddSingleton<ShutdownState>();
|
||||
builder.Services.AddHostedService<IdempotencyCleaner>();
|
||||
builder.Services.AddHttpContextAccessor();
|
||||
builder.Services.AddSingleton<QueryCountingInterceptor>();
|
||||
builder.Services.AddDbContext<MessengerDbContext>((sp, options) =>
|
||||
{
|
||||
options.UseNpgsql(sp.GetRequiredService<DatabaseSettings>().ConnectionString)
|
||||
.UseSnakeCaseNamingConvention();
|
||||
if (sp.GetRequiredService<DiagnosticsSettings>().Headers)
|
||||
{
|
||||
options.AddInterceptors(sp.GetRequiredService<QueryCountingInterceptor>());
|
||||
}
|
||||
});
|
||||
builder.Services.AddSingleton(sp => PasswordHashingSettings.From(sp.GetRequiredService<IConfiguration>()));
|
||||
builder.Services.AddSingleton<IPasswordHasher, Argon2PasswordHasher>();
|
||||
builder.Services.AddSingleton<IMessageHistoryCache>(sp =>
|
||||
{
|
||||
var settings = sp.GetRequiredService<CacheSettings>();
|
||||
return settings.Enabled
|
||||
? new ValkeyMessageHistoryCache(settings, sp.GetRequiredService<ILogger<ValkeyMessageHistoryCache>>())
|
||||
: new NullMessageHistoryCache();
|
||||
});
|
||||
builder.Services.AddAuthentication(BearerAuth.Scheme)
|
||||
.AddScheme<AuthenticationSchemeOptions, SessionAuthenticationHandler>(BearerAuth.Scheme, null);
|
||||
builder.Services.AddAuthorization();
|
||||
builder.Services.ConfigureHttpJsonOptions(options =>
|
||||
{
|
||||
options.SerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.SnakeCaseLower;
|
||||
options.SerializerOptions.Converters.Add(new UtcDateTimeOffsetJsonConverter());
|
||||
options.SerializerOptions.UnmappedMemberHandling = System.Text.Json.Serialization.JsonUnmappedMemberHandling.Disallow;
|
||||
options.SerializerOptions.RespectNullableAnnotations = true;
|
||||
// Web-настройки по умолчанию включают регистронезависимое сопоставление имён: контракт его не допускает.
|
||||
options.SerializerOptions.PropertyNameCaseInsensitive = false;
|
||||
});
|
||||
|
||||
var app = builder.Build();
|
||||
|
||||
// Режим one-shot миграции (`dotnet Messenger.Api.dll --migrate`): отдельный контейнер применяет схему и завершается.
|
||||
// API-реплики схему не меняют, поэтому одновременный старт N реплик не создаёт гонку миграций.
|
||||
if (args.Contains("--migrate"))
|
||||
{
|
||||
using var migrationScope = app.Services.CreateScope();
|
||||
migrationScope.ServiceProvider.GetRequiredService<MessengerDbContext>().Database.Migrate();
|
||||
app.Logger.LogInformation("Migrations applied");
|
||||
return 0;
|
||||
}
|
||||
|
||||
if (args.Contains("--cleanup-uploads"))
|
||||
{
|
||||
using var timeout = new CancellationTokenSource(TimeSpan.FromSeconds(25));
|
||||
var result = await app.Services.GetRequiredService<UploadCleanup>().RunOnceAsync(timeout.Token);
|
||||
Console.WriteLine(JsonSerializer.Serialize(result));
|
||||
return 0;
|
||||
}
|
||||
|
||||
// Только для локального запуска и тестов (MIGRATE_ON_START=true); в Compose выключено.
|
||||
if (app.Services.GetRequiredService<InstanceSettings>().MigrateOnStart)
|
||||
{
|
||||
using var scope = app.Services.CreateScope();
|
||||
scope.ServiceProvider.GetRequiredService<MessengerDbContext>().Database.Migrate();
|
||||
}
|
||||
|
||||
// Диагностика (только при DIAGNOSTIC_HEADERS=true): число SQL-команд EF Core за запрос — в заголовке X-Db-Queries.
|
||||
if (app.Services.GetRequiredService<DiagnosticsSettings>().Headers)
|
||||
{
|
||||
app.Use(async (context, next) =>
|
||||
{
|
||||
var counter = new QueryCounter();
|
||||
context.Items[QueryCountingInterceptor.ItemKey] = counter;
|
||||
context.Response.OnStarting(() =>
|
||||
{
|
||||
context.Response.Headers["X-Db-Queries"] = Volatile.Read(ref counter.Count).ToString();
|
||||
return Task.CompletedTask;
|
||||
});
|
||||
await next();
|
||||
});
|
||||
}
|
||||
|
||||
// X-Instance-Id в каждом ответе API (включая ошибки и health). Заголовок ставится в OnStarting: UseExceptionHandler
|
||||
// очищает заголовки, а этот обратный вызов срабатывает уже после очистки, перед отправкой ответа.
|
||||
var instanceId = app.Services.GetRequiredService<InstanceSettings>().InstanceId;
|
||||
app.Use(async (context, next) =>
|
||||
{
|
||||
context.Response.OnStarting(() =>
|
||||
{
|
||||
context.Response.Headers["X-Instance-Id"] = instanceId;
|
||||
return Task.CompletedTask;
|
||||
});
|
||||
await next();
|
||||
});
|
||||
|
||||
app.Use(async (context, next) =>
|
||||
{
|
||||
var requestId = Guid.NewGuid().ToString();
|
||||
context.Items["request_id"] = requestId;
|
||||
context.Response.Headers["X-Request-Id"] = requestId;
|
||||
await next();
|
||||
});
|
||||
|
||||
// Лог запроса: метод, путь, статус, время, request_id. Тело и query не логируются.
|
||||
app.Use(async (context, next) =>
|
||||
{
|
||||
var logger = context.RequestServices.GetRequiredService<ILoggerFactory>().CreateLogger("Messenger.Requests");
|
||||
var started = System.Diagnostics.Stopwatch.GetTimestamp();
|
||||
try
|
||||
{
|
||||
await next();
|
||||
}
|
||||
finally
|
||||
{
|
||||
logger.LogInformation(
|
||||
"{Method} {Path} -> {Status} in {ElapsedMs:0.0} ms (request_id={RequestId})",
|
||||
context.Request.Method,
|
||||
context.Request.Path.Value,
|
||||
context.Response.StatusCode,
|
||||
System.Diagnostics.Stopwatch.GetElapsedTime(started).TotalMilliseconds,
|
||||
context.Items["request_id"]);
|
||||
}
|
||||
});
|
||||
|
||||
app.UseExceptionHandler(errorApp => errorApp.Run(context =>
|
||||
{
|
||||
// В Development ошибки чтения запроса приходят исключением: сохраняем их 400/415 вместо 500.
|
||||
var error = context.Features.Get<IExceptionHandlerFeature>()?.Error;
|
||||
if (error is BadHttpRequestException { StatusCode: 413 } tooLarge)
|
||||
return ApiErrors.Error(context, 413, "payload_too_large", "Файл превышает лимит размера").ExecuteAsync(context);
|
||||
if (error is BadHttpRequestException { StatusCode: 400 or 415 } badRequest)
|
||||
{
|
||||
var (code, message) = badRequest.StatusCode == 415
|
||||
? ("unsupported_media_type", "Требуется Content-Type: application/json")
|
||||
: ("invalid_request", "Некорректный запрос");
|
||||
return ApiErrors.Error(context, badRequest.StatusCode, code, message).ExecuteAsync(context);
|
||||
}
|
||||
|
||||
// PostgreSQL недоступен или перегружен: ограниченный ответ 503 без внутренних деталей (стек и SQL только в логе).
|
||||
if (DependencyFailures.IsDatabaseUnavailable(error) || error is Amazon.S3.AmazonS3Exception or HttpRequestException)
|
||||
{
|
||||
return ApiErrors.Error(context, 503, "unavailable", "Сервис временно недоступен").ExecuteAsync(context);
|
||||
}
|
||||
|
||||
return ApiErrors.Error(context, 500, "internal_error", "Внутренняя ошибка сервера").ExecuteAsync(context);
|
||||
}));
|
||||
|
||||
// Пустые ответы 400/404/415 (ошибки привязки, неизвестный маршрут) получают стандартное тело ошибки.
|
||||
app.UseStatusCodePages(context =>
|
||||
{
|
||||
var http = context.HttpContext;
|
||||
var (code, message) = http.Response.StatusCode switch
|
||||
{
|
||||
400 => ("invalid_request", "Некорректный запрос"),
|
||||
404 => ("not_found", "Объект не найден"),
|
||||
415 => ("unsupported_media_type", "Требуется Content-Type: application/json"),
|
||||
413 => ("payload_too_large", "Файл превышает лимит размера"),
|
||||
503 => ("unavailable", "Сервис временно недоступен"),
|
||||
_ => ("internal_error", "Ошибка запроса")
|
||||
};
|
||||
return ApiErrors.Error(http, http.Response.StatusCode, code, message).ExecuteAsync(http);
|
||||
});
|
||||
|
||||
// Аутентификация (Bearer) выполняется до выбора обработчика и разбора тела: 401 приоритетнее 400/404.
|
||||
app.UseAuthentication();
|
||||
app.UseAuthorization();
|
||||
|
||||
app.MapGet("/health/live", () =>
|
||||
{
|
||||
return Results.Ok(new
|
||||
{
|
||||
status = "ok"
|
||||
});
|
||||
});
|
||||
|
||||
// Готовность = API может обслуживать обязательный синхронный путь, а он требует PostgreSQL (сессии, данные, ключи
|
||||
// идемпотентности), а загрузки требуют S3. Valkey не критичен: без него чтение идёт напрямую из PostgreSQL. После SIGTERM — всегда 503:
|
||||
// балансировщик выводит экземпляр из ротации ещё до закрытия слушателя. Таймаут проверки (1 с) меньше таймаута
|
||||
// проверки в HAProxy (2 с), чтобы зависшая БД давала явный 503, а не обрыв проверки.
|
||||
app.MapGet("/health/ready", async (HttpContext context, MessengerDbContext db, ShutdownState shutdown, IAttachmentStorage storage) =>
|
||||
{
|
||||
if (shutdown.Draining)
|
||||
{
|
||||
return ApiErrors.Error(context, 503, "unavailable", "Экземпляр останавливается");
|
||||
}
|
||||
|
||||
using var timeout = CancellationTokenSource.CreateLinkedTokenSource(context.RequestAborted);
|
||||
timeout.CancelAfter(TimeSpan.FromSeconds(1));
|
||||
try
|
||||
{
|
||||
await storage.CheckAsync(timeout.Token);
|
||||
return await db.Database.CanConnectAsync(timeout.Token)
|
||||
? Results.Ok(new { status = "ok" })
|
||||
: ApiErrors.Error(context, 503, "unavailable", "База данных недоступна");
|
||||
}
|
||||
catch (OperationCanceledException) when (!context.RequestAborted.IsCancellationRequested)
|
||||
{
|
||||
return ApiErrors.Error(context, 503, "unavailable", "Зависимость недоступна");
|
||||
}
|
||||
catch (Exception ex) when (ex is Amazon.S3.AmazonS3Exception or HttpRequestException)
|
||||
{
|
||||
return ApiErrors.Error(context, 503, "unavailable", "Хранилище недоступно");
|
||||
}
|
||||
});
|
||||
|
||||
app.MapUserEndpoints();
|
||||
app.MapAuthEndpoints();
|
||||
app.MapChatEndpoints();
|
||||
app.MapMessageEndpoints();
|
||||
app.MapAttachmentEndpoints();
|
||||
|
||||
|
||||
app.Lifetime.ApplicationStarted.Register(() =>
|
||||
app.Logger.LogInformation("Messenger API started (instance {InstanceId}, version {Version})",
|
||||
instanceId, Environment.GetEnvironmentVariable("APP_VERSION") ?? "dev"));
|
||||
// ApplicationStopping выполняется синхронно ДО остановки Kestrel: пока этот обработчик спит, слушатель ещё открыт,
|
||||
// а /health/ready уже отвечает 503. Так балансировщик (inter 1s, fall 2) успевает убрать экземпляр до обрыва соединений.
|
||||
app.Lifetime.ApplicationStopping.Register(() =>
|
||||
{
|
||||
var shutdown = app.Services.GetRequiredService<ShutdownState>();
|
||||
var drain = app.Services.GetRequiredService<InstanceSettings>().DrainDelay;
|
||||
shutdown.StartDraining();
|
||||
app.Logger.LogInformation("SIGTERM received: readiness=503, draining {Seconds} s, then the listener closes", drain.TotalSeconds);
|
||||
if (drain > TimeSpan.Zero)
|
||||
{
|
||||
Thread.Sleep(drain);
|
||||
}
|
||||
});
|
||||
app.Lifetime.ApplicationStopped.Register(() => app.Logger.LogInformation("Messenger API stopped"));
|
||||
|
||||
app.Run();
|
||||
return 0;
|
||||
|
||||
// Делает Program доступным для WebApplicationFactory<Program> в тестах.
|
||||
public partial class Program { }
|
||||
@@ -0,0 +1,23 @@
|
||||
{
|
||||
"$schema": "https://json.schemastore.org/launchsettings.json",
|
||||
"profiles": {
|
||||
"http": {
|
||||
"commandName": "Project",
|
||||
"dotnetRunMessages": true,
|
||||
"launchBrowser": true,
|
||||
"applicationUrl": "http://localhost:5015",
|
||||
"environmentVariables": {
|
||||
"ASPNETCORE_ENVIRONMENT": "Development"
|
||||
}
|
||||
},
|
||||
"https": {
|
||||
"commandName": "Project",
|
||||
"dotnetRunMessages": true,
|
||||
"launchBrowser": true,
|
||||
"applicationUrl": "https://localhost:7165;http://localhost:5015",
|
||||
"environmentVariables": {
|
||||
"ASPNETCORE_ENVIRONMENT": "Development"
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,37 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public static class ApiErrors
|
||||
{
|
||||
public static int CodePoints(string value) => value.EnumerateRunes().Count();
|
||||
|
||||
// 401 с обязательным заголовком WWW-Authenticate (контракт: Basic для входа, Bearer для остального API).
|
||||
public static IResult Unauthorized(HttpContext context, string challenge, string message)
|
||||
{
|
||||
context.Response.Headers.WWWAuthenticate = challenge;
|
||||
return Error(context, 401, "unauthorized", message);
|
||||
}
|
||||
|
||||
public static IResult Error(
|
||||
HttpContext context,
|
||||
int statusCode,
|
||||
string code,
|
||||
string message)
|
||||
{
|
||||
var requestId = context.Items["request_id"]?.ToString() ?? context.TraceIdentifier;
|
||||
|
||||
// UseExceptionHandler очищает заголовки ответа, поэтому выставляем X-Request-Id заново.
|
||||
context.Response.Headers["X-Request-Id"] = requestId;
|
||||
|
||||
return Results.Json(
|
||||
new
|
||||
{
|
||||
error = new
|
||||
{
|
||||
code,
|
||||
message,
|
||||
request_id = requestId
|
||||
}
|
||||
},
|
||||
statusCode: statusCode);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,68 @@
|
||||
using Isopoh.Cryptography.Argon2;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public sealed class Argon2PasswordHasher : IPasswordHasher
|
||||
{
|
||||
// Минимум по рекомендации OWASP для Argon2id: m=19 MiB, t=2, p=1. Обоснование и выбор — в REPORT.md.
|
||||
private const int TimeCost = 2;
|
||||
private const int MemoryCostKiB = 19 * 1024;
|
||||
private const int Parallelism = 1;
|
||||
|
||||
// Каждое вычисление занимает ~19 MiB и ядро CPU: без лимита 100 параллельных входов = ~2 GiB памяти.
|
||||
// Размер и время ожидания слотов задаются PASSWORD_HASH_CONCURRENCY / PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS.
|
||||
private readonly SemaphoreSlim _slots;
|
||||
private readonly TimeSpan _slotWaitTimeout;
|
||||
|
||||
// Хеш от случайного пароля, который никто не знает. Нужен только для выравнивания времени при неизвестном username.
|
||||
private readonly string _dummyHash;
|
||||
|
||||
public Argon2PasswordHasher(PasswordHashingSettings settings)
|
||||
{
|
||||
_slots = new SemaphoreSlim(settings.MaxConcurrency, settings.MaxConcurrency);
|
||||
_slotWaitTimeout = settings.QueueTimeout;
|
||||
_dummyHash = HashCore(Convert.ToBase64String(System.Security.Cryptography.RandomNumberGenerator.GetBytes(32)));
|
||||
}
|
||||
|
||||
public async Task<string> HashAsync(string password, CancellationToken ct)
|
||||
{
|
||||
await AcquireSlotAsync(ct);
|
||||
try
|
||||
{
|
||||
return await Task.Run(() => HashCore(password), ct);
|
||||
}
|
||||
finally
|
||||
{
|
||||
_slots.Release();
|
||||
}
|
||||
}
|
||||
|
||||
public async Task<bool> VerifyAsync(string? hash, string password, CancellationToken ct)
|
||||
{
|
||||
await AcquireSlotAsync(ct);
|
||||
try
|
||||
{
|
||||
return await Task.Run(() =>
|
||||
{
|
||||
var ok = Argon2.Verify(hash ?? _dummyHash, password, secret: null, secureArrayCall: null);
|
||||
return hash is not null && ok;
|
||||
}, ct);
|
||||
}
|
||||
finally
|
||||
{
|
||||
_slots.Release();
|
||||
}
|
||||
}
|
||||
|
||||
private async Task AcquireSlotAsync(CancellationToken ct)
|
||||
{
|
||||
if (!await _slots.WaitAsync(_slotWaitTimeout, ct))
|
||||
{
|
||||
throw new PasswordHasherBusyException();
|
||||
}
|
||||
}
|
||||
|
||||
// HybridAddressing — это Argon2id. Соль генерируется библиотекой и входит в возвращаемую строку.
|
||||
private static string HashCore(string password) =>
|
||||
Argon2.Hash(password, TimeCost, MemoryCostKiB, Parallelism, Argon2Type.HybridAddressing);
|
||||
}
|
||||
@@ -0,0 +1,91 @@
|
||||
using System.Security.Claims;
|
||||
using System.Text.Encodings.Web;
|
||||
using Messenger.Api.Data;
|
||||
using Microsoft.AspNetCore.Authentication;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Microsoft.Extensions.Options;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public static class BearerAuth
|
||||
{
|
||||
public const string Scheme = "Bearer";
|
||||
public const string Challenge = "Bearer realm=\"messenger\"";
|
||||
public const string SessionIdClaim = "session_id";
|
||||
|
||||
// Ровно один заголовок Authorization вида "Bearer <token>"; иначе null (Basic и прочее здесь не принимаются).
|
||||
public static string? ExtractToken(HttpRequest request)
|
||||
{
|
||||
if (request.Headers.Authorization.Count != 1)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
var value = request.Headers.Authorization[0];
|
||||
const string prefix = "Bearer ";
|
||||
if (value is null || !value.StartsWith(prefix, StringComparison.OrdinalIgnoreCase))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
var token = value[prefix.Length..].Trim();
|
||||
return token.Length == 0 ? null : token;
|
||||
}
|
||||
|
||||
public static Guid GetUserId(this HttpContext context) =>
|
||||
Guid.Parse(context.User.FindFirstValue(ClaimTypes.NameIdentifier)!);
|
||||
|
||||
public static Guid GetSessionId(this HttpContext context) =>
|
||||
Guid.Parse(context.User.FindFirstValue(SessionIdClaim)!);
|
||||
}
|
||||
|
||||
// Стандартный обработчик аутентификации ASP.NET: превращает Bearer-токен в ClaimsPrincipal.
|
||||
// Срабатывает до выбора и выполнения эндпоинта (в том числе до разбора тела), поэтому 401 всегда раньше 400/404.
|
||||
public sealed class SessionAuthenticationHandler(
|
||||
IOptionsMonitor<AuthenticationSchemeOptions> options,
|
||||
ILoggerFactory logger,
|
||||
UrlEncoder encoder,
|
||||
MessengerDbContext db)
|
||||
: AuthenticationHandler<AuthenticationSchemeOptions>(options, logger, encoder)
|
||||
{
|
||||
protected override async Task<AuthenticateResult> HandleAuthenticateAsync()
|
||||
{
|
||||
var token = BearerAuth.ExtractToken(Request);
|
||||
if (token is null)
|
||||
{
|
||||
return AuthenticateResult.NoResult();
|
||||
}
|
||||
|
||||
var hash = SessionTokens.Hash(token);
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
|
||||
// Неизвестный, истёкший и отозванный токен неразличимы для клиента: во всех случаях это один 401.
|
||||
var session = await db.Sessions
|
||||
.AsNoTracking()
|
||||
.Where(s => s.TokenHash == hash && s.RevokedAt == null && s.ExpiresAt > now)
|
||||
.Select(s => new { s.Id, s.UserId })
|
||||
.FirstOrDefaultAsync(Context.RequestAborted);
|
||||
|
||||
if (session is null)
|
||||
{
|
||||
return AuthenticateResult.Fail("Недействительная сессия");
|
||||
}
|
||||
|
||||
var identity = new ClaimsIdentity(
|
||||
[
|
||||
new Claim(ClaimTypes.NameIdentifier, session.UserId.ToString()),
|
||||
new Claim(BearerAuth.SessionIdClaim, session.Id.ToString())
|
||||
],
|
||||
BearerAuth.Scheme);
|
||||
|
||||
return AuthenticateResult.Success(
|
||||
new AuthenticationTicket(new ClaimsPrincipal(identity), BearerAuth.Scheme));
|
||||
}
|
||||
|
||||
protected override async Task HandleChallengeAsync(AuthenticationProperties properties)
|
||||
{
|
||||
await ApiErrors
|
||||
.Unauthorized(Context, BearerAuth.Challenge, "Требуется действительный Bearer-токен")
|
||||
.ExecuteAsync(Context);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,56 @@
|
||||
using System.Text;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
// Непрозрачный для клиента cursor keyset-пагинации: (created_at, id) последнего элемента страницы.
|
||||
// Привязан к ресурсу (scope): cursor от другого списка или чата отклоняется как 400.
|
||||
public static class Cursors
|
||||
{
|
||||
public const string Chats = "chats";
|
||||
|
||||
public static string Messages(Guid chatId) => $"messages/{chatId:D}";
|
||||
|
||||
public static string Encode(string scope, DateTimeOffset createdAt, Guid id) =>
|
||||
Convert.ToBase64String(Encoding.UTF8.GetBytes($"{scope}|{createdAt.UtcTicks}:{id:D}"));
|
||||
|
||||
// cursor == null — первая страница (успех, value == null). Любая ошибка формата или чужой scope — false.
|
||||
public static bool TryDecode(string? cursor, string scope, out (DateTimeOffset CreatedAt, Guid Id)? value)
|
||||
{
|
||||
value = null;
|
||||
if (cursor is null)
|
||||
{
|
||||
return true;
|
||||
}
|
||||
|
||||
if (cursor.Length == 0)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
var decoded = new UTF8Encoding(false, throwOnInvalidBytes: true).GetString(Convert.FromBase64String(cursor));
|
||||
var scoped = decoded.Split('|', 2);
|
||||
if (scoped.Length != 2 || scoped[0] != scope)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
var parts = scoped[1].Split(':', 2);
|
||||
if (parts.Length != 2 ||
|
||||
!long.TryParse(parts[0], out var ticks) ||
|
||||
ticks < DateTimeOffset.MinValue.UtcTicks || ticks > DateTimeOffset.MaxValue.UtcTicks ||
|
||||
!Guid.TryParse(parts[1], out var id))
|
||||
{
|
||||
return false;
|
||||
}
|
||||
|
||||
value = (new DateTimeOffset(ticks, TimeSpan.Zero), id);
|
||||
return true;
|
||||
}
|
||||
catch (Exception ex) when (ex is FormatException or ArgumentException or DecoderFallbackException)
|
||||
{
|
||||
return false;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
using System.Data.Common;
|
||||
using Microsoft.EntityFrameworkCore.Diagnostics;
|
||||
using Npgsql;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public sealed class QueryCounter
|
||||
{
|
||||
public int Count;
|
||||
}
|
||||
|
||||
// Считает SQL-команды, выполненные EF Core в рамках текущего HTTP-запроса (для измерения «запросов к БД на запрос API»).
|
||||
// Включается только при DIAGNOSTIC_HEADERS=true. Команда ReserveMessageSlot (сырой NpgsqlCommand) не учитывается.
|
||||
public sealed class QueryCountingInterceptor(IHttpContextAccessor accessor) : DbCommandInterceptor
|
||||
{
|
||||
public const string ItemKey = "diagnostics.query_counter";
|
||||
|
||||
private void Count()
|
||||
{
|
||||
if (accessor.HttpContext?.Items[ItemKey] is QueryCounter counter)
|
||||
{
|
||||
Interlocked.Increment(ref counter.Count);
|
||||
}
|
||||
}
|
||||
|
||||
public override InterceptionResult<DbDataReader> ReaderExecuting(DbCommand command, CommandEventData eventData, InterceptionResult<DbDataReader> result)
|
||||
{
|
||||
Count();
|
||||
return result;
|
||||
}
|
||||
|
||||
public override ValueTask<InterceptionResult<DbDataReader>> ReaderExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult<DbDataReader> result, CancellationToken cancellationToken = default)
|
||||
{
|
||||
Count();
|
||||
return ValueTask.FromResult(result);
|
||||
}
|
||||
|
||||
public override InterceptionResult<int> NonQueryExecuting(DbCommand command, CommandEventData eventData, InterceptionResult<int> result)
|
||||
{
|
||||
Count();
|
||||
return result;
|
||||
}
|
||||
|
||||
public override ValueTask<InterceptionResult<int>> NonQueryExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult<int> result, CancellationToken cancellationToken = default)
|
||||
{
|
||||
Count();
|
||||
return ValueTask.FromResult(result);
|
||||
}
|
||||
|
||||
public override InterceptionResult<object> ScalarExecuting(DbCommand command, CommandEventData eventData, InterceptionResult<object> result)
|
||||
{
|
||||
Count();
|
||||
return result;
|
||||
}
|
||||
|
||||
public override ValueTask<InterceptionResult<object>> ScalarExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult<object> result, CancellationToken cancellationToken = default)
|
||||
{
|
||||
Count();
|
||||
return ValueTask.FromResult(result);
|
||||
}
|
||||
}
|
||||
|
||||
public static class DependencyFailures
|
||||
{
|
||||
// Недоступность или перегрузка PostgreSQL (нет соединения, таймаут, исчерпан пул, остановка сервера) — это 503,
|
||||
// а не 500: ошибка ограничена, внутренние детали не раскрываются, запрос не принимается как доверенный.
|
||||
public static bool IsDatabaseUnavailable(Exception? error)
|
||||
{
|
||||
for (var e = error; e is not null; e = e.InnerException)
|
||||
{
|
||||
switch (e)
|
||||
{
|
||||
case PostgresException pg:
|
||||
// 08 — соединение, 53 — нехватка ресурсов, 57 — вмешательство оператора (shutdown и т.п.)
|
||||
if (pg.SqlState.StartsWith("08") || pg.SqlState.StartsWith("53") || pg.SqlState.StartsWith("57"))
|
||||
{
|
||||
return true;
|
||||
}
|
||||
|
||||
break;
|
||||
case NpgsqlException:
|
||||
case TimeoutException:
|
||||
case System.Net.Sockets.SocketException:
|
||||
return true;
|
||||
}
|
||||
}
|
||||
|
||||
return false;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public interface IAttachmentStorage
|
||||
{
|
||||
Task CheckAsync(CancellationToken ct);
|
||||
Task PutAsync(
|
||||
string objectKey,
|
||||
Stream content,
|
||||
string contentType,
|
||||
CancellationToken ct);
|
||||
|
||||
Task CopyToAsync(
|
||||
string objectKey,
|
||||
Stream destination,
|
||||
CancellationToken ct);
|
||||
|
||||
Task DeleteAsync(
|
||||
string objectKey,
|
||||
CancellationToken ct);
|
||||
}
|
||||
@@ -0,0 +1,18 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public interface IPasswordHasher
|
||||
{
|
||||
/// <summary>PHC-строка Argon2id (соль и параметры внутри). Бросает <see cref="PasswordHasherBusyException"/>, если слот не освободился вовремя.</summary>
|
||||
Task<string> HashAsync(string password, CancellationToken ct);
|
||||
|
||||
/// <summary>
|
||||
/// <paramref name="hash"/> == null означает «пользователя нет»: проверка всё равно выполняется (против заглушки),
|
||||
/// чтобы время ответа не раскрывало существование username.
|
||||
/// </summary>
|
||||
Task<bool> VerifyAsync(string? hash, string password, CancellationToken ct);
|
||||
}
|
||||
|
||||
public sealed class PasswordHasherBusyException : Exception
|
||||
{
|
||||
public PasswordHasherBusyException() : base("Слишком много одновременных вычислений хеша пароля") { }
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
using System.Security.Cryptography;
|
||||
using System.Text;
|
||||
using System.Text.RegularExpressions;
|
||||
using Messenger.Api.Data;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
using Microsoft.EntityFrameworkCore.Storage;
|
||||
using Npgsql;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public enum ClaimResult
|
||||
{
|
||||
Claimed, // ключ наш: можно выполнять побочный эффект (вставку сообщения) в этой же транзакции
|
||||
Replay, // такой ключ с тем же телом уже выполнен: вернуть сохранённое сообщение
|
||||
Conflict // такой ключ уже использован с другим телом
|
||||
}
|
||||
|
||||
public static partial class IdempotencyKeys
|
||||
{
|
||||
public const string HeaderName = "Idempotency-Key";
|
||||
|
||||
[GeneratedRegex("^[A-Za-z0-9._:-]{1,128}$")]
|
||||
private static partial Regex KeyFormat();
|
||||
|
||||
// Ровно один заголовок допустимого формата; иначе null (→ 400).
|
||||
public static string? ReadKey(HttpRequest request)
|
||||
{
|
||||
var values = request.Headers[HeaderName];
|
||||
return values.Count == 1 && values[0] is { } key && KeyFormat().IsMatch(key) ? key : null;
|
||||
}
|
||||
|
||||
// Отпечаток смысла запроса, а не его байтов: порядок ключей JSON и пробелы не влияют, потому что хешируются
|
||||
// уже разобранные поля. Для текстового сообщения это сам text (длина кодируется, чтобы поля не склеивались).
|
||||
public static byte[] RequestHash(string text, Guid[]? attachmentIds = null) =>
|
||||
// Пустой список сохраняет отпечаток старых текстовых запросов lab3.
|
||||
SHA256.HashData(Encoding.UTF8.GetBytes($"message\n{text.Length}\n{text}" +
|
||||
(attachmentIds is { Length: > 0 } ? "\nattachments\n" + string.Join(",", attachmentIds.Select(x => x.ToString("N"))) : "")));
|
||||
|
||||
// Атомарно «занимает» ключ в транзакции вызывающего. Ключевое свойство — INSERT ... ON CONFLICT:
|
||||
// * ключа нет → строка вставляется, мы владеем ключом (Claimed);
|
||||
// * ключ вставила другая, ещё не завершённая транзакция (в том числе на другой реплике) → INSERT ЖДЁТ её
|
||||
// COMMIT/ROLLBACK на уникальном индексе. После COMMIT вставки не происходит, и мы читаем её результат (Replay);
|
||||
// после ROLLBACK (например, 5xx у конкурента) вставка проходит, и ключ достаётся нам;
|
||||
// * ключ есть, но истёк → перезахватывается (DO UPDATE ... WHERE expires_at <= now).
|
||||
// Поэтому claim и сообщение коммитятся вместе: запись «ключ → сообщение» не может появиться без сообщения и наоборот.
|
||||
public static async Task<(ClaimResult Result, Guid MessageId)> ClaimAsync(
|
||||
MessengerDbContext db,
|
||||
IDbContextTransaction tx,
|
||||
Guid userId,
|
||||
Guid chatId,
|
||||
string key,
|
||||
byte[] requestHash,
|
||||
Guid newMessageId,
|
||||
TimeSpan ttl,
|
||||
CancellationToken ct)
|
||||
{
|
||||
var connection = (NpgsqlConnection)db.Database.GetDbConnection();
|
||||
var transaction = (NpgsqlTransaction)tx.GetDbTransaction();
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
|
||||
await using (var insert = new NpgsqlCommand("""
|
||||
INSERT INTO idempotency_keys (user_id, chat_id, key, request_hash, message_id, created_at, expires_at)
|
||||
VALUES (@user, @chat, @key, @hash, @message, @now, @expires)
|
||||
ON CONFLICT (user_id, chat_id, key) DO UPDATE
|
||||
SET request_hash = EXCLUDED.request_hash,
|
||||
message_id = EXCLUDED.message_id,
|
||||
created_at = EXCLUDED.created_at,
|
||||
expires_at = EXCLUDED.expires_at
|
||||
WHERE idempotency_keys.expires_at <= EXCLUDED.created_at
|
||||
RETURNING 1
|
||||
""", connection, transaction))
|
||||
{
|
||||
insert.Parameters.AddWithValue("user", userId);
|
||||
insert.Parameters.AddWithValue("chat", chatId);
|
||||
insert.Parameters.AddWithValue("key", key);
|
||||
insert.Parameters.AddWithValue("hash", requestHash);
|
||||
insert.Parameters.AddWithValue("message", newMessageId);
|
||||
insert.Parameters.AddWithValue("now", now);
|
||||
insert.Parameters.AddWithValue("expires", now + ttl);
|
||||
|
||||
if (await insert.ExecuteScalarAsync(ct) is not null)
|
||||
{
|
||||
return (ClaimResult.Claimed, newMessageId);
|
||||
}
|
||||
}
|
||||
|
||||
await using var select = new NpgsqlCommand("""
|
||||
SELECT request_hash, message_id FROM idempotency_keys
|
||||
WHERE user_id = @user AND chat_id = @chat AND key = @key
|
||||
""", connection, transaction);
|
||||
select.Parameters.AddWithValue("user", userId);
|
||||
select.Parameters.AddWithValue("chat", chatId);
|
||||
select.Parameters.AddWithValue("key", key);
|
||||
|
||||
await using var reader = await select.ExecuteReaderAsync(ct);
|
||||
if (!await reader.ReadAsync(ct))
|
||||
{
|
||||
// Строку успел удалить очиститель между INSERT и SELECT: крайне редко; клиент безопасно повторит запрос.
|
||||
throw new TimeoutException("idempotency key disappeared during claim");
|
||||
}
|
||||
|
||||
var storedHash = reader.GetFieldValue<byte[]>(0);
|
||||
var storedMessage = reader.GetGuid(1);
|
||||
return CryptographicOperations.FixedTimeEquals(storedHash, requestHash)
|
||||
? (ClaimResult.Replay, storedMessage)
|
||||
: (ClaimResult.Conflict, storedMessage);
|
||||
}
|
||||
}
|
||||
|
||||
// Периодически удаляет истёкшие ключи. Запускается на каждой реплике; параллельные DELETE безопасны
|
||||
// (физически строку удалит одна из них, остальные удалят 0).
|
||||
public sealed class IdempotencyCleaner(
|
||||
IServiceScopeFactory scopes,
|
||||
IdempotencySettings settings,
|
||||
ILogger<IdempotencyCleaner> logger) : BackgroundService
|
||||
{
|
||||
protected override async Task ExecuteAsync(CancellationToken stoppingToken)
|
||||
{
|
||||
using var timer = new PeriodicTimer(settings.CleanupInterval);
|
||||
try
|
||||
{
|
||||
while (await timer.WaitForNextTickAsync(stoppingToken))
|
||||
{
|
||||
try
|
||||
{
|
||||
using var scope = scopes.CreateScope();
|
||||
var db = scope.ServiceProvider.GetRequiredService<MessengerDbContext>();
|
||||
var now = Timestamps.UtcNowMilliseconds();
|
||||
var removed = await db.IdempotencyKeys.Where(k => k.ExpiresAt <= now).ExecuteDeleteAsync(stoppingToken);
|
||||
if (removed > 0)
|
||||
{
|
||||
logger.LogInformation("Удалено истёкших ключей идемпотентности: {Count}", removed);
|
||||
}
|
||||
}
|
||||
catch (Exception ex) when (ex is not OperationCanceledException)
|
||||
{
|
||||
logger.LogWarning("Очистка ключей идемпотентности не удалась ({Error}); повтор через {Seconds} с",
|
||||
ex.GetType().Name, settings.CleanupInterval.TotalSeconds);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (OperationCanceledException)
|
||||
{
|
||||
// остановка приложения
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,16 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
// Ограничивает память даже при неожиданном размере объекта в S3.
|
||||
public sealed class LimitedDownloadStream(long maximum) : MemoryStream
|
||||
{
|
||||
private void Check(int count)
|
||||
{
|
||||
if (Position + count > maximum) throw new IOException("Object exceeds its metadata size");
|
||||
}
|
||||
public override void Write(byte[] buffer, int offset, int count) { Check(count); base.Write(buffer, offset, count); }
|
||||
public override void Write(ReadOnlySpan<byte> buffer) { Check(buffer.Length); base.Write(buffer); }
|
||||
public override Task WriteAsync(byte[] buffer, int offset, int count, CancellationToken ct)
|
||||
{ Check(count); return base.WriteAsync(buffer, offset, count, ct); }
|
||||
public override ValueTask WriteAsync(ReadOnlyMemory<byte> buffer, CancellationToken ct = default)
|
||||
{ Check(buffer.Length); return base.WriteAsync(buffer, ct); }
|
||||
}
|
||||
@@ -0,0 +1,102 @@
|
||||
using StackExchange.Redis;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public enum CacheStatus
|
||||
{
|
||||
Disabled, // кэш не настроен
|
||||
Hit,
|
||||
Miss,
|
||||
Bypass // кэш настроен, но недоступен: запрос обслужен напрямую из PostgreSQL
|
||||
}
|
||||
|
||||
// Кэш страниц истории. Источник истины — PostgreSQL; кэш лишь ускоряет чтение и никогда не обязателен.
|
||||
// Согласованность: версия истории чата (chats.history_version) входит в ключ, а версия читается из PostgreSQL
|
||||
// при каждом запросе (см. MessageEndpoints). Запись увеличивает версию в своей транзакции, поэтому
|
||||
// после подтверждённой записи ключ меняется, и устаревшая страница недостижима — явная инвалидация не нужна.
|
||||
// Старые ключи удаляются по TTL (CACHE_TTL_SECONDS) и вытесняются политикой maxmemory.
|
||||
public interface IMessageHistoryCache
|
||||
{
|
||||
Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct);
|
||||
Task SetAsync(string key, string json, CancellationToken ct);
|
||||
}
|
||||
|
||||
public sealed class NullMessageHistoryCache : IMessageHistoryCache
|
||||
{
|
||||
public Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) =>
|
||||
Task.FromResult<(string?, CacheStatus)>((null, CacheStatus.Disabled));
|
||||
|
||||
public Task SetAsync(string key, string json, CancellationToken ct) => Task.CompletedTask;
|
||||
}
|
||||
|
||||
public sealed class ValkeyMessageHistoryCache : IMessageHistoryCache, IDisposable
|
||||
{
|
||||
// После ошибки кэш пропускается на это время, чтобы каждый запрос не ждал таймаут недоступного сервера.
|
||||
private static readonly TimeSpan BypassWindow = TimeSpan.FromSeconds(5);
|
||||
|
||||
private readonly ConnectionMultiplexer _connection;
|
||||
private readonly TimeSpan _ttl;
|
||||
private readonly ILogger<ValkeyMessageHistoryCache> _logger;
|
||||
private long _bypassUntilTicks;
|
||||
|
||||
public ValkeyMessageHistoryCache(CacheSettings settings, ILogger<ValkeyMessageHistoryCache> logger)
|
||||
{
|
||||
var options = ConfigurationOptions.Parse(settings.Connection!);
|
||||
// Недоступный кэш не должен ронять ни старт, ни запросы: короткие таймауты, подключение в фоне.
|
||||
options.AbortOnConnectFail = false;
|
||||
options.ConnectTimeout = 500;
|
||||
options.SyncTimeout = 200;
|
||||
options.AsyncTimeout = 200;
|
||||
options.ConnectRetry = 1;
|
||||
_connection = ConnectionMultiplexer.Connect(options);
|
||||
_ttl = settings.Ttl;
|
||||
_logger = logger;
|
||||
}
|
||||
|
||||
public async Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct)
|
||||
{
|
||||
if (IsBypassed())
|
||||
{
|
||||
return (null, CacheStatus.Bypass);
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
var value = await _connection.GetDatabase().StringGetAsync(key);
|
||||
return value.IsNull ? (null, CacheStatus.Miss) : ((string?)value, CacheStatus.Hit);
|
||||
}
|
||||
catch (Exception ex) when (ex is RedisException or TimeoutException)
|
||||
{
|
||||
StartBypass(ex);
|
||||
return (null, CacheStatus.Bypass);
|
||||
}
|
||||
}
|
||||
|
||||
public async Task SetAsync(string key, string json, CancellationToken ct)
|
||||
{
|
||||
if (IsBypassed())
|
||||
{
|
||||
return;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
await _connection.GetDatabase().StringSetAsync(key, json, _ttl);
|
||||
}
|
||||
catch (Exception ex) when (ex is RedisException or TimeoutException)
|
||||
{
|
||||
StartBypass(ex);
|
||||
}
|
||||
}
|
||||
|
||||
private bool IsBypassed() => Environment.TickCount64 < Interlocked.Read(ref _bypassUntilTicks);
|
||||
|
||||
private void StartBypass(Exception ex)
|
||||
{
|
||||
Interlocked.Exchange(ref _bypassUntilTicks, Environment.TickCount64 + (long)BypassWindow.TotalMilliseconds);
|
||||
_logger.LogWarning("Кэш недоступен ({Error}); чтение идёт напрямую из PostgreSQL ближайшие {Seconds} с",
|
||||
ex.GetType().Name, BypassWindow.TotalSeconds);
|
||||
}
|
||||
|
||||
public void Dispose() => _connection.Dispose();
|
||||
}
|
||||
@@ -0,0 +1,56 @@
|
||||
using System.Buffers.Binary;
|
||||
using System.IO.Compression;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
// Дополняет декодер: проверяет границы и CRC всех PNG chunks, включая IDAT.
|
||||
public static class PngIntegrity
|
||||
{
|
||||
private static readonly uint[] Table = Enumerable.Range(0, 256).Select(i =>
|
||||
{
|
||||
uint c = (uint)i;
|
||||
for (var bit = 0; bit < 8; bit++) c = (c & 1) != 0 ? 0xedb88320U ^ (c >> 1) : c >> 1;
|
||||
return c;
|
||||
}).ToArray();
|
||||
|
||||
public static async Task ValidateAsync(Stream stream, long maxDecodedBytes, CancellationToken ct)
|
||||
{
|
||||
stream.Position = 8;
|
||||
var header = new byte[8];
|
||||
var buffer = new byte[65536];
|
||||
var checksum = new byte[4];
|
||||
using var compressed = new MemoryStream(); // IDAT не больше уже ограниченного файла (10 MiB).
|
||||
while (stream.Position < stream.Length)
|
||||
{
|
||||
await stream.ReadExactlyAsync(header, ct);
|
||||
var length = BinaryPrimitives.ReadUInt32BigEndian(header);
|
||||
if (length > stream.Length - stream.Position - 4) throw new InvalidDataException("Invalid PNG chunk");
|
||||
uint crc = uint.MaxValue;
|
||||
for (var i = 4; i < 8; i++) crc = Table[(crc ^ header[i]) & 255] ^ (crc >> 8);
|
||||
long remaining = length;
|
||||
while (remaining > 0)
|
||||
{
|
||||
var count = (int)Math.Min(buffer.Length, remaining);
|
||||
await stream.ReadExactlyAsync(buffer.AsMemory(0, count), ct);
|
||||
if (header.AsSpan(4, 4).SequenceEqual("IDAT"u8))
|
||||
await compressed.WriteAsync(buffer.AsMemory(0, count), ct);
|
||||
for (var i = 0; i < count; i++) crc = Table[(crc ^ buffer[i]) & 255] ^ (crc >> 8);
|
||||
remaining -= count;
|
||||
}
|
||||
await stream.ReadExactlyAsync(checksum, ct);
|
||||
if ((crc ^ uint.MaxValue) != BinaryPrimitives.ReadUInt32BigEndian(checksum))
|
||||
throw new InvalidDataException("Invalid PNG checksum");
|
||||
}
|
||||
// stbi распаковывает PNG до проверки длины пикселей: сначала проверяем
|
||||
// размер zlib-потока самостоятельно, не выделяя память под распаковку.
|
||||
compressed.Position = 0;
|
||||
using var zlib = new ZLibStream(compressed, CompressionMode.Decompress);
|
||||
long decoded = 0;
|
||||
int read;
|
||||
while ((read = await zlib.ReadAsync(buffer, ct)) != 0)
|
||||
{
|
||||
decoded += read;
|
||||
if (decoded > maxDecodedBytes) throw new InvalidDataException("PNG decompression exceeds dimensions");
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,71 @@
|
||||
using Amazon.Runtime;
|
||||
using Amazon.S3;
|
||||
using Amazon.S3.Model;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public sealed class S3AttachmentStorage : IAttachmentStorage, IDisposable
|
||||
{
|
||||
private readonly AmazonS3Client _client;
|
||||
private readonly string _bucket;
|
||||
|
||||
public S3AttachmentStorage(S3Settings settings)
|
||||
{
|
||||
var config = new AmazonS3Config
|
||||
{
|
||||
ServiceURL = settings.Endpoint,
|
||||
ForcePathStyle = true,
|
||||
AuthenticationRegion = settings.Region,
|
||||
Timeout = TimeSpan.FromSeconds(15),
|
||||
MaxErrorRetry = 1
|
||||
};
|
||||
|
||||
var credentials = new BasicAWSCredentials(settings.AccessKey, settings.SecretKey);
|
||||
_client = new AmazonS3Client(credentials, config);
|
||||
|
||||
_bucket = settings.Bucket;
|
||||
}
|
||||
|
||||
public async Task PutAsync(string objectKey, Stream content, string contentType, CancellationToken ct)
|
||||
{
|
||||
var request = new PutObjectRequest
|
||||
{
|
||||
BucketName = _bucket,
|
||||
Key = objectKey,
|
||||
InputStream = content,
|
||||
ContentType = contentType,
|
||||
// Поток принадлежит вызывающему коду, а не SDK.
|
||||
AutoCloseStream = false
|
||||
};
|
||||
|
||||
await _client.PutObjectAsync(request, ct);
|
||||
}
|
||||
|
||||
public async Task CopyToAsync(string objectKey, Stream destination, CancellationToken ct)
|
||||
{
|
||||
var request = new GetObjectRequest
|
||||
{
|
||||
BucketName = _bucket,
|
||||
Key = objectKey
|
||||
};
|
||||
|
||||
using var response = await _client.GetObjectAsync(request, ct);
|
||||
await response.ResponseStream.CopyToAsync(destination, ct);
|
||||
}
|
||||
|
||||
public async Task DeleteAsync(string objectKey, CancellationToken ct)
|
||||
{
|
||||
var request = new DeleteObjectRequest
|
||||
{
|
||||
BucketName = _bucket,
|
||||
Key = objectKey
|
||||
};
|
||||
|
||||
await _client.DeleteObjectAsync(request, ct);
|
||||
}
|
||||
|
||||
public void Dispose() => _client.Dispose();
|
||||
|
||||
public async Task CheckAsync(CancellationToken ct) =>
|
||||
await _client.GetBucketLocationAsync(new GetBucketLocationRequest { BucketName = _bucket }, ct);
|
||||
}
|
||||
@@ -0,0 +1,16 @@
|
||||
using System.Security.Cryptography;
|
||||
using System.Text;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public static class SessionTokens
|
||||
{
|
||||
// 32 случайных байта = 256 бит энтропии (контракт: не менее 256). В base64url это 43 символа.
|
||||
public static string Generate() =>
|
||||
Convert.ToBase64String(RandomNumberGenerator.GetBytes(32))
|
||||
.TrimEnd('=').Replace('+', '-').Replace('/', '_');
|
||||
|
||||
// В БД хранится только SHA-256 токена. Быстрый хеш здесь уместен: токен случайный и длинный, подбирать нечего
|
||||
// (в отличие от пароля, который выбирает человек и который поэтому хешируется медленным Argon2id).
|
||||
public static byte[] Hash(string token) => SHA256.HashData(Encoding.UTF8.GetBytes(token));
|
||||
}
|
||||
@@ -0,0 +1,166 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
// Все настройки читаются из IConfiguration (переменные окружения и, в тестах, UseSetting), а не напрямую из окружения:
|
||||
// так одно приложение можно поднять с разными настройками в одном процессе. Секреты передаются файлами (*_FILE).
|
||||
|
||||
public sealed record DatabaseSettings(string ConnectionString)
|
||||
{
|
||||
public static DatabaseSettings From(IConfiguration configuration)
|
||||
{
|
||||
var file = configuration["DATABASE_URL_FILE"]
|
||||
?? throw new InvalidOperationException("DATABASE_URL_FILE не задан");
|
||||
|
||||
var builder = new Npgsql.NpgsqlConnectionStringBuilder(File.ReadAllText(file).Trim())
|
||||
{
|
||||
Pooling = true,
|
||||
MinPoolSize = 1,
|
||||
// Ограниченный пул: больше MaxPoolSize соединений от одного экземпляра не открывается,
|
||||
// ожидающие запросы ждут не дольше Timeout и затем получают 503.
|
||||
MaxPoolSize = configuration.GetValue("DB_MAX_POOL_SIZE", 20),
|
||||
Timeout = configuration.GetValue("DB_CONNECT_TIMEOUT_SECONDS", 5),
|
||||
CommandTimeout = configuration.GetValue("DB_COMMAND_TIMEOUT_SECONDS", 5)
|
||||
};
|
||||
return new DatabaseSettings(builder.ConnectionString);
|
||||
}
|
||||
}
|
||||
|
||||
public sealed record S3Settings(string Bucket, string Endpoint, string Region, string AccessKey, string SecretKey)
|
||||
{
|
||||
public static S3Settings From(IConfiguration configuration)
|
||||
{
|
||||
string Required(string name) => !string.IsNullOrWhiteSpace(configuration[name])
|
||||
? configuration[name]!.Trim()
|
||||
: throw new InvalidOperationException($"{name} не задан");
|
||||
|
||||
string ReadSecret(string name)
|
||||
{
|
||||
var value = File.ReadAllText(Required(name)).Trim();
|
||||
return value.Length > 0 ? value
|
||||
: throw new InvalidOperationException($"Файл {name} пуст");
|
||||
}
|
||||
|
||||
var endpoint = Required("S3_ENDPOINT");
|
||||
if (!Uri.TryCreate(endpoint, UriKind.Absolute, out var uri) ||
|
||||
uri.Scheme is not ("http" or "https"))
|
||||
{
|
||||
throw new InvalidOperationException("S3_ENDPOINT должен быть HTTP/HTTPS URL");
|
||||
}
|
||||
|
||||
return new S3Settings(Required("S3_BUCKET"), endpoint,
|
||||
configuration["S3_REGION"]?.Trim() is { Length: > 0 } region ? region : "us-east-1",
|
||||
ReadSecret("S3_ACCESS_KEY_ID_FILE"), ReadSecret("S3_SECRET_ACCESS_KEY_FILE"));
|
||||
}
|
||||
|
||||
public override string ToString() => $"S3Settings {{ Bucket = {Bucket}, Endpoint = {Endpoint}, Region = {Region} }}";
|
||||
}
|
||||
|
||||
public sealed record AuthSessionOptions(TimeSpan Ttl)
|
||||
{
|
||||
// SESSION_TTL_SECONDS: по умолчанию 3600; в тесте истечения допустимо 2. Неверное значение — ошибка старта, а не молчаливый дефолт.
|
||||
public static AuthSessionOptions From(IConfiguration configuration)
|
||||
{
|
||||
var raw = configuration["SESSION_TTL_SECONDS"];
|
||||
if (string.IsNullOrWhiteSpace(raw))
|
||||
{
|
||||
return new AuthSessionOptions(TimeSpan.FromSeconds(3600));
|
||||
}
|
||||
|
||||
if (!int.TryParse(raw, out var seconds) || seconds < 1)
|
||||
{
|
||||
throw new InvalidOperationException("SESSION_TTL_SECONDS должен быть положительным целым числом");
|
||||
}
|
||||
|
||||
return new AuthSessionOptions(TimeSpan.FromSeconds(seconds));
|
||||
}
|
||||
}
|
||||
|
||||
// Ограничитель Argon2: сколько хешей считается одновременно и сколько запрос ждёт свободный слот, прежде чем получить 503.
|
||||
// Один хеш занимает ~19 MiB и ядро CPU, поэтому без лимита пачка регистраций исчерпала бы память.
|
||||
public sealed record PasswordHashingSettings(int MaxConcurrency, TimeSpan QueueTimeout)
|
||||
{
|
||||
public static PasswordHashingSettings From(IConfiguration configuration)
|
||||
{
|
||||
var concurrency = configuration.GetValue("PASSWORD_HASH_CONCURRENCY", 4);
|
||||
var timeoutSeconds = configuration.GetValue("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", 2.0);
|
||||
if (concurrency < 1 || timeoutSeconds < 0)
|
||||
{
|
||||
throw new InvalidOperationException("PASSWORD_HASH_CONCURRENCY >= 1 и PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS >= 0");
|
||||
}
|
||||
|
||||
return new PasswordHashingSettings(concurrency, TimeSpan.FromSeconds(timeoutSeconds));
|
||||
}
|
||||
}
|
||||
|
||||
// Кэш необязателен: без CACHE_URL_FILE / CACHE_CONNECTION приложение работает только на PostgreSQL.
|
||||
public sealed record CacheSettings(string? Connection, TimeSpan Ttl)
|
||||
{
|
||||
public bool Enabled => !string.IsNullOrWhiteSpace(Connection);
|
||||
|
||||
public static CacheSettings From(IConfiguration configuration)
|
||||
{
|
||||
var connection = configuration["CACHE_CONNECTION"];
|
||||
var file = configuration["CACHE_URL_FILE"];
|
||||
if (!string.IsNullOrWhiteSpace(file) && File.Exists(file))
|
||||
{
|
||||
connection = File.ReadAllText(file).Trim();
|
||||
}
|
||||
|
||||
return new CacheSettings(connection, TimeSpan.FromSeconds(configuration.GetValue("CACHE_TTL_SECONDS", 300)));
|
||||
}
|
||||
}
|
||||
|
||||
// Диагностические заголовки X-Cache и X-Db-Queries для экспериментов; в обычной работе выключены.
|
||||
public sealed record DiagnosticsSettings(bool Headers)
|
||||
{
|
||||
public static DiagnosticsSettings From(IConfiguration configuration) =>
|
||||
new(configuration.GetValue("DIAGNOSTIC_HEADERS", false));
|
||||
}
|
||||
|
||||
// Идентичность и жизненный цикл экземпляра (lab3).
|
||||
// InstanceId — значение X-Instance-Id. В Docker hostname контейнера = первые 12 символов его ID, поэтому
|
||||
// stop-one.sh по заголовку находит нужный контейнер. DrainDelay — пауза между SIGTERM и закрытием слушателя:
|
||||
// за это время /health/ready уже отвечает 503, и балансировщик успевает вывести экземпляр из ротации.
|
||||
// MigrateOnStart по умолчанию выключен: миграции выполняет отдельный one-shot контейнер (--migrate), а не гонка реплик.
|
||||
public sealed record InstanceSettings(string InstanceId, TimeSpan DrainDelay, bool MigrateOnStart)
|
||||
{
|
||||
public static InstanceSettings From(IConfiguration configuration)
|
||||
{
|
||||
var id = configuration["INSTANCE_ID"];
|
||||
if (string.IsNullOrWhiteSpace(id))
|
||||
{
|
||||
id = Environment.MachineName;
|
||||
}
|
||||
|
||||
var drainSeconds = configuration.GetValue("SHUTDOWN_DRAIN_SECONDS", 3.0);
|
||||
if (drainSeconds < 0)
|
||||
{
|
||||
throw new InvalidOperationException("SHUTDOWN_DRAIN_SECONDS должен быть >= 0");
|
||||
}
|
||||
|
||||
return new InstanceSettings(id, TimeSpan.FromSeconds(drainSeconds), configuration.GetValue("MIGRATE_ON_START", false));
|
||||
}
|
||||
}
|
||||
|
||||
// Время хранения результата идемпотентной отправки сообщения (контракт: не менее 24 часов).
|
||||
public sealed record IdempotencySettings(TimeSpan Ttl, TimeSpan CleanupInterval)
|
||||
{
|
||||
public static IdempotencySettings From(IConfiguration configuration)
|
||||
{
|
||||
var ttl = configuration.GetValue("IDEMPOTENCY_TTL_SECONDS", 86400);
|
||||
var cleanup = configuration.GetValue("IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS", 300);
|
||||
if (ttl < 1 || cleanup < 1)
|
||||
{
|
||||
throw new InvalidOperationException("IDEMPOTENCY_TTL_SECONDS и IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS должны быть положительными");
|
||||
}
|
||||
|
||||
return new IdempotencySettings(TimeSpan.FromSeconds(ttl), TimeSpan.FromSeconds(cleanup));
|
||||
}
|
||||
}
|
||||
|
||||
// Признак «экземпляр останавливается»: после SIGTERM /health/ready отвечает 503, а уже принятые запросы дорабатывают.
|
||||
public sealed class ShutdownState
|
||||
{
|
||||
private volatile bool _draining;
|
||||
public bool Draining => _draining;
|
||||
public void StartDraining() => _draining = true;
|
||||
}
|
||||
@@ -0,0 +1,13 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public static class Timestamps
|
||||
{
|
||||
// Единая точность времени для хранения, сортировки, cursor и JSON-ответа: миллисекунды.
|
||||
// Клиент видит время с точностью до миллисекунды, поэтому порядок (created_at, id) должен
|
||||
// определяться теми же значениями, которые он видит.
|
||||
public static DateTimeOffset UtcNowMilliseconds()
|
||||
{
|
||||
var ticks = DateTimeOffset.UtcNow.UtcTicks;
|
||||
return new DateTimeOffset(ticks - ticks % TimeSpan.TicksPerMillisecond, TimeSpan.Zero);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
using Messenger.Api.Data;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public sealed record UploadCleanupSettings(TimeSpan Grace, TimeSpan Interval)
|
||||
{
|
||||
public static UploadCleanupSettings From(IConfiguration configuration)
|
||||
{
|
||||
var grace = configuration.GetValue("UPLOAD_CLEANUP_GRACE_SECONDS", 300);
|
||||
var interval = configuration.GetValue("UPLOAD_CLEANUP_INTERVAL_SECONDS", 30);
|
||||
// Grace > HTTP timeout 30 с + SDK retry/таймауты + запас на отмену.
|
||||
if (grace < 120 || interval < 1)
|
||||
throw new InvalidOperationException("Cleanup: grace >= 120, interval >= 1");
|
||||
return new(TimeSpan.FromSeconds(grace), TimeSpan.FromSeconds(interval));
|
||||
}
|
||||
}
|
||||
|
||||
public sealed record UploadCleanupResult(int Scanned, int Deleted, int Protected, int Failed);
|
||||
|
||||
public sealed class UploadCleanup(IServiceScopeFactory scopes, UploadCleanupSettings settings, ILogger<UploadCleanup> logger)
|
||||
{
|
||||
public async Task<UploadCleanupResult> RunOnceAsync(CancellationToken ct)
|
||||
{
|
||||
using var scope = scopes.CreateScope();
|
||||
var db = scope.ServiceProvider.GetRequiredService<MessengerDbContext>();
|
||||
var storage = scope.ServiceProvider.GetRequiredService<IAttachmentStorage>();
|
||||
using var deadline = CancellationTokenSource.CreateLinkedTokenSource(ct);
|
||||
deadline.CancelAfter(TimeSpan.FromSeconds(20));
|
||||
ct = deadline.Token;
|
||||
await using var tx = await db.Database.BeginTransactionAsync(ct);
|
||||
// Несколько реплик не очищают одну запись одновременно. Финализация upload
|
||||
// блокирует ту же строку и запрещена после истечения lease.
|
||||
var intents = await db.UploadIntents.FromSqlRaw("""
|
||||
SELECT * FROM upload_intents
|
||||
WHERE expires_at <= clock_timestamp() AND next_attempt_at <= clock_timestamp()
|
||||
ORDER BY next_attempt_at, id LIMIT 16 FOR UPDATE SKIP LOCKED
|
||||
""").ToListAsync(ct);
|
||||
int deleted = 0, protectedCount = 0, failed = 0;
|
||||
foreach (var intent in intents)
|
||||
{
|
||||
if (await db.Attachments.AsNoTracking().AnyAsync(a => a.ObjectKey == intent.ObjectKey, ct))
|
||||
{
|
||||
db.UploadIntents.Remove(intent); // Опубликованный объект никогда не удаляем.
|
||||
protectedCount++;
|
||||
continue;
|
||||
}
|
||||
if (intent.ObjectKey != $"originals/{intent.Id:N}")
|
||||
throw new InvalidOperationException("Invalid cleanup object key");
|
||||
intent.NextAttemptAt = DateTimeOffset.UtcNow + settings.Interval;
|
||||
try
|
||||
{
|
||||
await storage.DeleteAsync(intent.ObjectKey, ct); // DELETE отсутствующего объекта идемпотентен.
|
||||
intent.DeleteCount++;
|
||||
deleted++;
|
||||
// Tombstone сохраняется: даже запоздавший PUT после crash не
|
||||
// превратится в забытый объект. Цена — запись в БД на неудачную загрузку.
|
||||
}
|
||||
catch (Exception ex) when (ex is not OperationCanceledException)
|
||||
{
|
||||
failed++;
|
||||
logger.LogWarning("S3 cleanup retry for {UploadId}: {Error}", intent.Id, ex.GetType().Name);
|
||||
}
|
||||
}
|
||||
await db.SaveChangesAsync(ct);
|
||||
await tx.CommitAsync(ct);
|
||||
return new(intents.Count, deleted, protectedCount, failed);
|
||||
}
|
||||
}
|
||||
|
||||
public sealed class UploadCleanupWorker(UploadCleanup cleanup, UploadCleanupSettings settings,
|
||||
ILogger<UploadCleanupWorker> logger) : BackgroundService
|
||||
{
|
||||
protected override async Task ExecuteAsync(CancellationToken stoppingToken)
|
||||
{
|
||||
using var timer = new PeriodicTimer(settings.Interval);
|
||||
while (!stoppingToken.IsCancellationRequested)
|
||||
{
|
||||
try
|
||||
{
|
||||
var result = await cleanup.RunOnceAsync(stoppingToken);
|
||||
if (result.Scanned > 0) logger.LogInformation("Upload cleanup: {Result}", result);
|
||||
}
|
||||
catch (Exception ex) when (!stoppingToken.IsCancellationRequested)
|
||||
{ logger.LogWarning("Upload cleanup will retry: {Error}", ex.GetType().Name); }
|
||||
try { if (!await timer.WaitForNextTickAsync(stoppingToken)) break; }
|
||||
catch (OperationCanceledException) when (stoppingToken.IsCancellationRequested) { break; }
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public sealed record UploadSettings(long MaxBytes, long MaxPixels)
|
||||
{
|
||||
public static UploadSettings From(IConfiguration configuration)
|
||||
{
|
||||
var bytes = configuration.GetValue("MAX_UPLOAD_BYTES", 10485760L);
|
||||
var pixels = configuration.GetValue("MAX_IMAGE_PIXELS", 40000000L);
|
||||
if (bytes is < 1 or > 10485760 || pixels is < 1 or > 40000000)
|
||||
throw new InvalidOperationException("Лимиты upload должны быть положительными и не превышать 10 MiB / 40 млн пикселей");
|
||||
return new(bytes, pixels);
|
||||
}
|
||||
}
|
||||
|
||||
// Ограничиваем число одновременных декодирований на реплике (до 160 MB пикселей).
|
||||
public sealed class UploadGate : IDisposable
|
||||
{
|
||||
public SemaphoreSlim Slots { get; } = new(1);
|
||||
public void Dispose() => Slots.Dispose();
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
using System.Globalization;
|
||||
using System.Text.Json;
|
||||
using System.Text.Json.Serialization;
|
||||
|
||||
namespace Messenger.Api.Services;
|
||||
|
||||
public sealed class UtcDateTimeOffsetJsonConverter : JsonConverter<DateTimeOffset>
|
||||
{
|
||||
public override DateTimeOffset Read(
|
||||
ref Utf8JsonReader reader,
|
||||
Type typeToConvert,
|
||||
JsonSerializerOptions options)
|
||||
{
|
||||
return DateTimeOffset.Parse(
|
||||
reader.GetString()!,
|
||||
CultureInfo.InvariantCulture,
|
||||
DateTimeStyles.RoundtripKind);
|
||||
}
|
||||
|
||||
public override void Write(
|
||||
Utf8JsonWriter writer,
|
||||
DateTimeOffset value,
|
||||
JsonSerializerOptions options)
|
||||
{
|
||||
writer.WriteStringValue(
|
||||
value.UtcDateTime.ToString("yyyy-MM-dd'T'HH:mm:ss.fff'Z'", CultureInfo.InvariantCulture));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,44 @@
|
||||
# Optional HTTP-client worksheet; no extension is required by the course.
|
||||
# Replace IDs/token locally from real responses; do not commit filled-in credentials.
|
||||
# Canonical API: contracts/openapi.json and contracts/README.md.
|
||||
@baseUrl = http://localhost:8080
|
||||
@aliceId = 888abdee-21fc-49f8-8220-2548949d2161
|
||||
@bobId = d1aece1d-df42-4fb7-9e16-e9c10fdf60b2
|
||||
@chatId = 54ef7f48-faba-4542-b6ea-644a75e93955
|
||||
|
||||
### Liveness
|
||||
GET {{baseUrl}}/health/live
|
||||
|
||||
### Register Alice (repeat with username bob/display_name Боб)
|
||||
POST {{baseUrl}}/api/v1/users
|
||||
Content-Type: application/json
|
||||
{
|
||||
"username": "alice",
|
||||
"display_name": "Алиса"
|
||||
}
|
||||
|
||||
### Register Bob (repeat with username bob/display_name Боб)
|
||||
POST {{baseUrl}}/api/v1/users
|
||||
Content-Type: application/json
|
||||
{
|
||||
"username": "bob",
|
||||
"display_name": "Боб"
|
||||
}
|
||||
|
||||
### Create chat; both UUIDs must be real registered users
|
||||
POST {{baseUrl}}/api/v1/chats
|
||||
X-User-Id: {{aliceId}}
|
||||
Content-Type: application/json
|
||||
|
||||
{"title":"Проект по ВНП","member_ids":["{{aliceId}}","{{bobId}}"]}
|
||||
|
||||
### Send message
|
||||
POST {{baseUrl}}/api/v1/chats/{{chatId}}/messages
|
||||
X-User-Id: {{aliceId}}
|
||||
Content-Type: application/json
|
||||
|
||||
{"text":"Привет, Боб!"}
|
||||
|
||||
### Read first page
|
||||
GET {{baseUrl}}/api/v1/chats/{{chatId}}/messages?limit=50
|
||||
X-User-Id: {{aliceId}}
|
||||
@@ -0,0 +1,8 @@
|
||||
{
|
||||
"Logging": {
|
||||
"LogLevel": {
|
||||
"Default": "Information",
|
||||
"Microsoft.AspNetCore": "Warning"
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"Logging": {
|
||||
"LogLevel": {
|
||||
"Default": "Information",
|
||||
"Microsoft.AspNetCore": "Warning"
|
||||
}
|
||||
},
|
||||
"AllowedHosts": "*"
|
||||
}
|
||||
@@ -0,0 +1,43 @@
|
||||
#!/bin/sh
|
||||
# Создаёт локальные секреты для compose.yaml, если их ещё нет. Существующие файлы не перезаписываются.
|
||||
# Пароль случайный (24 символа [A-Za-z0-9]); значения не печатаются. Каталог secrets/ исключён из Git.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
mkdir -p secrets
|
||||
umask 077
|
||||
# Каталог закрыт для других пользователей хоста. Отдельные файлы для API ниже
|
||||
# доступны непривилегированному пользователю контейнера через read-only bind mount.
|
||||
chmod 700 secrets
|
||||
|
||||
if [ ! -f secrets/db_password ]; then
|
||||
# tr читает конечный поток /dev/urandom до нужной длины; head закрывает канал.
|
||||
LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/db_password
|
||||
echo "created secrets/db_password"
|
||||
fi
|
||||
|
||||
if [ ! -f secrets/database_url.compose ]; then
|
||||
printf 'Host=db;Port=5432;Database=messenger;Username=messenger;Password=%s' "$(cat secrets/db_password)" \
|
||||
> secrets/database_url.compose
|
||||
echo "created secrets/database_url.compose"
|
||||
fi
|
||||
|
||||
if [ ! -f secrets/cache_password ]; then
|
||||
LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/cache_password
|
||||
echo "created secrets/cache_password"
|
||||
fi
|
||||
|
||||
if [ ! -f secrets/cache_url ]; then
|
||||
printf 'cache:6379,password=%s' "$(cat secrets/cache_password)" > secrets/cache_url
|
||||
echo "created secrets/cache_url"
|
||||
fi
|
||||
|
||||
# Отдельные root credentials для bootstrap и ограниченные credentials для API.
|
||||
for secret_name in s3_root_user s3_root_password s3_access_key_id s3_secret_access_key; do
|
||||
if [ ! -f "secrets/$secret_name" ]; then
|
||||
LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 32 > "secrets/$secret_name"
|
||||
echo "created secrets/$secret_name"
|
||||
fi
|
||||
done
|
||||
|
||||
chmod 644 secrets/database_url.compose secrets/cache_url secrets/s3_access_key_id secrets/s3_secret_access_key
|
||||
@@ -0,0 +1,22 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Wait for the public LB to route requests to a ready API replica."""
|
||||
import argparse
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
p = argparse.ArgumentParser()
|
||||
p.add_argument('--base-url', default='http://localhost:18084')
|
||||
args = p.parse_args()
|
||||
deadline = time.monotonic()+90
|
||||
while True:
|
||||
try:
|
||||
with urllib.request.urlopen(args.base_url.rstrip('/')+'/health/ready', timeout=3) as response:
|
||||
if response.status == 200:
|
||||
print('PASS: API is ready through the load balancer.')
|
||||
break
|
||||
except (urllib.error.URLError, OSError):
|
||||
pass
|
||||
if time.monotonic() >= deadline:
|
||||
raise SystemExit('FAIL: API did not become ready in 90 seconds')
|
||||
time.sleep(.5)
|
||||
@@ -0,0 +1,56 @@
|
||||
# Проверки вложений lab4
|
||||
|
||||
Запущенный стенд нужен заранее. Публичные `tests/` и контракт не изменяются.
|
||||
Сценарии используют только синтетические данные и не выводят токены.
|
||||
|
||||
```sh
|
||||
python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084
|
||||
python -X utf8 tests/smoke.py --base-url http://localhost:18084
|
||||
python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084
|
||||
```
|
||||
|
||||
Проверяются PNG и JPEG, оригинальные bytes, metadata DTO, ACL, авторизация,
|
||||
повреждения/CRC, подмена MIME, имена файлов, превышение bytes и пикселей,
|
||||
PNG с распаковкой больше заявленных размеров, ссылки на вложения в сообщениях,
|
||||
пустой текст с вложением, повторы и конфликт Idempotency-Key.
|
||||
|
||||
`fixtures/sample.jpg` — синтетический JPEG 8×8; PNG берётся из публичного fixture.
|
||||
|
||||
Явная проверка отказов (останавливает и восстанавливает только контейнеры lab4):
|
||||
|
||||
```sh
|
||||
python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults
|
||||
```
|
||||
|
||||
Требует Docker CLI и доступа к daemon. Сначала выполняются обычные проверки,
|
||||
затем останавливается API-контейнер, принявший upload, и файл скачивается через
|
||||
другой. После этого проверяются недоступность S3 и restart всех сервисов со
|
||||
старыми сессиями и теми же volumes. Тест оставляет стенд работающим.
|
||||
Тестовые пользователи/чаты/сообщения остаются в учебной БД: обязательный API
|
||||
не содержит delete. Сброс volumes не является частью сценария.
|
||||
|
||||
## Уровень 4
|
||||
|
||||
```sh
|
||||
dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --filter FullyQualifiedName~UploadCleanupTests
|
||||
python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084
|
||||
python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084
|
||||
```
|
||||
|
||||
`UploadCleanupTests` внедряет отказ после реального S3 PUT, проверяет устойчивый
|
||||
журнал при пересоздании API, grace period, защиту ready, повтор после отказа S3,
|
||||
запоздавший PUT, блокировки параллельных очистителей и сохранение старого tombstone.
|
||||
Используются отдельные Testcontainers PostgreSQL/MinIO; timestamps изменяются
|
||||
только в тестовой БД, production grace не уменьшается.
|
||||
|
||||
`s3_bootstrap.py` дважды выполняет bootstrap при существующем файле и проверяет,
|
||||
что файл/доступ API сохранились. Затем проверяет закрытые порты/консоль, отсутствие
|
||||
root credentials у API и прямые S3-операции ограниченными ключами.
|
||||
|
||||
`upload_memory.py` сначала обрывает реальный TCP upload, затем для двух размеров
|
||||
PNG запускает по 10 barrier-synchronized запросов без retries. Скрипт **перезапускает
|
||||
API перед каждым размером**, измеряет kernel cgroup high-water памяти (v1/v2),
|
||||
VmHWM/VmRSS процесса и CPU usage delta. Результаты: `evidence/upload-memory.json`.
|
||||
Клиент генерирует изображения в собственной памяти, она не входит в память API.
|
||||
После нагрузки проверяется успешная новая загрузка. 503 из ограниченной очереди
|
||||
фиксируется отдельно от успешных запросов; для p50/p95/p99 используются только успешные.
|
||||
@@ -0,0 +1,158 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Black-box attachment tests. --faults explicitly stops/restarts only this Compose project."""
|
||||
import argparse
|
||||
import binascii
|
||||
import json
|
||||
from pathlib import Path
|
||||
import struct
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from urllib.parse import quote
|
||||
import uuid
|
||||
import zlib
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / 'tests'))
|
||||
from client import Client, check, run
|
||||
|
||||
|
||||
def docker(*args):
|
||||
return subprocess.check_output(['docker', 'compose', '--env-file', '.env', *args],
|
||||
cwd=ROOT, stderr=subprocess.STDOUT, text=True)
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument('--base-url', default='http://localhost:8080')
|
||||
parser.add_argument('--faults', action='store_true')
|
||||
args = parser.parse_args()
|
||||
c = Client(args.base_url, timeout=20)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
path = '/api/v1/chats/' + chat['id']
|
||||
png = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
|
||||
def upload(raw=png, mime='image/png', name='sample.png', actor=alice, expected=201):
|
||||
return c.call('POST', path+'/attachments?filename='+quote(name, safe=''), expected,
|
||||
actor=actor, raw=raw, headers={'Content-Type': mime},
|
||||
schema='Attachment' if expected == 201 else None)
|
||||
|
||||
uploaded = upload()
|
||||
att = uploaded['json']
|
||||
content_path = '/api/v1/attachments/'+att['id']+'/content'
|
||||
check(att['status'] == 'ready' and att['variants'] == [] and att['error_code'] is None, 'invalid ready metadata')
|
||||
check(c.call('GET', content_path, actor=bob)['bytes'] == png, 'original changed')
|
||||
for suffix in ('', '/content'):
|
||||
c.call('GET', '/api/v1/attachments/'+att['id']+suffix, 404, actor=eve)
|
||||
c.call('GET', '/api/v1/attachments/'+str(uuid.uuid4())+suffix, 404, actor=alice)
|
||||
upload(actor=eve, expected=404)
|
||||
c.call('POST', path+'/attachments?filename=sample.png', 401, raw=png,
|
||||
headers={'Content-Type': 'image/png'})
|
||||
c.call('GET', content_path+'?variant=thumbnail', 404, actor=bob)
|
||||
check(c.call('GET', content_path+'?variant=original', actor=bob)['bytes'] == png, 'original variant changed')
|
||||
print('PASS: ready metadata, original bytes, authentication and chat ACL.')
|
||||
|
||||
jpeg = (ROOT / 'student-tests/fixtures/sample.jpg').read_bytes()
|
||||
jpg_att = upload(jpeg, 'image/jpeg', 'sample.jpg')['json']
|
||||
check(c.call('GET', '/api/v1/attachments/'+jpg_att['id']+'/content', actor=bob)['bytes'] == jpeg, 'JPEG changed')
|
||||
upload(png, 'image/jpeg', expected=415)
|
||||
upload(jpeg, 'image/png', expected=415)
|
||||
upload(b'not an image', expected=415)
|
||||
upload(b'', expected=415)
|
||||
upload(png[:40], expected=415)
|
||||
damaged = bytearray(png)
|
||||
damaged[len(damaged)//2] ^= 1
|
||||
upload(bytes(damaged), expected=415)
|
||||
upload(jpeg[:-2], 'image/jpeg', expected=415)
|
||||
upload(mime='application/octet-stream', expected=415)
|
||||
for name in ('../x.png', 'x\\y.png', 'x\x00.png', 'x\n.png', '', 'a'*256):
|
||||
upload(name=name, expected=400)
|
||||
upload(b'x'*(10485760+1), expected=413)
|
||||
|
||||
def chunk(kind, data):
|
||||
return struct.pack('>I', len(data))+kind+data+struct.pack('>I', binascii.crc32(kind+data)&0xffffffff)
|
||||
huge = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR', struct.pack('>IIBBBBB',10000,10000,8,2,0,0,0))
|
||||
huge += chunk(b'IDAT',zlib.compress(b''))+chunk(b'IEND',b'')
|
||||
upload(huge, expected=413)
|
||||
bomb = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('>IIBBBBB',8,8,8,2,0,0,0))
|
||||
bomb += chunk(b'IDAT',zlib.compress(b'\0'*(1024*1024)))+chunk(b'IEND',b'')
|
||||
upload(bomb, expected=415)
|
||||
print('PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits.')
|
||||
|
||||
key = uuid.uuid4().hex
|
||||
msg = c.message(bob, chat, '', key=key, attachments=[att['id']])['json']
|
||||
check(c.message(bob, chat, '', key=key, attachments=[att['id']])['json'] == msg, 'replay changed')
|
||||
c.call('POST',path+'/messages',409,actor=bob,body={'text':'','attachment_ids':[jpg_att['id']]},headers={'Idempotency-Key':key})
|
||||
for ids, expected in (([att['id']]*2,400), ([att['id']]*11,400), ([str(uuid.uuid4())],404)):
|
||||
c.call('POST',path+'/messages',expected,actor=alice,body={'text':'','attachment_ids':ids},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
another = c.call('POST','/api/v1/chats',201,actor=alice,
|
||||
body={'title':'Another','member_ids':[alice['id']]},schema='Chat')['json']
|
||||
c.call('POST','/api/v1/chats/'+another['id']+'/messages',404,actor=alice,
|
||||
body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
items = c.call('GET',path+'/messages',actor=alice,schema='MessagePage')['json']['items']
|
||||
check(msg in items, 'attachment message missing from history')
|
||||
print('PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection.')
|
||||
|
||||
if not args.faults:
|
||||
return
|
||||
|
||||
def wait_ready():
|
||||
deadline = time.monotonic()+60
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
c.call('GET','/health/ready',schema='Health')
|
||||
return
|
||||
except AssertionError:
|
||||
time.sleep(.5)
|
||||
raise AssertionError('API did not recover')
|
||||
|
||||
instances = {c.call('GET',content_path,actor=bob)['headers']['X-Instance-Id'] for _ in range(12)}
|
||||
check(len(instances)>=2, 'two replicas not observed')
|
||||
target = uploaded['headers']['X-Instance-Id']
|
||||
containers = docker('ps','-q','api').split()
|
||||
matching = [cid for cid in containers if cid.startswith(target)]
|
||||
check(len(matching)==1, 'uploading container not found')
|
||||
target_id = matching[0]
|
||||
try:
|
||||
subprocess.check_output(['docker','stop','--time','5',target_id],stderr=subprocess.STDOUT)
|
||||
downloaded = c.call('GET',content_path,actor=bob)
|
||||
check(downloaded['bytes']==png and downloaded['headers']['X-Instance-Id']!=target, 'failover lost attachment')
|
||||
print('PASS: stopping the uploading API replica preserves the file on another replica.')
|
||||
finally:
|
||||
subprocess.check_output(['docker','start',target_id],stderr=subprocess.STDOUT)
|
||||
wait_ready()
|
||||
try:
|
||||
docker('stop','s3')
|
||||
time.sleep(3)
|
||||
try:
|
||||
urllib.request.urlopen(args.base_url+'/health/ready',timeout=10)
|
||||
raise AssertionError('S3 outage left readiness healthy')
|
||||
except urllib.error.HTTPError as ex:
|
||||
check(ex.code==503,'S3 outage must give 503')
|
||||
for method, url, data in [('GET', content_path, None), ('POST',path+'/attachments?filename=outage.png',png)]:
|
||||
request = urllib.request.Request(args.base_url+url,data=data,method=method,
|
||||
headers={'Authorization':'Bearer '+alice['token'],'Content-Type':'image/png'})
|
||||
try:
|
||||
urllib.request.urlopen(request,timeout=10)
|
||||
raise AssertionError('S3 outage unexpectedly served attachment')
|
||||
except urllib.error.HTTPError as ex:
|
||||
check(ex.code==503,'attachment route during S3 outage must give 503')
|
||||
print('PASS: S3 outage makes readiness unavailable (503).')
|
||||
finally:
|
||||
docker('start','s3')
|
||||
wait_ready()
|
||||
check(c.call('GET',content_path,actor=bob)['bytes']==png, 'S3 restart lost file')
|
||||
docker('restart','db','cache','s3','api','lb')
|
||||
wait_ready()
|
||||
c.call('GET','/api/v1/users/me',actor=alice,schema='User')
|
||||
check(c.call('GET',content_path,actor=bob)['bytes']==png,'stack restart lost original')
|
||||
c.call('GET','/api/v1/attachments/'+att['id'],actor=bob,schema='Attachment')
|
||||
items = c.call('GET',path+'/messages',actor=bob,schema='MessagePage')['json']['items']
|
||||
check(msg in items,'stack restart lost attachment message')
|
||||
print('PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes.')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 631 B |
@@ -0,0 +1,43 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Repeat bootstrap with an existing API object, then check least-privilege S3 access."""
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client, check, run
|
||||
|
||||
|
||||
def compose(*args):
|
||||
return subprocess.check_output(['docker','compose','--env-file','.env',*args],cwd=ROOT,
|
||||
stderr=subprocess.STDOUT,text=True)
|
||||
|
||||
|
||||
def main():
|
||||
p=argparse.ArgumentParser()
|
||||
p.add_argument('--base-url',default='http://localhost:18084')
|
||||
args=p.parse_args()
|
||||
c=Client(args.base_url,timeout=30)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
attachment,original=c.attachment(alice,chat)
|
||||
for _ in range(2):
|
||||
compose('run','--rm','--no-deps','s3-init')
|
||||
downloaded=c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob)
|
||||
check(downloaded['bytes']==original,'bootstrap changed an existing object or API credentials')
|
||||
print('PASS: two bootstrap runs preserve an existing API attachment and credentials.')
|
||||
config=json.loads(compose('config','--format','json'))
|
||||
check(not config['services']['s3'].get('ports'),'S3 ports are published')
|
||||
check(config['services']['s3']['environment']['MINIO_BROWSER']=='off','admin console is enabled')
|
||||
keys={x['source'] for x in config['services']['api']['secrets']}
|
||||
check(not keys.intersection({'s3_root_user','s3_root_password'}),'API has root credentials')
|
||||
print('PASS: S3 has no published ports or browser console; API has no root credentials.')
|
||||
output=compose('run','--rm','--no-deps','s3-check')
|
||||
for line in output.splitlines():
|
||||
if line.startswith('PASS:'): print(line)
|
||||
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,174 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Ten simultaneous real PNG uploads; kernel cgroup peak/RSS after a fresh API restart."""
|
||||
import argparse
|
||||
import binascii
|
||||
import concurrent.futures
|
||||
import hashlib
|
||||
import http.client
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import random
|
||||
import struct
|
||||
import subprocess
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
from urllib.parse import urlsplit
|
||||
import zlib
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client, check, run
|
||||
|
||||
|
||||
def compose(*args):
|
||||
return subprocess.check_output(['docker','compose','--env-file','.env',*args],cwd=ROOT,
|
||||
stderr=subprocess.STDOUT,text=True)
|
||||
|
||||
|
||||
def wait(c):
|
||||
deadline=time.monotonic()+90
|
||||
while time.monotonic()<deadline:
|
||||
try:
|
||||
c.call('GET','/health/ready',schema='Health')
|
||||
return
|
||||
except AssertionError:
|
||||
time.sleep(.5)
|
||||
raise AssertionError('API did not recover')
|
||||
|
||||
|
||||
def png(width):
|
||||
def chunk(kind,data):
|
||||
return struct.pack('>I',len(data))+kind+data+struct.pack('>I',binascii.crc32(kind+data)&0xffffffff)
|
||||
rng=random.Random(20261113+width)
|
||||
pixels=b''.join(b'\0'+rng.randbytes(width*3) for _ in range(width))
|
||||
return b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('>IIBBBBB',width,width,8,2,0,0,0))+chunk(b'IDAT',zlib.compress(pixels,1))+chunk(b'IEND',b'')
|
||||
|
||||
|
||||
def memory(containers):
|
||||
result={}
|
||||
for cid in containers:
|
||||
# Cgroup includes managed/native allocations and charged file cache;
|
||||
# VmHWM is the kernel high-water RSS for the dotnet process.
|
||||
raw=subprocess.check_output(['docker','exec',cid,'sh','-c',
|
||||
'if [ -f /sys/fs/cgroup/memory.current ]; then cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.peak /sys/fs/cgroup/memory.max; '
|
||||
'else cat /sys/fs/cgroup/memory/memory.usage_in_bytes /sys/fs/cgroup/memory/memory.max_usage_in_bytes /sys/fs/cgroup/memory/memory.limit_in_bytes; fi; '
|
||||
'sed -n "/^VmRSS:/p; /^VmHWM:/p" /proc/1/status'],text=True)
|
||||
lines=raw.splitlines()
|
||||
fields={line.split(':')[0]:int(line.split()[1])*1024 for line in lines[3:]}
|
||||
result[cid[:12]]={'cgroup_current_bytes':int(lines[0]),'cgroup_peak_bytes':int(lines[1]),
|
||||
'limit_bytes':None if lines[2]=='max' else int(lines[2]),
|
||||
'rss_bytes':fields['VmRSS'],'rss_peak_bytes':fields['VmHWM']}
|
||||
return result
|
||||
|
||||
|
||||
def cpu_usage(containers):
|
||||
result={}
|
||||
for cid in containers:
|
||||
raw=subprocess.check_output(['docker','exec',cid,'sh','-c',
|
||||
'if [ -f /sys/fs/cgroup/cpuacct/cpuacct.usage ]; then cat /sys/fs/cgroup/cpuacct/cpuacct.usage; '
|
||||
'else while read key value; do if [ "$key" = usage_usec ]; then echo $((value * 1000)); fi; done < /sys/fs/cgroup/cpu.stat; fi'],text=True)
|
||||
result[cid[:12]]=int(raw.strip())
|
||||
return result
|
||||
|
||||
|
||||
def main():
|
||||
p=argparse.ArgumentParser()
|
||||
p.add_argument('--base-url',default='http://localhost:18084')
|
||||
p.add_argument('--output',default='evidence/upload-memory.json')
|
||||
p.add_argument('--concurrency',type=int,default=10)
|
||||
args=p.parse_args()
|
||||
check(args.concurrency>=10,'at least ten concurrent requests are required')
|
||||
c=Client(args.base_url,timeout=40)
|
||||
wait(c)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
path='/api/v1/chats/'+chat['id']+'/attachments?filename=memory.png'
|
||||
|
||||
# Drop a real TCP upload mid-body. Nothing may be published or sent to S3.
|
||||
def counts():
|
||||
return compose('exec','-T','db','psql','-U','messenger','-d','messenger','-At','-c',
|
||||
'SELECT (SELECT count(*) FROM attachments), (SELECT count(*) FROM upload_intents)').strip()
|
||||
before=counts()
|
||||
url=urlsplit(args.base_url)
|
||||
connection=http.client.HTTPConnection(url.hostname,url.port or 80,timeout=5)
|
||||
connection.putrequest('POST',path)
|
||||
connection.putheader('Authorization','Bearer '+alice['token'])
|
||||
connection.putheader('Content-Type','image/png')
|
||||
connection.putheader('Content-Length','1048576')
|
||||
connection.endheaders()
|
||||
connection.send(b'\x89PNG\r\n\x1a\n'+b'\0'*512)
|
||||
connection.close()
|
||||
time.sleep(2)
|
||||
check(counts()==before,'interrupted HTTP upload published an attachment or intent')
|
||||
containers=compose('ps','-q','api').split()
|
||||
check(len(containers)>=2,'two API replicas required')
|
||||
for cid in containers:
|
||||
spool=subprocess.check_output(['docker','exec',cid,'sh','-c',
|
||||
'find /tmp -maxdepth 1 -type f -name "attachment-*" | wc -l'],text=True)
|
||||
check(int(spool.strip())==0,'interrupted upload left a temporary file')
|
||||
print('PASS: interrupted TCP upload publishes nothing and leaves no temporary files.',flush=True)
|
||||
|
||||
config=json.loads(compose('config','--format','json'))
|
||||
limits=config['services']['api'].get('deploy',{}).get('resources',{}).get('limits',{})
|
||||
results=[]
|
||||
for width in (1024,1600):
|
||||
content=png(width)
|
||||
check(len(content)<=10485760,'generated PNG exceeds contract')
|
||||
compose('restart','api') # Reset kernel high-water counters for this trial.
|
||||
wait(c)
|
||||
containers=compose('ps','-q','api').split()
|
||||
baseline=memory(containers)
|
||||
cpu_before=cpu_usage(containers)
|
||||
barrier=threading.Barrier(args.concurrency)
|
||||
def upload(index):
|
||||
client=Client(args.base_url,timeout=40)
|
||||
barrier.wait(timeout=30)
|
||||
response=client.call('POST',path,[201,503],actor=alice,raw=content,
|
||||
headers={'Content-Type':'image/png'})
|
||||
body=json.loads(response['bytes'])
|
||||
if response['status']==201:
|
||||
check(body['sha256']==hashlib.sha256(content).hexdigest(),'wrong upload SHA-256')
|
||||
else:
|
||||
check(body['error']['code']=='unavailable','overload must be 503 unavailable')
|
||||
return {'status':response['status'],'latency_seconds':round(response['elapsed'],4),
|
||||
'instance':response['headers']['X-Instance-Id']}
|
||||
started=time.monotonic()
|
||||
with concurrent.futures.ThreadPoolExecutor(max_workers=args.concurrency) as pool:
|
||||
responses=list(pool.map(upload,range(args.concurrency)))
|
||||
elapsed=time.monotonic()-started
|
||||
cpu_after=cpu_usage(containers)
|
||||
peak=memory(containers)
|
||||
successful=sum(x['status']==201 for x in responses)
|
||||
check(successful>0,'no upload succeeded')
|
||||
sorted_latencies=sorted(x['latency_seconds'] for x in responses if x['status']==201)
|
||||
def percentile(p): return sorted_latencies[max(0,int(len(sorted_latencies)*p+.999)-1)]
|
||||
result={'width':width,'height':width,'size_bytes':len(content),'concurrency':args.concurrency,
|
||||
'successful':successful,'overload_503':len(responses)-successful,'elapsed_seconds':round(elapsed,4),
|
||||
'successful_rps':round(successful/elapsed,3),'p50_success_seconds':percentile(.5),
|
||||
'p95_success_seconds':percentile(.95),'p99_success_seconds':percentile(.99),
|
||||
'cpu_core_seconds':{cid:round((cpu_after[cid]-cpu_before[cid])/1e9,4) for cid in cpu_before},
|
||||
'average_cpu_percent_of_one_core':{cid:round((cpu_after[cid]-cpu_before[cid])/1e9/elapsed*100,2) for cid in cpu_before},
|
||||
'baseline':baseline,'after':peak,'responses':responses}
|
||||
results.append(result)
|
||||
check(all(v['limit_bytes'] is None or v['cgroup_peak_bytes']<v['limit_bytes'] for v in peak.values()),'API reached its memory limit')
|
||||
print('PASS: '+json.dumps({k:result[k] for k in ('size_bytes','concurrency','successful','overload_503')})+
|
||||
' cgroup_peak_MiB='+str({k:round(v['cgroup_peak_bytes']/1048576,2) for k,v in peak.items()})+
|
||||
' RSS_peak_MiB='+str({k:round(v['rss_peak_bytes']/1048576,2) for k,v in peak.items()}),flush=True)
|
||||
wait(c)
|
||||
sample=(ROOT/'tests/fixtures/sample.png').read_bytes()
|
||||
c.call('POST',path,201,actor=alice,raw=sample,headers={'Content-Type':'image/png'},schema='Attachment')
|
||||
host=subprocess.check_output(['docker','info','--format','{{.NCPU}} {{.MemTotal}}'],text=True).split()
|
||||
report={'date':'2026-11-13','method':'10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup high-water (v1/v2) and /proc/1/status VmHWM; cgroup CPU usage delta',
|
||||
'docker_host':{'logical_cpus':int(host[0]),'memory_bytes':int(host[1])},
|
||||
'api_limits':limits,'docker':subprocess.check_output(['docker','version','--format','{{.Server.Version}}'],text=True).strip(),
|
||||
'interrupted_upload':'PASS','trials':results,'post_load_recovery':'PASS',
|
||||
'limitations':'Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput.'}
|
||||
output=ROOT/args.output
|
||||
output.parent.mkdir(parents=True,exist_ok=True)
|
||||
output.write_text(json.dumps(report,indent=2)+'\n',encoding='utf-8')
|
||||
print('PASS: memory experiment saved to '+args.output,flush=True)
|
||||
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
@@ -0,0 +1,62 @@
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Net;
|
||||
using System.Net.Http.Json;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
|
||||
namespace LoadTest
|
||||
{
|
||||
internal sealed record TestUser(Guid Id, string Username);
|
||||
internal class Helpers
|
||||
{
|
||||
public static StringContent Json(string raw) =>
|
||||
new(raw, Encoding.UTF8, "application/json");
|
||||
|
||||
public static HttpRequestMessage Request(HttpMethod method, string url, Guid? userId = null, HttpContent? content = null)
|
||||
{
|
||||
var request = new HttpRequestMessage(method, url) { Content = content };
|
||||
if (userId is not null)
|
||||
{
|
||||
request.Headers.Add("X-User-Id", userId.Value.ToString());
|
||||
}
|
||||
|
||||
return request;
|
||||
}
|
||||
|
||||
public static async Task<JsonElement> ReadJsonAsync(HttpResponseMessage response)
|
||||
{
|
||||
var body = await response.Content.ReadAsStringAsync();
|
||||
return JsonDocument.Parse(body).RootElement.Clone();
|
||||
}
|
||||
|
||||
public static async Task<TestUser> CreateUserAsync(HttpClient client, string? username = null)
|
||||
{
|
||||
username ??= "u" + Guid.NewGuid().ToString("N")[..12];
|
||||
var response = await client.PostAsJsonAsync("/api/v1/users",
|
||||
new { username, display_name = "Тест" });
|
||||
var json = await ReadJsonAsync(response);
|
||||
response.EnsureSuccessStatusCode();
|
||||
return new TestUser(json.GetProperty("id").GetGuid(), username);
|
||||
}
|
||||
|
||||
public static async Task<Guid> CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others)
|
||||
{
|
||||
var members = others.Append(owner).Select(u => u.Id).ToArray();
|
||||
using var request = Request(HttpMethod.Post, "/api/v1/chats", owner.Id,
|
||||
JsonContent.Create(new { title = "Чат", member_ids = members }));
|
||||
var response = await client.SendAsync(request);
|
||||
response.EnsureSuccessStatusCode();
|
||||
return (await ReadJsonAsync(response)).GetProperty("id").GetGuid();
|
||||
}
|
||||
|
||||
public static async Task<HttpResponseMessage> SendMessageAsync(HttpClient client, TestUser sender, Guid chatId, string text)
|
||||
{
|
||||
using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender.Id,
|
||||
JsonContent.Create(new { text }));
|
||||
var response = await client.SendAsync(request);
|
||||
response.EnsureSuccessStatusCode();
|
||||
return response;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,10 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
|
||||
<PropertyGroup>
|
||||
<OutputType>Exe</OutputType>
|
||||
<TargetFramework>net10.0</TargetFramework>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
<Nullable>enable</Nullable>
|
||||
</PropertyGroup>
|
||||
|
||||
</Project>
|
||||
@@ -0,0 +1,143 @@
|
||||
using System.Diagnostics;
|
||||
|
||||
namespace LoadTest
|
||||
{
|
||||
/// <summary>Пользователь и чат с заранее залитой историей; Cursor — позиция нужной страницы (null = первая).</summary>
|
||||
internal sealed record Scenario(Guid UserId, Guid ChatId, string? Cursor);
|
||||
|
||||
/// <summary>Сырые данные измерения: задержки успешных запросов, число ошибок и фактическая длительность.</summary>
|
||||
internal sealed record MeasureResult(List<double> LatenciesMs, int Errors, double ElapsedSeconds);
|
||||
|
||||
internal sealed record Summary(
|
||||
int Successful,
|
||||
int Errors,
|
||||
double ElapsedSeconds,
|
||||
double Rps,
|
||||
double P50Ms,
|
||||
double P95Ms,
|
||||
double P99Ms,
|
||||
double MaxMs);
|
||||
|
||||
internal static class Phases
|
||||
{
|
||||
/// <summary>Создаёт пользователя и чат и заливает historySize сообщений не более чем в fillConcurrency потоков.</summary>
|
||||
public static async Task<Scenario> PrepareAsync(
|
||||
HttpClient client, int historySize, int fillConcurrency, int limit, bool lastPage)
|
||||
{
|
||||
var user = await Helpers.CreateUserAsync(client);
|
||||
var chatId = await Helpers.CreateChatAsync(client, user);
|
||||
|
||||
var options = new ParallelOptions { MaxDegreeOfParallelism = fillConcurrency };
|
||||
await Parallel.ForEachAsync(Enumerable.Range(0, historySize), options, async (i, _) =>
|
||||
{
|
||||
using var response = await Helpers.SendMessageAsync(client, user, chatId, $"history message {i}");
|
||||
response.EnsureSuccessStatusCode();
|
||||
});
|
||||
|
||||
string? cursor = null;
|
||||
if (lastPage)
|
||||
{
|
||||
cursor = await FindLastPageCursorAsync(client, user, chatId, limit);
|
||||
}
|
||||
|
||||
return new Scenario(user.Id, chatId, cursor);
|
||||
}
|
||||
|
||||
public static async Task WarmUpAsync(
|
||||
HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit)
|
||||
{
|
||||
// Результат прогрева отбрасывается: он нужен только для JIT, пулов потоков и соединений.
|
||||
await MeasureAsync(client, scenario, clients, duration, limit);
|
||||
}
|
||||
|
||||
/// <summary>Замкнутый цикл: каждый из clients клиентов шлёт GET страницы истории до истечения duration.</summary>
|
||||
public static async Task<MeasureResult> MeasureAsync(
|
||||
HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit)
|
||||
{
|
||||
var url = PageUrl(scenario.ChatId, limit, scenario.Cursor);
|
||||
var started = Stopwatch.GetTimestamp();
|
||||
var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency);
|
||||
|
||||
// У каждого клиента свой список задержек: общей изменяемой структуры нет, блокировки не нужны.
|
||||
var workers = Enumerable.Range(0, clients).Select(_ => Task.Run(async () =>
|
||||
{
|
||||
var latencies = new List<double>();
|
||||
var errors = 0;
|
||||
while (Stopwatch.GetTimestamp() < deadline)
|
||||
{
|
||||
var requestStarted = Stopwatch.GetTimestamp();
|
||||
try
|
||||
{
|
||||
using var request = Helpers.Request(HttpMethod.Get, url, scenario.UserId);
|
||||
// Тело читается целиком (буферизация по умолчанию), но не разбирается как JSON.
|
||||
using var response = await client.SendAsync(request);
|
||||
if (response.IsSuccessStatusCode)
|
||||
{
|
||||
latencies.Add(Stopwatch.GetElapsedTime(requestStarted).TotalMilliseconds);
|
||||
}
|
||||
else
|
||||
{
|
||||
errors++;
|
||||
}
|
||||
}
|
||||
catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException)
|
||||
{
|
||||
errors++;
|
||||
}
|
||||
}
|
||||
|
||||
return (latencies, errors);
|
||||
})).ToArray();
|
||||
|
||||
var results = await Task.WhenAll(workers);
|
||||
var elapsed = Stopwatch.GetElapsedTime(started).TotalSeconds;
|
||||
|
||||
return new MeasureResult(
|
||||
results.SelectMany(r => r.latencies).ToList(),
|
||||
results.Sum(r => r.errors),
|
||||
elapsed);
|
||||
}
|
||||
|
||||
public static Summary GetResults(MeasureResult result)
|
||||
{
|
||||
var sorted = result.LatenciesMs.OrderBy(x => x).ToList();
|
||||
double Percentile(double p) =>
|
||||
sorted.Count == 0 ? double.NaN : sorted[Math.Max(0, (int)Math.Ceiling(p * sorted.Count) - 1)];
|
||||
|
||||
return new Summary(
|
||||
sorted.Count,
|
||||
result.Errors,
|
||||
Math.Round(result.ElapsedSeconds, 3),
|
||||
Math.Round(sorted.Count / result.ElapsedSeconds, 2),
|
||||
Math.Round(Percentile(0.50), 3),
|
||||
Math.Round(Percentile(0.95), 3),
|
||||
Math.Round(Percentile(0.99), 3),
|
||||
sorted.Count == 0 ? double.NaN : Math.Round(sorted[^1], 3));
|
||||
}
|
||||
|
||||
private static string PageUrl(Guid chatId, int limit, string? cursor) =>
|
||||
$"/api/v1/chats/{chatId}/messages?limit={limit}" +
|
||||
(cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor));
|
||||
|
||||
/// <summary>Идёт по страницам до конца и возвращает cursor, с которым была запрошена последняя страница.</summary>
|
||||
private static async Task<string?> FindLastPageCursorAsync(
|
||||
HttpClient client, TestUser user, Guid chatId, int limit)
|
||||
{
|
||||
string? cursor = null;
|
||||
while (true)
|
||||
{
|
||||
using var request = Helpers.Request(HttpMethod.Get, PageUrl(chatId, limit, cursor), user.Id);
|
||||
using var response = await client.SendAsync(request);
|
||||
response.EnsureSuccessStatusCode();
|
||||
var page = await Helpers.ReadJsonAsync(response);
|
||||
var next = page.GetProperty("next_cursor");
|
||||
if (next.ValueKind == System.Text.Json.JsonValueKind.Null)
|
||||
{
|
||||
return cursor;
|
||||
}
|
||||
|
||||
cursor = next.GetString();
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,91 @@
|
||||
using System.Text.Json;
|
||||
using LoadTest;
|
||||
|
||||
// Использование (запускать в Release, сервер должен быть уже запущен):
|
||||
// dotnet run -c Release --project tools/LoadTest -- --history 10000 --clients 8 --duration 15 \
|
||||
// --container mtusi-messenger-lab1 --label before --output evidence/track1/results.jsonl
|
||||
var options = ParseArguments(args);
|
||||
string Get(string key, string fallback) => options.TryGetValue(key, out var value) ? value : fallback;
|
||||
|
||||
var url = Get("url", "http://127.0.0.1:8080");
|
||||
var history = int.Parse(Get("history", "1000"));
|
||||
var clients = int.Parse(Get("clients", "1"));
|
||||
var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "15")));
|
||||
var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "3")));
|
||||
var limit = int.Parse(Get("limit", "50"));
|
||||
var fillConcurrency = int.Parse(Get("fill-concurrency", "16"));
|
||||
var lastPage = Get("page", "first") == "last";
|
||||
var container = options.GetValueOrDefault("container");
|
||||
var label = Get("label", "run");
|
||||
var output = options.GetValueOrDefault("output");
|
||||
|
||||
using var client = new HttpClient { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) };
|
||||
|
||||
var rssIdle = Rss.ReadMegabytes(container);
|
||||
Console.Error.WriteLine($"[1/4] prepare: filling {history} messages ({fillConcurrency} parallel)...");
|
||||
var scenario = await Phases.PrepareAsync(client, history, fillConcurrency, limit, lastPage);
|
||||
var rssAfterPrepare = Rss.ReadMegabytes(container);
|
||||
|
||||
Console.Error.WriteLine($"[2/4] warm-up: {warmup.TotalSeconds} s, {clients} clients");
|
||||
await Phases.WarmUpAsync(client, scenario, clients, warmup, limit);
|
||||
|
||||
Console.Error.WriteLine($"[3/4] measure: {duration.TotalSeconds} s, {clients} clients, page={(lastPage ? "last" : "first")}");
|
||||
var measured = await Phases.MeasureAsync(client, scenario, clients, duration, limit);
|
||||
var rssAfterMeasure = Rss.ReadMegabytes(container);
|
||||
|
||||
Console.Error.WriteLine("[4/4] results");
|
||||
var summary = Phases.GetResults(measured);
|
||||
|
||||
var report = new
|
||||
{
|
||||
label,
|
||||
timestamp = DateTimeOffset.UtcNow.ToString("O"),
|
||||
history,
|
||||
clients,
|
||||
page = lastPage ? "last" : "first",
|
||||
limit,
|
||||
duration_seconds = duration.TotalSeconds,
|
||||
successful_requests = summary.Successful,
|
||||
errors = summary.Errors,
|
||||
elapsed_seconds = summary.ElapsedSeconds,
|
||||
rps = summary.Rps,
|
||||
p50_ms = summary.P50Ms,
|
||||
p95_ms = summary.P95Ms,
|
||||
p99_ms = summary.P99Ms,
|
||||
max_ms = summary.MaxMs,
|
||||
rss_mb_idle = rssIdle,
|
||||
rss_mb_after_prepare = rssAfterPrepare,
|
||||
rss_mb_after_measure = rssAfterMeasure,
|
||||
};
|
||||
|
||||
var json = JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = false });
|
||||
Console.WriteLine(JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = true }));
|
||||
|
||||
if (output is not null)
|
||||
{
|
||||
Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!);
|
||||
File.AppendAllText(output, json + Environment.NewLine);
|
||||
}
|
||||
|
||||
return summary.Errors == 0 && summary.Successful > 0 ? 0 : 1;
|
||||
|
||||
static Dictionary<string, string> ParseArguments(string[] args)
|
||||
{
|
||||
var result = new Dictionary<string, string>();
|
||||
for (var i = 0; i < args.Length; i++)
|
||||
{
|
||||
if (!args[i].StartsWith("--"))
|
||||
{
|
||||
throw new ArgumentException($"Unexpected argument: {args[i]}");
|
||||
}
|
||||
|
||||
if (i + 1 >= args.Length)
|
||||
{
|
||||
throw new ArgumentException($"Missing value for {args[i]}");
|
||||
}
|
||||
|
||||
result[args[i][2..]] = args[++i];
|
||||
}
|
||||
|
||||
return result;
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
using System.Diagnostics;
|
||||
|
||||
namespace LoadTest
|
||||
{
|
||||
internal static class Rss
|
||||
{
|
||||
/// <summary>
|
||||
/// RSS процесса приложения в МБ: читает VmRSS из /proc/1/status внутри контейнера
|
||||
/// (PID 1 — dotnet, ENTRYPOINT в exec-форме). Возвращает null, если контейнер не задан или недоступен.
|
||||
/// </summary>
|
||||
public static double? ReadMegabytes(string? container)
|
||||
{
|
||||
if (string.IsNullOrEmpty(container))
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
try
|
||||
{
|
||||
var info = new ProcessStartInfo("docker", ["exec", container, "cat", "/proc/1/status"])
|
||||
{
|
||||
RedirectStandardOutput = true,
|
||||
RedirectStandardError = true,
|
||||
};
|
||||
using var process = Process.Start(info)!;
|
||||
var output = process.StandardOutput.ReadToEnd();
|
||||
process.WaitForExit();
|
||||
|
||||
var line = output.Split('\n').FirstOrDefault(l => l.StartsWith("VmRSS:"));
|
||||
if (line is null)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
|
||||
var kb = double.Parse(line.Split(' ', StringSplitOptions.RemoveEmptyEntries)[1],
|
||||
System.Globalization.CultureInfo.InvariantCulture);
|
||||
return Math.Round(kb / 1024, 1);
|
||||
}
|
||||
catch (Exception)
|
||||
{
|
||||
return null;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,88 @@
|
||||
<#
|
||||
.SYNOPSIS
|
||||
Track 1: матрица размер истории x число клиентов с перезапуском контейнера на каждую точку.
|
||||
|
||||
.EXAMPLE
|
||||
# замеры "до" (образ уже собран)
|
||||
.\tools\LoadTest\run-matrix.ps1 -Label before
|
||||
# замеры "после": пересобрать образ и повторить те же точки
|
||||
.\tools\LoadTest\run-matrix.ps1 -Label after -Rebuild
|
||||
# быстрая проверка скрипта
|
||||
.\tools\LoadTest\run-matrix.ps1 -Label smoke -Sizes 1000 -Clients 1 -Repeats 1 -Duration 3 -Warmup 2 -Output $env:TEMP\smoke.jsonl
|
||||
#>
|
||||
[CmdletBinding()]
|
||||
param(
|
||||
[string]$Label = 'before',
|
||||
[int[]]$Sizes = @(1000, 10000, 50000),
|
||||
[int[]]$Clients = @(1, 8, 32),
|
||||
[int]$Repeats = 2,
|
||||
[int]$Duration = 8,
|
||||
[int]$Warmup = 5,
|
||||
[string]$Cpus = '2',
|
||||
[string]$Memory = '512m',
|
||||
[string]$Output = 'evidence/track1/results.jsonl',
|
||||
[string]$Image = 'mtusi-messenger:lab1',
|
||||
[ValidateSet('first', 'last')][string]$Page = 'first',
|
||||
[switch]$Rebuild
|
||||
)
|
||||
|
||||
$ErrorActionPreference = 'Stop'
|
||||
Set-Location (Resolve-Path (Join-Path $PSScriptRoot '..\..'))
|
||||
|
||||
$name = 'mtusi-messenger-lab1'
|
||||
$url = 'http://127.0.0.1:8080'
|
||||
|
||||
function Remove-Api {
|
||||
if (docker ps -aq --filter "name=^/$name$") {
|
||||
docker rm -f $name | Out-Null
|
||||
}
|
||||
}
|
||||
|
||||
function Start-Api {
|
||||
Remove-Api
|
||||
docker run -d --rm --name $name --cpus $Cpus --memory $Memory `
|
||||
-p 127.0.0.1:8080:8080 --env-file .env $Image | Out-Null
|
||||
for ($i = 0; $i -lt 60; $i++) {
|
||||
try {
|
||||
if ((Invoke-WebRequest "$url/health/ready" -UseBasicParsing -TimeoutSec 2).StatusCode -eq 200) { return }
|
||||
} catch { }
|
||||
Start-Sleep -Milliseconds 500
|
||||
}
|
||||
throw 'API did not become ready within 30 s'
|
||||
}
|
||||
|
||||
if ($Rebuild) {
|
||||
Write-Host 'Rebuilding image...'
|
||||
docker build -t $Image . | Out-Null
|
||||
if ($LASTEXITCODE -ne 0) { throw 'docker build failed' }
|
||||
}
|
||||
|
||||
dotnet build tools/LoadTest -c Release -v q | Out-Null
|
||||
if ($LASTEXITCODE -ne 0) { throw 'LoadTest build failed' }
|
||||
|
||||
$points = @(foreach ($n in $Sizes) { foreach ($c in $Clients) { [pscustomobject]@{ History = $n; Clients = $c } } })
|
||||
$total = $points.Count * $Repeats
|
||||
$done = 0
|
||||
$started = Get-Date
|
||||
Write-Host "Label=$Label page=$Page points=$($points.Count) repeats=$Repeats runs=$total cpus=$Cpus memory=$Memory output=$Output"
|
||||
|
||||
try {
|
||||
for ($rep = 1; $rep -le $Repeats; $rep++) {
|
||||
# Случайный порядок точек в каждом повторе: эффект прогрева не должен совпасть с одним размером.
|
||||
foreach ($p in ($points | Sort-Object { Get-Random })) {
|
||||
$done++
|
||||
Write-Host ("[{0}/{1}] rep={2} history={3} clients={4} (elapsed {5:mm\:ss})" -f $done, $total, $rep, $p.History, $p.Clients, ((Get-Date) - $started))
|
||||
Start-Api
|
||||
dotnet run -c Release --project tools/LoadTest --no-build -- `
|
||||
--url $url --history $p.History --clients $p.Clients `
|
||||
--duration $Duration --warmup $Warmup `
|
||||
--page $Page --container $name --label "$Label-r$rep" --output $Output | Out-Null
|
||||
if ($LASTEXITCODE -ne 0) { Write-Warning "run failed (exit $LASTEXITCODE), continuing" }
|
||||
}
|
||||
}
|
||||
}
|
||||
finally {
|
||||
Remove-Api
|
||||
}
|
||||
|
||||
Write-Host ("Done in {0:mm\:ss}. Results appended to {1}" -f ((Get-Date) - $started), $Output)
|
||||
@@ -0,0 +1,76 @@
|
||||
import json, statistics as st, collections, sys
|
||||
|
||||
path = sys.argv[1]
|
||||
rows = [json.loads(l) for l in open(path, encoding='utf-8') if l.strip()]
|
||||
|
||||
def group(prefix, page='first'):
|
||||
g = collections.defaultdict(list)
|
||||
for r in rows:
|
||||
if r['label'].startswith(prefix) and r['page'] == page:
|
||||
g[(r['history'], r['clients'])].append(r)
|
||||
return g
|
||||
|
||||
def mean(rs, k):
|
||||
v = [r[k] for r in rs if r.get(k) is not None]
|
||||
return st.mean(v)
|
||||
|
||||
def rng(rs, k):
|
||||
v = [r[k] for r in rs if r.get(k) is not None]
|
||||
return min(v), max(v)
|
||||
|
||||
before = group('before-r')
|
||||
after = group('after-r')
|
||||
|
||||
out = []
|
||||
out.append('Track 1: before/after summary (mean of repeats; page=first, limit=50; container --cpus=2 --memory=512m)')
|
||||
out.append('')
|
||||
hdr = f"{'N':>6} {'C':>3} {'runs':>4} | {'RPS before':>10} {'RPS after':>10} {'x':>6} | {'p50 b':>7} {'p50 a':>7} | {'p95 b':>7} {'p95 a':>7} | {'p99 b':>7} {'p99 a':>7} | {'RSS prep b/a':>12} {'RSS end b/a':>12} | err b/a"
|
||||
out.append(hdr)
|
||||
for key in sorted(set(before) | set(after)):
|
||||
b, a = before.get(key, []), after.get(key, [])
|
||||
if not b or not a:
|
||||
continue
|
||||
rb, ra = mean(b, 'rps'), mean(a, 'rps')
|
||||
out.append(
|
||||
f"{key[0]:>6} {key[1]:>3} {len(b):>1}/{len(a):<2} | {rb:>10.0f} {ra:>10.0f} {ra/rb:>6.1f} | "
|
||||
f"{mean(b,'p50_ms'):>7.1f} {mean(a,'p50_ms'):>7.1f} | {mean(b,'p95_ms'):>7.1f} {mean(a,'p95_ms'):>7.1f} | "
|
||||
f"{mean(b,'p99_ms'):>7.1f} {mean(a,'p99_ms'):>7.1f} | "
|
||||
f"{mean(b,'rss_mb_after_prepare'):>5.0f}/{mean(a,'rss_mb_after_prepare'):<5.0f} {mean(b,'rss_mb_after_measure'):>5.0f}/{mean(a,'rss_mb_after_measure'):<5.0f} | "
|
||||
f"{sum(r['errors'] for r in b)}/{sum(r['errors'] for r in a)}")
|
||||
|
||||
out.append('')
|
||||
out.append('RPS spread (min-max across repeats):')
|
||||
for key in sorted(set(before) | set(after)):
|
||||
b, a = before.get(key, []), after.get(key, [])
|
||||
if b and a:
|
||||
out.append(f" N={key[0]:>6} C={key[1]:>2} before {rng(b,'rps')[0]:.0f}-{rng(b,'rps')[1]:.0f} after {rng(a,'rps')[0]:.0f}-{rng(a,'rps')[1]:.0f}")
|
||||
|
||||
out.append('')
|
||||
out.append('Idle RSS (empty process, MB): before %.0f, after %.0f' % (
|
||||
st.mean([r['rss_mb_idle'] for rs in before.values() for r in rs]),
|
||||
st.mean([r['rss_mb_idle'] for rs in after.values() for r in rs])))
|
||||
|
||||
# last page vs first page at N=50000, C=8
|
||||
bl, al = group('before-last', 'last'), group('after-last', 'last')
|
||||
out.append('')
|
||||
out.append('First vs last page, N=50000, C=8 (mean RPS / p95 ms):')
|
||||
key = (50000, 8)
|
||||
for name, g_first, g_last in (('before', before, bl), ('after', after, al)):
|
||||
f, l = g_first.get(key, []), g_last.get(key, [])
|
||||
if f and l:
|
||||
out.append(f" {name}: first {mean(f,'rps'):.0f} rps / {mean(f,'p95_ms'):.1f} ms ({len(f)} runs); last {mean(l,'rps'):.0f} rps / {mean(l,'p95_ms'):.1f} ms ({len(l)} runs)")
|
||||
|
||||
# saturation: RPS growth with clients per N
|
||||
out.append('')
|
||||
out.append('Throughput vs clients (mean RPS):')
|
||||
for name, g in (('before', before), ('after', after)):
|
||||
for n in sorted({k[0] for k in g}):
|
||||
out.append(f" {name} N={n:>6}: " + ' '.join(f"C={c}: {mean(g[(n,c)],'rps'):.0f}" for c in sorted({k[1] for k in g if k[0]==n})))
|
||||
|
||||
# per-message cost under saturation (before): 1000/rps at C=32 -> ms per request
|
||||
out.append('')
|
||||
out.append('Service time at saturation, C=32 (ms per request = 1000/RPS):')
|
||||
for name, g in (('before', before), ('after', after)):
|
||||
out.append(f" {name}: " + ' '.join(f"N={n}: {1000/mean(g[(n,32)],'rps'):.3f}" for n in sorted({k[0] for k in g}) if (n, 32) in g))
|
||||
|
||||
print('\n'.join(out))
|
||||
@@ -0,0 +1,209 @@
|
||||
using System.Diagnostics;
|
||||
using System.Net.Http.Headers;
|
||||
using System.Net.Http.Json;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
|
||||
// Генератор нагрузки для трека 1 (цена масштабирования). Замкнутый цикл: каждый из --clients потоков шлёт запрос,
|
||||
// ждёт ответ и сразу шлёт следующий. Профиль: --write-ratio доля POST сообщения (уникальный Idempotency-Key),
|
||||
// остальное — GET страницы истории (limit=50). У каждого пользователя свой чат с --history сообщений,
|
||||
// поэтому записи разных клиентов не сериализуются на одной строке чата.
|
||||
//
|
||||
// Запуск (стенд поднят):
|
||||
// dotnet run -c Release --project tools/ScaleLoad -- --url http://localhost:8081 --clients 64 --duration 20 \
|
||||
// --label A-2x1.0 --output evidence/track1/results.jsonl
|
||||
// Загрузка CPU контейнеров снимается `docker stats` во время измерения (если доступен docker CLI).
|
||||
var o = ParseArguments(args);
|
||||
string Get(string k, string d) => o.TryGetValue(k, out var v) ? v : d;
|
||||
var url = Get("url", "http://localhost:8080");
|
||||
var clients = int.Parse(Get("clients", "32"));
|
||||
var users = int.Parse(Get("users", "32"));
|
||||
var history = int.Parse(Get("history", "200"));
|
||||
var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "20")));
|
||||
var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "5")));
|
||||
var writeRatio = double.Parse(Get("write-ratio", "0.2"), System.Globalization.CultureInfo.InvariantCulture);
|
||||
var label = Get("label", "run");
|
||||
var output = o.GetValueOrDefault("output");
|
||||
var project = Get("compose-project", "messenger-lab3");
|
||||
|
||||
var handler = new SocketsHttpHandler { MaxConnectionsPerServer = clients * 2, PooledConnectionLifetime = TimeSpan.FromMinutes(5) };
|
||||
using var http = new HttpClient(handler) { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) };
|
||||
|
||||
Console.Error.WriteLine($"[1/4] prepare: {users} users, {history} messages per chat");
|
||||
var actors = await Prepare(http, users, history);
|
||||
|
||||
Console.Error.WriteLine($"[2/4] warm-up {warmup.TotalSeconds}s, {clients} clients");
|
||||
await Measure(http, actors, clients, warmup, writeRatio);
|
||||
|
||||
Console.Error.WriteLine($"[3/4] measure {duration.TotalSeconds}s");
|
||||
using var statsCts = new CancellationTokenSource();
|
||||
var statsTask = Task.Run(() => SampleDockerStats(project, statsCts.Token));
|
||||
var r = await Measure(http, actors, clients, duration, writeRatio);
|
||||
statsCts.Cancel();
|
||||
var stats = await statsTask;
|
||||
|
||||
Console.Error.WriteLine("[4/4] results");
|
||||
var lat = r.Latencies.OrderBy(x => x).ToArray();
|
||||
double P(double p) => lat.Length == 0 ? double.NaN : Math.Round(lat[Math.Max(0, (int)Math.Ceiling(p * lat.Length) - 1)], 2);
|
||||
var report = new Dictionary<string, object?>
|
||||
{
|
||||
["label"] = label,
|
||||
["timestamp"] = DateTimeOffset.UtcNow.ToString("O"),
|
||||
["clients"] = clients, ["users"] = users, ["history"] = history, ["write_ratio"] = writeRatio,
|
||||
["duration_s"] = Math.Round(r.Elapsed, 2),
|
||||
["ok"] = lat.Length, ["errors"] = r.Errors, ["ok_get"] = r.OkGet, ["ok_post"] = r.OkPost,
|
||||
["rps"] = Math.Round(lat.Length / r.Elapsed, 1),
|
||||
["p50_ms"] = P(0.50), ["p95_ms"] = P(0.95), ["p99_ms"] = P(0.99),
|
||||
["cpu_pct"] = stats,
|
||||
};
|
||||
var line = JsonSerializer.Serialize(report);
|
||||
Console.WriteLine(line);
|
||||
if (output is not null)
|
||||
{
|
||||
Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!);
|
||||
File.AppendAllText(output, line + Environment.NewLine);
|
||||
}
|
||||
return r.Errors == 0 ? 0 : 1;
|
||||
|
||||
static async Task<Actor[]> Prepare(HttpClient http, int users, int history)
|
||||
{
|
||||
var result = new Actor[users];
|
||||
await Parallel.ForEachAsync(Enumerable.Range(0, users), new ParallelOptions { MaxDegreeOfParallelism = 4 }, async (i, ct) =>
|
||||
{
|
||||
var username = "sl" + Guid.NewGuid().ToString("N")[..14];
|
||||
var password = "Load-" + Guid.NewGuid().ToString("N");
|
||||
using var reg = await http.PostAsJsonAsync("/api/v1/users", new { username, display_name = "Load", password }, ct);
|
||||
reg.EnsureSuccessStatusCode();
|
||||
var me = (await reg.Content.ReadFromJsonAsync<JsonElement>(ct)).GetProperty("id").GetGuid();
|
||||
using var login = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions");
|
||||
login.Headers.Authorization = new AuthenticationHeaderValue("Basic", Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}")));
|
||||
using var loginResponse = await http.SendAsync(login, ct);
|
||||
loginResponse.EnsureSuccessStatusCode();
|
||||
var token = (await loginResponse.Content.ReadFromJsonAsync<JsonElement>(ct)).GetProperty("token").GetString()!;
|
||||
using var chatRequest = Authorized(HttpMethod.Post, "/api/v1/chats", token);
|
||||
chatRequest.Content = JsonContent.Create(new { title = "Load", member_ids = new[] { me } });
|
||||
using var chatResponse = await http.SendAsync(chatRequest, ct);
|
||||
chatResponse.EnsureSuccessStatusCode();
|
||||
var chatId = (await chatResponse.Content.ReadFromJsonAsync<JsonElement>(ct)).GetProperty("id").GetGuid();
|
||||
for (var m = 0; m < history; m++)
|
||||
{
|
||||
using var post = PostMessage(chatId, token, $"history {m}");
|
||||
using var response = await http.SendAsync(post, ct);
|
||||
response.EnsureSuccessStatusCode();
|
||||
}
|
||||
result[i] = new Actor(token, chatId);
|
||||
});
|
||||
return result;
|
||||
}
|
||||
|
||||
static HttpRequestMessage Authorized(HttpMethod method, string path, string token)
|
||||
{
|
||||
var request = new HttpRequestMessage(method, path);
|
||||
request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", token);
|
||||
return request;
|
||||
}
|
||||
|
||||
static HttpRequestMessage PostMessage(Guid chatId, string token, string text)
|
||||
{
|
||||
var request = Authorized(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", token);
|
||||
request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N"));
|
||||
request.Content = JsonContent.Create(new { text });
|
||||
return request;
|
||||
}
|
||||
|
||||
static async Task<Result> Measure(HttpClient http, Actor[] actors, int clients, TimeSpan duration, double writeRatio)
|
||||
{
|
||||
var started = Stopwatch.GetTimestamp();
|
||||
var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency);
|
||||
var workers = Enumerable.Range(0, clients).Select(i => Task.Run(async () =>
|
||||
{
|
||||
var actor = actors[i % actors.Length];
|
||||
var rnd = new Random(i * 7919 + Environment.TickCount);
|
||||
var latencies = new List<double>();
|
||||
int errors = 0, okGet = 0, okPost = 0;
|
||||
while (Stopwatch.GetTimestamp() < deadline)
|
||||
{
|
||||
var write = rnd.NextDouble() < writeRatio;
|
||||
var t = Stopwatch.GetTimestamp();
|
||||
try
|
||||
{
|
||||
using var request = write
|
||||
? PostMessage(actor.ChatId, actor.Token, "load " + Guid.NewGuid().ToString("N"))
|
||||
: Authorized(HttpMethod.Get, $"/api/v1/chats/{actor.ChatId}/messages?limit=50", actor.Token);
|
||||
using var response = await http.SendAsync(request);
|
||||
await response.Content.ReadAsByteArrayAsync();
|
||||
if (response.IsSuccessStatusCode)
|
||||
{
|
||||
latencies.Add(Stopwatch.GetElapsedTime(t).TotalMilliseconds);
|
||||
if (write) okPost++; else okGet++;
|
||||
}
|
||||
else
|
||||
{
|
||||
errors++;
|
||||
}
|
||||
}
|
||||
catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException)
|
||||
{
|
||||
errors++;
|
||||
}
|
||||
}
|
||||
|
||||
return (latencies, errors, okGet, okPost);
|
||||
})).ToArray();
|
||||
|
||||
var results = await Task.WhenAll(workers);
|
||||
return new Result(
|
||||
results.SelectMany(x => x.latencies).ToList(), results.Sum(x => x.errors),
|
||||
results.Sum(x => x.okGet), results.Sum(x => x.okPost), Stopwatch.GetElapsedTime(started).TotalSeconds);
|
||||
}
|
||||
|
||||
// Средняя загрузка CPU (в % одного ядра, как в docker stats) по роли контейнера за время измерения.
|
||||
static async Task<Dictionary<string, double>> SampleDockerStats(string project, CancellationToken ct)
|
||||
{
|
||||
var sums = new Dictionary<string, (double Sum, int N)>();
|
||||
try
|
||||
{
|
||||
while (!ct.IsCancellationRequested)
|
||||
{
|
||||
var info = new ProcessStartInfo("docker", ["stats", "--no-stream", "--format", "{{.Name}} {{.CPUPerc}}"])
|
||||
{ RedirectStandardOutput = true, RedirectStandardError = true };
|
||||
using var p = Process.Start(info)!;
|
||||
var text = await p.StandardOutput.ReadToEndAsync(ct);
|
||||
await p.WaitForExitAsync(ct);
|
||||
// Внутри одного снимка суммируем реплики одной роли, затем усредняем снимки.
|
||||
var snapshot = new Dictionary<string, double>();
|
||||
foreach (var line in text.Split('\n', StringSplitOptions.RemoveEmptyEntries))
|
||||
{
|
||||
var parts = line.Trim().Split(' ');
|
||||
if (parts.Length < 2 || !parts[0].StartsWith(project + "-")) continue;
|
||||
var role = parts[0][(project.Length + 1)..];
|
||||
role = role[..role.LastIndexOf('-')];
|
||||
if (!double.TryParse(parts[1].TrimEnd('%'), System.Globalization.NumberStyles.Float, System.Globalization.CultureInfo.InvariantCulture, out var cpu)) continue;
|
||||
snapshot[role] = snapshot.GetValueOrDefault(role) + cpu;
|
||||
}
|
||||
|
||||
foreach (var (role, cpu) in snapshot)
|
||||
{
|
||||
var (sum, n) = sums.GetValueOrDefault(role);
|
||||
sums[role] = (sum + cpu, n + 1);
|
||||
}
|
||||
}
|
||||
}
|
||||
catch (OperationCanceledException) { }
|
||||
catch (Exception) { }
|
||||
return sums.ToDictionary(kv => kv.Key, kv => Math.Round(kv.Value.Sum / Math.Max(1, kv.Value.N), 1));
|
||||
}
|
||||
|
||||
static Dictionary<string, string> ParseArguments(string[] args)
|
||||
{
|
||||
var result = new Dictionary<string, string>();
|
||||
for (var i = 0; i < args.Length; i++)
|
||||
{
|
||||
if (!args[i].StartsWith("--") || i + 1 >= args.Length) throw new ArgumentException($"Bad argument: {args[i]}");
|
||||
result[args[i][2..]] = args[++i];
|
||||
}
|
||||
return result;
|
||||
}
|
||||
|
||||
internal sealed record Actor(string Token, Guid ChatId);
|
||||
internal sealed record Result(List<double> Latencies, int Errors, int OkGet, int OkPost, double Elapsed);
|
||||
@@ -0,0 +1,10 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
|
||||
<PropertyGroup>
|
||||
<OutputType>Exe</OutputType>
|
||||
<TargetFramework>net10.0</TargetFramework>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
<Nullable>enable</Nullable>
|
||||
</PropertyGroup>
|
||||
|
||||
</Project>
|
||||
@@ -0,0 +1,6 @@
|
||||
# Override для эксперимента трека 1: API закрепляется за ядрами (cpuset) вместо квоты CFS.
|
||||
# Использование: COMPOSE_FILE=compose.yaml:tools/ScaleLoad/compose.cpuset.yaml API_CPUSET=0-1 API_CPUS=16 docker compose up -d ...
|
||||
# API_CPUS=16 делает квоту CFS практически неограниченной: бюджет задаёт только cpuset.
|
||||
services:
|
||||
api:
|
||||
cpuset: ${API_CPUSET:?задайте API_CPUSET, например 0-1}
|
||||
@@ -0,0 +1,30 @@
|
||||
#!/bin/bash
|
||||
# Один замер трека 1: применяет конфигурацию стенда (реплики/ресурсы), ждёт готовности LB и запускает ScaleLoad.
|
||||
# Использование:
|
||||
# tools/ScaleLoad/run-config.sh <label> <replicas> <api_cpus> <api_mem> <db_cpus> <db_mem> <lb_cpus> <clients> [extra ScaleLoad args]
|
||||
# Ресурсы — НА ОДИН контейнер. Результат дописывается в evidence/track1/results.jsonl.
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/../.."
|
||||
|
||||
label=$1; replicas=$2; api_cpus=$3; api_mem=$4; db_cpus=$5; db_mem=$6; lb_cpus=$7; clients=$8
|
||||
shift 8
|
||||
|
||||
export API_REPLICAS=$replicas API_CPUS=$api_cpus API_MEMORY=$api_mem DB_CPUS=$db_cpus DB_MEMORY=$db_mem LB_CPUS=$lb_cpus
|
||||
port=${LB_PUBLISHED_PORT:-$(grep -E '^LB_PUBLISHED_PORT=' .env | cut -d= -f2)}
|
||||
port=${port:-8080}
|
||||
|
||||
docker compose --env-file .env up -d --wait --no-deps db >/dev/null
|
||||
docker compose --env-file .env up -d --wait --no-deps api lb >/dev/null
|
||||
|
||||
# Ждём, пока LB видит ровно replicas реплик UP.
|
||||
for _ in $(seq 1 60); do
|
||||
up=$(curl -s "http://127.0.0.1:${LB_STATS_PORT:-8404}/stats;csv" | awk -F, '$1=="api" && $2!="BACKEND" && $18=="UP"' | wc -l | tr -d ' ')
|
||||
[ "$up" = "$replicas" ] && break
|
||||
sleep 1
|
||||
done
|
||||
[ "$up" = "$replicas" ] || { echo "LB sees $up of $replicas replicas" >&2; exit 1; }
|
||||
sleep 2
|
||||
|
||||
dotnet run -c Release --no-build --project tools/ScaleLoad -- \
|
||||
--url "http://localhost:${port}" --clients "$clients" --label "$label" \
|
||||
--output evidence/track1/results.jsonl "$@" 2>/dev/null | tail -1
|
||||
@@ -0,0 +1,143 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Сводка и графики трека 1 из evidence/track1/results.jsonl (+ diag.jsonl).
|
||||
|
||||
Запуск: python tools/ScaleLoad/summarize.py (из корня репозитория)
|
||||
Создаёт: evidence/track1/summary.md и evidence/track1/fig-*.png
|
||||
"""
|
||||
import collections
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import statistics as st
|
||||
|
||||
import matplotlib
|
||||
matplotlib.use('Agg')
|
||||
import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
ROOT = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
||||
DIR = os.path.join(ROOT, 'evidence', 'track1')
|
||||
|
||||
|
||||
def load(name):
|
||||
path = os.path.join(DIR, name)
|
||||
if not os.path.exists(path):
|
||||
return []
|
||||
return [json.loads(line) for line in open(path, encoding='utf-8') if line.strip()]
|
||||
|
||||
|
||||
def key_of(label):
|
||||
return re.sub(r'^([A-Z])-r\d+-', r'\1-', label)
|
||||
|
||||
|
||||
def aggregate(rows):
|
||||
groups = collections.defaultdict(list)
|
||||
for r in rows:
|
||||
groups[key_of(r['label'])].append(r)
|
||||
result = {}
|
||||
for k, v in groups.items():
|
||||
rps = [r['rps'] for r in v]
|
||||
api = st.mean(r['cpu_pct'].get('api', 0) for r in v)
|
||||
db = st.mean(r['cpu_pct'].get('db', 0) for r in v)
|
||||
result[k] = {
|
||||
'n': len(v), 'rps': st.mean(rps), 'rps_min': min(rps), 'rps_max': max(rps),
|
||||
'p50': st.mean(r['p50_ms'] for r in v), 'p95': st.mean(r['p95_ms'] for r in v),
|
||||
'p99': st.mean(r['p99_ms'] for r in v), 'errors': sum(r['errors'] for r in v),
|
||||
'api_cpu': api, 'db_cpu': db, 'lb_cpu': st.mean(r['cpu_pct'].get('lb', 0) for r in v),
|
||||
'api_ms_per_req': api * 10 / st.mean(rps), 'db_ms_per_req': db * 10 / st.mean(rps),
|
||||
}
|
||||
return result
|
||||
|
||||
|
||||
def table(title, agg, keys, names):
|
||||
lines = [f'### {title}', '',
|
||||
'| Конфигурация | повторов | RPS (среднее) | RPS мин–макс | p50, мс | p95, мс | p99, мс | ошибки | CPU API, % | CPU БД, % | CPU API мс/запрос | CPU БД мс/запрос |',
|
||||
'|---|---|---|---|---|---|---|---|---|---|---|---|']
|
||||
for k in keys:
|
||||
if k not in agg:
|
||||
continue
|
||||
a = agg[k]
|
||||
lines.append(f"| {names.get(k, k)} | {a['n']} | {a['rps']:.0f} | {a['rps_min']:.0f}–{a['rps_max']:.0f} | {a['p50']:.0f} | {a['p95']:.0f} | "
|
||||
f"{a['p99']:.0f} | {a['errors']} | {a['api_cpu']:.0f} | {a['db_cpu']:.0f} | {a['api_ms_per_req']:.2f} | {a['db_ms_per_req']:.2f} |")
|
||||
return '\n'.join(lines) + '\n'
|
||||
|
||||
|
||||
def main():
|
||||
rows = load('results.jsonl')
|
||||
diag = load('diag.jsonl')
|
||||
agg = aggregate(rows)
|
||||
agg_diag = aggregate([r for r in diag if r['label'].startswith('E-')])
|
||||
out = ['# Трек 1: сводка измерений', '',
|
||||
'Сгенерировано `tools/ScaleLoad/summarize.py` из `results.jsonl` (повторы в случайном порядке; среднее по повторам).', '']
|
||||
|
||||
a_keys = ['A-1x2.0', 'A-2x1.0', 'A-4x0.5']
|
||||
a_names = {'A-1x2.0': '1 × 2.0 CPU', 'A-2x1.0': '2 × 1.0 CPU', 'A-4x0.5': '4 × 0.5 CPU'}
|
||||
out.append(table('A. Фиксированный бюджет API: 2 CPU / 1 GiB суммарно (БД 4 CPU, LB 2 CPU, 64 клиента)', agg, a_keys, a_names))
|
||||
b_keys = ['B-1x1.0-db2', 'B-2x1.0-db2', 'B-4x1.0-db2', 'B-8x1.0-db2']
|
||||
b_names = {k: k.split('-')[1].replace('x', ' × ') + ' CPU' for k in b_keys}
|
||||
out.append(table('B. Рост ресурсов: реплики по 1 CPU / 512 MiB, БД 2 CPU, LB 1 CPU, 128 клиентов', agg, b_keys, b_names))
|
||||
c_keys = ['C-base', 'C-pool4', 'C-pool8', 'C-db4cpu']
|
||||
c_names = {'C-base': '8 реплик, пул 20, БД 2 CPU (контроль)', 'C-pool4': '8 реплик, пул 4, БД 2 CPU',
|
||||
'C-pool8': '8 реплик, пул 8, БД 2 CPU', 'C-db4cpu': '8 реплик, пул 20, БД 4 CPU'}
|
||||
out.append(table('C. Проверка узкого места: 8 × 1 CPU, 128 клиентов', agg, c_keys, c_names))
|
||||
if agg_diag:
|
||||
e_keys = sorted(agg_diag)
|
||||
out.append(table('E. Диагностика: API закреплён за ядрами 0–1 (cpuset, без квоты CFS), 64 клиента', agg_diag, e_keys, {}))
|
||||
|
||||
conn_path = os.path.join(DIR, 'connections.log')
|
||||
if os.path.exists(conn_path):
|
||||
out.append('### Соединения с PostgreSQL после замера (эксперимент C)\n')
|
||||
out.append('```\n' + open(conn_path, encoding='utf-8').read().strip() + '\n```\n')
|
||||
|
||||
with open(os.path.join(DIR, 'summary.md'), 'w', encoding='utf-8') as f:
|
||||
f.write('\n'.join(out))
|
||||
|
||||
# Рис. 1: A — RPS и CPU на запрос при фиксированном бюджете.
|
||||
ka = [k for k in a_keys if k in agg]
|
||||
if ka:
|
||||
fig, ax = plt.subplots(1, 2, figsize=(9, 3.6))
|
||||
labels = [a_names[k] for k in ka]
|
||||
ax[0].bar(labels, [agg[k]['rps'] for k in ka], color='#3b6ea5')
|
||||
ax[0].set_ylabel('успешных запросов/с'); ax[0].set_title('Пропускная способность (бюджет API = 2 CPU)')
|
||||
ax[1].bar(labels, [agg[k]['api_ms_per_req'] for k in ka], color='#c0504d')
|
||||
ax[1].set_ylabel('мс CPU API на запрос'); ax[1].set_title('Цена запроса')
|
||||
for a in ax:
|
||||
a.tick_params(axis='x', labelsize=8)
|
||||
fig.tight_layout(); fig.savefig(os.path.join(DIR, 'fig-a-fixed-budget.png'), dpi=130); plt.close(fig)
|
||||
|
||||
# Рис. 2: B — RPS, p95 и загрузка БД при росте числа реплик.
|
||||
kb = [k for k in b_keys if k in agg]
|
||||
if kb:
|
||||
xs = [int(k.split('-')[1].split('x')[0]) for k in kb]
|
||||
fig, ax = plt.subplots(1, 3, figsize=(12, 3.6))
|
||||
ax[0].errorbar(xs, [agg[k]['rps'] for k in kb],
|
||||
yerr=[[agg[k]['rps'] - agg[k]['rps_min'] for k in kb], [agg[k]['rps_max'] - agg[k]['rps'] for k in kb]],
|
||||
marker='o', color='#3b6ea5', capsize=3, label='измерено')
|
||||
ax[0].plot(xs, [agg[kb[0]]['rps'] * x for x in xs], '--', color='gray', label='линейный рост')
|
||||
ax[0].set_xlabel('реплик API (по 1 CPU)'); ax[0].set_ylabel('RPS'); ax[0].set_title('Масштабирование'); ax[0].legend(fontsize=8)
|
||||
ax[1].plot(xs, [agg[k]['db_cpu'] for k in kb], marker='s', color='#c0504d', label='CPU БД')
|
||||
ax[1].axhline(200, ls='--', color='k', lw=1); ax[1].text(xs[0], 204, 'лимит БД 200 %', fontsize=8)
|
||||
ax[1].plot(xs, [agg[k]['api_cpu'] / x for k, x in zip(kb, xs)], marker='^', color='#3b6ea5', label='CPU API на реплику')
|
||||
ax[1].set_xlabel('реплик API'); ax[1].set_ylabel('% одного ядра'); ax[1].set_title('Загрузка'); ax[1].legend(fontsize=8)
|
||||
ax[2].plot(xs, [agg[k]['p95'] for k in kb], marker='o', color='#8064a2')
|
||||
ax[2].set_xlabel('реплик API'); ax[2].set_ylabel('p95, мс'); ax[2].set_title('Задержка p95')
|
||||
for a in ax:
|
||||
a.set_xscale('log', base=2); a.set_xticks(xs); a.set_xticklabels(xs)
|
||||
fig.tight_layout(); fig.savefig(os.path.join(DIR, 'fig-b-scale-out.png'), dpi=130); plt.close(fig)
|
||||
|
||||
# Рис. 3: C — улучшение в точке насыщения.
|
||||
kc = [k for k in c_keys if k in agg]
|
||||
if kc:
|
||||
fig, ax = plt.subplots(1, 2, figsize=(9.5, 3.6))
|
||||
names = ['пул 20\n(контроль)', 'пул 4', 'пул 8', 'БД 4 CPU'][:len(kc)]
|
||||
names = [{'C-base': 'пул 20\n(контроль)', 'C-pool4': 'пул 4', 'C-pool8': 'пул 8', 'C-db4cpu': 'БД 4 CPU\n(пул 20)'}[k] for k in kc]
|
||||
ax[0].bar(names, [agg[k]['rps'] for k in kc], color=['#7f7f7f', '#3b6ea5', '#3b6ea5', '#9bbb59'][:len(kc)])
|
||||
ax[0].set_ylabel('RPS'); ax[0].set_title('8 реплик × 1 CPU, БД 2 CPU')
|
||||
ax[1].bar(names, [agg[k]['p95'] for k in kc], color=['#7f7f7f', '#3b6ea5', '#3b6ea5', '#9bbb59'][:len(kc)])
|
||||
ax[1].set_ylabel('p95, мс'); ax[1].set_title('Задержка p95')
|
||||
fig.tight_layout(); fig.savefig(os.path.join(DIR, 'fig-c-bottleneck.png'), dpi=130); plt.close(fig)
|
||||
|
||||
print('\n'.join(out))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,16 @@
|
||||
#!/bin/bash
|
||||
# Эксперимент A: ФИКСИРОВАННЫЙ суммарный ресурс API (2.0 CPU, 1 GiB), 1 / 2 / 4 реплики. Профиль: 80% чтение / 20% запись,
|
||||
# 64 клиента, 32 чата по 200 сообщений, 5 с прогрев + 20 с замер, 3 повтора в случайном порядке.
|
||||
# БД (4 CPU) и LB (2 CPU) намеренно с запасом, чтобы они не были ограничением.
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/../.."
|
||||
dotnet build tools/ScaleLoad -c Release -v q >/dev/null
|
||||
|
||||
configs=("1 2.0 1024m" "2 1.0 512m" "4 0.5 256m")
|
||||
for rep in 1 2 3; do
|
||||
for cfg in $(printf '%s\n' "${configs[@]}" | shuf | tr ' ' '_'); do
|
||||
set -- ${cfg//_/ }
|
||||
echo "== A rep=$rep replicas=$1 cpu=$2 mem=$3"
|
||||
tools/ScaleLoad/run-config.sh "A-r$rep-$1x$2" "$1" "$2" "$3" 4 2g 2 64 --duration 20 --warmup 5
|
||||
done
|
||||
done
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user