diff --git a/.env.example b/.env.example index 2e9f054..a6b6914 100644 --- a/.env.example +++ b/.env.example @@ -1,41 +1,13 @@ -# Copy to .env for your LOCAL synthetic test environment; never commit .env. -# These are logical interface suggestions; map actual framework names in REPORT.md. -APP_HOST=0.0.0.0 -APP_PORT=8080 -APP_ENV=lab -SESSION_TTL_SECONDS=3600 -# Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres -CACHE_URL_FILE=/run/secrets/cache_url +# Настройки локального стенда. Секреты генерирует scripts/init-secrets.sh. +LB_PORT=8443 +BAO_PORT=8200 +GRAFANA_PORT=3000 API_REPLICAS=2 -IDEMPOTENCY_TTL_SECONDS=86400 -S3_ENDPOINT=https://s3:9000 -S3_REGION=us-east-1 -S3_BUCKET=messenger-attachments -S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id -S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key -MAX_UPLOAD_BYTES=10485760 -MAX_IMAGE_PIXELS=40000000 -BROKER_URL_FILE=/run/secrets/broker_url -WORKER_CONCURRENCY=2 -JOB_MAX_ATTEMPTS=5 -JOB_TIMEOUT_SECONDS=60 -STAGING_RETENTION_SECONDS=86400 -OTEL_SERVICE_NAME=messenger-api -# Worker must set a distinct service.name. -OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318 -OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf -OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab -# TLS and OpenBao: actual paths/ports depend on your implemented trust matrix. -PUBLIC_BASE_URL=https://localhost:8443 -TLS_CA_FILE=/run/secrets/ca.crt -TLS_CERT_FILE=/run/secrets/service.crt -TLS_KEY_FILE=/run/secrets/service.key -BAO_ADDR=https://openbao:8200 -BAO_CACERT=/run/secrets/bao-ca.crt -# No root token here. Bootstrap operator -> short-lived service auth -> scoped token. +WORKER_REPLICAS=2 +SESSION_TTL_SECONDS=3600 ARGON2_MEMORY_KIB=19456 ARGON2_ITERATIONS=2 ARGON2_PARALLELISM=1 +WORKER_CONCURRENCY=2 +JOB_TIMEOUT_SECONDS=60 +FAILPOINTS=0 diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 8aef0ff..26218b6 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,25 @@ ## Лабораторная 7 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Морару Сергей Сергеевич, БПИ2303 +Целевая оценка: 5 +Трек: «Компрометация worker» -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +На основе ЛР № 6 перенесены API мессенджера, обработка вложений, outbox, RabbitMQ и OpenTelemetry. Добавлены HTTPS и mTLS, Argon2id с миграцией scrypt, общий лимит входа, сервисный cert auth OpenBao, ограниченные роли БД, ACL по prefix S3 и отзыв identity worker. -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +Запуск из чистого clone: + +```sh +scripts/up.sh +make check +make test test-security CA_FILE=secrets/tls/service-ca/ca.crt +``` + +После ротации все 6 заданий обработались с первой попытки, созданы 18 вариантов, SHA-256 всех оригиналов совпал. Отозванные credentials отклонены. + +Методика, команды, результаты и ограничения собраны в [REPORT.md](../REPORT.md). Покрытие TLS описано в [матрице доверия](../contracts/trust-matrix.md). Использование Codex и первичные источники указаны в отчёте. + +- [x] Контракт и публичные тесты сохранены. +- [x] make check и make test выполнены; приложен реальный вывод. +- [x] Сценарии отказов и трек 1 подтверждены артефактами. +- [x] Приватные ключи и credentials исключены из Git и Docker build context. +- [x] README задания сохранён, REPORT.md содержит инструкцию решения. diff --git a/.github/workflows/contracts.yml b/.github/workflows/contracts.yml index 11cf289..1dbbcda 100644 --- a/.github/workflows/contracts.yml +++ b/.github/workflows/contracts.yml @@ -12,5 +12,16 @@ jobs: python-version: '3.12' - run: python -m pip install -r requirements-dev.txt - run: make check validate PYTHON=python -# This job validates the skeleton, not a student solution. -# Add build, readiness and make test in a separate application job. + + https-smoke: + runs-on: ubuntu-latest + timeout-minutes: 20 + steps: + - uses: actions/checkout@v4 + - name: Generate local trust and start Compose + run: scripts/up.sh + - name: Run HTTPS smoke and reject foreign trust + run: make test test-security CA_FILE=secrets/tls/service-ca/ca.crt + - name: Stop Compose + if: always() + run: docker compose down diff --git a/.gitignore b/.gitignore index b5a7189..8fbabe5 100644 --- a/.gitignore +++ b/.gitignore @@ -30,3 +30,5 @@ coverage/ .vscode/ # Keep small, sanitized evidence summaries in evidence/ under version control. # Inspect git diff --cached: ignore rules are not a secret scanner. + +/compose.local.yaml diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 0000000..72edf5f --- /dev/null +++ b/Dockerfile @@ -0,0 +1,15 @@ +FROM node:24.22.2-alpine3.24@sha256:8a32c8cf649a49915a66e81e7a609223c708d0adabf288ee3f4077d765542f85 AS dependencies +WORKDIR /app +COPY package.json package-lock.json ./ +RUN npm ci --omit=dev + +FROM node:24.22.2-alpine3.24@sha256:8a32c8cf649a49915a66e81e7a609223c708d0adabf288ee3f4077d765542f85 +RUN rm -rf /usr/local/lib/node_modules /opt/yarn-* /usr/local/bin/npm /usr/local/bin/npx /usr/local/bin/yarn /usr/local/bin/yarnpkg +WORKDIR /app +ENV NODE_ENV=production +COPY --from=dependencies /app/node_modules ./node_modules +COPY package.json ./ +COPY src ./src +USER node +EXPOSE 8080 +CMD ["node", "--import", "./src/telemetry.ts", "src/main.ts"] diff --git a/REPORT.md b/REPORT.md index 9801db4..e46c469 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,75 @@ -# Отчёт — лабораторная 7 +# Отчёт - лабораторная 7 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор - Морару Сергей Сергеевич, БПИ2303. +- Целевая оценка - 5. Трек 1 «Компрометация worker». +- Ветка - `solution/bpi2303-moraru` от `mtusi2026/mtusi2026lab7:main`. +- База реализации - [ЛР № 6, PR № 6](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6/pulls/6), ветка студента на коммите `66367ca`. +- Источники - [OpenBao cert auth](https://openbao.org/docs/auth/cert/), [RabbitMQ TLS](https://www.rabbitmq.com/docs/ssl), [SeaweedFS S3 credentials](https://github.com/seaweedfs/seaweedfs/wiki/S3-Credentials), [Prometheus exporter toolkit](https://github.com/prometheus/exporter-toolkit/blob/master/docs/web-configuration.md), [Tempo TLS](https://grafana.com/docs/tempo/latest/configuration/network/tls/), [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html). Codex использовался для переноса, реализации защиты и тестов, диагностики Compose и подготовки отчёта. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker Engine с Compose v2+, Python 3.9+, OpenSSL 3+ и свободное место под контейнеры, образы и volumes. Для полного стенда выделите Docker около 8 ГиБ RAM. Node 24 и версии сервисов закреплены в Dockerfile и Compose. Порты 8443, 8200 и 3000 должны быть свободны на loopback. -## Архитектура и решения +```sh +scripts/up.sh +curl --fail --cacert secrets/tls/service-ca/ca.crt https://localhost:8443/health/ready +make check +make test test-security CA_FILE=secrets/tls/service-ca/ca.crt +``` -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +`scripts/up.sh` создаёт локальную конфигурацию, запускает зависимости, применяет миграции, настраивает SCRAM, инициализирует и распечатывает OpenBao, записывает scoped policies и запускает приложение. Файл `.env` управляет портами, числом реплик, TTL сессий и лимитами. Сертификаты и материалы оператора находятся в `secrets/` с закрытым родительским каталогом. Они исключены из Git и Docker build context. После отдельного перезапуска OpenBao выполните `python3 scripts/bao.py unseal`. При исчерпанном пуле адресов Docker можно задать свободные непересекающиеся подсети для `frontend`, `backend` и `telemetry` в локальном `compose.local.yaml`, подключив его через `COMPOSE_FILE=compose.yaml:compose.local.yaml` в `.env`. -## Доказательства критериев +`docker compose down` останавливает стенд с сохранением volumes. `docker compose down -v` намеренно удаляет данные стенда, включая OpenBao. Для нового учебного bootstrap после удаления volumes уберите старый локальный каталог `secrets/` с учётом правил хранения ключей. -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +## Архитектура -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Две stateless API-реплики обслуживают контракт ЛР № 6. HAProxy проверяет readiness через mTLS. PostgreSQL хранит пользователей, сессии, чаты, сообщения, метаданные, задания и outbox. Вложения попадают в устойчивый staging. После завершения upload одна транзакция обновляет статус и создаёт job и outbox. Relay отмечает публикацию после подтверждения quorum-очереди. Worker использует ручной ack и fencing в PostgreSQL. SeaweedFS хранит оригиналы и варианты. Reconciler сверяет PostgreSQL и S3. Collector принимает трассы, метрики и логи. Grafana загружает dashboard, источники, SLO и алерты из конфигурации. Схемы бизнес-API и публичные тесты сохранены. Основной эксперимент выполнен на Mac15,6, macOS 14.8.4, Docker Engine 29.8.2 в OrbStack arm64 (11 vCPU, 9 ГБ RAM для VM). Из-за заполнения VM на этом хосте локальный override также поднял порог записи Loki до 99,9%; в Compose из Git действует штатный порог Loki. -## Эксперименты и отказы +Пути доверия описаны в [матрице](contracts/trust-matrix.md), атаки и отрицательные проверки - в [модели угроз](security/THREAT_MODEL.md). API, worker и reconciler получают credentials только после cert auth. Операторские bootstrap и replay используют отдельные credentials. API и worker выполняются с UID 1000, read-only rootfs, tmpfs, dropped capabilities и запретом эскалации. У worker 1 CPU, 768 МиБ и таймаут попытки 60 с. Stateful-сервисы пишут в volumes. PostgreSQL, RabbitMQ и SeaweedFS оставляют штатную инициализацию прав на data directory. -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +## Проверки -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Критерий | Команда | Доказательство | +| --- | --- | --- | +| Контракт | `make check`, `make validate PYTHON=.venv/bin/python` | [contract.txt](evidence/checks/contract.txt) | +| HTTPS API и вложения | `make test CA_FILE=secrets/tls/service-ca/ca.crt` | [smoke.txt](evidence/checks/smoke.txt) | +| Недоверенный CA | `make test-security CA_FILE=secrets/tls/service-ca/ca.crt` | [public-tls.txt](evidence/checks/public-tls.txt) | +| ACL, logout, expiry, rehash, общий login rate limit | `python3 student-tests/auth_security.py` | [auth.txt](evidence/checks/auth.txt) | +| Внутреннее TLS/mTLS, чужая identity | `student-tests/tls-audit.sh` | [internal-mtls.txt](evidence/checks/internal-mtls.txt) | +| Сохранность и отказ реплик | `make test-persistence ACTION_SCRIPT=scripts/restart.sh CA_FILE=secrets/tls/service-ca/ca.crt`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh CA_FILE=secrets/tls/service-ca/ca.crt`, `python3 student-tests/alternate_failover.py --replica 1` | [persistence.txt](evidence/checks/persistence.txt), [failover-api-1.txt](evidence/checks/failover-api-1.txt), [failover-api-2.txt](evidence/checks/failover-api-2.txt) | +| Ограничение доступа и смена ключей | `python3 student-tests/worker_compromise.py --output evidence/checks/worker-track.json` | [worker-track.txt](evidence/checks/worker-track.txt) | +| Истечение доступа при sealed OpenBao | `python3 student-tests/bao_expiry.py` | [bao-expiry.txt](evidence/checks/bao-expiry.txt) | +| Три сигнала, отсутствие утечек | `python3 student-tests/telemetry_check.py --ca-file secrets/tls/service-ca/ca.crt` | [telemetry.txt](evidence/checks/telemetry.txt) | +| Контейнеры API/worker | `student-tests/hardening.sh` | [hardening.txt](evidence/checks/hardening.txt) | -## Ограничения и следующие шаги +При последовательной проверке двух реплик запись восстановилась через 3.17 с для API-1 и 3.28 с для API-2. В каждом прогоне подтверждено 122 записи без ошибок и дублей. После общего перезапуска проверены прежний токен, история и байты вложения. При seal обе реплики зафиксировали истечение credentials, через 44.7 с ingress вернул 503. После unseal обе реплики снова отвечали через 48.7 с от начала сценария. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +### Бюджет Argon2id + +Параметры `m=19456 КиБ, t=2, p=1`, случайная соль 16 байт. Для каждой реплики одновременно считаются до двух хешей. Общий PostgreSQL-лимит допускает до 30 запросов входа в 10-секундное окно на весь стенд. При отказе выдаётся 429 с Retry-After. Успешный вход переводит scrypt из ЛР № 6 в Argon2id условным UPDATE. Старые сессии остаются действительны до истечения TTL или logout. + +`node student-tests/argon2_bench.mjs` на macOS arm64, Node 25.8.2, один прогрев, 25 операций на поток. В сохранённом прогоне при 1 потоке p50/p95/p99 составили 91/110/208 мс, CPU 1.82 с за 25 хешей. При 2 потоках p50/p95/p99 91/136/152 мс, CPU 3.54 с за 50 хешей, peak RSS процесса 111 МиБ. CPU одного хеша около 71-73 мс. [Сводка](evidence/checks/argon2.jsonl). Бюджет памяти двух параллельных Argon2id - 38 МиБ плюс память Node и зависимостей. Время ответа на этой загруженной машине включает планирование CPU; эксперимент не оценивает пропускную способность всего API. + +В серии из 64 входов с неверным паролем при concurrency 4 получены 26 ответов 401 и 38 ответов 429 с Retry-After. Отказы наблюдались у обеих API-реплик. p50/p95 ответов 401 составили 101/171 мс. [Вывод](evidence/checks/auth.txt). + +### Трек 1 - компрометация worker + +Гипотеза. Украденные права worker позволяют читать staging, создавать варианты, потреблять очередь и менять состояние заданий. Они не дают читать пароли или сообщения, писать в произвольный prefix, публиковать задания или менять топологию. Ротация должна перекрыть старый доступ и сохранить все задания, которые API успел подтвердить. + +Методика. Синтетический стенд, два worker, concurrency 2 на worker. Скрипт запускает пробу в backend с leaf и credentials worker. Проверяет операции по трём зависимостям и OpenBao. Останавливает worker, загружает 6 PNG и ждёт, пока outbox отметит публикацию. Оператор убирает прежний leaf из OpenBao, отзывает сертификат и пользователя AMQP, завершает DB connections, меняет пароль и S3 key, затем поднимает worker и открывает новые соединения со старыми материалами. Проверяются SHA-256 каждого оригинала, ровно шесть done и восемнадцать строк вариантов. Время считается от начала ротации до проверки каждого оригинала. Эксперимент покрывает очередь без активных lease на момент отключения. + +Результат прогона. Старый leaf получил отказ на OpenBao, RabbitMQ и Collector. Прежние пароль БД и ключ S3 также отклонены. Все 6 заданий обработаны с первой попытки, записаны 18 вариантов, SHA-256 всех 6 оригиналов совпал. Первое подтверждение получено через 84.48 с от начала ротации, последнее через 84.74 с. [Вывод проверок](evidence/checks/worker-track.txt) · [Измерения](evidence/checks/worker-track.json). + +До разграничения в ЛР № 6 worker подключался к PostgreSQL как владелец схемы, имел Read/Write на весь bucket, брокер уже разделял публикацию и потребление. Здесь даже действующий worker видит только рабочие prefix и таблицы pipeline, а его брокерный credential связан с leaf. Внутри своих разрешений worker может повредить рабочие данные или задержать обработку. Время восстановления зависит от рестартов одиночного RabbitMQ и SeaweedFS, поэтому это проверка сохранности, а не высокой доступности этих зависимостей. + +### Сканирование + +`npm audit --omit=dev` вернул 0 известных уязвимостей зависимостей npm. Trivy 0.76.2 в исходном однослойном образе обнаружил zlib CVE-2026-4738 и уязвимости пакетов, поставленных вместе с npm, включая brace-expansion и undici. Исходники сервиса не используют npm CLI в runtime. Финальный образ исключает глобальный npm и Yarn, сохраняя production dependencies приложения. В финальном скане Trivy оставил одну запись CVE-2026-4738 для системного zlib. Описание NVD указывает путь GDAL `frmts/zlib/contrib/infback9`. GDAL отсутствует в runtime, поэтому путь из advisory не входит в поверхность стенда. При обновлении базового образа следует повторить скан. [Вывод Trivy и npm audit](evidence/checks/scan.txt). + +## Ограничения стенда + +OpenBao, PostgreSQL, S3, RabbitMQ и telemetry backends работают в одном экземпляре. OpenBao требует ручного unseal после своего рестарта. Локальная ротация worker переинициализирует слушатели с новыми сертификатами и ACL, сохраняя volumes. Окно fail-closed составляет до 45 с после последнего успешного получения credentials. Это учебный стенд с локальным CA и синтетическими данными. + +## Публикация + +В Gitea создайте fork `mtusi2026/mtusi2026lab7` в аккаунте `s.s.moraru`. Из этой ветки выполните `git push -u fork solution/bpi2303-moraru`. В новом PR выберите base `mtusi2026/mtusi2026lab7:main` и head `s.s.moraru/mtusi2026lab7:solution/bpi2303-moraru`. Заголовок - **ЛР 7 - БПИ2303 - Морару - на 5**. Описание подготовлено в [шаблоне PR](.github/pull_request_template.md). diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 0000000..618aa3f --- /dev/null +++ b/compose.yaml @@ -0,0 +1,433 @@ +name: messenger-lab7 + +x-app: &app + build: . + image: messenger-lab7-app:dev # уникальное имя: на общем Docker-host не перепутать с чужими стендами + networks: [backend] + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + tmpfs: ["/tmp:size=64m,mode=1777"] + ulimits: + core: { soft: 0, hard: 0 } + volumes: [./secrets/tls/service-ca:/run/tls:ro] + logging: &logging + driver: json-file + options: { max-size: "10m", max-file: "3" } # stdout-логи ограничены; история логов — в Loki + +# OpenTelemetry SDK api и worker (src/telemetry.ts). service.name задаётся у каждого сервиса отдельно. +# OTEL_SDK_DISABLED=true — приложение без telemetry (сравнение, отладка). +x-otel-env: &otel-env + OTEL_EXPORTER_OTLP_ENDPOINT: https://otel-collector:4318 + OTEL_EXPORTER_OTLP_PROTOCOL: ${OTEL_EXPORTER_OTLP_PROTOCOL:-http/protobuf} + OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab} + OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false} + OTEL_PROPAGATORS: tracecontext # W3C traceparent/tracestate; baggage клиентов не принимается + OTEL_METRIC_EXPORT_INTERVAL: "10000" # мс; окна rate() от 1 минуты + OTEL_BSP_SCHEDULE_DELAY: "1000" + OTEL_BLRP_SCHEDULE_DELAY: "1000" + OTEL_NODE_EXPERIMENTAL_SDK_METRICS: "true" # otel.sdk.*: сколько spans/логов SDK обработал и отбросил + +x-s3-env: &s3-env + S3_ENDPOINT: https://s3:9000 + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: messenger-attachments + NODE_EXTRA_CA_CERTS: /run/tls/ca.crt + +x-jobs-env: &jobs-env + MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000} + PIPELINE_VERSION: ${PIPELINE_VERSION:-1} + JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} + JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60} + JOB_RETRY_BASE_MS: ${JOB_RETRY_BASE_MS:-2000} + JOB_REPUBLISH_SECONDS: ${JOB_REPUBLISH_SECONDS:-600} + FAILPOINTS: ${FAILPOINTS:-0} # 1 только на тестовом стенде: файл failpoint-<точка>.png один раз роняет процесс + +services: + postgres: + image: postgres:18.6-alpine@sha256:10a5c69a83035ab5239f5620d708520e8b28f5aa1f2b20143e6024532edadfb5 + entrypoint: ["/bin/sh", "/etc/lab/entrypoint.sh"] + environment: + POSTGRES_USER: messenger + POSTGRES_DB: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: [postgres_password] + volumes: + - pgdata:/var/lib/postgresql + - ./infra/postgres:/etc/lab:ro + - ./secrets/tls/postgres:/run/identity:ro + healthcheck: + test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"] + interval: 2s + timeout: 2s + retries: 20 + deploy: + resources: + limits: { cpus: "2", memory: 1g } + stop_grace_period: 30s + restart: unless-stopped + security_opt: [no-new-privileges:true] + networks: [backend] + + openbao: + image: openbao/openbao:2.5.4@sha256:436eaf9778cad75507ff70ea26ace30dcbe15606e619ac3823495663d7f7c115 + user: "100:1000" + entrypoint: ["/bin/bao"] + command: ["server", "-config=/etc/lab/server.hcl"] + volumes: + - ./infra/openbao/server.hcl:/etc/lab/server.hcl:ro + - ./secrets/tls/openbao:/run/identity:ro + - bao-data:/openbao/file + - bao-audit:/openbao/logs + networks: [frontend, backend] + ports: ["127.0.0.1:${BAO_PORT:-8200}:8200"] + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + tmpfs: ["/tmp:size=16m,mode=1777"] + mem_limit: 256m + cpus: 0.5 + restart: unless-stopped + + # Filer, master и volume на loopback в том же контейнере. Наружу слушает только TLS S3. + s3: + image: chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d + command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1", "-filer", "-s3", + "-master.volumeSizeLimitMB=128", "-volume.minFreeSpace=64MiB", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", + "-s3.config=/run/s3/identities.json", "-s3.cert.file=/run/identity/tls.crt", "-s3.key.file=/run/identity/tls.key", + "-s3.iam=false", "-s3.port.iceberg=0", "-s3.port.lance=0", "-s3.autoCreateBucket=false", + "-s3.concurrentUploadLimitMB=256"] + volumes: + - s3data:/data + - ./secrets/runtime/s3:/run/s3:ro + - ./secrets/tls/s3:/run/identity:ro + - ./secrets/tls/service-ca:/run/tls:ro + healthcheck: + test: ["CMD-SHELL", "SSL_CERT_FILE=/run/tls/ca.crt wget -qO /dev/null https://s3:9000/healthz"] + interval: 2s + timeout: 2s + retries: 30 + mem_limit: 768m + cpus: 1 + restart: unless-stopped + security_opt: [no-new-privileges:true] + networks: [backend] + + # Одноразовые сервисы до старта реплик: схема БД (advisory lock) и bucket (повторный запуск ничего не меняет). + migrate: + <<: *app + command: ["node", "src/main.ts", "migrate"] + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: [database_url] + restart: "no" + deploy: + resources: + limits: { cpus: "0.5", memory: 128m } + depends_on: + postgres: { condition: service_healthy } + + s3-init: + <<: *app + command: ["node", "src/main.ts", "s3-init"] + environment: + <<: *s3-env + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + secrets: + - { source: s3_admin_access_key_id, target: s3_access_key_id } + - { source: s3_admin_secret_access_key, target: s3_secret_access_key } + restart: "no" + deploy: + resources: + limits: { cpus: "0.5", memory: 128m } + depends_on: + s3: { condition: service_healthy } + + # Брокер: RabbitMQ, quorum-очередь на диске (volume rabbitmq-data), publisher confirms, ручной ack. + # hostname фиксирует имя узла rabbit@rabbitmq: данные в volume привязаны к нему и переживают пересоздание. + rabbitmq: + image: rabbitmq:4.3.6-alpine@sha256:6931816af1a943f471c038b278835d36692d55dec769232739296bb91b7de0f5 + hostname: rabbitmq + volumes: + - rabbitmq-data:/var/lib/rabbitmq + - ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/90-messenger.conf:ro + - ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro + - ./secrets/tls/rabbitmq:/run/identity:ro + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/telemetry-ca:/run/telemetry:ro + secrets: [rabbitmq_definitions] + healthcheck: + test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"] + interval: 5s + timeout: 10s + retries: 30 + start_period: 20s + deploy: + resources: + limits: { cpus: "1", memory: 512m } + stop_grace_period: 30s + restart: unless-stopped + networks: [backend] + + api: + <<: *app + environment: + <<: [*s3-env, *jobs-env, *otel-env] + OTEL_SERVICE_NAME: messenger-api + BAO_ROLE: api + ARGON2_MEMORY_KIB: ${ARGON2_MEMORY_KIB:-19456} + ARGON2_ITERATIONS: ${ARGON2_ITERATIONS:-2} + ARGON2_PARALLELISM: ${ARGON2_PARALLELISM:-1} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DB_POOL_MAX: ${DB_POOL_MAX:-8} + SHUTDOWN_DRAIN_MS: ${SHUTDOWN_DRAIN_MS:-2500} + MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760} + volumes: + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/api:/run/identity:ro + - ./secrets/pki:/run/pki:ro + depends_on: + migrate: { condition: service_completed_successfully } + s3-init: { condition: service_completed_successfully } + healthcheck: + test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8081/"] + interval: 2s + timeout: 2s + retries: 3 + # Lab6: старт с OpenTelemetry SDK (загрузка instrumentations через ESM-hook) на занятом хосте — до ~25 с. + # Успешная проверка сразу делает контейнер healthy; start_period только прощает неудачи при старте. + start_period: 120s + deploy: + replicas: ${API_REPLICAS:-2} + resources: + limits: { cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-256m}" } + stop_grace_period: 15s + restart: unless-stopped # упавшая реплика поднимается сама; после `docker stop` остаётся остановленной + + # Worker: отдельный процесс без HTTP, конкурирующие consumers одной очереди. WORKER_CONCURRENCY = prefetch = + # одновременных заданий на реплику; память ограничена контейнером, libvips — один поток, без кэша. + worker: + <<: *app + command: ["node", "--import", "./src/telemetry.ts", "src/main.ts", "worker"] + environment: + <<: [*s3-env, *jobs-env, *otel-env] + OTEL_SERVICE_NAME: messenger-worker + BAO_ROLE: worker + WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2} + volumes: + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/worker:/run/identity:ro + depends_on: + migrate: { condition: service_completed_successfully } + s3-init: { condition: service_completed_successfully } + rabbitmq: { condition: service_healthy } + deploy: + replicas: ${WORKER_REPLICAS:-2} + resources: + limits: { cpus: "${WORKER_CPUS:-1}", memory: "${WORKER_MEMORY:-768m}" } + stop_grace_period: 15s # SIGTERM: consumer отменяется, текущие задания до 10 с, затем выход + restart: unless-stopped + + # Периодическая сверка БД ↔ S3 с grace period (src/reconcile.ts). Свои S3-ключи: объекты + листинг bucket. + reconciler: + <<: *app + command: ["node", "src/main.ts", "reconcile", "--apply", "--every=${RECONCILE_INTERVAL_SECONDS:-300}"] + environment: + <<: *s3-env + BAO_ROLE: reconciler + RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-900} + STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400} + volumes: + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/reconciler:/run/identity:ro + depends_on: + migrate: { condition: service_completed_successfully } + s3-init: { condition: service_completed_successfully } + deploy: + resources: + limits: { cpus: "0.5", memory: 128m } + restart: unless-stopped + + lb: + image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b + volumes: + - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + - ./secrets/tls/ingress:/run/public:ro + - ./secrets/tls/lb-client:/run/client:ro + - ./secrets/tls/lb:/run/identity:ro + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/telemetry-ca:/run/telemetry:ro + ports: ["127.0.0.1:${LB_PORT:-8443}:8443"] + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + depends_on: + api: { condition: service_healthy } + deploy: + resources: + limits: { cpus: "${LB_CPUS:-1}", memory: 128m } + restart: unless-stopped + networks: [frontend, backend] + + # HAProxy проверяет CN и CRL перед передачей OTLP по loopback в общем network namespace. + otel-collector: + image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b + volumes: + - ./infra/otel/ingress.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + - ./secrets/tls/otel-collector:/run/identity:ro + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/pki:/run/pki:ro + networks: [backend, telemetry] + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + mem_limit: 128m + cpus: 0.5 + restart: unless-stopped + logging: *logging + + collector: + image: otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6748110ffb6a59bc0df448bccbf501cdb667d610ede4c61d3863d5849 + network_mode: "service:otel-collector" + volumes: + - ./infra/otel/collector.yaml:/etc/otelcol-contrib/config.yaml:ro + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/collector:/run/client:ro + environment: + GOMEMLIMIT: 180MiB + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + mem_limit: 256m + cpus: 1 + restart: unless-stopped + logging: *logging + + prometheus: + image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 + command: + - --config.file=/etc/prometheus/prometheus.yml + - --storage.tsdb.path=/prometheus + - --storage.tsdb.retention.time=15d + - --storage.tsdb.retention.size=1GB + - --web.enable-otlp-receiver + - --web.config.file=/etc/prometheus/web.yml + - --enable-feature=created-timestamp-zero-ingestion # новая серия счётчика начинается с 0: rate() видит первые ошибки + - --query.lookback-delta=1m # данные остановленной реплики перестают учитываться через минуту, а не через 5 + volumes: + - ./infra/prometheus:/etc/prometheus:ro + - ./secrets/tls/prometheus:/run/identity:ro + - ./secrets/tls/telemetry-ca:/run/telemetry:ro + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/prometheus-scrape:/run/client:ro + - prometheus-data:/prometheus + deploy: + resources: + limits: { cpus: "1", memory: 512m } + stop_grace_period: 30s + restart: unless-stopped + logging: *logging + networks: [telemetry] + + loki: + image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28 + command: ["-config.file=/etc/loki/loki.yaml"] + volumes: + - ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro + - ./secrets/tls/loki:/run/identity:ro + - ./secrets/tls/telemetry-ca:/run/telemetry:ro + - loki-data:/loki + deploy: + resources: + limits: { cpus: "1", memory: 384m } + stop_grace_period: 30s + restart: unless-stopped + logging: *logging + networks: [telemetry] + + tempo: + image: grafana/tempo:2.10.10@sha256:12b0820f13ffa10ce956b6e9acc3b03f3cffded99109be6cc09d106fe56e5d38 + command: ["-config.file=/etc/tempo/tempo.yaml"] + volumes: + - ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro + - ./secrets/tls/tempo:/run/identity:ro + - ./secrets/tls/telemetry-ca:/run/telemetry:ro + - ./secrets/tls/collector-ca:/run/collector-ca:ro + - tempo-data:/var/tempo + deploy: + resources: + limits: { cpus: "1", memory: 512m } + stop_grace_period: 30s + restart: unless-stopped + logging: *logging + networks: [telemetry] + + # Grafana: интерфейс и запросы к хранилищам; datasources и dashboard импортируются из Git (provisioning). + grafana: + image: grafana/grafana:13.2.5@sha256:9f7aa1e1e3246aade5792d35a738049f7f32f89cd51d1956cf426a4e86268a84 + entrypoint: + - /bin/sh + - -ec + - | + export DS_CA="$$(cat /run/tls/ca.crt)" DS_CERT="$$(cat /run/client/tls.crt)" DS_KEY="$$(cat /run/client/tls.key)" + exec /run.sh + environment: + GF_SERVER_PROTOCOL: https + GF_SERVER_CERT_FILE: /run/identity/tls.crt + GF_SERVER_CERT_KEY: /run/identity/tls.key + GF_SECURITY_ADMIN_USER: admin + GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password + GF_USERS_ALLOW_SIGN_UP: "false" + GF_AUTH_ANONYMOUS_ENABLED: "false" + GF_SERVER_ROOT_URL: https://localhost:${GRAFANA_PORT:-3000} + GF_ANALYTICS_REPORTING_ENABLED: "false" + GF_ANALYTICS_CHECK_FOR_UPDATES: "false" + GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false" + GF_PLUGINS_PREINSTALL_DISABLED: "true" + GF_NEWS_NEWS_FEED_ENABLED: "false" + secrets: [grafana_admin_password] + volumes: + - ./infra/grafana/provisioning:/etc/grafana/provisioning:ro + - ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro + - ./secrets/tls/grafana:/run/identity:ro + - ./secrets/tls/service-ca:/run/tls:ro + - ./secrets/tls/grafana-query:/run/client:ro + - grafana-data:/var/lib/grafana + ports: + - "127.0.0.1:${GRAFANA_PORT:-3000}:3000" + healthcheck: + test: ["CMD-SHELL", "SSL_CERT_FILE=/run/tls/ca.crt wget -qO /dev/null https://localhost:3000/api/health"] + interval: 5s + timeout: 3s + retries: 30 + deploy: + resources: + limits: { cpus: "0.5", memory: 256m } + restart: unless-stopped + logging: *logging + networks: [frontend, telemetry] + +networks: + frontend: {} + backend: { internal: true } # api, worker, postgres, rabbitmq и s3-шлюз недоступны с хоста и не имеют выхода наружу + telemetry: { internal: true } # collector → prometheus/loki/tempo ← grafana; приложение сюда не подключено + +volumes: + bao-data: {} + bao-audit: {} + pgdata: {} + s3data: {} + rabbitmq-data: {} + prometheus-data: {} + loki-data: {} + tempo-data: {} + grafana-data: {} + +secrets: + database_url: { file: ./secrets/runtime/database_url } + postgres_password: { file: ./secrets/runtime/postgres_password } + s3_admin_access_key_id: { file: ./secrets/runtime/s3_admin_access_key_id } + s3_admin_secret_access_key: { file: ./secrets/runtime/s3_admin_secret_access_key } + rabbitmq_definitions: { file: ./secrets/runtime/rabbitmq_definitions.json } + grafana_admin_password: { file: ./secrets/runtime/grafana_admin_password } diff --git a/contracts/trust-matrix.md b/contracts/trust-matrix.md index 0c2a977..437bfbb 100644 --- a/contracts/trust-matrix.md +++ b/contracts/trust-matrix.md @@ -1,37 +1,20 @@ -# Матрица доверия — заполнить в решении lab7 +# Матрица доверия -Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать. +Service CA подписывает серверы и клиентские leaf приложения. Отдельные CA telemetry и collector ограничивают доступ к хранилищам сигналов. Bootstrap выпускает leaf на 7 суток и CA на 365 суток. Имена серверов из таблицы проверяются по DNS SAN, кроме локальных HTTPS URL, для которых выданы также localhost и 127.0.0.1. -| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг | +| Связь | Endpoint и проверка сервера | Клиент и ACL | Проверка | | --- | --- | --- | --- | -| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO | -| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO | -| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO | -| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO | -| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO | -| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO | -| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO | -| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO | -| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO | -| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO | -| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO | -| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO | +| Клиент → ingress | `https://localhost:8443`, service CA | Bearer, SHA-256 в БД, TTL 3600 с, ACL чата | `make test test-security CA_FILE=secrets/tls/service-ca/ca.crt`, `student-tests/auth_security.py` | +| LB → обе API | `https://api:8080`, service CA, SNI/verifyhost api | leaf `DNS:lb-client`, CRL, обязательный client cert | `student-tests/tls-audit.sh`, положительные и отрицательные подключения | +| API/worker/reconciler → PostgreSQL | `postgres:5432`, service CA, SSL с проверкой имени | раздельные SCRAM-роли и SQL grants; API имеет доступ к пользовательским данным, worker ограничен pipeline | `student-tests/worker_compromise.py`, `pg_stat_ssl`, SQLSTATE 42501/28P01 | +| API/worker/reconciler → S3 | `https://s3:9000`, service CA | SigV4 с отдельными ключами, prefix ACL, List только у reconciler и оператора | `student-tests/worker_compromise.py`, staged read / private deny / старый ключ 403 | +| API/worker → RabbitMQ | `amqps://rabbitmq:5671/messenger`, service CA | EXTERNAL по CN, `api` публикует в attachments, текущий `worker-*` читает attachments.process; declare запрещён | `student-tests/tls-audit.sh`, `student-tests/worker_compromise.py` | +| API/worker → Collector | `https://otel-collector:4318`, service CA | HAProxy требует client cert и CN `api` или выданный `worker-*`, проверяет CRL, разрешает только OTLP POST | `student-tests/tls-audit.sh`, `student-tests/worker_compromise.py` | +| Collector → хранилища | `prometheus:9090`, `loki:3100` по HTTPS, `tempo:4317` по OTLP gRPC/TLS, service CA | клиентский cert от collector CA; Tempo ingest доверяет только collector CA | `student-tests/telemetry_check.py`, `student-tests/tls-audit.sh` | +| Grafana → источники | HTTPS `prometheus:9090`, `loki:3100`, `tempo:3200`, service CA | `grafana-query` от telemetry CA, доступ в UI аутентифицирован | provisioning, `student-tests/telemetry_check.py`, `student-tests/tls-audit.sh` | +| Сервисы → OpenBao | `https://openbao:8200`, service CA | cert auth с pinned leaf, API/worker/reconciler читают каждый свой KV; TTL 45 с, re-auth 5 с | `student-tests/worker_compromise.py`, `student-tests/bao_expiry.py` | +| Оператор | `https://localhost:8200`, `https://localhost:3000`; S3 через внутреннюю сеть | OpenBao root и Shamir у оператора, Grafana Basic, отдельный S3 admin для bootstrap | `scripts/bao.py`, HTTPS Grafana и bootstrap bucket | +| Redis/Valkey | Н/П | Сессии в PostgreSQL | HTTPS persistence | +| Replication | Н/П | Две независимые API-реплики; брокер и хранилища в одном экземпляре | HTTPS failover обеих API-реплик | -Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход. - -## Обязательные отрицательные проверки - -1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен». -2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех. -3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity. -4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity. -5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3. -6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить. - -## Bootstrap и эксплуатация - -В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу. - -OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии. - -Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap. +Collector скрейпит `https://lb:8404` и `https://rabbitmq:15691` с client cert от collector CA. Prometheus проверяет серверные сертификаты источников и использует отдельный cert `prometheus-scrape`. Локальные HTTP hop находятся в закрытом namespace: процесс OTel слушает `127.0.0.1:14318`, доступны только его ingress и self-scrape, а внутренние master/filer/volume SeaweedFS находятся на loopback одного контейнера. API имеет отдельный HTTP socket на `127.0.0.1:8081`, отдающий только состояние процесса. Bootstrap БД использует Unix socket с peer map для пользователя postgres. Сеть и порты видны через `docker compose config`. diff --git a/evidence/checks/argon2.jsonl b/evidence/checks/argon2.jsonl new file mode 100644 index 0000000..f81ed70 --- /dev/null +++ b/evidence/checks/argon2.jsonl @@ -0,0 +1,2 @@ +{"concurrency":1,"runs":25,"p50_ms":91,"p95_ms":110,"p99_ms":208,"elapsed_ms":2404,"cpu_ms":1817,"max_rss_mib":111} +{"concurrency":2,"runs":50,"p50_ms":91,"p95_ms":136,"p99_ms":152,"elapsed_ms":2504,"cpu_ms":3543,"max_rss_mib":111} diff --git a/evidence/checks/auth.txt b/evidence/checks/auth.txt new file mode 100644 index 0000000..3a1ad09 --- /dev/null +++ b/evidence/checks/auth.txt @@ -0,0 +1,5 @@ +PASS outsider: metadata, bytes and reuse of foreign attachment denied +PASS expired and logged-out sessions rejected +PASS successful scrypt login rehashes to Argon2id +PASS ingress rejects an incorrect hostname +PASS shared login budget {"codes": {"401": 26, "429": 38}, "requests": 64, "concurrency": 4, "seconds": 0.93, "401_p50_ms": 101.2, "401_p95_ms": 170.7} diff --git a/evidence/checks/bao-expiry.txt b/evidence/checks/bao-expiry.txt new file mode 100644 index 0000000..faebcb4 --- /dev/null +++ b/evidence/checks/bao-expiry.txt @@ -0,0 +1,5 @@ +OpenBao: seal OK +PASS sealed OpenBao, both replicas expired and ingress returned 503 after 44.7s +OpenBao unsealed +OpenBao: unseal OK +PASS both replicas recovered after 48.7s from seal diff --git a/evidence/checks/contract.txt b/evidence/checks/contract.txt new file mode 100644 index 0000000..f75669b --- /dev/null +++ b/evidence/checks/contract.txt @@ -0,0 +1,4 @@ +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. diff --git a/evidence/checks/failover-api-1.txt b/evidence/checks/failover-api-1.txt new file mode 100644 index 0000000..8b873b2 --- /dev/null +++ b/evidence/checks/failover-api-1.txt @@ -0,0 +1,3 @@ +python3 student-tests/alternate_failover.py --replica 1 +stopped /messenger-lab7-api-1 (5bdde5a69ba7) +PASS api-1: 122 successful writes, 0 failures, recovery 3.171s diff --git a/evidence/checks/failover-api-2.txt b/evidence/checks/failover-api-2.txt new file mode 100644 index 0000000..da296e7 --- /dev/null +++ b/evidence/checks/failover-api-2.txt @@ -0,0 +1,5 @@ +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 3.275} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +stopped /messenger-lab7-api-2 (789f75a2d4d6) diff --git a/evidence/checks/hardening.txt b/evidence/checks/hardening.txt new file mode 100644 index 0000000..d3fecc5 --- /dev/null +++ b/evidence/checks/hardening.txt @@ -0,0 +1,4 @@ +PASS /messenger-lab7-api-1 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports +PASS /messenger-lab7-api-2 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports +PASS /messenger-lab7-worker-1 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports +PASS /messenger-lab7-worker-2 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports diff --git a/evidence/checks/internal-mtls.txt b/evidence/checks/internal-mtls.txt new file mode 100644 index 0000000..057fc04 --- /dev/null +++ b/evidence/checks/internal-mtls.txt @@ -0,0 +1,20 @@ +PASS api allow +PASS api deny +PASS api tls-deny +PASS api tls-deny +PASS api tls-deny +PASS rabbitmq allow +PASS rabbitmq deny +PASS rabbitmq tls-deny +PASS rabbitmq tls-deny +PASS otel-collector allow +PASS otel-collector deny +PASS otel-collector tls-deny +PASS otel-collector tls-deny +PASS otel-collector tls-deny +PASS prometheus allow +PASS prometheus tls-deny +PASS loki allow +PASS loki tls-deny +PASS tempo allow +PASS tempo tls-deny diff --git a/evidence/checks/persistence.txt b/evidence/checks/persistence.txt new file mode 100644 index 0000000..7420735 --- /dev/null +++ b/evidence/checks/persistence.txt @@ -0,0 +1,20 @@ +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +Container StartedAt before → after (volumes preserved) +lb 2026-11-13T01:15:11.257385463Z -> 2026-11-13T01:20:10.547301092Z +api 2026-11-13T01:15:50.908917222Z -> 2026-11-13T01:20:04.090599786Z +api 2026-11-13T01:15:57.172061993Z -> 2026-11-13T01:20:04.636345266Z +worker 2026-11-13T01:18:50.289037895Z -> 2026-11-13T01:20:04.088323125Z +worker 2026-11-13T01:18:50.641455405Z -> 2026-11-13T01:20:04.571768822Z +reconciler 2026-11-13T01:15:50.899418247Z -> 2026-11-13T01:20:04.079800985Z +postgres 2026-11-13T00:55:15.413332805Z -> 2026-11-13T01:19:36.476215277Z +s3 2026-11-13T01:17:38.625759439Z -> 2026-11-13T01:19:41.274651051Z +rabbitmq 2026-11-13T01:17:38.618089156Z -> 2026-11-13T01:19:37.531654708Z +otel-collector 2026-11-13T01:17:38.608424136Z -> 2026-11-13T01:19:36.638172339Z +collector 2026-11-13T01:17:40.256329957Z -> 2026-11-13T01:19:42.679961375Z +prometheus 2026-11-13T00:55:15.184395701Z -> 2026-11-13T01:19:36.261421478Z +loki 2026-11-13T01:16:17.793235632Z -> 2026-11-13T01:19:36.783945489Z +tempo 2026-11-13T00:55:13.64505991Z -> 2026-11-13T01:19:36.429086463Z +grafana 2026-11-13T00:59:58.501910653Z -> 2026-11-13T01:19:42.904075477Z +openbao 2026-11-13T00:57:09.723084442Z -> 2026-11-13T01:19:37.422278275Z diff --git a/evidence/checks/promtool.txt b/evidence/checks/promtool.txt new file mode 100644 index 0000000..f65dd30 --- /dev/null +++ b/evidence/checks/promtool.txt @@ -0,0 +1,2 @@ +promtool test rules /etc/prometheus/tests/alerts.test.yml +SUCCESS diff --git a/evidence/checks/public-tls.txt b/evidence/checks/public-tls.txt new file mode 100644 index 0000000..b43490e --- /dev/null +++ b/evidence/checks/public-tls.txt @@ -0,0 +1,2 @@ +python3 tests/security.py --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt" +PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening. diff --git a/evidence/checks/scan.txt b/evidence/checks/scan.txt new file mode 100644 index 0000000..4d4909c --- /dev/null +++ b/evidence/checks/scan.txt @@ -0,0 +1,5 @@ +Trivy 0.76.2, messenger-lab7-app:dev, linux/arm64, 2026-11-13 +npm audit --omit=dev: 0 vulnerabilities +messenger-lab7-app:dev (alpine 3.24.3): 1 findings +CVE-2026-4738 zlib MEDIUM 1.3.2-r1 1.4-r0 +Node.js: 0 findings diff --git a/evidence/checks/smoke.txt b/evidence/checks/smoke.txt new file mode 100644 index 0000000..50b8b2b --- /dev/null +++ b/evidence/checks/smoke.txt @@ -0,0 +1,2 @@ +python3 tests/smoke.py --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt" +PASS: lab7 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/checks/telemetry.txt b/evidence/checks/telemetry.txt new file mode 100644 index 0000000..e5d9683 --- /dev/null +++ b/evidence/checks/telemetry.txt @@ -0,0 +1,8 @@ +PASS 1 trace 39bd5ebcd3c5fb3c8289d0fd05f0d332: server span POST /api/v1/chats/{chat_id}/messages (3 SQL), лог request_id=3f633f88-ab37-44df-ad6a-18616b504fb6 +PASS 2 404 request_id=33b40a88-0173-4364-828c-18d8d3810b53 → лог → trace 01e968716000024fe5e64908a92f9059 +PASS 3 trace f68deeca64cc65ace6a2821019036d0b: upload → publish → process (39 spans), лог job.ready в том же trace +PASS 4 trace d172c7ac2a5c5b7b8f9b8a3970d1b8d4: publish#1 → process#1 (retry, S3 timeout) → publish#2 → process#2 (ready) +PASS 5 метрики: 14 обязательных есть; 119 labels без id/URL; 10 шаблонов http_route +PASS 6 секреты/контент не найдены в 8 ответах Tempo/Loki и во всём Loki за 30 мин +PASS 7 dashboard «Messenger lab6»: 35 панелей, 57/60 запросов с данными (пусто: ['Потери telemetry (элементов/с)']) +PASS: сигналы lab6 (traces, logs, metrics, связь через очередь, retry, отсутствие секретов, dashboard) diff --git a/evidence/checks/worker-track.json b/evidence/checks/worker-track.json new file mode 100644 index 0000000..d3913c9 --- /dev/null +++ b/evidence/checks/worker-track.json @@ -0,0 +1,16 @@ +{ + "queued": 6, + "done": 6, + "variants": 18, + "attempts": 6, + "lost": 0, + "sha256_verified": 6, + "seconds_from_rotation_to_verification": [ + 84.48, + 84.6, + 84.64, + 84.67, + 84.7, + 84.74 + ] +} diff --git a/evidence/checks/worker-track.txt b/evidence/checks/worker-track.txt new file mode 100644 index 0000000..8cbd074 --- /dev/null +++ b/evidence/checks/worker-track.txt @@ -0,0 +1,12 @@ +PASS operator seeds staging/private and reads private +PASS OpenBao own read; cross-role read, write and policy update denied; TTL 45s +PASS PostgreSQL TLS; job select/update allowed; users, messages, delete and DDL denied +PASS S3 staging read; variants/originals write; private read/write/copy and bucket list denied +PASS RabbitMQ worker consumes attachments.process; publish and queue creation denied +PASS 6 заданий queued и подтверждены брокером до ротации +OpenBao: revoke-worker OK +PostgreSQL: SCRAM credentials настроены +OpenBao: replace-worker OK +Worker identity и credentials заменены +PASS old leaf denied by OpenBao, AMQP and OTLP; old DB password and S3 key denied +PASS {"queued": 6, "done": 6, "variants": 18, "attempts": 6, "lost": 0, "sha256_verified": 6, "seconds_from_rotation_to_verification": [84.48, 84.6, 84.64, 84.67, 84.7, 84.74]} diff --git a/infra/grafana/build_dashboard.py b/infra/grafana/build_dashboard.py new file mode 100644 index 0000000..4a401c0 --- /dev/null +++ b/infra/grafana/build_dashboard.py @@ -0,0 +1,210 @@ +#!/usr/bin/env python3 +"""Генератор infra/grafana/dashboards/messenger.json (импортируется provisioning-ом). +JSON в Git — результат этого скрипта; правьте скрипт и пересоберите: python3 infra/grafana/build_dashboard.py +Каждая панель: запрос PromQL/LogQL/TraceQL и единица измерения (fieldConfig.unit). Квантили — histogram_quantile +по сумме buckets всех реплик (sum by le), не среднее и не усреднение p99 реплик.""" +import json +from pathlib import Path + +PROM = {'type': 'prometheus', 'uid': 'prometheus'} +LOKI = {'type': 'loki', 'uid': 'loki'} +TEMPO = {'type': 'tempo', 'uid': 'tempo'} +RATE = '$__rate_interval' + +panels, y = [], 0 + + +def row(title): + global y + panels.append({'type': 'row', 'title': title, 'collapsed': False, 'panels': [], + 'gridPos': {'x': 0, 'y': y, 'w': 24, 'h': 1}, 'id': len(panels) + 1}) + y += 1 + + +def place(items, h=8): + """Панели одной строки делят ширину 24 поровну.""" + global y + w = 24 // len(items) + for i, p in enumerate(items): + p['gridPos'] = {'x': i * w, 'y': y, 'w': w, 'h': h} + p['id'] = len(panels) + 1 + panels.append(p) + y += h + + +def ts(title, unit, targets, desc='', thresholds=None, stack=False, minimum=None): + defaults = {'unit': unit, 'custom': {'lineWidth': 1, 'fillOpacity': 10, 'showPoints': 'never', + 'stacking': {'mode': 'normal' if stack else 'none'}}} + if minimum is not None: + defaults['min'] = minimum + if thresholds: + defaults['thresholds'] = {'mode': 'absolute', 'steps': [{'color': 'green', 'value': None}] + + [{'color': 'red', 'value': thresholds}]} + defaults['custom']['thresholdsStyle'] = {'mode': 'line+area'} + return {'type': 'timeseries', 'title': title, 'description': desc, 'datasource': PROM, + 'fieldConfig': {'defaults': defaults, 'overrides': []}, + 'options': {'legend': {'displayMode': 'list', 'placement': 'bottom'}, 'tooltip': {'mode': 'multi', 'sort': 'desc'}}, + 'targets': [{'refId': chr(65 + i), 'datasource': PROM, 'expr': e, 'legendFormat': l} for i, (e, l) in enumerate(targets)]} + + +def stat(title, unit, expr, desc='', red_below=None, red_above=None, decimals=None): + steps = [{'color': 'green', 'value': None}] + if red_below is not None: + steps = [{'color': 'red', 'value': None}, {'color': 'green', 'value': red_below}] + if red_above is not None: + steps.append({'color': 'red', 'value': red_above}) + defaults = {'unit': unit, 'thresholds': {'mode': 'absolute', 'steps': steps}} + if decimals is not None: + defaults['decimals'] = decimals + return {'type': 'stat', 'title': title, 'description': desc, 'datasource': PROM, + 'fieldConfig': {'defaults': defaults, 'overrides': []}, + 'options': {'reduceOptions': {'calcs': ['lastNotNull'], 'fields': '', 'values': False}, + 'colorMode': 'background', 'graphMode': 'area', 'textMode': 'value'}, + 'targets': [{'refId': 'A', 'datasource': PROM, 'expr': expr, 'instant': False}]} + + +def quantiles(metric, selector, by=''): + grp = f'le{", " + by if by else ""}' + return [(f'histogram_quantile({q}, sum by ({grp}) (rate({metric}_bucket{{{selector}}}[{RATE}])))', + f'p{int(q * 100)}{" {{" + by + "}}" if by else ""}') for q in (0.5, 0.95, 0.99)] + + +API = 'job="messenger-api"' + +row('SLO и alerts (трек 2)') +place([ + stat('Доступность API у клиентов, 1 ч', 'percentunit', '1 - slo:api_error_ratio:rate1h', + 'SLI = 1 − 5xx/все ответы HAProxy (frontend public) за 1 ч: включает 503/504 самого LB, которых не видит API. ' + 'SLO 99.5 % за 30 дней.', red_below=0.995, decimals=2), + stat('Остаток бюджета API (30 д)', 'percentunit', '1 - slo:api_error_ratio:rate30d / 0.005', + 'Доля неизрасходованного бюджета ошибок 0.5 % за 30 дней (на стенде — за доступную историю).', red_below=0, decimals=1), + stat('Ready ≤ 30 с, 1 ч', 'percentunit', '1 - slo:ready_bad_ratio:rate1h', + 'SLI time-to-ready: доля вложений, ставших ready не позже 30 с от приёма. SLO 99 %.', red_below=0.99, decimals=2), + stat('Остаток бюджета time-to-ready (30 д)', 'percentunit', '1 - slo:ready_bad_ratio:rate30d / 0.01', + 'Бюджет 1 % «медленных» или failed вложений за 30 дней.', red_below=0, decimals=1), + stat('Alerts firing', 'none', 'count(ALERTS{alertstate="firing"}) or vector(0)', 'Сейчас активных alerts.', red_above=1), +], h=5) +place([ + ts('Burn rate API (×бюджет)', 'none', [ + ('slo:api_error_ratio:rate5m / 0.005', '5m'), ('slo:api_error_ratio:rate30m / 0.005', '30m'), + ('slo:api_error_ratio:rate1h / 0.005', '1h'), ('slo:api_error_ratio:rate6h / 0.005', '6h')], + 'Расход бюджета относительно равномерного. Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.', thresholds=6), + ts('Burn rate time-to-ready (×бюджет)', 'none', [ + ('slo:ready_bad_ratio:rate5m / 0.01', '5m'), ('slo:ready_bad_ratio:rate30m / 0.01', '30m'), + ('slo:ready_bad_ratio:rate1h / 0.01', '1h'), ('slo:ready_bad_ratio:rate6h / 0.01', '6h')], + 'Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.', thresholds=6), + {'type': 'state-timeline', 'title': 'Alerts (pending / firing)', 'datasource': PROM, + 'description': 'Серия ALERTS: состояние правил Prometheus. Отсутствие полосы — alert неактивен (resolved).', + 'fieldConfig': {'defaults': {'color': {'mode': 'thresholds'}, 'thresholds': {'mode': 'absolute', 'steps': [ + {'color': 'transparent', 'value': None}, {'color': 'orange', 'value': 1}, {'color': 'red', 'value': 2}]}}, + 'overrides': []}, + 'options': {'showValue': 'never', 'mergeValues': True, 'rowHeight': 0.8, 'legend': {'showLegend': False}}, + 'targets': [{'refId': 'A', 'datasource': PROM, 'legendFormat': '{{alertname}}', + 'expr': 'max by (alertname) ((ALERTS{alertstate="pending"} * 1) or (ALERTS{alertstate="firing"} * 2))'}]}, +]) + +row('API: запросы, ошибки, задержка') +place([ + ts('RPS по маршрутам', 'reqps', [(f'sum by (http_route, http_request_method) (rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]))', + '{{http_request_method}} {{http_route}}')], + 'http.server.request.duration (_count) — счётчик запросов; label http_route — шаблон маршрута.', stack=True), + ts('RPS по классу статуса', 'reqps', [( + f'sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]), ' + '"status_class", "${1}xx", "http_response_status_code", "([0-9]).."))', '{{status_class}}')], stack=True), + ts('Доля 5xx', 'percentunit', [ + (f'(sum(rate(http_server_request_duration_seconds_count{{{API},http_response_status_code=~"5.."}}[{RATE}])) or vector(0))' + f' / sum(rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]))', 'в метриках API'), + ('slo:api_error_ratio:rate5m', 'у клиентов (HAProxy), 5m — SLI, alert > 5 %')], + '5xx / все ответы; 4xx — не ошибка сервиса. Линия API ниже линии HAProxy, когда LB отвечает сам: 503 без готовых ' + 'реплик (БД недоступна → readiness), 504 по таймауту.', thresholds=0.05, minimum=0), +]) +place([ + ts('Задержка API p50/p95/p99', 's', quantiles('http_server_request_duration_seconds', API), + 'Квантили из buckets histogram всех реплик (sum by le).'), + ts('p99 по маршрутам', 's', [(f'histogram_quantile(0.99, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{{{API}}}[{RATE}])))', + '{{http_route}}')]), + ts('p99 запросов к PostgreSQL', 's', [(f'histogram_quantile(0.99, sum by (le, job) (rate(db_client_operation_duration_seconds_bucket[{RATE}])))', '{{job}}')], + 'db.client.operation.duration (instrumentation-pg). Медленная БД — растёт здесь; медленный handler — нет.'), +]) + +row('Worker и задания') +place([ + ts('Jobs/с по исходу', 'ops', [(f'sum by (outcome) (rate(messenger_job_duration_seconds_count[{RATE}]))', '{{outcome}}')], + 'done — ready; retry — временная ошибка, повтор; failed — терминально; noop/discarded — дубль/потерянная аренда.', stack=True), + ts('Длительность обработки job (done) p50/p95/p99', 's', quantiles('messenger_job_duration_seconds', 'outcome="done"')), + ts('Время до ready p50/p95/p99', 's', quantiles('messenger_attachment_time_to_ready_seconds', 'outcome="ready"'), + 'От durable acceptance (COMMIT задания) до публикации ready. Порог SLO — 30 с.', thresholds=30), +]) +place([ + ts('Насыщение worker (busy / capacity)', 'percentunit', [ + ('sum(messenger_worker_busy) / sum(messenger_worker_capacity)', 'все worker'), + ('messenger_worker_busy / messenger_worker_capacity', '{{instance}}')], minimum=0), + ts('Очередь: backlog', 'none', [ + ('max by (state) (messenger_jobs_backlog)', 'jobs {{state}} (БД)'), + ('max(messenger_outbox_pending)', 'outbox без confirm'), + ('sum(rabbitmq_detailed_queue_messages_ready{queue="attachments.process"})', 'RabbitMQ ready'), + ('sum(rabbitmq_detailed_queue_messages_unacked{queue="attachments.process"})', 'RabbitMQ unacked')], + 'Количество работы (backlog). БД — источник истины; одинаково видна со всех реплик API, берётся max.'), + ts('Возраст старейшего задания', 's', [('max by (queue) (messenger_jobs_oldest_age_seconds)', '{{queue}}'), + ('sum(rabbitmq_detailed_queue_consumers{queue="attachments.process"})', 'consumers')], + 'Секунды с приёма старейшего незавершённого задания (lag). Alert JobQueueLagGrowing — > 60 с в течение 1 мин.', thresholds=60), +]) + +row('Насыщение: пул БД, CPU, память, event loop') +place([ + ts('Пул соединений PostgreSQL', 'none', [ + ('sum by (job, db_client_connection_state) (db_client_connection_count)', '{{job}} {{db_client_connection_state}}'), + ('sum by (job) (db_client_connection_pending_requests)', '{{job}} ждут соединения'), + ('sum by (job) (db_client_connection_max)', '{{job}} max')]), + ts('CPU процессов (доля ядра)', 'percentunit', [(f'sum by (job, instance) (rate(process_cpu_time_seconds_total[{RATE}]))', '{{job}} {{instance}}')], + 'process.cpu.time; 100 % = одно ядро. Лимит контейнера api/worker — 1 CPU.'), + ts('Память процессов (RSS)', 'bytes', [('process_memory_usage_bytes', '{{job}} {{instance}}'), + ('otelcol_process_memory_rss', 'collector')]), + ts('Event loop: задержка p99', 's', [('nodejs_eventloop_delay_p99_seconds', '{{job}} {{instance}}')], + 'Блокировка event loop Node.js (CPU-bound handler) — растёт здесь, а не в p99 PostgreSQL.'), +]) + +row('Telemetry pipeline (OpenTelemetry Collector)') +place([ + ts('Принято / отправлено (элементов/с)', 'ops', [ + (f'sum(rate(otelcol_receiver_accepted_spans_total[{RATE}]))', 'spans принято'), + (f'sum(rate(otelcol_exporter_sent_spans_total[{RATE}]))', 'spans отправлено'), + (f'sum(rate(otelcol_receiver_accepted_log_records_total[{RATE}]))', 'logs принято'), + (f'sum(rate(otelcol_exporter_sent_log_records_total[{RATE}]))', 'logs отправлено'), + (f'sum(rate(otelcol_receiver_accepted_metric_points_total[{RATE}]))', 'metric points принято'), + (f'sum(rate(otelcol_exporter_sent_metric_points_total[{RATE}]))', 'metric points отправлено')]), + ts('Потери telemetry (элементов/с)', 'ops', [ + (f'sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[{RATE}]))', 'send failed spans {{exporter}}'), + (f'sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[{RATE}]))', 'send failed logs {{exporter}}'), + (f'sum by (exporter) (rate(otelcol_exporter_enqueue_failed_spans_total[{RATE}]))', 'очередь полна, spans {{exporter}}'), + (f'sum by (exporter) (rate(otelcol_exporter_enqueue_failed_log_records_total[{RATE}]))', 'очередь полна, logs {{exporter}}'), + (f'sum(rate(otelcol_receiver_refused_spans_total[{RATE}]))', 'отказ приёма spans (memory_limiter)')], + 'Отброшенное Collector-ом: после 60 с повторов (send failed) или при полной очереди (enqueue failed).'), + ts('Очередь экспортёров', 'none', [('otelcol_exporter_queue_size', '{{exporter}}'), + ('max(otelcol_exporter_queue_capacity)', 'ёмкость')], + 'Ограниченная очередь в памяти: при недоступном backend растёт до ёмкости, не дальше.'), +]) + +row('Логи и трассы') +place([ + {'type': 'logs', 'title': 'Ошибки и предупреждения (Loki)', 'datasource': LOKI, + 'description': 'Структурные логи api и worker; поле trace_id ведёт в Tempo.', + 'options': {'showTime': True, 'wrapLogMessage': True, 'sortOrder': 'Descending', 'enableLogDetails': True}, + 'targets': [{'refId': 'A', 'datasource': LOKI, + 'expr': '{service_name=~"messenger-.+"} | severity_text=~"ERROR|WARN"'}]}, + {'type': 'table', 'title': 'Трассы с ошибками (Tempo)', 'datasource': TEMPO, + 'description': 'TraceQL { status = error }: ошибки HTTP 5xx, повторы и отказы обработки заданий.', + 'targets': [{'refId': 'A', 'datasource': TEMPO, 'queryType': 'traceql', 'query': '{ status = error }', + 'limit': 20, 'tableType': 'traces'}]}, +], h=10) + +dashboard = { + 'uid': 'messenger-lab6', 'title': 'Messenger lab6', 'tags': ['messenger', 'lab6', 'slo'], + 'description': 'API, worker, очередь, насыщение, SLO/burn rate, telemetry pipeline. Морару С. С., БПИ2303.', + 'timezone': 'browser', 'refresh': '10s', 'schemaVersion': 41, 'version': 1, 'editable': False, + 'time': {'from': 'now-1h', 'to': 'now'}, 'templating': {'list': []}, 'annotations': {'list': []}, + 'panels': panels, +} +out = Path(__file__).with_name('dashboards') / 'messenger.json' +out.write_text(json.dumps(dashboard, ensure_ascii=False, indent=2) + '\n') +print(f'{out}: {sum(p["type"] != "row" for p in panels)} panels') diff --git a/infra/grafana/dashboards/messenger.json b/infra/grafana/dashboards/messenger.json new file mode 100644 index 0000000..0a5c1eb --- /dev/null +++ b/infra/grafana/dashboards/messenger.json @@ -0,0 +1,1952 @@ +{ + "uid": "messenger-lab6", + "title": "Messenger lab6", + "tags": [ + "messenger", + "lab6", + "slo" + ], + "description": "API, worker, очередь, насыщение, SLO/burn rate, telemetry pipeline. Морару С. С., БПИ2303.", + "timezone": "browser", + "refresh": "10s", + "schemaVersion": 41, + "version": 1, + "editable": false, + "time": { + "from": "now-1h", + "to": "now" + }, + "templating": { + "list": [] + }, + "annotations": { + "list": [] + }, + "panels": [ + { + "type": "row", + "title": "SLO и alerts (трек 2)", + "collapsed": false, + "panels": [], + "gridPos": { + "x": 0, + "y": 0, + "w": 24, + "h": 1 + }, + "id": 1 + }, + { + "type": "stat", + "title": "Доступность API у клиентов, 1 ч", + "description": "SLI = 1 − 5xx/все ответы HAProxy (frontend public) за 1 ч: включает 503/504 самого LB, которых не видит API. SLO 99.5 % за 30 дней.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "red", + "value": null + }, + { + "color": "green", + "value": 0.995 + } + ] + }, + "decimals": 2 + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ], + "fields": "", + "values": false + }, + "colorMode": "background", + "graphMode": "area", + "textMode": "value" + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "1 - slo:api_error_ratio:rate1h", + "instant": false + } + ], + "gridPos": { + "x": 0, + "y": 1, + "w": 4, + "h": 5 + }, + "id": 2 + }, + { + "type": "stat", + "title": "Остаток бюджета API (30 д)", + "description": "Доля неизрасходованного бюджета ошибок 0.5 % за 30 дней (на стенде — за доступную историю).", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "red", + "value": null + }, + { + "color": "green", + "value": 0 + } + ] + }, + "decimals": 1 + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ], + "fields": "", + "values": false + }, + "colorMode": "background", + "graphMode": "area", + "textMode": "value" + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "1 - slo:api_error_ratio:rate30d / 0.005", + "instant": false + } + ], + "gridPos": { + "x": 4, + "y": 1, + "w": 4, + "h": 5 + }, + "id": 3 + }, + { + "type": "stat", + "title": "Ready ≤ 30 с, 1 ч", + "description": "SLI time-to-ready: доля вложений, ставших ready не позже 30 с от приёма. SLO 99 %.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "red", + "value": null + }, + { + "color": "green", + "value": 0.99 + } + ] + }, + "decimals": 2 + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ], + "fields": "", + "values": false + }, + "colorMode": "background", + "graphMode": "area", + "textMode": "value" + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "1 - slo:ready_bad_ratio:rate1h", + "instant": false + } + ], + "gridPos": { + "x": 8, + "y": 1, + "w": 4, + "h": 5 + }, + "id": 4 + }, + { + "type": "stat", + "title": "Остаток бюджета time-to-ready (30 д)", + "description": "Бюджет 1 % «медленных» или failed вложений за 30 дней.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "red", + "value": null + }, + { + "color": "green", + "value": 0 + } + ] + }, + "decimals": 1 + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ], + "fields": "", + "values": false + }, + "colorMode": "background", + "graphMode": "area", + "textMode": "value" + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "1 - slo:ready_bad_ratio:rate30d / 0.01", + "instant": false + } + ], + "gridPos": { + "x": 12, + "y": 1, + "w": 4, + "h": 5 + }, + "id": 5 + }, + { + "type": "stat", + "title": "Alerts firing", + "description": "Сейчас активных alerts.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 1 + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ], + "fields": "", + "values": false + }, + "colorMode": "background", + "graphMode": "area", + "textMode": "value" + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "count(ALERTS{alertstate=\"firing\"}) or vector(0)", + "instant": false + } + ], + "gridPos": { + "x": 16, + "y": 1, + "w": 4, + "h": 5 + }, + "id": 6 + }, + { + "type": "timeseries", + "title": "Burn rate API (×бюджет)", + "description": "Расход бюджета относительно равномерного. Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + }, + "thresholdsStyle": { + "mode": "line+area" + } + }, + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 6 + } + ] + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:api_error_ratio:rate5m / 0.005", + "legendFormat": "5m" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:api_error_ratio:rate30m / 0.005", + "legendFormat": "30m" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:api_error_ratio:rate1h / 0.005", + "legendFormat": "1h" + }, + { + "refId": "D", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:api_error_ratio:rate6h / 0.005", + "legendFormat": "6h" + } + ], + "gridPos": { + "x": 0, + "y": 6, + "w": 8, + "h": 8 + }, + "id": 7 + }, + { + "type": "timeseries", + "title": "Burn rate time-to-ready (×бюджет)", + "description": "Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + }, + "thresholdsStyle": { + "mode": "line+area" + } + }, + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 6 + } + ] + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:ready_bad_ratio:rate5m / 0.01", + "legendFormat": "5m" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:ready_bad_ratio:rate30m / 0.01", + "legendFormat": "30m" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:ready_bad_ratio:rate1h / 0.01", + "legendFormat": "1h" + }, + { + "refId": "D", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:ready_bad_ratio:rate6h / 0.01", + "legendFormat": "6h" + } + ], + "gridPos": { + "x": 8, + "y": 6, + "w": 8, + "h": 8 + }, + "id": 8 + }, + { + "type": "state-timeline", + "title": "Alerts (pending / firing)", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "Серия ALERTS: состояние правил Prometheus. Отсутствие полосы — alert неактивен (resolved).", + "fieldConfig": { + "defaults": { + "color": { + "mode": "thresholds" + }, + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "transparent", + "value": null + }, + { + "color": "orange", + "value": 1 + }, + { + "color": "red", + "value": 2 + } + ] + } + }, + "overrides": [] + }, + "options": { + "showValue": "never", + "mergeValues": true, + "rowHeight": 0.8, + "legend": { + "showLegend": false + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "legendFormat": "{{alertname}}", + "expr": "max by (alertname) ((ALERTS{alertstate=\"pending\"} * 1) or (ALERTS{alertstate=\"firing\"} * 2))" + } + ], + "gridPos": { + "x": 16, + "y": 6, + "w": 8, + "h": 8 + }, + "id": 9 + }, + { + "type": "row", + "title": "API: запросы, ошибки, задержка", + "collapsed": false, + "panels": [], + "gridPos": { + "x": 0, + "y": 14, + "w": 24, + "h": 1 + }, + "id": 10 + }, + { + "type": "timeseries", + "title": "RPS по маршрутам", + "description": "http.server.request.duration (_count) — счётчик запросов; label http_route — шаблон маршрута.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "reqps", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "normal" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (http_route, http_request_method) (rate(http_server_request_duration_seconds_count{job=\"messenger-api\"}[$__rate_interval]))", + "legendFormat": "{{http_request_method}} {{http_route}}" + } + ], + "gridPos": { + "x": 0, + "y": 15, + "w": 8, + "h": 8 + }, + "id": 11 + }, + { + "type": "timeseries", + "title": "RPS по классу статуса", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "reqps", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "normal" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{job=\"messenger-api\"}[$__rate_interval]), \"status_class\", \"${1}xx\", \"http_response_status_code\", \"([0-9])..\"))", + "legendFormat": "{{status_class}}" + } + ], + "gridPos": { + "x": 8, + "y": 15, + "w": 8, + "h": 8 + }, + "id": 12 + }, + { + "type": "timeseries", + "title": "Доля 5xx", + "description": "5xx / все ответы; 4xx — не ошибка сервиса. Линия API ниже линии HAProxy, когда LB отвечает сам: 503 без готовых реплик (БД недоступна → readiness), 504 по таймауту.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + }, + "thresholdsStyle": { + "mode": "line+area" + } + }, + "min": 0, + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 0.05 + } + ] + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "(sum(rate(http_server_request_duration_seconds_count{job=\"messenger-api\",http_response_status_code=~\"5..\"}[$__rate_interval])) or vector(0)) / sum(rate(http_server_request_duration_seconds_count{job=\"messenger-api\"}[$__rate_interval]))", + "legendFormat": "в метриках API" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "slo:api_error_ratio:rate5m", + "legendFormat": "у клиентов (HAProxy), 5m — SLI, alert > 5 %" + } + ], + "gridPos": { + "x": 16, + "y": 15, + "w": 8, + "h": 8 + }, + "id": 13 + }, + { + "type": "timeseries", + "title": "Задержка API p50/p95/p99", + "description": "Квантили из buckets histogram всех реплик (sum by le).", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.5, sum by (le) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\"}[$__rate_interval])))", + "legendFormat": "p50" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\"}[$__rate_interval])))", + "legendFormat": "p95" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\"}[$__rate_interval])))", + "legendFormat": "p99" + } + ], + "gridPos": { + "x": 0, + "y": 23, + "w": 8, + "h": 8 + }, + "id": 14 + }, + { + "type": "timeseries", + "title": "p99 по маршрутам", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\"}[$__rate_interval])))", + "legendFormat": "{{http_route}}" + } + ], + "gridPos": { + "x": 8, + "y": 23, + "w": 8, + "h": 8 + }, + "id": 15 + }, + { + "type": "timeseries", + "title": "p99 запросов к PostgreSQL", + "description": "db.client.operation.duration (instrumentation-pg). Медленная БД — растёт здесь; медленный handler — нет.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le, job) (rate(db_client_operation_duration_seconds_bucket[$__rate_interval])))", + "legendFormat": "{{job}}" + } + ], + "gridPos": { + "x": 16, + "y": 23, + "w": 8, + "h": 8 + }, + "id": 16 + }, + { + "type": "row", + "title": "Worker и задания", + "collapsed": false, + "panels": [], + "gridPos": { + "x": 0, + "y": 31, + "w": 24, + "h": 1 + }, + "id": 17 + }, + { + "type": "timeseries", + "title": "Jobs/с по исходу", + "description": "done — ready; retry — временная ошибка, повтор; failed — терминально; noop/discarded — дубль/потерянная аренда.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "ops", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "normal" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (outcome) (rate(messenger_job_duration_seconds_count[$__rate_interval]))", + "legendFormat": "{{outcome}}" + } + ], + "gridPos": { + "x": 0, + "y": 32, + "w": 8, + "h": 8 + }, + "id": 18 + }, + { + "type": "timeseries", + "title": "Длительность обработки job (done) p50/p95/p99", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.5, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome=\"done\"}[$__rate_interval])))", + "legendFormat": "p50" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome=\"done\"}[$__rate_interval])))", + "legendFormat": "p95" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome=\"done\"}[$__rate_interval])))", + "legendFormat": "p99" + } + ], + "gridPos": { + "x": 8, + "y": 32, + "w": 8, + "h": 8 + }, + "id": 19 + }, + { + "type": "timeseries", + "title": "Время до ready p50/p95/p99", + "description": "От durable acceptance (COMMIT задания) до публикации ready. Порог SLO — 30 с.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + }, + "thresholdsStyle": { + "mode": "line+area" + } + }, + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 30 + } + ] + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.5, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket{outcome=\"ready\"}[$__rate_interval])))", + "legendFormat": "p50" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket{outcome=\"ready\"}[$__rate_interval])))", + "legendFormat": "p95" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket{outcome=\"ready\"}[$__rate_interval])))", + "legendFormat": "p99" + } + ], + "gridPos": { + "x": 16, + "y": 32, + "w": 8, + "h": 8 + }, + "id": 20 + }, + { + "type": "timeseries", + "title": "Насыщение worker (busy / capacity)", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + }, + "min": 0 + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(messenger_worker_busy) / sum(messenger_worker_capacity)", + "legendFormat": "все worker" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "messenger_worker_busy / messenger_worker_capacity", + "legendFormat": "{{instance}}" + } + ], + "gridPos": { + "x": 0, + "y": 40, + "w": 8, + "h": 8 + }, + "id": 21 + }, + { + "type": "timeseries", + "title": "Очередь: backlog", + "description": "Количество работы (backlog). БД — источник истины; одинаково видна со всех реплик API, берётся max.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max by (state) (messenger_jobs_backlog)", + "legendFormat": "jobs {{state}} (БД)" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max(messenger_outbox_pending)", + "legendFormat": "outbox без confirm" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rabbitmq_detailed_queue_messages_ready{queue=\"attachments.process\"})", + "legendFormat": "RabbitMQ ready" + }, + { + "refId": "D", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rabbitmq_detailed_queue_messages_unacked{queue=\"attachments.process\"})", + "legendFormat": "RabbitMQ unacked" + } + ], + "gridPos": { + "x": 8, + "y": 40, + "w": 8, + "h": 8 + }, + "id": 22 + }, + { + "type": "timeseries", + "title": "Возраст старейшего задания", + "description": "Секунды с приёма старейшего незавершённого задания (lag). Alert JobQueueLagGrowing — > 60 с в течение 1 мин.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + }, + "thresholdsStyle": { + "mode": "line+area" + } + }, + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 60 + } + ] + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max by (queue) (messenger_jobs_oldest_age_seconds)", + "legendFormat": "{{queue}}" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rabbitmq_detailed_queue_consumers{queue=\"attachments.process\"})", + "legendFormat": "consumers" + } + ], + "gridPos": { + "x": 16, + "y": 40, + "w": 8, + "h": 8 + }, + "id": 23 + }, + { + "type": "row", + "title": "Насыщение: пул БД, CPU, память, event loop", + "collapsed": false, + "panels": [], + "gridPos": { + "x": 0, + "y": 48, + "w": 24, + "h": 1 + }, + "id": 24 + }, + { + "type": "timeseries", + "title": "Пул соединений PostgreSQL", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job, db_client_connection_state) (db_client_connection_count)", + "legendFormat": "{{job}} {{db_client_connection_state}}" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job) (db_client_connection_pending_requests)", + "legendFormat": "{{job}} ждут соединения" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job) (db_client_connection_max)", + "legendFormat": "{{job}} max" + } + ], + "gridPos": { + "x": 0, + "y": 49, + "w": 6, + "h": 8 + }, + "id": 25 + }, + { + "type": "timeseries", + "title": "CPU процессов (доля ядра)", + "description": "process.cpu.time; 100 % = одно ядро. Лимит контейнера api/worker — 1 CPU.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job, instance) (rate(process_cpu_time_seconds_total[$__rate_interval]))", + "legendFormat": "{{job}} {{instance}}" + } + ], + "gridPos": { + "x": 6, + "y": 49, + "w": 6, + "h": 8 + }, + "id": 26 + }, + { + "type": "timeseries", + "title": "Память процессов (RSS)", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "bytes", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "process_memory_usage_bytes", + "legendFormat": "{{job}} {{instance}}" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "otelcol_process_memory_rss", + "legendFormat": "collector" + } + ], + "gridPos": { + "x": 12, + "y": 49, + "w": 6, + "h": 8 + }, + "id": 27 + }, + { + "type": "timeseries", + "title": "Event loop: задержка p99", + "description": "Блокировка event loop Node.js (CPU-bound handler) — растёт здесь, а не в p99 PostgreSQL.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "nodejs_eventloop_delay_p99_seconds", + "legendFormat": "{{job}} {{instance}}" + } + ], + "gridPos": { + "x": 18, + "y": 49, + "w": 6, + "h": 8 + }, + "id": 28 + }, + { + "type": "row", + "title": "Telemetry pipeline (OpenTelemetry Collector)", + "collapsed": false, + "panels": [], + "gridPos": { + "x": 0, + "y": 57, + "w": 24, + "h": 1 + }, + "id": 29 + }, + { + "type": "timeseries", + "title": "Принято / отправлено (элементов/с)", + "description": "", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "ops", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_receiver_accepted_spans_total[$__rate_interval]))", + "legendFormat": "spans принято" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_exporter_sent_spans_total[$__rate_interval]))", + "legendFormat": "spans отправлено" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_receiver_accepted_log_records_total[$__rate_interval]))", + "legendFormat": "logs принято" + }, + { + "refId": "D", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_exporter_sent_log_records_total[$__rate_interval]))", + "legendFormat": "logs отправлено" + }, + { + "refId": "E", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_receiver_accepted_metric_points_total[$__rate_interval]))", + "legendFormat": "metric points принято" + }, + { + "refId": "F", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_exporter_sent_metric_points_total[$__rate_interval]))", + "legendFormat": "metric points отправлено" + } + ], + "gridPos": { + "x": 0, + "y": 58, + "w": 8, + "h": 8 + }, + "id": 30 + }, + { + "type": "timeseries", + "title": "Потери telemetry (элементов/с)", + "description": "Отброшенное Collector-ом: после 60 с повторов (send failed) или при полной очереди (enqueue failed).", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "ops", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[$__rate_interval]))", + "legendFormat": "send failed spans {{exporter}}" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[$__rate_interval]))", + "legendFormat": "send failed logs {{exporter}}" + }, + { + "refId": "C", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (exporter) (rate(otelcol_exporter_enqueue_failed_spans_total[$__rate_interval]))", + "legendFormat": "очередь полна, spans {{exporter}}" + }, + { + "refId": "D", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (exporter) (rate(otelcol_exporter_enqueue_failed_log_records_total[$__rate_interval]))", + "legendFormat": "очередь полна, logs {{exporter}}" + }, + { + "refId": "E", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(otelcol_receiver_refused_spans_total[$__rate_interval]))", + "legendFormat": "отказ приёма spans (memory_limiter)" + } + ], + "gridPos": { + "x": 8, + "y": 58, + "w": 8, + "h": 8 + }, + "id": 31 + }, + { + "type": "timeseries", + "title": "Очередь экспортёров", + "description": "Ограниченная очередь в памяти: при недоступном backend растёт до ёмкости, не дальше.", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "lineWidth": 1, + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi", + "sort": "desc" + } + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "otelcol_exporter_queue_size", + "legendFormat": "{{exporter}}" + }, + { + "refId": "B", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max(otelcol_exporter_queue_capacity)", + "legendFormat": "ёмкость" + } + ], + "gridPos": { + "x": 16, + "y": 58, + "w": 8, + "h": 8 + }, + "id": 32 + }, + { + "type": "row", + "title": "Логи и трассы", + "collapsed": false, + "panels": [], + "gridPos": { + "x": 0, + "y": 66, + "w": 24, + "h": 1 + }, + "id": 33 + }, + { + "type": "logs", + "title": "Ошибки и предупреждения (Loki)", + "datasource": { + "type": "loki", + "uid": "loki" + }, + "description": "Структурные логи api и worker; поле trace_id ведёт в Tempo.", + "options": { + "showTime": true, + "wrapLogMessage": true, + "sortOrder": "Descending", + "enableLogDetails": true + }, + "targets": [ + { + "refId": "A", + "datasource": { + "type": "loki", + "uid": "loki" + }, + "expr": "{service_name=~\"messenger-.+\"} | severity_text=~\"ERROR|WARN\"" + } + ], + "gridPos": { + "x": 0, + "y": 67, + "w": 12, + "h": 10 + }, + "id": 34 + }, + { + "type": "table", + "title": "Трассы с ошибками (Tempo)", + "datasource": { + "type": "tempo", + "uid": "tempo" + }, + "description": "TraceQL { status = error }: ошибки HTTP 5xx, повторы и отказы обработки заданий.", + "targets": [ + { + "refId": "A", + "datasource": { + "type": "tempo", + "uid": "tempo" + }, + "queryType": "traceql", + "query": "{ status = error }", + "limit": 20, + "tableType": "traces" + } + ], + "gridPos": { + "x": 12, + "y": 67, + "w": 12, + "h": 10 + }, + "id": 35 + } + ] +} diff --git a/infra/grafana/provisioning/dashboards/dashboards.yaml b/infra/grafana/provisioning/dashboards/dashboards.yaml new file mode 100644 index 0000000..a731b74 --- /dev/null +++ b/infra/grafana/provisioning/dashboards/dashboards.yaml @@ -0,0 +1,12 @@ +# Dashboards из Git (infra/grafana/dashboards/*.json) — импортируются без ручного набора, правка в UI не сохраняется. +apiVersion: 1 + +providers: + - name: messenger + folder: Messenger + type: file + disableDeletion: true + allowUiUpdates: false + updateIntervalSeconds: 30 + options: + path: /var/lib/grafana/dashboards diff --git a/infra/grafana/provisioning/datasources/datasources.yaml b/infra/grafana/provisioning/datasources/datasources.yaml new file mode 100644 index 0000000..326e5ff --- /dev/null +++ b/infra/grafana/provisioning/datasources/datasources.yaml @@ -0,0 +1,75 @@ +# Источники данных Grafana (импортируются при старте, правка в UI запрещена). Grafana сама ничего не хранит: +# метрики — Prometheus, логи — Loki, трассы — Tempo. Связи: trace → логи этого trace (Tempo → Loki по trace_id), +# лог → trace (derived field trace_id из structured metadata Loki), alerts — правила Prometheus. +apiVersion: 1 + +datasources: + - name: Prometheus + uid: prometheus + type: prometheus + access: proxy + url: https://prometheus:9090 + isDefault: true + editable: false + secureJsonData: &tls_material + tlsCACert: $DS_CA + tlsClientCert: $DS_CERT + tlsClientKey: $DS_KEY + jsonData: + tlsAuth: true + tlsAuthWithCACert: true + timeInterval: 10s + httpMethod: POST + manageAlerts: true # правила Prometheus видны в Grafana Alerting (только чтение) + + - name: Loki + uid: loki + type: loki + access: proxy + url: https://loki:3100 + editable: false + secureJsonData: *tls_material + jsonData: + tlsAuth: true + tlsAuthWithCACert: true + maxLines: 1000 + derivedFields: + - name: trace_id + matcherType: label + matcherRegex: trace_id + datasourceUid: tempo + url: '$${__value.raw}' + urlDisplayLabel: Открыть trace + + - name: Tempo + uid: tempo + type: tempo + access: proxy + url: https://tempo:3200 + editable: false + secureJsonData: *tls_material + jsonData: + tlsAuth: true + tlsAuthWithCACert: true + nodeGraph: + enabled: true + search: + hide: false + lokiSearch: + datasourceUid: loki + tracesToLogsV2: + datasourceUid: loki + spanStartTimeShift: -5m + spanEndTimeShift: 5m + customQuery: true + query: '{service_name=~"messenger-.+"} | trace_id="$${__trace.traceId}"' + tracesToMetrics: + datasourceUid: prometheus + spanStartTimeShift: -5m + spanEndTimeShift: 5m + tags: + - key: service.name + value: job + queries: + - name: p99 HTTP API + query: histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{$$__tags}[5m]))) diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 0000000..7a8dc66 --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,60 @@ +# Единственная публичная точка входа. Реплики находятся через Docker DNS (имя сервиса "api"), +# поэтому `docker compose up --scale api=N` не требует правки конфига (до 8 реплик). +global + log stdout format raw local0 info + nbthread 2 + maxconn 4096 + ssl-default-bind-options ssl-min-ver TLSv1.2 + ssl-default-server-options ssl-min-ver TLSv1.2 + +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 2 + timeout resolve 3s + timeout retry 500ms + hold valid 3s + hold other 1s + hold refused 1s + hold nx 1s + hold timeout 1s + hold obsolete 10s + +defaults + mode http + log global + option httplog + option dontlog-normal # логируем только ошибки и смену состояния реплик + timeout connect 3s + timeout client 30s + timeout server 10s + timeout http-request 10s + timeout http-keep-alive 10s + timeout check 3s + # Повторяется только запрос, не дошедший до реплики (отказ или таймаут соединения), последняя попытка — + # на другой реплике. Уже отправленные запросы НЕ повторяются: POST /users и /chats не идемпотентны. + retries 2 + retry-on conn-failure + option redispatch 1 + +frontend public + bind :8443 ssl crt /run/public/tls.pem + default_backend api + +backend api + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready + http-check expect status 200 + # Активная проверка раз в 1 с (0.5 с при смене состояния): 2 неудачи → DOWN, 2 успеха → UP. + # Отказ соединения на живом трафике сразу помечает реплику DOWN (observe layer4). + default-server check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker init-addr none + server-template api 8 api:8080 ssl crt /run/client/tls.pem ca-file /run/tls/ca.crt verify required verifyhost api sni str(api) check-sni api + +# Для оператора (compose публикует только на 127.0.0.1): /stats и Prometheus /metrics. +frontend stats + bind :8404 ssl crt /run/identity/tls.pem ca-file /run/telemetry/ca.crt verify required + http-request deny unless { ssl_c_s_dn(CN) -m str collector } + http-request use-service prometheus-exporter if { path /metrics } + stats enable + stats uri /stats + stats refresh 2s diff --git a/infra/loki/loki.yaml b/infra/loki/loki.yaml new file mode 100644 index 0000000..e2ea9c2 --- /dev/null +++ b/infra/loki/loki.yaml @@ -0,0 +1,65 @@ +# Loki 3.7.9 — хранилище логов (монолит, файловая система в volume loki-data, WAL переживает перезапуск). +# Логи приходят от Collector по OTLP (/otlp/v1/logs). Index labels — только ресурсные атрибуты низкой +# кардинальности (service_name, service_instance_id, deployment_environment_name); event, request_id, trace_id, +# span_id, severity и прочие атрибуты записи — structured metadata, по ним фильтруют: | trace_id="…". +auth_enabled: false + +server: + http_listen_port: 3100 + grpc_listen_address: 127.0.0.1 + grpc_listen_port: 9095 + log_level: warn + http_tls_config: + cert_file: /run/identity/tls.crt + key_file: /run/identity/tls.key + client_auth_type: RequireAndVerifyClientCert + client_ca_file: /run/telemetry/ca.crt + +common: + instance_addr: 127.0.0.1 + path_prefix: /loki + replication_factor: 1 + ring: + kvstore: + store: inmemory + storage: + filesystem: + chunks_directory: /loki/chunks + rules_directory: /loki/rules + +schema_config: + configs: + - from: "2026-01-01" + store: tsdb + object_store: filesystem + schema: v13 + index: + prefix: index_ + period: 24h + +ingester: + wal: + dir: /loki/wal + +limits_config: + retention_period: 168h # 7 дней истории логов + allow_structured_metadata: true + volume_enabled: true + +compactor: + working_directory: /loki/compactor + retention_enabled: true + delete_request_store: filesystem + +query_range: + results_cache: + cache: + embedded_cache: + enabled: true + max_size_mb: 32 # контейнер 384m + +pattern_ingester: + enabled: false + +analytics: + reporting_enabled: false diff --git a/infra/openbao/README.md b/infra/openbao/README.md index 0850e23..294bc60 100644 --- a/infra/openbao/README.md +++ b/infra/openbao/README.md @@ -1,7 +1,7 @@ -# OpenBao — реализовать конфигурацию и политики +# OpenBao -Добавьте non-dev конфигурацию listener/storage/TLS, API/worker policies, bootstrap и rotation scripts. Credentials и unseal material создаются локально; здесь нет готового root token или private key. +Сервис OpenBao слушает TLS 8200 и использует volume `bao-data`. Аудит включается декларативно в `server.hcl` и пишет в `bao-audit`; OpenBao HMAC-ит значения. Для долговременной эксплуатации оператор должен следить за объёмом файла. -Решение должно показать реальную сервисную аутентификацию и получение нужного secret по ограниченной policy; просто работающий контейнер OpenBao не засчитывается. На 3 статический KV secret допустим. На 4 покажите expiry/renewal/rotation и allow/deny. Путь KV v2 data/metadata и ACL должен соответствовать фактическому mount; не копируйте широкое `path "*"` для приложения. +`scripts/up.sh` запускает зависимости, применяет миграции и выполняет `python3 scripts/bao.py init`. Операторский скрипт пишет 3 доли Shamir и root token в `secrets/operator/bao-init.json` (0600), две доли нужны для unseal. Этот файл и CA private keys доступны только оператору на учебном хосте. Для рабочего окружения доли хранят отдельно у операторов. После перезапуска OpenBao выполните `python3 scripts/bao.py unseal`. -Документируйте шаги оператора init/unseal и восстановление после restart. Скрипт не должен печатать tokens/shares или хранить их в Git. См. contracts/trust-matrix.md и REPORT.md. +Политики `api.hcl`, `worker.hcl` и `reconciler.hcl` разрешают чтение своего KV v2 path. Привязка к leaf настраивается через cert auth. Приложение получает 45-секундный batch token, читает секрет и повторяет аутентификацию через 5 с. Если проверка доступа просрочена, приложение завершается. Ротация worker выполняется через `scripts/rotate-worker.sh` и закрывает действующие подключения перед изменением прав. diff --git a/infra/openbao/api.hcl b/infra/openbao/api.hcl new file mode 100644 index 0000000..ff78574 --- /dev/null +++ b/infra/openbao/api.hcl @@ -0,0 +1,3 @@ +path "messenger/data/api" { + capabilities = ["read"] +} diff --git a/infra/openbao/reconciler.hcl b/infra/openbao/reconciler.hcl new file mode 100644 index 0000000..9b99efe --- /dev/null +++ b/infra/openbao/reconciler.hcl @@ -0,0 +1,3 @@ +path "messenger/data/reconciler" { + capabilities = ["read"] +} diff --git a/infra/openbao/server.hcl b/infra/openbao/server.hcl new file mode 100644 index 0000000..e42c226 --- /dev/null +++ b/infra/openbao/server.hcl @@ -0,0 +1,19 @@ +ui = false +api_addr = "https://openbao:8200" +default_lease_ttl = "45s" +max_lease_ttl = "90s" + +storage "file" { + path = "/openbao/file" +} +listener "tcp" { + address = "0.0.0.0:8200" + tls_cert_file = "/run/identity/tls.crt" + tls_key_file = "/run/identity/tls.key" + tls_min_version = "tls12" +} +audit "file" "lab" { + options { + file_path = "/openbao/logs/audit.json" + } +} diff --git a/infra/openbao/worker.hcl b/infra/openbao/worker.hcl new file mode 100644 index 0000000..e9baa01 --- /dev/null +++ b/infra/openbao/worker.hcl @@ -0,0 +1,3 @@ +path "messenger/data/worker" { + capabilities = ["read"] +} diff --git a/infra/otel/collector.yaml b/infra/otel/collector.yaml new file mode 100644 index 0000000..8e3adb9 --- /dev/null +++ b/infra/otel/collector.yaml @@ -0,0 +1,124 @@ +# OpenTelemetry Collector (contrib 0.163.2) — получатель, обработчик и экспортёр, не хранилище. +# receivers: otlp (loopback HTTP :14318 за mTLS ingress :4318) от api и worker; prometheus — скрейп метрик RabbitMQ (очередь), HAProxy и самого +# Collector (otelcol_*: принятые/отправленные/потерянные данные, очередь экспортёров, RSS). +# processors: memory_limiter (первым: при 200 MiB отказывает в приёме, а не растёт до OOM), redaction +# (страховка: маскирует значения, похожие на секреты), batch. +# exporters: traces → Tempo (OTLP gRPC), logs → Loki (OTLP HTTP /otlp), metrics → Prometheus (OTLP receiver). +# Недоступный backend: данные ждут в ограниченной очереди в памяти (20 000 элементов на экспортёр), повтор с +# backoff до 60 с, затем отбрасываются и считаются (otelcol_exporter_send_failed_*, otelcol_exporter_enqueue_failed_*). +# Приложение от Collector не зависит: SDK отбрасывает данные при недоступности, запросы не ждут. +extensions: + health_check: + endpoint: 127.0.0.1:13133 + +receivers: + otlp: + protocols: + http: + endpoint: 127.0.0.1:14318 + prometheus: + config: + global: + scrape_interval: 10s + scrape_timeout: 5s + scrape_configs: + # Очередь attachments.process: messages_ready/unacked и число consumers (per-object метрики vhost messenger). + - job_name: rabbitmq + scheme: https + tls_config: &scrape_tls + ca_file: /run/tls/ca.crt + cert_file: /run/client/tls.crt + key_file: /run/client/tls.key + metrics_path: /metrics/detailed + params: + family: [queue_coarse_metrics, queue_consumer_count] + vhost: [messenger] + static_configs: + - targets: [rabbitmq:15691] + - job_name: haproxy + scheme: https + tls_config: *scrape_tls + static_configs: + - targets: [lb:8404] + - job_name: otelcol + static_configs: + - targets: [127.0.0.1:8888] + +processors: + memory_limiter: + check_interval: 1s + limit_mib: 200 # контейнер 256m, GOMEMLIMIT 180MiB + spike_limit_mib: 40 + redaction: + allow_all_keys: true + blocked_key_patterns: ['(?i).*(authorization|password|passwd|secret|token|cookie).*'] + blocked_values: + - '(?i)bearer\s+[a-z0-9._~+/=-]{8,}' + - '(?i)basic\s+[a-z0-9+/=]{8,}' + summary: silent + batch: + send_batch_size: 1024 + send_batch_max_size: 2048 + timeout: 2s + +exporters: + otlp_grpc/tempo: + endpoint: tempo:4317 + tls: + ca_file: /run/tls/ca.crt + cert_file: /run/client/tls.crt + key_file: /run/client/tls.key + sending_queue: &queue + enabled: true + sizer: items + queue_size: 20000 + num_consumers: 2 + retry_on_failure: &retry + enabled: true + initial_interval: 1s + max_interval: 10s + max_elapsed_time: 60s + otlp_http/loki: + endpoint: https://loki:3100/otlp + tls: &backend_tls + ca_file: /run/tls/ca.crt + cert_file: /run/client/tls.crt + key_file: /run/client/tls.key + sending_queue: *queue + retry_on_failure: *retry + otlp_http/prometheus: + endpoint: https://prometheus:9090/api/v1/otlp + tls: *backend_tls + sending_queue: *queue + retry_on_failure: *retry + +service: + extensions: [health_check] + telemetry: + # Постоянные job/instance для otelcol_* (по умолчанию instance — новый UUID при каждом старте). + resource: + service.name: otel-collector + service.instance.id: otel-collector + logs: + level: info + metrics: + level: normal + readers: + - pull: + exporter: + prometheus: + host: 127.0.0.1 # только для собственного скрейпа (job otelcol выше) + port: 8888 + pipelines: + traces: + receivers: [otlp] + processors: [memory_limiter, redaction, batch] + exporters: [otlp_grpc/tempo] + logs: + receivers: [otlp] + processors: [memory_limiter, redaction, batch] + exporters: [otlp_http/loki] + metrics: + receivers: [otlp, prometheus] + processors: [memory_limiter, batch] + exporters: [otlp_http/prometheus] diff --git a/infra/otel/ingress.cfg b/infra/otel/ingress.cfg new file mode 100644 index 0000000..32a0683 --- /dev/null +++ b/infra/otel/ingress.cfg @@ -0,0 +1,19 @@ +global + nbthread 2 + log stdout format raw local0 notice + ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets + +defaults + mode http + timeout connect 1s + timeout client 10s + timeout server 10s + +frontend otlp + bind :4318 ssl crt /run/identity/tls.pem ca-file /run/tls/ca.crt crl-file /run/pki/crl.pem verify required + http-request deny unless { ssl_c_s_dn(CN) -m reg ^(api|worker-[0-9a-f]{8})$ } + http-request deny unless { method POST } { path -m str /v1/traces /v1/metrics /v1/logs } + default_backend collector + +backend collector + server local 127.0.0.1:14318 diff --git a/infra/postgres/entrypoint.sh b/infra/postgres/entrypoint.sh new file mode 100644 index 0000000..369961b --- /dev/null +++ b/infra/postgres/entrypoint.sh @@ -0,0 +1,8 @@ +#!/bin/sh +set -eu +install -o postgres -g postgres -m 600 /run/identity/tls.key /tmp/pg.key +exec docker-entrypoint.sh postgres \ + -c ssl=on -c ssl_min_protocol_version=TLSv1.2 \ + -c ssl_cert_file=/run/identity/tls.crt -c ssl_key_file=/tmp/pg.key \ + -c hba_file=/etc/lab/pg_hba.conf -c ident_file=/etc/lab/pg_ident.conf \ + -c password_encryption=scram-sha-256 -c max_connections=100 -c shared_buffers=128MB diff --git a/infra/postgres/pg_hba.conf b/infra/postgres/pg_hba.conf new file mode 100644 index 0000000..f657e41 --- /dev/null +++ b/infra/postgres/pg_hba.conf @@ -0,0 +1,3 @@ +local all messenger peer map=operator +hostssl messenger all 0.0.0.0/0 scram-sha-256 +hostssl messenger all ::/0 scram-sha-256 diff --git a/infra/postgres/pg_ident.conf b/infra/postgres/pg_ident.conf new file mode 100644 index 0000000..9f17af7 --- /dev/null +++ b/infra/postgres/pg_ident.conf @@ -0,0 +1 @@ +operator postgres messenger diff --git a/infra/prometheus/prometheus.yml b/infra/prometheus/prometheus.yml new file mode 100644 index 0000000..a9ab28e --- /dev/null +++ b/infra/prometheus/prometheus.yml @@ -0,0 +1,39 @@ +# Prometheus v3.15.1 — хранилище метрик (TSDB в volume prometheus-data) и вычисление правил/alerts. +# Метрики api, worker, RabbitMQ, HAProxy и Collector приходят от Collector по OTLP (--web.enable-otlp-receiver, +# /api/v1/otlp/v1/metrics); сам Prometheus скрейпит только соседей по сети telemetry. +# Имена OTLP → Prometheus: точки → «_», суффикс единицы и _total (http.server.request.duration → +# http_server_request_duration_seconds_bucket); service.name → job, service.instance.id → instance. +global: + scrape_interval: 10s + evaluation_interval: 10s + +rule_files: + - /etc/prometheus/rules/*.yml + +otlp: + translation_strategy: UnderscoreEscapingWithSuffixes + +storage: + tsdb: + # Пакеты OTLP от разных реплик приходят с задержкой Collector (batch 2 с, повтор до 60 с). + out_of_order_time_window: 10m + +scrape_configs: + - job_name: prometheus + scheme: https + tls_config: &scrape_tls + ca_file: /run/tls/ca.crt + cert_file: /run/client/tls.crt + key_file: /run/client/tls.key + static_configs: + - targets: [prometheus:9090] + - job_name: loki + scheme: https + tls_config: *scrape_tls + static_configs: + - targets: [loki:3100] + - job_name: tempo + scheme: https + tls_config: *scrape_tls + static_configs: + - targets: [tempo:3200] diff --git a/infra/prometheus/rules/messenger.yml b/infra/prometheus/rules/messenger.yml new file mode 100644 index 0000000..f9d85b5 --- /dev/null +++ b/infra/prometheus/rules/messenger.yml @@ -0,0 +1,60 @@ +# Alerts уровня 4 (contracts/observability.md): высокий error rate, растущий queue lag, насыщение пула БД, +# сбой экспорта telemetry. Доставка наружу не настроена: состояние pending/firing и снятие видны в Prometheus +# (/alerts, серия ALERTS) и на dashboard «Messenger lab6». Runbook: infra/runbooks.md. +groups: + - name: messenger-alerts + rules: + # Простой порог по 5-минутному окну того же SLI (5xx у клиентов, HAProxy). Ловит и короткий всплеск, который + # почти не тратит месячный бюджет, — поэтому severity warning; страницу дают burn-rate alerts из slo.yml + # (сравнение — трек 2 в REPORT.md). + - alert: ApiHighErrorRate + expr: slo:api_error_ratio:rate5m > 0.05 + for: 2m + labels: + severity: warning + annotations: + summary: "Более 5 % ответов API — 5xx (окно 5 минут, держится 2 минуты)" + description: "Доля 5xx в ответах клиентам (HAProxy): {{ $value | humanizePercentage }}." + runbook_url: "infra/runbooks.md#api-high-error-rate" + + # Возраст старейшего незавершённого задания (от durable acceptance). В норме — секунды; при остановленном + # или перегруженном worker растёт линейно со временем. Backlog (количество) — отдельная панель. + - alert: JobQueueLagGrowing + expr: max by (queue) (messenger_jobs_oldest_age_seconds) > 60 + for: 1m + labels: + severity: page + annotations: + summary: "Задания очереди {{ $labels.queue }} ждут дольше минуты" + description: "Старейшее незавершённое задание принято {{ $value | humanizeDuration }} назад." + runbook_url: "infra/runbooks.md#job-queue-lag" + + # Пул соединений PostgreSQL исчерпан: запросы ждут соединения (затем 503 через 2 с). Признак медленной или + # недоступной БД — в отличие от медленного обработчика HTTP, при котором ожидающих соединений нет. + - alert: DbPoolSaturated + expr: max by (job, instance) (db_client_connection_pending_requests) > 0 + for: 1m + labels: + severity: warning + annotations: + summary: "{{ $labels.job }} {{ $labels.instance }}: запросы ждут соединения с PostgreSQL" + description: "В очереди пула {{ $value }} запросов дольше минуты." + runbook_url: "infra/runbooks.md#db-pool-saturated" + + # Collector не может отдать данные в Tempo/Loki/Prometheus: очередь экспортёра растёт, после 60 с повторов + # данные отбрасываются. Сообщения при этом работают — теряется только telemetry. + - alert: TelemetryExportFailing + expr: | + ( + sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[5m])) + or sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[5m])) + or sum by (exporter) (rate(otelcol_exporter_send_failed_metric_points_total[5m])) + ) > 0 + or max by (exporter) (otelcol_exporter_queue_size) > 1000 + for: 1m + labels: + severity: warning + annotations: + summary: "Collector не экспортирует telemetry через {{ $labels.exporter }}" + description: "Отбрасывается или копится в очереди {{ $value }} (элементов/с или элементов в очереди)." + runbook_url: "infra/runbooks.md#telemetry-export-failing" diff --git a/infra/prometheus/rules/slo.yml b/infra/prometheus/rules/slo.yml new file mode 100644 index 0000000..4768f5b --- /dev/null +++ b/infra/prometheus/rules/slo.yml @@ -0,0 +1,131 @@ +# SLO и multiwindow multi-burn-rate alerts (трек 2). Обоснование и runbook — REPORT.md, infra/runbooks.md. +# +# SLO-1 «доступность API»: 99.5 % запросов клиентов за 30 дней без 5xx. SLI = 1 − 5xx / все ответы, измеренные на +# HAProxy (frontend public) — там, где их получает клиент. Метрики самого API (http.server.request.duration) этого +# не видят: при недоступной БД реплики выходят из ротации по readiness, и HAProxy отвечает 503 «нет готовых реплик» +# сам, а при зависании отвечает 504 по timeout server — запрос до API не доходит или его исход API пишет позже. +# Проверено: PostgreSQL на 0.05 CPU — 101 ответ 5xx в метриках API против 190 у клиентов. Проверки здоровья HAProxy +# идут напрямую к репликам и в трафик frontend не входят; 4xx — ошибка клиента, не сервиса. +# Бюджет ошибок 0.5 % = 216 минут полного отказа за 30 дней. +# SLO-2 «время до ready»: 99 % принятых вложений публикуются ready не позже 30 с от durable acceptance (30 дней). +# Плохое событие — ready позже 30 с или терминальный failed по вине системы (retry_exhausted, source_*, +# processing_timeout); invalid_image/unsupported_pipeline — свойство входного файла, в SLI не входят. +# Новые серии OTLP-счётчиков (первое событие после старта worker) начинаются с нулевой точки +# (--enable-feature=created-timestamp-zero-ingestion) — первое событие не теряется в rate(). +# +# Burn rate = доля ошибок / бюджет. Окна и пороги — SRE Workbook, гл. 5: alert, если за длинное окно израсходовано +# столько бюджета, а короткое окно (1/12 длинного) подтверждает, что расход продолжается (быстрый resolve): +# fast: 1h и 5m, burn > 14.4 → 2 % месячного бюджета за час (page); +# slow: 6h и 30m, burn > 6 → 5 % месячного бюджета за 6 часов (ticket). +groups: + - name: slo-api-availability + rules: + - record: slo:api_requests:rate5m + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[5m])) + - record: slo:api_errors:rate5m + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[5m])) + - record: slo:api_error_ratio:rate5m + expr: slo:api_errors:rate5m / slo:api_requests:rate5m + + - record: slo:api_requests:rate30m + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[30m])) + - record: slo:api_errors:rate30m + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[30m])) + - record: slo:api_error_ratio:rate30m + expr: slo:api_errors:rate30m / slo:api_requests:rate30m + + - record: slo:api_requests:rate1h + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[1h])) + - record: slo:api_errors:rate1h + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[1h])) + - record: slo:api_error_ratio:rate1h + expr: slo:api_errors:rate1h / slo:api_requests:rate1h + + - record: slo:api_requests:rate6h + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[6h])) + - record: slo:api_errors:rate6h + expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[6h])) + - record: slo:api_error_ratio:rate6h + expr: slo:api_errors:rate6h / slo:api_requests:rate6h + + - name: slo-ready-latency + rules: + - record: slo:ready_events:rate5m + expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[5m])) + - record: slo:ready_good:rate5m + expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[5m])) or vector(0) + - record: slo:ready_bad_ratio:rate5m + expr: 1 - slo:ready_good:rate5m / slo:ready_events:rate5m + + - record: slo:ready_events:rate30m + expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[30m])) + - record: slo:ready_good:rate30m + expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[30m])) or vector(0) + - record: slo:ready_bad_ratio:rate30m + expr: 1 - slo:ready_good:rate30m / slo:ready_events:rate30m + + - record: slo:ready_events:rate1h + expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[1h])) + - record: slo:ready_good:rate1h + expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[1h])) or vector(0) + - record: slo:ready_bad_ratio:rate1h + expr: 1 - slo:ready_good:rate1h / slo:ready_events:rate1h + + - record: slo:ready_events:rate6h + expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[6h])) + - record: slo:ready_good:rate6h + expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[6h])) or vector(0) + - record: slo:ready_bad_ratio:rate6h + expr: 1 - slo:ready_good:rate6h / slo:ready_events:rate6h + + # Остаток бюджета за 30 дней для dashboard (на стенде — за всю доступную историю). Тяжёлое окно — раз в 5 минут. + - name: slo-budget + interval: 5m + rules: + - record: slo:api_error_ratio:rate30d + expr: | + sum(increase(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[30d])) + / sum(increase(haproxy_frontend_http_responses_total{proxy="public"}[30d])) + - record: slo:ready_bad_ratio:rate30d + expr: | + 1 - (sum(increase(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[30d])) or vector(0)) + / sum(increase(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[30d])) + + - name: slo-burn-rate-alerts + rules: + - alert: ApiAvailabilityFastBurn + expr: slo:api_error_ratio:rate1h > (14.4 * 0.005) and slo:api_error_ratio:rate5m > (14.4 * 0.005) + labels: + severity: page + slo: api-availability + annotations: + summary: "API быстро сжигает бюджет ошибок (burn rate > 14.4 за 1h и 5m)" + description: "Доля 5xx у клиентов (HAProxy) за 1 ч {{ $value | humanizePercentage }} при SLO 99.5 %: 2 % месячного бюджета уходит за час." + runbook_url: "infra/runbooks.md#api-availability-burn" + - alert: ApiAvailabilitySlowBurn + expr: slo:api_error_ratio:rate6h > (6 * 0.005) and slo:api_error_ratio:rate30m > (6 * 0.005) + labels: + severity: ticket + slo: api-availability + annotations: + summary: "API медленно сжигает бюджет ошибок (burn rate > 6 за 6h и 30m)" + description: "Доля 5xx за 6 ч {{ $value | humanizePercentage }}: 5 % месячного бюджета за 6 часов." + runbook_url: "infra/runbooks.md#api-availability-burn" + - alert: ReadyLatencyFastBurn + expr: slo:ready_bad_ratio:rate1h > (14.4 * 0.01) and slo:ready_bad_ratio:rate5m > (14.4 * 0.01) + labels: + severity: page + slo: ready-latency + annotations: + summary: "Вложения не успевают стать ready за 30 с (burn rate > 14.4 за 1h и 5m)" + description: "Доля вложений позже 30 с или failed за 1 ч {{ $value | humanizePercentage }} при SLO 99 %." + runbook_url: "infra/runbooks.md#ready-latency-burn" + - alert: ReadyLatencySlowBurn + expr: slo:ready_bad_ratio:rate6h > (6 * 0.01) and slo:ready_bad_ratio:rate30m > (6 * 0.01) + labels: + severity: ticket + slo: ready-latency + annotations: + summary: "Медленный расход бюджета SLO time-to-ready (burn rate > 6 за 6h и 30m)" + description: "Доля вложений позже 30 с или failed за 6 ч {{ $value | humanizePercentage }}." + runbook_url: "infra/runbooks.md#ready-latency-burn" diff --git a/infra/prometheus/tests/alerts.test.yml b/infra/prometheus/tests/alerts.test.yml new file mode 100644 index 0000000..fa1ad1c --- /dev/null +++ b/infra/prometheus/tests/alerts.test.yml @@ -0,0 +1,143 @@ +# Unit-тесты правил (трек 2): синтетические счётчики → когда alert переходит в firing и когда снимается. +# Запуск: docker run --rm -v "$PWD/infra/prometheus:/etc/prometheus:ro" --entrypoint promtool \ +# prom/prometheus:v3.15.1 test rules /etc/prometheus/tests/alerts.test.yml +# Трафик API (ответы HAProxy frontend public) 10 запросов/с (600 в минуту). Перед каждым инцидентом 6 часов нормальной истории (t = 0…360 мин), чтобы +# 6-часовое окно slow burn видело реальный знаменатель. Ожидаемые моменты посчитаны в комментариях. +rule_files: + - ../rules/slo.yml + - ../rules/messenger.yml + +evaluation_interval: 1m + +tests: + # 1. Краткий всплеск: 1 минута 100 % 5xx (≈ 0.03 % месячного бюджета). Простой порог даёт срабатывание, + # burn-rate alerts молчат: за час доля 5xx 600/36000 = 1.7 % < 7.2 % (14.4 × 0.5 %). + - name: short spike — only the naive threshold fires + interval: 1m + input_series: + - series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}' + values: '0+600x360 216000 216600+600x60' + - series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}' + values: '0x360 600x62' + promql_expr_test: + - expr: ALERTS{alertname="ApiHighErrorRate",alertstate="firing"} + eval_time: 364m # pending с 361, firing с 363 (for 2m) + exp_samples: + - labels: 'ALERTS{alertname="ApiHighErrorRate",alertstate="firing",severity="warning"}' + value: 1 + - expr: ALERTS{alertname=~"ApiAvailability.*",alertstate="firing"} + eval_time: 364m + exp_samples: [] + - expr: ALERTS{alertstate="firing"} + eval_time: 370m # всплеск вышел из 5-минутного окна — снято + exp_samples: [] + + # 2. Длительная деградация: 30 % 5xx в течение часа (t = 360…420). + # fast: доля за 1h = (t−360)/200 > 0.072 → firing на 15-й минуте (t = 375); снимается, когда 5m-окно < 7.2 % (t = 424). + # slow: доля за 6h = (t−360)/1200 > 0.03 → firing на 37-й минуте (t = 397); снимается по 30m-окну (t = 448). + - name: long degradation — fast then slow burn, short windows resolve them + interval: 1m + input_series: + - series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}' + values: '0+600x360 216420+420x59 241800+600x119' + - series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}' + values: '0x360 180+180x59 10800x120' + promql_expr_test: + - expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"} + eval_time: 374m + exp_samples: [] + - expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"} + eval_time: 376m + exp_samples: + - labels: 'ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing",severity="page",slo="api-availability"}' + value: 1 + - expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"} + eval_time: 395m + exp_samples: [] + - expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"} + eval_time: 398m + exp_samples: + - labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}' + value: 1 + - expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"} + eval_time: 422m # ошибки кончились в 420, но 5m-окно ещё выше порога + exp_samples: + - labels: 'ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing",severity="page",slo="api-availability"}' + value: 1 + - expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"} + eval_time: 426m # доля за 1h ещё 27 %, но короткое окно сняло alert + exp_samples: [] + - expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"} + eval_time: 446m + exp_samples: + - labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}' + value: 1 + - expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"} + eval_time: 449m + exp_samples: [] + + # 3. Медленное тление: 5 % 5xx шесть часов. Быстрый alert не срабатывает никогда (5 % < 7.2 %), + # медленный — когда доля за 6h превысит 3 %: 30(t−360)/216000 > 0.03 → t = 577 (через 3 ч 37 мин). + - name: slow burn only + interval: 1m + input_series: + - series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}' + values: '0+600x360 216570+570x359' + - series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}' + values: '0x360 30+30x359' + promql_expr_test: + - expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"} + eval_time: 575m + exp_samples: [] + - expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"} + eval_time: 578m + exp_samples: + - labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}' + value: 1 + - expr: ALERTS{alertname="ApiAvailabilityFastBurn"} + eval_time: 600m + exp_samples: [] + + # 4. SLO time-to-ready: 60 загрузок в минуту; 30 минут половина вложений готова позже 30 с. + # fast: доля плохих за 1h = (t−360)/120 > 0.144 → t = 378; slow: за 6h максимум 30/720 = 4.2 % < 6 % — нет. + - name: ready latency fast burn + interval: 1m + input_series: + - series: 'messenger_attachment_time_to_ready_seconds_count{job="messenger-worker",instance="w",job_type="attachment.process.v1",outcome="ready"}' + values: '0+60x450' + - series: 'messenger_attachment_time_to_ready_seconds_bucket{job="messenger-worker",instance="w",job_type="attachment.process.v1",outcome="ready",le="30"}' + values: '0+60x360 21630+30x29 22560+60x60' + promql_expr_test: + - expr: ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing"} + eval_time: 376m + exp_samples: [] + - expr: ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing"} + eval_time: 379m + exp_samples: + - labels: 'ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing",severity="page",slo="ready-latency"}' + value: 1 + - expr: ALERTS{alertname="ReadyLatencySlowBurn"} + eval_time: 390m + exp_samples: [] + + # 5. Worker остановлен на 10 минут: возраст старейшего задания растёт на 60 с в минуту. + # > 60 с с t = 12 (pending), firing с t = 13 (for 1m); после запуска worker (t = 22) — снято. + - name: queue lag + interval: 1m + input_series: + - series: 'messenger_jobs_oldest_age_seconds{job="messenger-api",instance="a",queue="attachments.process"}' + values: '1x10 60+60x10 1x10' + - series: 'messenger_jobs_oldest_age_seconds{job="messenger-api",instance="b",queue="attachments.process"}' + values: '1x10 60+60x10 1x10' + promql_expr_test: + - expr: ALERTS{alertname="JobQueueLagGrowing",alertstate="firing"} + eval_time: 12m + exp_samples: [] + - expr: ALERTS{alertname="JobQueueLagGrowing",alertstate="firing"} + eval_time: 13m + exp_samples: + - labels: 'ALERTS{alertname="JobQueueLagGrowing",alertstate="firing",queue="attachments.process",severity="page"}' + value: 1 + - expr: ALERTS{alertname="JobQueueLagGrowing"} + eval_time: 23m + exp_samples: [] diff --git a/infra/prometheus/web.yml b/infra/prometheus/web.yml new file mode 100644 index 0000000..1bc4b90 --- /dev/null +++ b/infra/prometheus/web.yml @@ -0,0 +1,7 @@ +tls_server_config: + cert_file: /run/identity/tls.crt + key_file: /run/identity/tls.key + client_auth_type: RequireAndVerifyClientCert + client_ca_file: /run/telemetry/ca.crt + client_allowed_sans: [collector, grafana-query, prometheus-scrape] + min_version: TLS12 diff --git a/infra/rabbitmq/enabled_plugins b/infra/rabbitmq/enabled_plugins new file mode 100644 index 0000000..7818d71 --- /dev/null +++ b/infra/rabbitmq/enabled_plugins @@ -0,0 +1 @@ +[rabbitmq_prometheus,rabbitmq_auth_mechanism_ssl]. diff --git a/infra/rabbitmq/rabbitmq.conf b/infra/rabbitmq/rabbitmq.conf new file mode 100644 index 0000000..0632362 --- /dev/null +++ b/infra/rabbitmq/rabbitmq.conf @@ -0,0 +1,30 @@ +# Монтируется в /etc/rabbitmq/conf.d/90-messenger.conf: файлы conf.d читаются по алфавиту, этот — последним. +# Пользователи, vhost messenger, exchange, quorum-очередь и binding — из definitions (scripts/init-secrets.sh), +# импорт при каждом старте узла. При импорте definitions пользователь guest не создаётся. +load_definitions = /run/secrets/rabbitmq_definitions +# Образ разрешает guest из сети (10-defaults.conf); возвращаем безопасное значение на случай его появления. +loopback_users.guest = true +# Сообщение без ack дольше 5 минут: брокер закрывает канал consumer и отдаёт сообщение снова. +# Это страховка брокера; зависшую попытку раньше (JOB_TIMEOUT_SECONDS + 15 с) обнаруживает аренда в БД. +consumer_timeout = 300000 +# При нехватке диска брокер блокирует публикацию — API продолжает принимать файлы, задания ждут в outbox. +disk_free_limit.absolute = 256MB +log.console.level = info + +listeners.tcp = none +listeners.ssl.default = 5671 +ssl_options.cacertfile = /run/tls/ca.crt +ssl_options.certfile = /run/identity/tls.crt +ssl_options.keyfile = /run/identity/tls.key +ssl_options.verify = verify_peer +ssl_options.fail_if_no_peer_cert = true +ssl_options.reuse_sessions = false +auth_mechanisms.1 = EXTERNAL +ssl_cert_login_from = common_name +prometheus.tcp.listener = none +prometheus.ssl.port = 15691 +prometheus.ssl.cacertfile = /run/telemetry/ca.crt +prometheus.ssl.certfile = /run/identity/tls.crt +prometheus.ssl.keyfile = /run/identity/tls.key +prometheus.ssl.verify = verify_peer +prometheus.ssl.fail_if_no_peer_cert = true diff --git a/infra/runbooks.md b/infra/runbooks.md new file mode 100644 index 0000000..305956d --- /dev/null +++ b/infra/runbooks.md @@ -0,0 +1,173 @@ +# Runbooks lab6 + +Локальные runbook для alert rules из `infra/prometheus/rules/` (ссылка — аннотация `runbook_url` каждого alert). +Заголовки разделов — якоря этих ссылок. Автор: Морару С. С., БПИ2303. + +## Как начать + +- Grafana: `http://127.0.0.1:${GRAFANA_PORT}` (в `.env` стенда — 3096), пользователь `admin`, пароль — файл + `secrets/grafana_admin_password` (не копируйте его в чат/отчёт). Prometheus, Loki и Tempo на хост не опубликованы: + запросы — через Grafana → Explore. +- Dashboard «Messenger lab6» (папка Messenger). Состояние alerts: панель «Alerts (pending / firing)» и + Grafana → Alerting → Alert rules (правила источника Prometheus); серия `ALERTS` в Explore. +- Все команды — из корня репозитория; они касаются только проекта `messenger-lab6`. + +Общий путь от симптома к причине: **метрика** говорит «что и насколько» (какой маршрут, какой статус, какая очередь), +**trace** — «где тратится время или возникает ошибка» (какая зависимость), **лог** — «что именно случилось» +(событие, `error.type`, `request_id`). Переход: лог → trace по `trace_id` (кнопка Tempo у строки лога), +trace → логи по кнопке «Logs for this span», ответ клиента → лог по `X-Request-Id` (`| request_id="…"`). + +Где тратится время в trace запроса API: + +| Что длинное или с ошибкой | Причина | Дальше | +| --- | --- | --- | +| `pg-pool.connect` | нет свободного соединения в пуле: БД медленная/недоступна или пул мал | сначала «Event loop: задержка p99» этой реплики (см. ниже), затем [db-pool-saturated](#db-pool-saturated) | +| `pg.query:*` | сам запрос в PostgreSQL: блокировка, нагрузка на CPU БД, недоступность | так же | +| `S3.*` | SeaweedFS (s3 gateway) завис или недоступен | `docker compose ps s3` | +| SERVER span длинный, дочерние короткие, между ними «дыры» | синхронная работа в обработчике (event loop занят) | панели «Event loop: задержка p99», «CPU процессов» | +| span без дочерних, статус 5xx | ошибка в коде (`http.internal_error`) | событие `exception` в span, лог по `trace_id` | + +**Ловушка (проверено в кампании трека 2, фаза handler-slow).** Если процессу API не хватает CPU, длинными выглядят +именно `pg-pool.connect` и `pg.query:*`: время span — до вызова callback, а callback ждёт свободный event loop. Trace +такого запроса неотличим от медленной БД (медиана 19 медленных trace: 898 мс, из них SQL 600 мс, «своё» время 4 мс). Поэтому до +вывода «виновата БД» сравните реплику из trace (`service.instance.id`) с остальными: задержка event loop в секундах +и CPU у лимита контейнера у одной реплики — это процесс, а не БД. + +## api-availability-burn + +**Alerts:** `ApiAvailabilityFastBurn` (severity page), `ApiAvailabilitySlowBurn` (severity ticket). + +SLO: 99.5 % запросов клиентов без 5xx за 30 дней; бюджет — 0.5 % ответов. SLI считается на HAProxy (frontend +`public`, метрика `haproxy_frontend_http_responses_total`): так в него попадают и ответы самого LB — 503, когда +ни одна реплика не готова (readiness зависит от PostgreSQL), и 504 по таймауту. Burn rate — во сколько раз доля +5xx выше бюджета. Fast: за 1 ч **и** за 5 мин доля 5xx > 14.4 × 0.5 % = 7.2 % — за час +сгорает 2 % месячного бюджета, при таком темпе весь бюджет кончится за 2 дня. Slow: за 6 ч **и** за 30 мин +доля > 6 × 0.5 % = 3 % (5 % бюджета за 6 ч). Короткое окно снимает alert вскоре после восстановления. + +1. Dashboard, ряд «API»: панели «Доля 5xx» и «RPS по классу статуса». Если линия «у клиентов (HAProxy)» заметно выше + линии «в метриках API» — отвечает сам LB: реплики вне ротации (readiness → БД, см. db-pool-saturated) или + зависают дольше 10 с (504). Проверка: `docker compose ps api lb`, скрейп HAProxy через Collector + (`http://127.0.0.1:${LB_STATS_PORT}/stats`) — состояние UP/DOWN реплик. +2. Какой маршрут и какой код (Explore → Prometheus): + `sum by (http_route, http_response_status_code) (rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m]))`. + 503 — недоступна зависимость, 500 — ошибка кода. +3. Логи (Explore → Loki): `{service_name="messenger-api"} | severity_text="ERROR"`. Событие + `http.dependency_unavailable` (503) — поле `error.type` (код PostgreSQL/Node, например `57014` — statement + timeout, `ECONNREFUSED`, `Error` — таймаут ожидания пула); `http.internal_error` (500) — баг. +4. Из строки лога — trace (`trace_id`) и таблица выше: какая зависимость. Поиск таких trace сразу в Tempo: + `{ resource.service.name = "messenger-api" && kind = server && status = error }`. +5. Ветки: PostgreSQL → [db-pool-saturated](#db-pool-saturated); S3 — `docker compose ps s3`, + `docker compose logs --tail 50 s3`; баг — стек в событии `exception` span. + +Восстановление: после устранения причины доля 5xx за 5 мин падает ниже 7.2 % — fast снимается через ~5 мин; +slow — когда доля за 30 мин < 3 %. Остаток бюджета — панель «Остаток бюджета API (30 д)». + +## ready-latency-burn + +**Alerts:** `ReadyLatencyFastBurn` (page), `ReadyLatencySlowBurn` (ticket). + +SLO: 99 % вложений становятся `ready` не позже 30 с после durable acceptance (коммит upload в БД). SLI — +гистограмма `messenger_attachment_time_to_ready_seconds` (хорошие — `outcome="ready"`, `le="30"`; плохие — ready +позже 30 с и `failed` из-за временных сбоев; постоянные `invalid_image`/`unsupported_pipeline` — свойство файла, +в SLI не входят). Пороги: fast — 1 ч и 5 мин > 14.4 %, slow — 6 ч и 30 мин > 6 % плохих. + +1. Ряд «Worker и задания»: «Возраст старейшего задания» (линия «consumers» — подписчики очереди) и «Очередь: backlog». + Consumers = 0 или возраст растёт линейно → [job-queue-lag](#job-queue-lag). +2. «Насыщение worker (busy / capacity)» около 100 % и растущий backlog → не хватает мощности: «Длительность + обработки job (done)» p95, «CPU процессов» worker. Обработка медленнее поступления — масштабировать + `WORKER_REPLICAS` (`docker compose up -d --scale worker=3`). +3. «Jobs/с по исходу»: доля `retry`/`failed`. Логи: `{service_name="messenger-worker"} | event=~"job.retry|job.failed"` — + `error.type` (`storage_unavailable` — S3, `database_unavailable` — PostgreSQL). Каждый retry добавляет backoff + 2–4–8… с к времени до ready. +4. Линия «outbox без confirm» на панели «Очередь: backlog» растёт при пустой очереди RabbitMQ → задания не публикуются: брокер недоступен (`docker compose ps rabbitmq`, + логи API `| event=~"relay.*"`). +5. Конкретное медленное вложение: в Tempo `{ resource.service.name = "messenger-worker" && kind = consumer && duration > 10s }` + или `{ span.messenger.attachment.id = "" }` — в одном trace видны upload, все публикации и попытки. + +Восстановление — как в [api-availability-burn](#api-availability-burn): короткое окно (5 мин / 30 мин) снимает alert. + +## api-high-error-rate + +**Alert:** `ApiHighErrorRate` (warning): доля 5xx за 5 мин > 5 % держится 2 мин. + +Простой порог без учёта бюджета: срабатывает и на короткий всплеск, который почти не тратит месячный бюджет +(сравнение с burn-rate — REPORT.md, трек 2). Если одновременно горит `ApiAvailabilityFastBurn` — действуйте по +[api-availability-burn](#api-availability-burn). Если горит только он — короткий инцидент: найдите причину теми же +шагами 1–4 (окно 15 мин вокруг всплеска) и проверьте, что он закончился (доля 5xx вернулась к нулю). + +## job-queue-lag + +**Alert:** `JobQueueLagGrowing` (page): старейшее незавершённое задание принято больше 60 с назад, держится 1 мин. +Метрика `messenger_jobs_oldest_age_seconds` (из таблицы `jobs`, считает API) растёт на 1 с за секунду, если задания +не обрабатываются. + +1. Подписчики очереди — линия «consumers» на панели «Возраст старейшего задания» + (`sum(rabbitmq_detailed_queue_consumers{queue="attachments.process"})`). + `0` → worker не работает: `docker compose ps -a worker`; причина остановки — + `docker compose logs --tail 50 worker`, `docker inspect -f '{{.State.OOMKilled}} {{.State.ExitCode}}' messenger-lab7-worker-1`. +2. Consumers > 0, «Насыщение worker» ≈ 100 % → перегрузка (см. ready-latency-burn, шаг 2). +3. Consumers > 0, насыщение низкое, `messages_ready` ≈ 0, а возраст растёт → задания не доходят до очереди: + линия «outbox без confirm» и логи `relay.*` в API (брокер), либо задания зависли в `processing` — sweeper вернёт их после + истечения аренды (лог `sweeper.recovered`). +4. Проверка по БД: + `docker compose exec -T -u postgres postgres psql -U messenger -d messenger -c "SELECT state, count(*), round(extract(epoch FROM max(clock_timestamp() - created_at))) AS oldest_s FROM jobs WHERE state IN ('queued','processing') GROUP BY state"`. + +Восстановление: `docker compose up -d --no-deps worker` (или устранить причину); backlog уходит, возраст падает +ниже 60 с — alert снимается на следующей оценке правил (интервал 10 с). + +## db-pool-saturated + +**Alert:** `DbPoolSaturated` (warning): у реплики (`job`, `instance`) запросы ждут соединения из пула дольше 1 мин +(`db_client_connection_pending_requests > 0`). Пул — 8 соединений на процесс; ожидание дольше 2 с → 503. + +Как отличить медленную БД от медленного обработчика HTTP: + +Значения в скобках — из кампании ЛР № 6: PostgreSQL заморожен (`docker compose pause`) и api-1 на 0.1 CPU. + +| Сигнал | Медленная/недоступная БД | Медленный handler (CPU API) | +| --- | --- | --- | +| «Event loop: задержка p99» API | норма у всех реплик (0.02–0.03 с) | секунды у одной реплики (api-1 7.3 с, api-2 0.07 с) — **главный признак** | +| «CPU процессов» API | норма (0.05) | у лимита контейнера (0.09 при лимите 0.1) | +| Ответы клиентам | 5xx: 503 API после 2 с ожидания пула, но в основном 503/504 самого HAProxy — реплики выходят из ротации по readiness (1113 из 1177) | медленные 2xx (p99 api-1 5 с), 5xx < 0.5 % | +| «Пул соединений PostgreSQL» | при замороженной БД pending ≈ 0: запросы до API не доходят; при медленной — used = max, pending > 0 у всех реплик | pending до 7 и used = 8 из 8 у одной реплики | +| «p99 запросов к PostgreSQL» | у замороженных запросов нет завершения — histogram молчит до восстановления | растёт у медленной реплики (0.6 с) — это ожидание event loop | +| Trace запроса | `pg-pool.connect` ≈ 2 с и статус 503 | тоже длинные `pg-pool.connect`/`pg.query:*` (ловушка выше) | +| Логи | `http.dependency_unavailable`, `error.type=Error` (таймаут пула), `sweeper.error`, `relay.db_unavailable` | почти пусто | +| Затронуты | все реплики, API и worker | одна реплика (18 из 19 медленных trace) | + +`DbPoolSaturated` не помогает отличить: при замороженной БД он молчит (нет нагрузки на пул), при нехватке CPU +pending у реплики скачет и может дойти до firing. + +1. Процесс или БД: «Event loop: задержка p99» и «CPU процессов» по репликам. Выброс у одной реплики → её CPU: + `docker stats --no-stream messenger-lab7-api-1 messenger-lab7-api-2`, лимит — + `docker inspect -f '{{.HostConfig.NanoCpus}}' messenger-lab7-api-1` (1e9 = 1 CPU); дальше профиль/нагрузка + этой реплики, БД ни при чём. У всех реплик норма → шаг 2. +2. Состояние PostgreSQL: `docker compose ps postgres` (paused/restarting?), `docker stats --no-stream messenger-lab7-postgres-1`. +3. Что делают соединения: + `docker compose exec -T -u postgres postgres psql -U messenger -d messenger -c "SELECT pid, wait_event_type, state, round(extract(epoch FROM now() - query_start)) AS s, left(query, 60) FROM pg_stat_activity WHERE datname = 'messenger' AND state <> 'idle' ORDER BY s DESC"` + — долгие транзакции и блокировки (`wait_event_type = Lock`). +4. Логи `{service_name=~"messenger-.+"} | event=~"http.dependency_unavailable|relay.db_unavailable|job.retry"`. + +Восстановление: снять блокировку/нагрузку или вернуть БД; pending падает до 0, p99 SQL возвращается к норме. + +## telemetry-export-failing + +**Alert:** `TelemetryExportFailing` (warning): Collector не отправляет данные в backend (`send_failed` > 0 за 5 мин) +или очередь экспортёра > 1000 элементов, держится 1 мин. + +Сообщения и загрузки при этом работают: SDK и Collector отправляют асинхронно. Теряется только telemetry: +очередь экспортёра — 20 000 элементов в памяти, повтор с backoff до 60 с, затем данные отбрасываются и считаются +(`otelcol_exporter_send_failed_*`, при полной очереди — `otelcol_exporter_enqueue_failed_*`). + +1. Панели «Потери telemetry» и «Очередь экспортёров»: какой экспортёр (`otlp_grpc/tempo`, `otlp_http/loki`, + `otlp_http/prometheus`). +2. `docker compose ps tempo loki prometheus otel-collector`; ошибки экспорта — `docker compose logs --tail 30 collector otel-collector`. +3. Память Collector: панель «Память процессов (RSS)», линия collector; отказ приёма memory_limiter — + `otelcol_receiver_refused_*` (контейнер ограничен 256 MiB, лимит memory_limiter 200 MiB). + +Ограничение: правило вычисляет Prometheus. Если недоступен сам Prometheus, alert не сработает — это видно по ошибке +источника на dashboard и в `docker compose ps`. Если остановлен Collector, SDK приложений отбрасывают данные +после заполнения своих буферов (2048 spans / log records); работа API не зависит от этого. + +Восстановление: запустить backend (`docker compose start tempo`) — очередь опустеет, `send_failed` перестанет +расти, alert снимется, когда 5-минутное окно rate станет нулевым. diff --git a/infra/tempo/tempo.yaml b/infra/tempo/tempo.yaml new file mode 100644 index 0000000..37a6057 --- /dev/null +++ b/infra/tempo/tempo.yaml @@ -0,0 +1,43 @@ +# Tempo 2.10.10 — хранилище трасс (монолит, локальный диск в volume tempo-data; WAL переживает перезапуск). +# Spans приходят от Collector по OTLP gRPC :4317 (сеть telemetry); Grafana читает через HTTP :3200 (TraceQL). +stream_over_http_enabled: true + +server: + http_listen_port: 3200 + grpc_listen_address: 127.0.0.1 + grpc_listen_port: 9095 + log_level: warn + http_tls_config: + cert_file: /run/identity/tls.crt + key_file: /run/identity/tls.key + client_auth_type: RequireAndVerifyClientCert + client_ca_file: /run/telemetry/ca.crt + +distributor: + receivers: + otlp: + protocols: + grpc: + endpoint: 0.0.0.0:4317 + tls: + cert_file: /run/identity/tls.crt + key_file: /run/identity/tls.key + client_ca_file: /run/collector-ca/ca.crt + +ingester: + max_block_duration: 5m + +compactor: + compaction: + block_retention: 168h # 7 дней истории трасс + +storage: + trace: + backend: local + wal: + path: /var/tempo/wal + local: + path: /var/tempo/blocks + +usage_report: + reporting_enabled: false diff --git a/package-lock.json b/package-lock.json new file mode 100644 index 0000000..25ef909 --- /dev/null +++ b/package-lock.json @@ -0,0 +1,2643 @@ +{ + "name": "messenger-lab7", + "version": "7.0.0", + "lockfileVersion": 3, + "requires": true, + "packages": { + "": { + "name": "messenger-lab7", + "version": "7.0.0", + "dependencies": { + "@aws-sdk/client-s3": "3.1152.0", + "@opentelemetry/api": "1.9.1", + "@opentelemetry/api-logs": "0.223.0", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/exporter-logs-otlp-proto": "0.223.0", + "@opentelemetry/exporter-metrics-otlp-proto": "0.223.0", + "@opentelemetry/exporter-trace-otlp-proto": "0.223.0", + "@opentelemetry/instrumentation-aws-sdk": "0.78.0", + "@opentelemetry/instrumentation-http": "0.223.0", + "@opentelemetry/instrumentation-pg": "0.76.0", + "@opentelemetry/instrumentation-runtime-node": "0.36.1", + "@opentelemetry/sdk-logs": "0.223.0", + "@opentelemetry/sdk-metrics": "2.12.0", + "@opentelemetry/sdk-node": "0.223.0", + "amqplib": "2.2.0", + "pg": "8.23.1", + "sharp": "0.35.5" + }, + "devDependencies": { + "@types/node": "24.19.2", + "@types/pg": "8.23.1", + "typescript": "7.0.2" + }, + "engines": { + "node": ">=24" + } + }, + "node_modules/@aws-sdk/checksums": { + "version": "3.1002.1", + "resolved": "https://registry.npmjs.org/@aws-sdk/checksums/-/checksums-3.1002.1.tgz", + "integrity": "sha512-CXNESwkQC9jdrUG6cKXBfudVt1frGcYQykcCYbNclVrsewuGMbo3PlFjRteMe4OftNAqhyc3xC2jTz7SUqLasQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/client-s3": { + "version": "3.1152.0", + "resolved": "https://registry.npmjs.org/@aws-sdk/client-s3/-/client-s3-3.1152.0.tgz", + "integrity": "sha512-oI1+ZaM6pSOwZazu4nAb7rL8ug7LSjg31tDoJqRB9MooRqqWCf/qvkIZqne1mRA3xK3slg6K0RNWXaJYHbWLvg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/checksums": "^3.1001.3", + "@aws-sdk/core": "^3.978.3", + "@aws-sdk/credential-provider-node": "^3.972.86", + "@aws-sdk/middleware-sdk-s3": "^3.972.79", + "@aws-sdk/signature-v4-multi-region": "^3.996.48", + "@aws-sdk/types": "^3.974.6", + "@smithy/core": "^3.35.2", + "@smithy/fetch-http-handler": "^5.8.0", + "@smithy/node-http-handler": "^4.12.1", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/core": { + "version": "3.979.1", + "resolved": "https://registry.npmjs.org/@aws-sdk/core/-/core-3.979.1.tgz", + "integrity": "sha512-ayOlV1VhLNMiq8PW9ZkVobG4gkldnUoHjG69yy2b8j+VYFlhz/uAL7ZdYQAoQ+eShtGUdNDnnG5rxDg6yUJrOg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/types": "^3.975.0", + "@aws-sdk/xml-builder": "^3.972.42", + "@aws/lambda-invoke-store": "^0.3.0", + "@smithy/core": "^3.38.0", + "@smithy/signature-v4": "^5.7.5", + "@smithy/types": "^4.19.0", + "bowser": "^2.11.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-env": { + "version": "3.972.80", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-env/-/credential-provider-env-3.972.80.tgz", + "integrity": "sha512-uO5TiSvb6j1w9RTe5z28OaOmsrOxVQUPaC5+wZl50RfOXcrYD/KgnS8I9lfyGXc7sGbkCopK6VnhNIAoLqfewQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-http": { + "version": "3.972.82", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-http/-/credential-provider-http-3.972.82.tgz", + "integrity": "sha512-vQzlDHlC24Yz42p+rT4NBoP/5VdetkBoujbOLq9h6QYWC8THuZSPYnXIR9OP3XcOrdMgPBBipOrdssfxnIiWUg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/fetch-http-handler": "^5.8.0", + "@smithy/node-http-handler": "^4.14.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-ini": { + "version": "3.973.25", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-ini/-/credential-provider-ini-3.973.25.tgz", + "integrity": "sha512-b5xl71uCRdWsu7P1VeGpiGuCf6zfYETsSNOv8AmYVTrsgbvTJRXdmmOPVfxkvGGVNsiKkGctClQW3jAn0SZLug==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/credential-provider-env": "^3.972.80", + "@aws-sdk/credential-provider-http": "^3.972.82", + "@aws-sdk/credential-provider-login": "^3.972.87", + "@aws-sdk/credential-provider-process": "^3.972.80", + "@aws-sdk/credential-provider-sso": "^3.973.24", + "@aws-sdk/credential-provider-web-identity": "^3.972.86", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/credential-provider-imds": "^4.5.2", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-login": { + "version": "3.972.87", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-login/-/credential-provider-login-3.972.87.tgz", + "integrity": "sha512-C4ZFmcwM+Zj14Z8huVUk54Gv4uzT1ZdzG9cY3Gdh8FePakq7Bss1OFsgZjAhWFOkFOGpBvFBeu0OWjWf8HNKRQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-node": { + "version": "3.972.92", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-node/-/credential-provider-node-3.972.92.tgz", + "integrity": "sha512-jC3zmOo7Qxlk+oBivvSsS1Ph7sFGm0QfuhqDGbqgRXi4cxUYMG+dWtBwS2XYYXgc8TIVXJiwgQ65sbNpbYupTA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/credential-provider-env": "^3.972.80", + "@aws-sdk/credential-provider-http": "^3.972.82", + "@aws-sdk/credential-provider-ini": "^3.973.25", + "@aws-sdk/credential-provider-process": "^3.972.80", + "@aws-sdk/credential-provider-sso": "^3.973.24", + "@aws-sdk/credential-provider-web-identity": "^3.972.86", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/credential-provider-imds": "^4.5.2", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-process": { + "version": "3.972.80", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-process/-/credential-provider-process-3.972.80.tgz", + "integrity": "sha512-xqfixO5aclje7tbQJDias+iNND5wp/3QZixCdZcVQpgWPTZ0V5DfTW9A804A5Z7ezu7sH3WRO+vzUjtiJBA8yg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-sso": { + "version": "3.973.24", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-sso/-/credential-provider-sso-3.973.24.tgz", + "integrity": "sha512-nlg3BKG03Cgzvv/dMnhxvDJPhAhQSpaN0RUdwgU7ziwkasoev7iI8el8Xy4Rd5sqzgaDUbV269fOXck5SargqA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/token-providers": "3.1161.0", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-web-identity": { + "version": "3.972.86", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-web-identity/-/credential-provider-web-identity-3.972.86.tgz", + "integrity": "sha512-zKTyLJBEyfQBVlYqT6Jt+mYV4r8kGbWM7dn6v4Y4MRARizhYafjDXP/iMu76UMRhToSPNmIKX1XAb24gtpBFIA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/middleware-sdk-s3": { + "version": "3.972.85", + "resolved": "https://registry.npmjs.org/@aws-sdk/middleware-sdk-s3/-/middleware-sdk-s3-3.972.85.tgz", + "integrity": "sha512-Kyl2G6zhIS9qFoeLdlxvXFrWyc6g9D9ZCIRJnGkkfX6JZhxCZB5ebXBc7GKEeetrnhXcail6ALZT0lKbojcaNA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/signature-v4-multi-region": "^3.996.51", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/nested-clients": { + "version": "3.997.54", + "resolved": "https://registry.npmjs.org/@aws-sdk/nested-clients/-/nested-clients-3.997.54.tgz", + "integrity": "sha512-/OczlavsS7U5sOodRO10Ug4R/AKFVZiXTstKipWe68EfjPkmdDFNXNl9FCJyXWkg1DG6RBm3qAuVB8FNW9O8KQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/signature-v4-multi-region": "^3.996.51", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/fetch-http-handler": "^5.8.0", + "@smithy/node-http-handler": "^4.14.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/signature-v4-multi-region": { + "version": "3.996.51", + "resolved": "https://registry.npmjs.org/@aws-sdk/signature-v4-multi-region/-/signature-v4-multi-region-3.996.51.tgz", + "integrity": "sha512-+aHvUugVBuMPXxgkPfWnTMyGdE/yWS8GHi5+qQ37HowS0YqzrbuaDLznj+Dtmtu5jgCdqz36gXmujOToUhNNWw==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/types": "^3.975.0", + "@smithy/signature-v4": "^5.7.5", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/token-providers": { + "version": "3.1161.0", + "resolved": "https://registry.npmjs.org/@aws-sdk/token-providers/-/token-providers-3.1161.0.tgz", + "integrity": "sha512-ypbXSofNcSHwf/KA40bFCXJb0MLaAKrfT7sot4dFaA+2lsuXNah4zLRJIAU7Qmvs9PFJ6rnY0bZFEC+mE7attA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/types": { + "version": "3.975.0", + "resolved": "https://registry.npmjs.org/@aws-sdk/types/-/types-3.975.0.tgz", + "integrity": "sha512-WQlhs6juByzWOzj5fwxOx0mPJaEqMcG/sDpl3Id61B3XhKE63xY+0QWcnG+sWR/sCfprmreyUo1lM7IKZmHMzw==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/xml-builder": { + "version": "3.972.42", + "resolved": "https://registry.npmjs.org/@aws-sdk/xml-builder/-/xml-builder-3.972.42.tgz", + "integrity": "sha512-smX8/gNP8Kjq+CWTBMZQLQ912vOQjiWExzwzvMO+eujPB5RY8IbtF0AGdUUXHKN7KoDWK9dIcuW0WG269kiP6w==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws/lambda-invoke-store": { + "version": "0.3.0", + "resolved": "https://registry.npmjs.org/@aws/lambda-invoke-store/-/lambda-invoke-store-0.3.0.tgz", + "integrity": "sha512-sl4Bm6yiMNYrZKkqqDFWN0UfnWhlS8ivKxrYl+6t0gCLrqr8y3B2IqZZbFRkfaVVp7C/baApyh71P+LeE1A2sQ==", + "license": "Apache-2.0", + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@emnapi/runtime": { + "version": "1.11.3", + "resolved": "https://registry.npmjs.org/@emnapi/runtime/-/runtime-1.11.3.tgz", + "integrity": "sha512-Xz4Tpyki7XyrpbUK1jR1AhdAdaXyhhY4lZ3neLodmhpuWfy2PAQN5B46sAiU4liOXGLkHypn/qU+jvfWSCYYLA==", + "license": "MIT", + "optional": true, + "dependencies": { + "tslib": "^2.4.0" + } + }, + "node_modules/@grpc/grpc-js": { + "version": "1.14.7", + "resolved": "https://registry.npmjs.org/@grpc/grpc-js/-/grpc-js-1.14.7.tgz", + "integrity": "sha512-W4W/fcBMGRVtG6dW2c7cw2mnpS3hvbBd+oQXjh2iYFTZDk1JJmcNqkM5KSaPubQpamlUUurrlb7G1s9NJeERmQ==", + "license": "Apache-2.0", + "dependencies": { + "@grpc/proto-loader": "^0.8.0", + "@js-sdsl/ordered-map": "^4.4.2" + }, + "engines": { + "node": ">=12.10.0" + } + }, + "node_modules/@grpc/proto-loader": { + "version": "0.8.1", + "resolved": "https://registry.npmjs.org/@grpc/proto-loader/-/proto-loader-0.8.1.tgz", + "integrity": "sha512-wtF6h+DY6M3YaDBPAmvuuA6jV8Sif9MjtOI5euKFWRgCDl5PeDpPsHR9u2l6St5ceY8AZgoNDww5+HvEsXFsGg==", + "license": "Apache-2.0", + "dependencies": { + "lodash.camelcase": "^4.3.0", + "long": "^5.0.0", + "protobufjs": "^7.5.5", + "yargs": "^17.7.2" + }, + "bin": { + "proto-loader-gen-types": "build/bin/proto-loader-gen-types.js" + }, + "engines": { + "node": ">=6" + } + }, + "node_modules/@img/colour": { + "version": "1.1.0", + "resolved": "https://registry.npmjs.org/@img/colour/-/colour-1.1.0.tgz", + "integrity": "sha512-Td76q7j57o/tLVdgS746cYARfSyxk8iEfRxewL9h4OMzYhbW4TAcppl0mT4eyqXddh6L/jwoM75mo7ixa/pCeQ==", + "license": "MIT", + "engines": { + "node": ">=18" + } + }, + "node_modules/@img/sharp-darwin-arm64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-darwin-arm64/-/sharp-darwin-arm64-0.35.5.tgz", + "integrity": "sha512-QRUlFQ0WxvdWyqqG/WtI3iupfD5rBzmCHXSdPsY91sAtVtTo7Q4cb6zOccZ3gqEqkr0f1As1ehLqmEpDsRf+lg==", + "cpu": [ + "arm64" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-darwin-arm64": "1.3.4" + } + }, + "node_modules/@img/sharp-darwin-x64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-darwin-x64/-/sharp-darwin-x64-0.35.5.tgz", + "integrity": "sha512-+BR255RhDlpygUpOc/Jdt1nT6DQ3XG/ERo5wbcdOf5Q320dKtPCKPLR1LJs9VGXRaMa8l1uUa0tkCNOXiAxZUw==", + "cpu": [ + "x64" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-darwin-x64": "1.3.4" + } + }, + "node_modules/@img/sharp-freebsd-wasm32": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-freebsd-wasm32/-/sharp-freebsd-wasm32-0.35.5.tgz", + "integrity": "sha512-Y/z91nEZ4uIBX5X3nfTovjU9lHNKFYbL2lpHCLVNmXQK03VIZvXBBt0KxbPGp2SdGSF+2mQU4e+hQaWOt86iAw==", + "license": "Apache-2.0", + "optional": true, + "os": [ + "freebsd" + ], + "dependencies": { + "@img/sharp-wasm32": "0.35.5" + }, + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-darwin-arm64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-darwin-arm64/-/sharp-libvips-darwin-arm64-1.3.4.tgz", + "integrity": "sha512-5R89nBYiRdUlSWJxPhO+GVtaXzXSxKnRu/xqMn3KTA3L9EB9Oy/P+Nn2f2vlhPuUdy/Zusb2DarbyTpGCfEDuw==", + "cpu": [ + "arm64" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "darwin" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-darwin-x64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-darwin-x64/-/sharp-libvips-darwin-x64-1.3.4.tgz", + "integrity": "sha512-iR2OKH80yi0U+dUplyh3/xdpFvps6YkCwsXenIJxqxR1v9o+xtKTGbS9H7cps+2Vxjc8B1j96p75NmTGjIhtpQ==", + "cpu": [ + "x64" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "darwin" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linux-arm": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linux-arm/-/sharp-libvips-linux-arm-1.3.4.tgz", + "integrity": "sha512-LmRtTsOHuvM2+wlO2Db37dx5MiZhB0FvSunciw48YjdOkZz9KAiRbm8ujeMOA1INqmei5NapFxYEK1D1ZSidmw==", + "cpu": [ + "arm" + ], + "libc": [ + "glibc" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linux-arm64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linux-arm64/-/sharp-libvips-linux-arm64-1.3.4.tgz", + "integrity": "sha512-Y3dgX/6lE2QhQb+Gxy0WZxfg9MEm/JBjamZpS2IklP7xIQoKN4hzAm7KcMVGtaVDt3neE9OKBC7vAfonA/Lr1A==", + "cpu": [ + "arm64" + ], + "libc": [ + "glibc" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linux-ppc64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linux-ppc64/-/sharp-libvips-linux-ppc64-1.3.4.tgz", + "integrity": "sha512-Le6boB8Tai0Nis+gIxIpKx68UDVVIqdR8Tin5Yf1z2LJJQLDJvCDRqRu+jC2qCoD+eIomonmOwB4smBRxfVpYQ==", + "cpu": [ + "ppc64" + ], + "libc": [ + "glibc" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linux-riscv64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linux-riscv64/-/sharp-libvips-linux-riscv64-1.3.4.tgz", + "integrity": "sha512-aHkkIEHPRdQEegJN20MLmGtxYD9R2wQr3Cwpddnu5+YKMt6Uzax7S9h5gpZTo8wyrGuZSlfQ63OevL5mTyOC7Q==", + "cpu": [ + "riscv64" + ], + "libc": [ + "glibc" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linux-s390x": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linux-s390x/-/sharp-libvips-linux-s390x-1.3.4.tgz", + "integrity": "sha512-ra/mB6MikESDUO7Yg+Mi95bFBb9GsObURuhnOv3OqknjGe9sZrG8tCe9q0xSIGrtLgvgw0gKnFWcK4blSgQOuQ==", + "cpu": [ + "s390x" + ], + "libc": [ + "glibc" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linux-x64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linux-x64/-/sharp-libvips-linux-x64-1.3.4.tgz", + "integrity": "sha512-GJ//SSXbnwSDes02umB3nDJLFcQzw8a18V8fyhqr6tV515tOEMdImjjxj1AoafMRz56F3PHgftnj1QEKSU1zkw==", + "cpu": [ + "x64" + ], + "libc": [ + "glibc" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linuxmusl-arm64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linuxmusl-arm64/-/sharp-libvips-linuxmusl-arm64-1.3.4.tgz", + "integrity": "sha512-hvulFwtjUcagsis6BBxHwGFwWoNZjgYmULGVrZcyfNbjA8hKILbRxGg15/7w5HDyXHXUos/j6baAWqnCyQ2DWA==", + "cpu": [ + "arm64" + ], + "libc": [ + "musl" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-libvips-linuxmusl-x64": { + "version": "1.3.4", + "resolved": "https://registry.npmjs.org/@img/sharp-libvips-linuxmusl-x64/-/sharp-libvips-linuxmusl-x64-1.3.4.tgz", + "integrity": "sha512-6zXKeE/p39I1AmA3cJG35eyBGNqNddLnUXjhwBnsGjFPWqf5VKkDBEqaEkPDoTEtkxwi2vv8Tcr2mDyP4So7Fg==", + "cpu": [ + "x64" + ], + "libc": [ + "musl" + ], + "license": "LGPL-3.0-or-later", + "optional": true, + "os": [ + "linux" + ], + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-linux-arm": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linux-arm/-/sharp-linux-arm-0.35.5.tgz", + "integrity": "sha512-LEaXK2WdXVK5ykcw0buWyPMsmLLL2vpHLD6yrNSW+JGEL3BZPA4tpKN6iaMc4AxTTAoaX/sU1rOL51lcIz48ZQ==", + "cpu": [ + "arm" + ], + "libc": [ + "glibc" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linux-arm": "1.3.4" + } + }, + "node_modules/@img/sharp-linux-arm64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linux-arm64/-/sharp-linux-arm64-0.35.5.tgz", + "integrity": "sha512-LYVx5JTsOM2CBzmxreh+nl64/3H6Xb09iSLknqH47z2T2DFFxDeFLP5y4dJwe6H7uGQlHPyEEtIqyo3DYsRwdQ==", + "cpu": [ + "arm64" + ], + "libc": [ + "glibc" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linux-arm64": "1.3.4" + } + }, + "node_modules/@img/sharp-linux-ppc64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linux-ppc64/-/sharp-linux-ppc64-0.35.5.tgz", + "integrity": "sha512-QVxAAq8evVRI9ia2vqgwrmWucn5Dfv+JdWzj75pD8omHLPSP7f8p20O8jxzjCcuCEQEOtYOZUmX1hkiZ0kdevA==", + "cpu": [ + "ppc64" + ], + "libc": [ + "glibc" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linux-ppc64": "1.3.4" + } + }, + "node_modules/@img/sharp-linux-riscv64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linux-riscv64/-/sharp-linux-riscv64-0.35.5.tgz", + "integrity": "sha512-LtdreXguaavKODPIfzJ4kffx7UNt1omwtK0rch4EBbbSTXPnxWmYSayXdLJw0fJzQ97kHt1gL/yh4tvU+nCyRQ==", + "cpu": [ + "riscv64" + ], + "libc": [ + "glibc" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linux-riscv64": "1.3.4" + } + }, + "node_modules/@img/sharp-linux-s390x": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linux-s390x/-/sharp-linux-s390x-0.35.5.tgz", + "integrity": "sha512-UZasTOFiYzotTsGOCu42BfUzP6Tu6Do/947iRm1RsLKvlllxwGcn4RN27LibGWceix4Y+Pmw3jsnTcCQIgWjqA==", + "cpu": [ + "s390x" + ], + "libc": [ + "glibc" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linux-s390x": "1.3.4" + } + }, + "node_modules/@img/sharp-linux-x64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linux-x64/-/sharp-linux-x64-0.35.5.tgz", + "integrity": "sha512-SxFtLTeJInhAA9Q836kux2vZNeOBQEx658qvbboZScr0wIARym3IcGmW7KpVD5sbVg0Ojy+udFQdayYIZyoNog==", + "cpu": [ + "x64" + ], + "libc": [ + "glibc" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linux-x64": "1.3.4" + } + }, + "node_modules/@img/sharp-linuxmusl-arm64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linuxmusl-arm64/-/sharp-linuxmusl-arm64-0.35.5.tgz", + "integrity": "sha512-9HbMclmI1zlNkFRs3z9/eBtDjfD0sGlrX1z6b1qwmiFY5ElDLh4BC0LPBdVp7z1DXFiKlIcznf+ZlsuZzLxQqg==", + "cpu": [ + "arm64" + ], + "libc": [ + "musl" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linuxmusl-arm64": "1.3.4" + } + }, + "node_modules/@img/sharp-linuxmusl-x64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-linuxmusl-x64/-/sharp-linuxmusl-x64-0.35.5.tgz", + "integrity": "sha512-4KOphqB035HrVdqLZfCgMzzERrQkkzOwRhl4OAkRO1YCldbaFjySXMaK534Mo0V+LndnlJk+sbUyLeU0ULyD1A==", + "cpu": [ + "x64" + ], + "libc": [ + "musl" + ], + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-libvips-linuxmusl-x64": "1.3.4" + } + }, + "node_modules/@img/sharp-wasm32": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-wasm32/-/sharp-wasm32-0.35.5.tgz", + "integrity": "sha512-Ptsga1su4tQx+LLF1ECS9U6nz5kmrXKo6XVbtR48Ke3ZRxxgaWBu7IDtEe1quo8hiupwm6WFqxVlXaSf7IINGQ==", + "license": "Apache-2.0 AND LGPL-3.0-or-later AND MIT", + "optional": true, + "dependencies": { + "@emnapi/runtime": "^1.11.3" + }, + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-webcontainers-wasm32": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-webcontainers-wasm32/-/sharp-webcontainers-wasm32-0.35.5.tgz", + "integrity": "sha512-hfhF/FmoQyTUkA0bIKFOtw536BQSeBMe6BF6QyWlrPxT754+TFLaZ7sKKTfvvM0yJgKgaYTwnFCIZ/GuDw5SUA==", + "cpu": [ + "wasm32" + ], + "license": "Apache-2.0", + "optional": true, + "dependencies": { + "@img/sharp-wasm32": "0.35.5" + }, + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-win32-arm64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-win32-arm64/-/sharp-win32-arm64-0.35.5.tgz", + "integrity": "sha512-X4t7g+7ZA5DKblCBEXGjUqqemj4vczING/5viFwAL8h4N3qYeyjwdCvRLHi4EdOUI+2Z7UFlp1VM+p/AuEtm6Q==", + "cpu": [ + "arm64" + ], + "license": "Apache-2.0 AND LGPL-3.0-or-later", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-win32-ia32": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-win32-ia32/-/sharp-win32-ia32-0.35.5.tgz", + "integrity": "sha512-5Zm82LoBc43nhwNybZlG7Y1KO//Zhsn306fQl29ZOuStHLGTo3BWL83q3cznX0poxSAMuYL1On/BHBxkBeKr6A==", + "cpu": [ + "ia32" + ], + "license": "Apache-2.0 AND LGPL-3.0-or-later", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": "^20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@img/sharp-win32-x64": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/@img/sharp-win32-x64/-/sharp-win32-x64-0.35.5.tgz", + "integrity": "sha512-x76eH0vEiHlcMQu8Y8IenntaACtddpT6W0wmXtWrnKcnKI7ME5DdgqhAD6SEWOEl1v2zDvkZDhFA9KnURwpfqg==", + "cpu": [ + "x64" + ], + "license": "Apache-2.0 AND LGPL-3.0-or-later", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + } + }, + "node_modules/@js-sdsl/ordered-map": { + "version": "4.4.2", + "resolved": "https://registry.npmjs.org/@js-sdsl/ordered-map/-/ordered-map-4.4.2.tgz", + "integrity": "sha512-iUKgm52T8HOE/makSxjqoWhe95ZJA1/G1sYsGev2JDKUSS14KAgg1LHb+Ba+IPow0xflbnSkOsZcO08C7w1gYw==", + "license": "MIT", + "funding": { + "type": "opencollective", + "url": "https://opencollective.com/js-sdsl" + } + }, + "node_modules/@opentelemetry/api": { + "version": "1.9.1", + "resolved": "https://registry.npmjs.org/@opentelemetry/api/-/api-1.9.1.tgz", + "integrity": "sha512-gLyJlPHPZYdAk1JENA9LeHejZe1Ti77/pTeFm/nMXmQH/HFZlcS/O2XJB+L8fkbrNSqhdtlvjBVjxwUYanNH5Q==", + "license": "Apache-2.0", + "engines": { + "node": ">=8.0.0" + } + }, + "node_modules/@opentelemetry/api-logs": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/api-logs/-/api-logs-0.223.0.tgz", + "integrity": "sha512-Oepm6etVPFCn0VWB1t833iOTgz1eYBDUPxcrOR/XvwzD1+Ag9VzSPSrrKAFNJ/haatj+8CXbG47pZXvdNQKDJw==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/api": "^1.3.0" + }, + "engines": { + "node": ">=8.0.0" + } + }, + "node_modules/@opentelemetry/configuration": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/configuration/-/configuration-0.223.0.tgz", + "integrity": "sha512-KgyHXS8weyh+mJWVZ2+3hmu7J4mwU661Y8yQ1PvBAEY7G63X8qfGr6uN61MNJrN+YzP+dC5x6PmBEgdh7x6coQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "yaml": "^2.8.3" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.9.0" + } + }, + "node_modules/@opentelemetry/context-async-hooks": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/context-async-hooks/-/context-async-hooks-2.12.0.tgz", + "integrity": "sha512-iK/1nD7mmZVkuYjVjkdFBiCvzntJdFny1S3CYbUYyOq7V5enL6XX+gJ7eh965L1LnS11VA8mQ7Ej/ck04SB0MQ==", + "license": "Apache-2.0", + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.0.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/core": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/core/-/core-2.12.0.tgz", + "integrity": "sha512-1HsSAuvT4/my0QrXWsyXFdWjKaPeCHsismKZgEEIb8NK13LP6DrMRlsUbvD/0F9mDWK3xDom9AMv3IscxgOnOQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.0.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/exporter-logs-otlp-grpc": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-logs-otlp-grpc/-/exporter-logs-otlp-grpc-0.223.0.tgz", + "integrity": "sha512-O/ztY4A+NRi9bQm9Wlj9aCh2s1lbnkA8tcv+88crBMqas6YK8AnPvKXSms3Mn1nto4ylAIQAAxjtbzCMZjGvwg==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-grpc-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/sdk-logs": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-logs-otlp-http": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-logs-otlp-http/-/exporter-logs-otlp-http-0.223.0.tgz", + "integrity": "sha512-YQh9+t/JmV9OeRkoLhPb4yvcrWCX6lAOmXFos/JKoD+KITZYZoxf0acnwAk6YDI9O7fX68O2ka38hx1G9exl8w==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/sdk-logs": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-logs-otlp-proto": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-logs-otlp-proto/-/exporter-logs-otlp-proto-0.223.0.tgz", + "integrity": "sha512-wt33CkhmLfFDSRXNOABWQzVfks1PQvsRNIHqiY5Y5Hi6SiVF7iJYDTqpaUhbwcmyJYcB0LzBNvsic8GyufMxAA==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/sdk-logs": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-metrics-otlp-grpc": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-metrics-otlp-grpc/-/exporter-metrics-otlp-grpc-0.223.0.tgz", + "integrity": "sha512-QneYDf2PWYAqmikS1/jeG8xCv0Q2EOSBm0RRM7IFU9zEnKLu7qxdlsz9t3YjxiAo7XzqfjTsJZys5qhYZAQ2PQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/exporter-metrics-otlp-http": "0.223.0", + "@opentelemetry/otlp-grpc-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-metrics-otlp-http": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-metrics-otlp-http/-/exporter-metrics-otlp-http-0.223.0.tgz", + "integrity": "sha512-hNC8yai/+xCNyTuiOy6JFepXXA/sb/2jCzQRY7c2cUWz6owaidihlHUpO20B9/dj8JKPNo8rcn7ikTy7Cj+JaQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/sdk-metrics": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-metrics-otlp-proto": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-metrics-otlp-proto/-/exporter-metrics-otlp-proto-0.223.0.tgz", + "integrity": "sha512-DlwYBlqUVlAQqGXOES1K92b6FyHwB2phwcsccXEQhE9Mz1CAEymQgyRwbPKjCbpySZE1ASy2s9t2kIQ1pU/tmg==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/exporter-metrics-otlp-http": "0.223.0", + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-prometheus": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-prometheus/-/exporter-prometheus-0.223.0.tgz", + "integrity": "sha512-HhbN3/B8vG+JNKH2oLMynFFrz2O/o+WFklfwiVq3ffdRWOEZx1zHeYe6r86fn9BUSpQ2U5cXfQja+otTdzi5qQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/sdk-metrics": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-trace-otlp-grpc": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-trace-otlp-grpc/-/exporter-trace-otlp-grpc-0.223.0.tgz", + "integrity": "sha512-gYDt98a44cvdbJNL+fFCFO7k7qSGaWGZAb6WUXGCKL0RiRhF96N6jlH4wXMzS1daZoV5AMHZZixjaLpQBMhpvA==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-grpc-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/sdk-trace": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-trace-otlp-http": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-trace-otlp-http/-/exporter-trace-otlp-http-0.223.0.tgz", + "integrity": "sha512-N8NWZaoQuF9e307S6xoVoI1lvxOOFkmBnynD42r02CPCfxoC95cJExAKBFrTD4C5iuhqthbzOZJN/W29ez4o/A==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/sdk-trace": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-trace-otlp-proto": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-trace-otlp-proto/-/exporter-trace-otlp-proto-0.223.0.tgz", + "integrity": "sha512-hCFhPuROokNpwLibKmeMRuBNjPtbL+Ja5y/e/KBl5p3QcaH7xBjkj8roIGgKwCNJ4WChRLBzfoaNM3QksogfWw==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0", + "@opentelemetry/sdk-trace": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/exporter-zipkin": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/exporter-zipkin/-/exporter-zipkin-2.12.0.tgz", + "integrity": "sha512-XfHO6VxPkVD/QaXqgppdHK2DTqmtHLH06ggslhm5hVYAS+dwD3okaeIyhxXBbhmWn9HhCYcv285eK1TgyF0wYQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/sdk-trace": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.0.0" + } + }, + "node_modules/@opentelemetry/instrumentation": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/instrumentation/-/instrumentation-0.223.0.tgz", + "integrity": "sha512-tttBo88TbwK1zpsH6VeJoxLQopxOjW3cnrP50fsQJRZftkSKDDwjolXXBvow2jy0LKXlNRkDQh0NT6yI/q+BEQ==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/api-logs": "0.223.0", + "import-in-the-middle": "^3.0.0", + "require-in-the-middle": "^8.0.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/instrumentation-aws-sdk": { + "version": "0.78.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/instrumentation-aws-sdk/-/instrumentation-aws-sdk-0.78.0.tgz", + "integrity": "sha512-R6OJWMHSdYYyp2Hlw8XnUYyeF/puTj4m2gRLDUoCfv0lGaNt/dBClUGwWJpeqQj89HTeuWL4+xg6BDx8ZYUXTw==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "^2.0.0", + "@opentelemetry/instrumentation": "^0.223.0", + "@opentelemetry/semantic-conventions": "^1.34.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/instrumentation-http": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/instrumentation-http/-/instrumentation-http-0.223.0.tgz", + "integrity": "sha512-lQkvLeRjEHwDjc2NEEAPUlk4x/0qfjhbZh0U5d2/5rPPRQ7TNvMmOtd/ForpVVPGUBfhtEDrWhqumr7vLMjBtA==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/instrumentation": "0.223.0", + "@opentelemetry/semantic-conventions": "^1.29.0", + "forwarded-parse": "2.1.2" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/instrumentation-pg": { + "version": "0.76.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/instrumentation-pg/-/instrumentation-pg-0.76.0.tgz", + "integrity": "sha512-kcZqfqEMIDTW3SOgtwgR2uiefTalUaTDaLjFscuNuGU12zs5b70n3E09UuRUq2RFA+/yFKWkLkPRUYt2ytPE/Q==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "^2.9.0", + "@opentelemetry/instrumentation": "^0.223.0", + "@opentelemetry/semantic-conventions": "^1.34.0", + "@opentelemetry/sql-common": "^0.42.0", + "@types/pg": "8.15.6", + "@types/pg-pool": "2.0.7" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/instrumentation-pg/node_modules/@types/pg": { + "version": "8.15.6", + "resolved": "https://registry.npmjs.org/@types/pg/-/pg-8.15.6.tgz", + "integrity": "sha512-NoaMtzhxOrubeL/7UZuNTrejB4MPAJ0RpxZqXQf2qXuVlTPuG6Y8p4u9dKRaue4yjmC7ZhzVO2/Yyyn25znrPQ==", + "license": "MIT", + "dependencies": { + "@types/node": "*", + "pg-protocol": "*", + "pg-types": "^2.2.0" + } + }, + "node_modules/@opentelemetry/instrumentation-runtime-node": { + "version": "0.36.1", + "resolved": "https://registry.npmjs.org/@opentelemetry/instrumentation-runtime-node/-/instrumentation-runtime-node-0.36.1.tgz", + "integrity": "sha512-LUyDgfYh7B0L8kKsC+yC0KaqB0ocj5O1IhirUv3yM/XvAFjRGklNZp2zFDjoe6t4jqKAAW+qlsbL7YYnzIWBJg==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/api-logs": "^0.223.0", + "@opentelemetry/core": "^2.0.0", + "@opentelemetry/instrumentation": "^0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/otlp-exporter-base": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/otlp-exporter-base/-/otlp-exporter-base-0.223.0.tgz", + "integrity": "sha512-HlJMrJXjOqdQeoYNDHEvFTpaY2p9uWDK1GPl5AZ4wI5easzfoppTduOv47M8eiF+4ew42vfI/Xvt7THYgESnRw==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/otlp-transformer": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/otlp-grpc-exporter-base": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/otlp-grpc-exporter-base/-/otlp-grpc-exporter-base-0.223.0.tgz", + "integrity": "sha512-62DuT9qzwFEFPq1aguQ+P6cWC4sJPwMxCj8wZ3Q+mH8LpPcV6zdv5gj1YtGIGZF5FcKt9JnDVraey0CEnu9MtQ==", + "license": "Apache-2.0", + "dependencies": { + "@grpc/grpc-js": "^1.14.3", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-transformer": "0.223.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/otlp-transformer": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/otlp-transformer/-/otlp-transformer-0.223.0.tgz", + "integrity": "sha512-oxmmPL5/MbSsO8K588V9n/XLIe7FZTK30Fo+/U/lAnt0ZIK/hoPM03n2WpSTZVbUBGTUE7aLyxnAzh7nE2PD4Q==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/api-logs": "0.223.0", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/sdk-logs": "0.223.0", + "@opentelemetry/sdk-metrics": "2.12.0", + "@opentelemetry/sdk-trace": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.3.0" + } + }, + "node_modules/@opentelemetry/propagator-b3": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/propagator-b3/-/propagator-b3-2.12.0.tgz", + "integrity": "sha512-ktio0dVz2Uo83+EESOqMwqdJqoZKcf4EtmuG0mxddMKGbwN2Tignyq7JR9R7SBr1riwevitke+tpYQTMS/Fi0g==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.0.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/propagator-jaeger": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/propagator-jaeger/-/propagator-jaeger-2.12.0.tgz", + "integrity": "sha512-Kz2Vz+NILW7S1WtN4rV1wr76fMtT/RRWvAMFBc91uTIi2dDMXxrfBKNe2KH7yaCfFp1X0xfAuabzuFczvoPB6A==", + "deprecated": "Package no longer supported. See https://github.com/open-telemetry/opentelemetry-js/pull/7077", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.0.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/resources": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/resources/-/resources-2.12.0.tgz", + "integrity": "sha512-+rSRoOdln6NhXTVcBdHSlZxJDNzwxadeweK2ltZO3tVtfp6aklABc06xclDk6ovRR+EiGgIcSbh/6NgjFhnb3A==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.3.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/sdk-logs": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sdk-logs/-/sdk-logs-0.223.0.tgz", + "integrity": "sha512-ApiAfUiUh6fmJt1GbsBuoeDn8D8IL42UvGyPUr8o1Z89ZeIiOCE1rZ78KkIUjEX3OV8Oorl9ez5Qjo43ZynDyw==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/api-logs": "0.223.0", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.4.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/sdk-metrics": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sdk-metrics/-/sdk-metrics-2.12.0.tgz", + "integrity": "sha512-mVMaEHwCUJuY3S4Esn+nT0yQA3qCEGh+SOPJsXygU0Gl453WcsDNjtEa8EfdewMwoLyr1tlofB4fXytVpiXuow==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.9.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/sdk-node": { + "version": "0.223.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sdk-node/-/sdk-node-0.223.0.tgz", + "integrity": "sha512-PPfkgVBB9XVdANmSYeGfp1tG6RdsRFo9m9R6/ZnjvE9+TYTEXO2KYarsdtXQTdHhLSw7yzhSHqsNyUQ6c6W3eg==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/api-logs": "0.223.0", + "@opentelemetry/configuration": "0.223.0", + "@opentelemetry/context-async-hooks": "2.12.0", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/exporter-logs-otlp-grpc": "0.223.0", + "@opentelemetry/exporter-logs-otlp-http": "0.223.0", + "@opentelemetry/exporter-logs-otlp-proto": "0.223.0", + "@opentelemetry/exporter-metrics-otlp-grpc": "0.223.0", + "@opentelemetry/exporter-metrics-otlp-http": "0.223.0", + "@opentelemetry/exporter-metrics-otlp-proto": "0.223.0", + "@opentelemetry/exporter-prometheus": "0.223.0", + "@opentelemetry/exporter-trace-otlp-grpc": "0.223.0", + "@opentelemetry/exporter-trace-otlp-http": "0.223.0", + "@opentelemetry/exporter-trace-otlp-proto": "0.223.0", + "@opentelemetry/exporter-zipkin": "2.12.0", + "@opentelemetry/instrumentation": "0.223.0", + "@opentelemetry/otlp-exporter-base": "0.223.0", + "@opentelemetry/otlp-grpc-exporter-base": "0.223.0", + "@opentelemetry/propagator-b3": "2.12.0", + "@opentelemetry/propagator-jaeger": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/sdk-logs": "0.223.0", + "@opentelemetry/sdk-metrics": "2.12.0", + "@opentelemetry/sdk-trace": "2.12.0", + "@opentelemetry/sdk-trace-base": "2.12.0", + "@opentelemetry/sdk-trace-node": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.3.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/sdk-trace": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sdk-trace/-/sdk-trace-2.12.0.tgz", + "integrity": "sha512-ImVuRQ6faOsTi1Wna88s2avgrrf/iDgXPigIeynkUhjstMuoQUDOJXgkez2j1mlU4btjXcXBGa+q7qKFYR3GsA==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.3.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/sdk-trace-base": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sdk-trace-base/-/sdk-trace-base-2.12.0.tgz", + "integrity": "sha512-JOERgZCxRM06FEJ5kEWxlSRChah6MmXDx3KwCruqEv/iEyLkTokCSemf2y1w8oIHtfrr8EVTpzebq/31vn2Cpg==", + "deprecated": "Use @opentelemetry/sdk-trace package", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "2.12.0", + "@opentelemetry/resources": "2.12.0", + "@opentelemetry/sdk-trace": "2.12.0", + "@opentelemetry/semantic-conventions": "^1.29.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.3.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/sdk-trace-node": { + "version": "2.12.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sdk-trace-node/-/sdk-trace-node-2.12.0.tgz", + "integrity": "sha512-9DufH1IlmQMoKAfot5y/FhTP1RnmhLb5K6eKmJO/bvzPjYwPAazoiAUbTZFdPbqxOXN0FEbhZx/e6SB1Og4jmg==", + "deprecated": "Use @opentelemetry/sdk-trace package", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/context-async-hooks": "2.12.0", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/sdk-trace-base": "2.12.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": ">=1.0.0 <1.10.0" + } + }, + "node_modules/@opentelemetry/semantic-conventions": { + "version": "1.44.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/semantic-conventions/-/semantic-conventions-1.44.0.tgz", + "integrity": "sha512-E3JkOlMBi3N8OGGkbl7tFyqk2MAS6/lySRZBK3Mu7AzjF1fT8oIChH9ChE48SUWzDn9Kdwta+G/p5LJ4xW4CLQ==", + "license": "Apache-2.0", + "engines": { + "node": ">=14" + } + }, + "node_modules/@opentelemetry/sql-common": { + "version": "0.42.0", + "resolved": "https://registry.npmjs.org/@opentelemetry/sql-common/-/sql-common-0.42.0.tgz", + "integrity": "sha512-nwUwUU+8O8a4bnLqk6CodWeegGMEANgC94KTAhXcpGWLrW/2/hek/0ajNbjXnSOoNuCX+nteUPs46HFHhou9Xw==", + "license": "Apache-2.0", + "dependencies": { + "@opentelemetry/core": "^2.0.0" + }, + "engines": { + "node": "^18.19.0 || >=20.6.0" + }, + "peerDependencies": { + "@opentelemetry/api": "^1.1.0" + } + }, + "node_modules/@protobufjs/aspromise": { + "version": "1.1.2", + "resolved": "https://registry.npmjs.org/@protobufjs/aspromise/-/aspromise-1.1.2.tgz", + "integrity": "sha512-j+gKExEuLmKwvz3OgROXtrJ2UG2x8Ch2YZUxahh+s1F2HZ+wAceUNLkvy6zKCPVRkU++ZWQrdxsUeQXmcg4uoQ==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/base64": { + "version": "1.1.2", + "resolved": "https://registry.npmjs.org/@protobufjs/base64/-/base64-1.1.2.tgz", + "integrity": "sha512-AZkcAA5vnN/v4PDqKyMR5lx7hZttPDgClv83E//FMNhR2TMcLUhfRUBHCmSl0oi9zMgDDqRUJkSxO3wm85+XLg==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/codegen": { + "version": "2.0.5", + "resolved": "https://registry.npmjs.org/@protobufjs/codegen/-/codegen-2.0.5.tgz", + "integrity": "sha512-zgXFLzW3Ap33e6d0Wlj4MGIm6Ce8O89n/apUaGNB/jx+hw+ruWEp7EwGUshdLKVRCxZW12fp9r40E1mQrf/34g==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/eventemitter": { + "version": "1.1.1", + "resolved": "https://registry.npmjs.org/@protobufjs/eventemitter/-/eventemitter-1.1.1.tgz", + "integrity": "sha512-vW1GmwMZNnL+gMRaovlh9yZX74kc+TTU3FObkkurpMaRtBfLP3ldjS9KQWlwZgraRE0+dheEEoAxdzcJQ8eXZg==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/fetch": { + "version": "1.1.1", + "resolved": "https://registry.npmjs.org/@protobufjs/fetch/-/fetch-1.1.1.tgz", + "integrity": "sha512-GpptLrs57adMSuHi3VNj0mAF8dwh36LMaYF6XyJ6JMWlVsc+t42tm1HSEDmOs3A8fC9yyeisgLhsTVQokOZ0zw==", + "license": "BSD-3-Clause", + "dependencies": { + "@protobufjs/aspromise": "^1.1.1" + } + }, + "node_modules/@protobufjs/float": { + "version": "1.0.2", + "resolved": "https://registry.npmjs.org/@protobufjs/float/-/float-1.0.2.tgz", + "integrity": "sha512-Ddb+kVXlXst9d+R9PfTIxh1EdNkgoRe5tOX6t01f1lYWOvJnSPDBlG241QLzcyPdoNTsblLUdujGSE4RzrTZGQ==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/path": { + "version": "1.1.2", + "resolved": "https://registry.npmjs.org/@protobufjs/path/-/path-1.1.2.tgz", + "integrity": "sha512-6JOcJ5Tm08dOHAbdR3GrvP+yUUfkjG5ePsHYczMFLq3ZmMkAD98cDgcT2iA1lJ9NVwFd4tH/iSSoe44YWkltEA==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/pool": { + "version": "1.1.0", + "resolved": "https://registry.npmjs.org/@protobufjs/pool/-/pool-1.1.0.tgz", + "integrity": "sha512-0kELaGSIDBKvcgS4zkjz1PeddatrjYcmMWOlAuAPwAeccUrPHdUqo/J6LiymHHEiJT5NrF1UVwxY14f+fy4WQw==", + "license": "BSD-3-Clause" + }, + "node_modules/@protobufjs/utf8": { + "version": "1.1.2", + "resolved": "https://registry.npmjs.org/@protobufjs/utf8/-/utf8-1.1.2.tgz", + "integrity": "sha512-b1UQwcEZ4yCnMCD8DAL1VlbvBJE9/IX4FTIp7BG1xYpf29SLazLSrqUkj4w7Y5y7cCVP6E5tcqqcI0xemPkHug==", + "license": "BSD-3-Clause" + }, + "node_modules/@smithy/core": { + "version": "3.38.0", + "resolved": "https://registry.npmjs.org/@smithy/core/-/core-3.38.0.tgz", + "integrity": "sha512-aLyyCnK2p4yvNA2TaM+5owXqb+rZGSiUKEsNP329AzeYnERtAz7NrlTbRsaxqmZ0ooxwoID8LMm959UGQQDIsg==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/credential-provider-imds": { + "version": "4.5.2", + "resolved": "https://registry.npmjs.org/@smithy/credential-provider-imds/-/credential-provider-imds-4.5.2.tgz", + "integrity": "sha512-A9uSdn72ozbRUSit0eib0TW7nXuNPlaeM0zcGkJ+nE6tFcSDbnmtwoxbTCFBukVQcszDAyvsd7+rTduPTXpygg==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.33.2", + "@smithy/types": "^4.17.2", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/fetch-http-handler": { + "version": "5.8.0", + "resolved": "https://registry.npmjs.org/@smithy/fetch-http-handler/-/fetch-http-handler-5.8.0.tgz", + "integrity": "sha512-ycSJu3tFAQ4v04CBB0agqFMVsSQ1iG3yw+SpgxRqKfaURpQD4CZ8Wn0zPMmSnOuTpTh65Vz+EA0rMrw089wvkA==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.33.3", + "@smithy/types": "^4.18.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/node-http-handler": { + "version": "4.14.0", + "resolved": "https://registry.npmjs.org/@smithy/node-http-handler/-/node-http-handler-4.14.0.tgz", + "integrity": "sha512-j24RS5V9J52u0z81RpgF7H55p4bS6UCEIxF4ZYzTYh6M9hzXvjAIAYwgLobqf7vJq3xib5VXc7nX3YesV8Rx4A==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/signature-v4": { + "version": "5.7.5", + "resolved": "https://registry.npmjs.org/@smithy/signature-v4/-/signature-v4-5.7.5.tgz", + "integrity": "sha512-WPjdr5oWOk1LArpI4pavu+fSo+/evi0Re1olxGvqwuZopd4gYR1UGCi+Soyn/IjmafqbWs+ZC+3AKxJS3ZpwUg==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/types": { + "version": "4.19.0", + "resolved": "https://registry.npmjs.org/@smithy/types/-/types-4.19.0.tgz", + "integrity": "sha512-r7jh49VJxGerfAcTQA6gXcKc+98zOp/tqRwzYjgOE+iSQsP6cEU1hq2QzbuipmP68QtYdY9wKEhiCQZIzHgZ4Q==", + "license": "Apache-2.0", + "dependencies": { + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@types/node": { + "version": "24.19.2", + "resolved": "https://registry.npmjs.org/@types/node/-/node-24.19.2.tgz", + "integrity": "sha512-93d49wCWJkCyN87MxLpNN6KXPCwFw7bVUg79mGUV1OS40JGWwVCr8n61DXCSqz7CV6/VfPkb7xec7uP2M+QHWQ==", + "license": "MIT", + "dependencies": { + "undici-types": ">=7.24.0 <7.24.7" + } + }, + "node_modules/@types/pg": { + "version": "8.23.1", + "resolved": "https://registry.npmjs.org/@types/pg/-/pg-8.23.1.tgz", + "integrity": "sha512-fKVHpikPdg4GKks3JuLEhvwSyvwzF23hnabPy6DD8ljVbC7+6J5dQzdv4arV6jqq57djnMgs1HKBxX4P8aBI3A==", + "license": "MIT", + "dependencies": { + "@types/node": "*", + "pg-protocol": "*", + "pg-types": "^2.2.0" + } + }, + "node_modules/@types/pg-pool": { + "version": "2.0.7", + "resolved": "https://registry.npmjs.org/@types/pg-pool/-/pg-pool-2.0.7.tgz", + "integrity": "sha512-U4CwmGVQcbEuqpyju8/ptOKg6gEC+Tqsvj2xS9o1g71bUh8twxnC6ZL5rZKCsGN0iyH0CwgUyc9VR5owNQF9Ng==", + "license": "MIT", + "dependencies": { + "@types/pg": "*" + } + }, + "node_modules/@typescript/typescript-aix-ppc64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-aix-ppc64/-/typescript-aix-ppc64-7.0.2.tgz", + "integrity": "sha512-MTKKkWB7p/0E9xi1d1tHtZ5PiLkGEMIq88pK2CubZjOsLtYTLqhgIgi6zepFa+9GHZ6h05NMCkQxGKiPXMxXtQ==", + "cpu": [ + "ppc64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "aix" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-darwin-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-darwin-arm64/-/typescript-darwin-arm64-7.0.2.tgz", + "integrity": "sha512-gowzar9MwS/aRWp6f3a4KUqzRjAZjOsmGNCM6LcTgXum+dBfgsBVMN+AgvOCCbguXyick6LJhpBszxMebJ8syA==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-darwin-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-darwin-x64/-/typescript-darwin-x64-7.0.2.tgz", + "integrity": "sha512-SZ9xZInqApNlNGc9s0W1VSsktYSOe9cFqNOIqmN1Gs8SmkjKZYFt017G4VwPxASInODuAdbTW7sXiFUf893RgA==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-freebsd-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-freebsd-arm64/-/typescript-freebsd-arm64-7.0.2.tgz", + "integrity": "sha512-W5NH4y/J0plIIS5b2xvTEkU7JFxyqdMAOgf+Ilhl0vHQXKO5dZoxd+C/jEtq56c4F3wk71RB4BMRQ2XdI+bwYQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "freebsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-freebsd-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-freebsd-x64/-/typescript-freebsd-x64-7.0.2.tgz", + "integrity": "sha512-UMGDx5sTpzNw3WiPebH7l90IWfJggEd+egHt/q6p7/Cm3zqoV7VxkGXt+3DxPIw8CcmvAB0j3sVVfbhX+M4Tpw==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "freebsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-arm": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-arm/-/typescript-linux-arm-7.0.2.tgz", + "integrity": "sha512-gffT3xPz9sR7j/YJExkyPntrI0P2EP9XbOyWzth2/Gs0RstK+90RBcO0ncXoXy/beYll1SXw846Nf2zdnEz0QQ==", + "cpu": [ + "arm" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-arm64/-/typescript-linux-arm64-7.0.2.tgz", + "integrity": "sha512-Qh4eU4/y3yDjnfjjyPYihMj5/ODIlmt+Bzu17OI+fiSRDW57QmU5SiN63exPRNJPKUzcc1INa1NXdrJ+MqHjUQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-loong64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-loong64/-/typescript-linux-loong64-7.0.2.tgz", + "integrity": "sha512-uEHck9i8hoAzXPiYRib1O7miOnz23SxIeVl6F4LXox+qov1K35jHcEW6VHKvZI+pyvl7fZEP4MCU5LYvIq1GuQ==", + "cpu": [ + "loong64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-mips64el": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-mips64el/-/typescript-linux-mips64el-7.0.2.tgz", + "integrity": "sha512-R4KvAMnE43W5Qeqb0Ly56O3mWMWIAgsMyz36DCaycd5nbg/9kzm0liw3JocfRqyJY0KPmzFjbswozXyW0DnIYA==", + "cpu": [ + "mips64el" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-ppc64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-ppc64/-/typescript-linux-ppc64-7.0.2.tgz", + "integrity": "sha512-DORx5b3sd/4S7eayxm4FQv+A7CrkUIGRaHiwI8oiHTAI1fAPWhF4J0vAlkC8biAlHSVVwxMQ3tjZ2/DVbnQiiA==", + "cpu": [ + "ppc64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-riscv64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-riscv64/-/typescript-linux-riscv64-7.0.2.tgz", + "integrity": "sha512-wf0jqEDOjrPRnKwYRyyJDRo11KMbvMFrU+q4zqKyChODBzvlkbhNQfKvLxQCcwTpdDaXSHZTVuh0JoCrKCUMHQ==", + "cpu": [ + "riscv64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-s390x": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-s390x/-/typescript-linux-s390x-7.0.2.tgz", + "integrity": "sha512-IkwJc3L7yhytWd/ewjyxNDfOmswCm9GWMJT/ue/dU4aZNbwZeYAetq42VyLmsmSjvoX7z74X6ZaYCtzAr0EuGw==", + "cpu": [ + "s390x" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-x64/-/typescript-linux-x64-7.0.2.tgz", + "integrity": "sha512-EYdf2cNg7rgCWJnxCdJ+F3V39O8ihb37eHAu1LK8oAFizgTQbPOK7zHHXbPt8rX24COqODXeI3sIf0fCXG7H/A==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-netbsd-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-netbsd-arm64/-/typescript-netbsd-arm64-7.0.2.tgz", + "integrity": "sha512-+polYF4MF04aPpO5FTkHran9yUQDSXqy5GiSDKpsll5jy3l3+g9QLhpf39T+ePtefhXLOGrLl0QIjkQP6VnelA==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "netbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-netbsd-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-netbsd-x64/-/typescript-netbsd-x64-7.0.2.tgz", + "integrity": "sha512-8YIT0EHM/3dq10ZOVF/A7pc/YSMtbcecct4rWtexrnSCHOPcpC2KTLXfTCR6vDpnSiY12heNb1GiN/wu+T/FyA==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "netbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-openbsd-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-openbsd-arm64/-/typescript-openbsd-arm64-7.0.2.tgz", + "integrity": "sha512-APT8+ClYnuYm1u9+kgGXoMj2VzWzcymwh2gNSQVySHfkRDGOTVkoWLjCmOQSaO+PoqQ57B0flRp9SA+7GnnkzQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "openbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-openbsd-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-openbsd-x64/-/typescript-openbsd-x64-7.0.2.tgz", + "integrity": "sha512-yX7s+Q0Dln0Dt9tEzZsAjXXR/+ytBM7AlglaqyeMPxQszJ1JhlJdZ6jLA+IzldHtflX81em7lDao1xXu+aRRkg==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "openbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-sunos-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-sunos-x64/-/typescript-sunos-x64-7.0.2.tgz", + "integrity": "sha512-dLJDGaLZ1D4HPQn62u1n8mBDkJREwMsAkCdkwd4Ieqw+x3TUyTsqY0YiBCtE6H6OzzgGk3iuZ3vFWRS+E8/d1g==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "sunos" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-win32-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-win32-arm64/-/typescript-win32-arm64-7.0.2.tgz", + "integrity": "sha512-Gyl1Vy6OsWesLzmq+EP0Fb7b4Nid5232AvcA2SFcdYreldpNtYFFofPjnt62y9hQy7VTaZp65ICJjuAQRaVcIQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-win32-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-win32-x64/-/typescript-win32-x64-7.0.2.tgz", + "integrity": "sha512-0BQ3HkAHHlKLSp1qRvf3SUhGpGsDuhB/jgFw75guyqbxJqEaS0Cw/VFO8i2nHglJUzQCRtMMR/IBAKE3ETMC4g==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/amqplib": { + "version": "2.2.0", + "resolved": "https://registry.npmjs.org/amqplib/-/amqplib-2.2.0.tgz", + "integrity": "sha512-VifzN9aHs/Q3zTruVHXh2yCisQyXexBN91CQ2E5iSyUKyNjH6ilYhJGte5AXZH/Bj1PaH7SwPhyuSf6Msd2udw==", + "license": "MIT", + "engines": { + "node": ">=18" + } + }, + "node_modules/ansi-regex": { + "version": "5.0.1", + "resolved": "https://registry.npmjs.org/ansi-regex/-/ansi-regex-5.0.1.tgz", + "integrity": "sha512-quJQXlTSUGL2LH9SUXo8VwsY4soanhgo6LNSm84E1LBcE8s3O0wpdiRzyR9z/ZZJMlMWv37qOOb9pdJlMUEKFQ==", + "license": "MIT", + "engines": { + "node": ">=8" + } + }, + "node_modules/ansi-styles": { + "version": "4.3.0", + "resolved": "https://registry.npmjs.org/ansi-styles/-/ansi-styles-4.3.0.tgz", + "integrity": "sha512-zbB9rCJAT1rbjiVDb2hqKFHNYLxgtk8NURxZ3IZwD3F6NtxbXZQCnnSi1Lkx+IDohdPlFp222wVALIheZJQSEg==", + "license": "MIT", + "dependencies": { + "color-convert": "^2.0.1" + }, + "engines": { + "node": ">=8" + }, + "funding": { + "url": "https://github.com/chalk/ansi-styles?sponsor=1" + } + }, + "node_modules/bowser": { + "version": "2.15.0", + "resolved": "https://registry.npmjs.org/bowser/-/bowser-2.15.0.tgz", + "integrity": "sha512-xic6KSZglg/I4ymp45fdM4GWfYpBK79Fxd/TOvJktlaPgQqqDxvmGwOPZl2V0dyeS3Lj5c180bLhXF43iyAjZQ==", + "license": "MIT" + }, + "node_modules/cjs-module-lexer": { + "version": "2.3.0", + "resolved": "https://registry.npmjs.org/cjs-module-lexer/-/cjs-module-lexer-2.3.0.tgz", + "integrity": "sha512-lmNyBzi6iYiqyrExTctfmjd8tInx+dHu9PBomTfH5RXS53c27JMFJgzNv5TyAnm3PgGf+MLy0+Ws41/HlVxdKQ==", + "license": "MIT" + }, + "node_modules/cliui": { + "version": "8.0.1", + "resolved": "https://registry.npmjs.org/cliui/-/cliui-8.0.1.tgz", + "integrity": "sha512-BSeNnyus75C4//NQ9gQt1/csTXyo/8Sb+afLAkzAptFuMsod9HFokGNudZpi/oQV73hnVK+sR+5PVRMd+Dr7YQ==", + "license": "ISC", + "dependencies": { + "string-width": "^4.2.0", + "strip-ansi": "^6.0.1", + "wrap-ansi": "^7.0.0" + }, + "engines": { + "node": ">=12" + } + }, + "node_modules/color-convert": { + "version": "2.0.1", + "resolved": "https://registry.npmjs.org/color-convert/-/color-convert-2.0.1.tgz", + "integrity": "sha512-RRECPsj7iu/xb5oKYcsFHSppFNnsj/52OVTRKb4zP5onXwVF3zVmmToNcOfGC+CRDpfK/U584fMg38ZHCaElKQ==", + "license": "MIT", + "dependencies": { + "color-name": "~1.1.4" + }, + "engines": { + "node": ">=7.0.0" + } + }, + "node_modules/color-name": { + "version": "1.1.4", + "resolved": "https://registry.npmjs.org/color-name/-/color-name-1.1.4.tgz", + "integrity": "sha512-dOy+3AuW3a2wNbZHIuMZpTcgjGuLU/uBL/ubcZF9OXbDo8ff4O8yVp5Bf0efS8uEoYo5q4Fx7dY9OgQGXgAsQA==", + "license": "MIT" + }, + "node_modules/debug": { + "version": "4.4.3", + "resolved": "https://registry.npmjs.org/debug/-/debug-4.4.3.tgz", + "integrity": "sha512-RGwwWnwQvkVfavKVt22FGLw+xYSdzARwm0ru6DhTVA3umU5hZc28V3kO4stgYryrTlLpuvgI9GiijltAjNbcqA==", + "license": "MIT", + "dependencies": { + "ms": "^2.1.3" + }, + "engines": { + "node": ">=6.0" + }, + "peerDependenciesMeta": { + "supports-color": { + "optional": true + } + } + }, + "node_modules/detect-libc": { + "version": "2.1.2", + "resolved": "https://registry.npmjs.org/detect-libc/-/detect-libc-2.1.2.tgz", + "integrity": "sha512-Btj2BOOO83o3WyH59e8MgXsxEQVcarkUOpEYrubB0urwnN10yQ364rsiByU11nZlqWYZm05i/of7io4mzihBtQ==", + "license": "Apache-2.0", + "engines": { + "node": ">=8" + } + }, + "node_modules/emoji-regex": { + "version": "8.0.0", + "resolved": "https://registry.npmjs.org/emoji-regex/-/emoji-regex-8.0.0.tgz", + "integrity": "sha512-MSjYzcWNOA0ewAHpz0MxpYFvwg6yjy1NG3xteoqz644VCo/RPgnr1/GGt+ic3iJTzQ8Eu3TdM14SawnVUmGE6A==", + "license": "MIT" + }, + "node_modules/es-module-lexer": { + "version": "3.0.4", + "resolved": "https://registry.npmjs.org/es-module-lexer/-/es-module-lexer-3.0.4.tgz", + "integrity": "sha512-BldNY5mwkVu+cQ5Ymn3e6hB9Sx8XHx4ZevWbiUyZbfKxJxYO27Hf0wfzkxIaD5CAJMaGl3YspKELj0ff/7nCMA==", + "license": "MIT" + }, + "node_modules/escalade": { + "version": "3.2.0", + "resolved": "https://registry.npmjs.org/escalade/-/escalade-3.2.0.tgz", + "integrity": "sha512-WUj2qlxaQtO4g6Pq5c29GTcWGDyd8itL8zTlipgECz3JesAiiOKotd8JU6otB3PACgG6xkJUyVhboMS+bje/jA==", + "license": "MIT", + "engines": { + "node": ">=6" + } + }, + "node_modules/forwarded-parse": { + "version": "2.1.2", + "resolved": "https://registry.npmjs.org/forwarded-parse/-/forwarded-parse-2.1.2.tgz", + "integrity": "sha512-alTFZZQDKMporBH77856pXgzhEzaUVmLCDk+egLgIgHst3Tpndzz8MnKe+GzRJRfvVdn69HhpW7cmXzvtLvJAw==", + "license": "MIT" + }, + "node_modules/get-caller-file": { + "version": "2.0.5", + "resolved": "https://registry.npmjs.org/get-caller-file/-/get-caller-file-2.0.5.tgz", + "integrity": "sha512-DyFP3BM/3YHTQOCUL/w0OZHR0lpKeGrxotcHWcqNEdnltqFwXVfhEBQ94eIo34AfQpo0rGki4cyIiftY06h2Fg==", + "license": "ISC", + "engines": { + "node": "6.* || 8.* || >= 10.*" + } + }, + "node_modules/import-in-the-middle": { + "version": "3.5.3", + "resolved": "https://registry.npmjs.org/import-in-the-middle/-/import-in-the-middle-3.5.3.tgz", + "integrity": "sha512-usm/IiY63VtOyx/dm7uEoZV+EsanCDmwRUroQZIkFLGu1NVXZ8mZqIOhaN4QIJ7EsbMTuQbJXwCySCx+ozMA8g==", + "license": "Apache-2.0", + "dependencies": { + "cjs-module-lexer": "^2.2.0", + "es-module-lexer": "^3.0.3", + "module-details-from-path": "^1.0.4" + }, + "engines": { + "node": ">=18" + } + }, + "node_modules/is-fullwidth-code-point": { + "version": "3.0.0", + "resolved": "https://registry.npmjs.org/is-fullwidth-code-point/-/is-fullwidth-code-point-3.0.0.tgz", + "integrity": "sha512-zymm5+u+sCsSWyD9qNaejV3DFvhCKclKdizYaJUuHA83RLjb7nSuGnddCHGv0hk+KY7BMAlsWeK4Ueg6EV6XQg==", + "license": "MIT", + "engines": { + "node": ">=8" + } + }, + "node_modules/lodash.camelcase": { + "version": "4.3.0", + "resolved": "https://registry.npmjs.org/lodash.camelcase/-/lodash.camelcase-4.3.0.tgz", + "integrity": "sha512-TwuEnCnxbc3rAvhf/LbG7tJUDzhqXyFnv3dtzLOPgCG/hODL7WFnsbwktkD7yUV0RrreP/l1PALq/YSg6VvjlA==", + "license": "MIT" + }, + "node_modules/long": { + "version": "5.3.2", + "resolved": "https://registry.npmjs.org/long/-/long-5.3.2.tgz", + "integrity": "sha512-mNAgZ1GmyNhD7AuqnTG3/VQ26o760+ZYBPKjPvugO8+nLbYfX6TVpJPseBvopbdY+qpZ/lKUnmEc1LeZYS3QAA==", + "license": "Apache-2.0" + }, + "node_modules/module-details-from-path": { + "version": "1.0.4", + "resolved": "https://registry.npmjs.org/module-details-from-path/-/module-details-from-path-1.0.4.tgz", + "integrity": "sha512-EGWKgxALGMgzvxYF1UyGTy0HXX/2vHLkw6+NvDKW2jypWbHpjQuj4UMcqQWXHERJhVGKikolT06G3bcKe4fi7w==", + "license": "MIT" + }, + "node_modules/ms": { + "version": "2.1.3", + "resolved": "https://registry.npmjs.org/ms/-/ms-2.1.3.tgz", + "integrity": "sha512-6FlzubTLZG3J2a/NVCAleEhjzq5oxgHyaCU9yYXvcLsvoVaHJq/s5xXI6/XXP6tz7R9xAOtHnSO/tXtF3WRTlA==", + "license": "MIT" + }, + "node_modules/pg": { + "version": "8.23.1", + "resolved": "https://registry.npmjs.org/pg/-/pg-8.23.1.tgz", + "integrity": "sha512-aL96AHANtWjPLDOLqnhx+ngp9+UK7ETEU8VJrDCGvsSSi/mGLcWYsS6Herg7lmaBJe4uwrfqsa7gTEFaSizDoQ==", + "license": "MIT", + "dependencies": { + "pg-connection-string": "^2.14.1", + "pg-pool": "^3.14.0", + "pg-protocol": "^1.16.1", + "pg-types": "2.2.0", + "pgpass": "1.0.5" + }, + "engines": { + "node": ">= 16.0.0" + }, + "optionalDependencies": { + "pg-cloudflare": "^1.4.1" + }, + "peerDependencies": { + "pg-native": ">=3.0.1" + }, + "peerDependenciesMeta": { + "pg-native": { + "optional": true + } + } + }, + "node_modules/pg-cloudflare": { + "version": "1.4.1", + "resolved": "https://registry.npmjs.org/pg-cloudflare/-/pg-cloudflare-1.4.1.tgz", + "integrity": "sha512-6PQbsFWZcp9EmJEwy5cGQ2La+AMWpP46lgbb8X+U/XsHIUweYDNCpeuKck5RxL2MdVFi7krbbEi5nX4Zh7JhrQ==", + "license": "MIT", + "optional": true + }, + "node_modules/pg-connection-string": { + "version": "2.14.1", + "resolved": "https://registry.npmjs.org/pg-connection-string/-/pg-connection-string-2.14.1.tgz", + "integrity": "sha512-qR3kGNPBLpCNtz0evbKA0Y/MRFXwSSdT+pTJvYp/bXTcReZbvX1kzF0IyTc1QnxqF7AZbOeBhNL8R5mYQZV/MA==", + "license": "MIT" + }, + "node_modules/pg-int8": { + "version": "1.0.1", + "resolved": "https://registry.npmjs.org/pg-int8/-/pg-int8-1.0.1.tgz", + "integrity": "sha512-WCtabS6t3c8SkpDBUlb1kjOs7l66xsGdKpIPZsg4wR+B3+u9UAum2odSsF9tnvxg80h4ZxLWMy4pRjOsFIqQpw==", + "license": "ISC", + "engines": { + "node": ">=4.0.0" + } + }, + "node_modules/pg-pool": { + "version": "3.14.0", + "resolved": "https://registry.npmjs.org/pg-pool/-/pg-pool-3.14.0.tgz", + "integrity": "sha512-gKtPkFdQPU3DksooVLi9LsjZxrsBUZIpa+7aVx+LV5pNh0KzP4Zleud2po+ConrxbuXGBJ6Hfer6hdgpIBpBaw==", + "license": "MIT", + "peerDependencies": { + "pg": ">=8.0" + } + }, + "node_modules/pg-protocol": { + "version": "1.16.1", + "resolved": "https://registry.npmjs.org/pg-protocol/-/pg-protocol-1.16.1.tgz", + "integrity": "sha512-p9VOFMiHB/ZbJATetbg+99PxssTVSQRnyuPSQ67mN1+1KBOjZaZ83ZQzltnxPhJwSsC3nwVjJ10DVJlerbFzLg==", + "license": "MIT" + }, + "node_modules/pg-types": { + "version": "2.2.0", + "resolved": "https://registry.npmjs.org/pg-types/-/pg-types-2.2.0.tgz", + "integrity": "sha512-qTAAlrEsl8s4OiEQY69wDvcMIdQN6wdz5ojQiOy6YRMuynxenON0O5oCpJI6lshc6scgAY8qvJ2On/p+CXY0GA==", + "license": "MIT", + "dependencies": { + "pg-int8": "1.0.1", + "postgres-array": "~2.0.0", + "postgres-bytea": "~1.0.0", + "postgres-date": "~1.0.4", + "postgres-interval": "^1.1.0" + }, + "engines": { + "node": ">=4" + } + }, + "node_modules/pgpass": { + "version": "1.0.5", + "resolved": "https://registry.npmjs.org/pgpass/-/pgpass-1.0.5.tgz", + "integrity": "sha512-FdW9r/jQZhSeohs1Z3sI1yxFQNFvMcnmfuj4WBMUTxOrAyLMaTcE1aAMBiTlbMNaXvBCQuVi0R7hd8udDSP7ug==", + "license": "MIT", + "dependencies": { + "split2": "^4.1.0" + } + }, + "node_modules/postgres-array": { + "version": "2.0.0", + "resolved": "https://registry.npmjs.org/postgres-array/-/postgres-array-2.0.0.tgz", + "integrity": "sha512-VpZrUqU5A69eQyW2c5CA1jtLecCsN2U/bD6VilrFDWq5+5UIEVO7nazS3TEcHf1zuPYO/sqGvUvW62g86RXZuA==", + "license": "MIT", + "engines": { + "node": ">=4" + } + }, + "node_modules/postgres-bytea": { + "version": "1.0.1", + "resolved": "https://registry.npmjs.org/postgres-bytea/-/postgres-bytea-1.0.1.tgz", + "integrity": "sha512-5+5HqXnsZPE65IJZSMkZtURARZelel2oXUEO8rH83VS/hxH5vv1uHquPg5wZs8yMAfdv971IU+kcPUczi7NVBQ==", + "license": "MIT", + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/postgres-date": { + "version": "1.0.7", + "resolved": "https://registry.npmjs.org/postgres-date/-/postgres-date-1.0.7.tgz", + "integrity": "sha512-suDmjLVQg78nMK2UZ454hAG+OAW+HQPZ6n++TNDUX+L0+uUlLywnoxJKDou51Zm+zTCjrCl0Nq6J9C5hP9vK/Q==", + "license": "MIT", + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/postgres-interval": { + "version": "1.2.0", + "resolved": "https://registry.npmjs.org/postgres-interval/-/postgres-interval-1.2.0.tgz", + "integrity": "sha512-9ZhXKM/rw350N1ovuWHbGxnGh/SNJ4cnxHiM0rxE4VN41wsg8P8zWn9hv/buK00RP4WvlOyr/RBDiptyxVbkZQ==", + "license": "MIT", + "dependencies": { + "xtend": "^4.0.0" + }, + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/protobufjs": { + "version": "7.6.6", + "resolved": "https://registry.npmjs.org/protobufjs/-/protobufjs-7.6.6.tgz", + "integrity": "sha512-dYDWdjSl5RNb7SgPxGQcRU+GtvP7s2fpkrY0r432PcOIaZ0/rBcxEZnQN67iJhFuQiVw754JDoPruPCNdGsbjg==", + "hasInstallScript": true, + "license": "BSD-3-Clause", + "dependencies": { + "@protobufjs/aspromise": "^1.1.2", + "@protobufjs/base64": "^1.1.2", + "@protobufjs/codegen": "^2.0.5", + "@protobufjs/eventemitter": "^1.1.1", + "@protobufjs/fetch": "^1.1.1", + "@protobufjs/float": "^1.0.2", + "@protobufjs/path": "^1.1.2", + "@protobufjs/pool": "^1.1.0", + "@protobufjs/utf8": "^1.1.1", + "@types/node": ">=13.7.0", + "long": "^5.3.2" + }, + "engines": { + "node": ">=12.0.0" + } + }, + "node_modules/require-directory": { + "version": "2.1.1", + "resolved": "https://registry.npmjs.org/require-directory/-/require-directory-2.1.1.tgz", + "integrity": "sha512-fGxEI7+wsG9xrvdjsrlmL22OMTTiHRwAMroiEeMgq8gzoLC/PQr7RsRDSTLUg/bZAZtF+TVIkHc6/4RIKrui+Q==", + "license": "MIT", + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/require-in-the-middle": { + "version": "8.0.1", + "resolved": "https://registry.npmjs.org/require-in-the-middle/-/require-in-the-middle-8.0.1.tgz", + "integrity": "sha512-QT7FVMXfWOYFbeRBF6nu+I6tr2Tf3u0q8RIEjNob/heKY/nh7drD/k7eeMFmSQgnTtCzLDcCu/XEnpW2wk4xCQ==", + "license": "MIT", + "dependencies": { + "debug": "^4.3.5", + "module-details-from-path": "^1.0.3" + }, + "engines": { + "node": ">=9.3.0 || >=8.10.0 <9.0.0" + } + }, + "node_modules/semver": { + "version": "7.8.5", + "resolved": "https://registry.npmjs.org/semver/-/semver-7.8.5.tgz", + "integrity": "sha512-Y7/KDsb8LjooZpwaqGyulO6DQlksgCncchHGk+sZIY4SBvUocMBEFH5Ur1fI4dV+Jvl0w6cjvucaIi40puRioA==", + "license": "ISC", + "bin": { + "semver": "bin/semver.js" + }, + "engines": { + "node": ">=10" + } + }, + "node_modules/sharp": { + "version": "0.35.5", + "resolved": "https://registry.npmjs.org/sharp/-/sharp-0.35.5.tgz", + "integrity": "sha512-Ywn4OnzGukp7CDMrp08RQ50YKmuwG47brZgIVPTvBaaAfQlRlygrRqSrxdCiL9M+LlzLBiJ68IR1QqvzHyjC7g==", + "license": "Apache-2.0", + "dependencies": { + "@img/colour": "^1.1.0", + "detect-libc": "^2.1.2", + "semver": "^7.8.5" + }, + "engines": { + "node": ">=20.9.0" + }, + "funding": { + "url": "https://opencollective.com/libvips" + }, + "optionalDependencies": { + "@img/sharp-darwin-arm64": "0.35.5", + "@img/sharp-darwin-x64": "0.35.5", + "@img/sharp-freebsd-wasm32": "0.35.5", + "@img/sharp-libvips-darwin-arm64": "1.3.4", + "@img/sharp-libvips-darwin-x64": "1.3.4", + "@img/sharp-libvips-linux-arm": "1.3.4", + "@img/sharp-libvips-linux-arm64": "1.3.4", + "@img/sharp-libvips-linux-ppc64": "1.3.4", + "@img/sharp-libvips-linux-riscv64": "1.3.4", + "@img/sharp-libvips-linux-s390x": "1.3.4", + "@img/sharp-libvips-linux-x64": "1.3.4", + "@img/sharp-libvips-linuxmusl-arm64": "1.3.4", + "@img/sharp-libvips-linuxmusl-x64": "1.3.4", + "@img/sharp-linux-arm": "0.35.5", + "@img/sharp-linux-arm64": "0.35.5", + "@img/sharp-linux-ppc64": "0.35.5", + "@img/sharp-linux-riscv64": "0.35.5", + "@img/sharp-linux-s390x": "0.35.5", + "@img/sharp-linux-x64": "0.35.5", + "@img/sharp-linuxmusl-arm64": "0.35.5", + "@img/sharp-linuxmusl-x64": "0.35.5", + "@img/sharp-webcontainers-wasm32": "0.35.5", + "@img/sharp-win32-arm64": "0.35.5", + "@img/sharp-win32-ia32": "0.35.5", + "@img/sharp-win32-x64": "0.35.5" + }, + "peerDependenciesMeta": { + "@types/node": { + "optional": true + } + } + }, + "node_modules/split2": { + "version": "4.2.0", + "resolved": "https://registry.npmjs.org/split2/-/split2-4.2.0.tgz", + "integrity": "sha512-UcjcJOWknrNkF6PLX83qcHM6KHgVKNkV62Y8a5uYDVv9ydGQVwAHMKqHdJje1VTWpljG0WYpCDhrCdAOYH4TWg==", + "license": "ISC", + "engines": { + "node": ">= 10.x" + } + }, + "node_modules/string-width": { + "version": "4.2.3", + "resolved": "https://registry.npmjs.org/string-width/-/string-width-4.2.3.tgz", + "integrity": "sha512-wKyQRQpjJ0sIp62ErSZdGsjMJWsap5oRNihHhu6G7JVO/9jIB6UyevL+tXuOqrng8j/cxKTWyWUwvSTriiZz/g==", + "license": "MIT", + "dependencies": { + "emoji-regex": "^8.0.0", + "is-fullwidth-code-point": "^3.0.0", + "strip-ansi": "^6.0.1" + }, + "engines": { + "node": ">=8" + } + }, + "node_modules/strip-ansi": { + "version": "6.0.1", + "resolved": "https://registry.npmjs.org/strip-ansi/-/strip-ansi-6.0.1.tgz", + "integrity": "sha512-Y38VPSHcqkFrCpFnQ9vuSXmquuv5oXOKpGeT6aGrr3o3Gc9AlVa6JBfUSOCnbxGGZF+/0ooI7KrPuUSztUdU5A==", + "license": "MIT", + "dependencies": { + "ansi-regex": "^5.0.1" + }, + "engines": { + "node": ">=8" + } + }, + "node_modules/tslib": { + "version": "2.8.1", + "resolved": "https://registry.npmjs.org/tslib/-/tslib-2.8.1.tgz", + "integrity": "sha512-oJFu94HQb+KVduSUQL7wnpmqnfmLsOA/nAh6b6EH0wCEoK0/mPeXU6c3wKDV83MkOuHPRHtSXKKU99IBazS/2w==", + "license": "0BSD" + }, + "node_modules/typescript": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/typescript/-/typescript-7.0.2.tgz", + "integrity": "sha512-8FYau96o3NKOhbjKi/qNvG/W5jhzxkbdm5sj9AbZ/5T5sWqn3hJgLfGx27sRKZWTvyzCP8dLRBTf5tBTSRVUNA==", + "dev": true, + "license": "Apache-2.0", + "bin": { + "tsc": "bin/tsc" + }, + "engines": { + "node": ">=16.20.0" + }, + "optionalDependencies": { + "@typescript/typescript-aix-ppc64": "7.0.2", + "@typescript/typescript-darwin-arm64": "7.0.2", + "@typescript/typescript-darwin-x64": "7.0.2", + "@typescript/typescript-freebsd-arm64": "7.0.2", + "@typescript/typescript-freebsd-x64": "7.0.2", + "@typescript/typescript-linux-arm": "7.0.2", + "@typescript/typescript-linux-arm64": "7.0.2", + "@typescript/typescript-linux-loong64": "7.0.2", + "@typescript/typescript-linux-mips64el": "7.0.2", + "@typescript/typescript-linux-ppc64": "7.0.2", + "@typescript/typescript-linux-riscv64": "7.0.2", + "@typescript/typescript-linux-s390x": "7.0.2", + "@typescript/typescript-linux-x64": "7.0.2", + "@typescript/typescript-netbsd-arm64": "7.0.2", + "@typescript/typescript-netbsd-x64": "7.0.2", + "@typescript/typescript-openbsd-arm64": "7.0.2", + "@typescript/typescript-openbsd-x64": "7.0.2", + "@typescript/typescript-sunos-x64": "7.0.2", + "@typescript/typescript-win32-arm64": "7.0.2", + "@typescript/typescript-win32-x64": "7.0.2" + } + }, + "node_modules/undici-types": { + "version": "7.24.6", + "resolved": "https://registry.npmjs.org/undici-types/-/undici-types-7.24.6.tgz", + "integrity": "sha512-WRNW+sJgj5OBN4/0JpHFqtqzhpbnV0GuB+OozA9gCL7a993SmU+1JBZCzLNxYsbMfIeDL+lTsphD5jN5N+n0zg==", + "license": "MIT" + }, + "node_modules/wrap-ansi": { + "version": "7.0.0", + "resolved": "https://registry.npmjs.org/wrap-ansi/-/wrap-ansi-7.0.0.tgz", + "integrity": "sha512-YVGIj2kamLSTxw6NsZjoBxfSwsn0ycdesmc4p+Q21c5zPuZ1pl+NfxVdxPtdHvmNVOQ6XSYG4AUtyt/Fi7D16Q==", + "license": "MIT", + "dependencies": { + "ansi-styles": "^4.0.0", + "string-width": "^4.1.0", + "strip-ansi": "^6.0.0" + }, + "engines": { + "node": ">=10" + }, + "funding": { + "url": "https://github.com/chalk/wrap-ansi?sponsor=1" + } + }, + "node_modules/xtend": { + "version": "4.0.2", + "resolved": "https://registry.npmjs.org/xtend/-/xtend-4.0.2.tgz", + "integrity": "sha512-LKYU1iAXJXUgAXn9URjiu+MWhyUXHsvfp7mcuYm9dSUKK0/CjtrUwFAxD82/mCWbtLsGjFIad0wIsod4zrTAEQ==", + "license": "MIT", + "engines": { + "node": ">=0.4" + } + }, + "node_modules/y18n": { + "version": "5.0.8", + "resolved": "https://registry.npmjs.org/y18n/-/y18n-5.0.8.tgz", + "integrity": "sha512-0pfFzegeDWJHJIAmTLRP2DwHjdF5s7jo9tuztdQxAhINCdvS+3nGINqPd00AphqJR/0LhANUS6/+7SCb98YOfA==", + "license": "ISC", + "engines": { + "node": ">=10" + } + }, + "node_modules/yaml": { + "version": "2.9.1", + "resolved": "https://registry.npmjs.org/yaml/-/yaml-2.9.1.tgz", + "integrity": "sha512-3NxN8+78OdzbT7C/WjGsyfPAtJaN3FNDsWxv7Y7mcDsT/oOmgW8BpyQQFFBnvZE3j9Y2Sdz1ULFLezL7Eb2yFw==", + "license": "ISC", + "bin": { + "yaml": "bin.mjs" + }, + "engines": { + "node": ">= 14.6" + }, + "funding": { + "url": "https://github.com/sponsors/eemeli" + } + }, + "node_modules/yargs": { + "version": "17.7.3", + "resolved": "https://registry.npmjs.org/yargs/-/yargs-17.7.3.tgz", + "integrity": "sha512-GZtjxm/J/4TSxuL3FNYjCmLktBTnIw/rVmKSIyKeYAZpmJB2ig9VauCC5xsa82GNKVKDAqpOn3KVzNt0zmrU0g==", + "license": "MIT", + "dependencies": { + "cliui": "^8.0.1", + "escalade": "^3.1.1", + "get-caller-file": "^2.0.5", + "require-directory": "^2.1.1", + "string-width": "^4.2.3", + "y18n": "^5.0.5", + "yargs-parser": "^21.1.1" + }, + "engines": { + "node": ">=12" + } + }, + "node_modules/yargs-parser": { + "version": "21.1.1", + "resolved": "https://registry.npmjs.org/yargs-parser/-/yargs-parser-21.1.1.tgz", + "integrity": "sha512-tVpsJW7DdjecAiFpbIB1e3qxIQsE6NoPc5/eTdrbbIC4h0LVsWhnoa3g+m2HclBIujHzsxZ4VJVA+GUuc2/LBw==", + "license": "ISC", + "engines": { + "node": ">=12" + } + } + } +} diff --git a/package.json b/package.json new file mode 100644 index 0000000..f9dcaad --- /dev/null +++ b/package.json @@ -0,0 +1,38 @@ +{ + "name": "messenger-lab7", + "private": true, + "version": "7.0.0", + "type": "module", + "engines": { + "node": ">=24" + }, + "scripts": { + "start": "node src/main.ts", + "migrate": "node src/main.ts migrate", + "typecheck": "tsc" + }, + "dependencies": { + "@aws-sdk/client-s3": "3.1152.0", + "@opentelemetry/api": "1.9.1", + "@opentelemetry/api-logs": "0.223.0", + "@opentelemetry/core": "2.12.0", + "@opentelemetry/exporter-logs-otlp-proto": "0.223.0", + "@opentelemetry/exporter-metrics-otlp-proto": "0.223.0", + "@opentelemetry/exporter-trace-otlp-proto": "0.223.0", + "@opentelemetry/instrumentation-aws-sdk": "0.78.0", + "@opentelemetry/instrumentation-http": "0.223.0", + "@opentelemetry/instrumentation-pg": "0.76.0", + "@opentelemetry/instrumentation-runtime-node": "0.36.1", + "@opentelemetry/sdk-logs": "0.223.0", + "@opentelemetry/sdk-metrics": "2.12.0", + "@opentelemetry/sdk-node": "0.223.0", + "amqplib": "2.2.0", + "pg": "8.23.1", + "sharp": "0.35.5" + }, + "devDependencies": { + "@types/node": "24.19.2", + "@types/pg": "8.23.1", + "typescript": "7.0.2" + } +} diff --git a/scripts/bao.py b/scripts/bao.py new file mode 100644 index 0000000..70ba561 --- /dev/null +++ b/scripts/bao.py @@ -0,0 +1,108 @@ +#!/usr/bin/env python3 +"""Оператор OpenBao. Материалы Shamir и root остаются в secrets/operator (0600).""" +import argparse +import json +import os +import ssl +import subprocess +import urllib.error +import urllib.request +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +OPERATOR = ROOT / "secrets/operator" +STATE = OPERATOR / "bao-init.json" +ROLES = ("api", "worker", "reconciler") + + +class Bao: + def __init__(self, base): + self.base = base + self.ssl = ssl.create_default_context(cafile=ROOT / "secrets/tls/service-ca/ca.crt") + self.token = None + + def request(self, path, data=None, method=None): + body = json.dumps(data).encode() if data is not None else None + headers = {"Content-Type": "application/json"} + if self.token: + headers["X-Vault-Token"] = self.token + req = urllib.request.Request(self.base + "/v1/" + path, data=body, headers=headers, method=method) + try: + with urllib.request.urlopen(req, context=self.ssl, timeout=12) as res: + content = res.read() + except urllib.error.HTTPError as error: + raise SystemExit(f"OpenBao {path}: HTTP {error.code}") from None + return json.loads(content) if content else None + + def state(self, init=False): + if not self.request("sys/init")["initialized"]: + if not init or STATE.exists(): + raise SystemExit("OpenBao не инициализирован. Проверьте volume перед init.") + initialized = self.request("sys/init", {"secret_shares": 3, "secret_threshold": 2}) + with STATE.open("x") as file: + json.dump(initialized, file) + return json.loads(STATE.read_text()) + + def unseal(self, state): + if self.request("sys/seal-status")["sealed"]: + for key in state["keys_base64"][:2]: + self.request("sys/unseal", {"key": key}) + print("OpenBao unsealed") + + def configure(self): + if "messenger/" not in self.request("sys/mounts"): + self.request("sys/mounts/messenger", {"type": "kv", "options": {"version": "2"}}) + if "cert/" not in self.request("sys/auth"): + self.request("sys/auth/cert", {"type": "cert"}) + for role in ROLES: + self.configure_role(role) + + @staticmethod + def identity(role): + if role != "worker": + return role + return subprocess.check_output(["openssl", "x509", "-in", + str(ROOT / "secrets/tls/worker/tls.crt"), "-noout", "-subject", + "-nameopt", "RFC2253"], text=True).strip().removeprefix("subject=CN=") + + def configure_role(self, role): + identity = self.identity(role) + policy = (ROOT / "infra/openbao" / f"{role}.hcl").read_text().replace("data/worker", f"data/{identity}") + self.request(f"sys/policies/acl/{identity}", {"policy": policy}) + certificate = (ROOT / "secrets/tls" / role / "tls.crt").read_text() + self.request(f"auth/cert/certs/{role}", { + "certificate": certificate, "token_policies": [identity], "token_no_default_policy": True, + "token_type": "batch", "token_ttl": "45s", "token_max_ttl": "45s", + }) + self.request(f"messenger/data/{identity}", json.loads((OPERATOR / f"kv_{role}.json").read_text())) + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument("action", choices=("init", "unseal", "seal", "revoke-worker", "replace-worker")) + args = parser.parse_args() + os.umask(0o077) + port = next((line.split("=", 1)[1] for line in (ROOT / ".env").read_text().splitlines() + if line.startswith("BAO_PORT=")), "8200") + bao = Bao(f"https://localhost:{port}") + state = bao.state(init=args.action == "init") + if args.action in ("init", "unseal"): + bao.unseal(state) + bao.token = state["root_token"] + if args.action == "init": + bao.configure() + elif args.action == "seal": + bao.request("sys/seal", {}) + elif args.action == "revoke-worker": + identity = bao.identity("worker") + bao.request("auth/cert/certs/worker", method="DELETE") + bao.request(f"sys/policies/acl/{identity}", method="DELETE") + bao.request(f"messenger/metadata/{identity}", method="DELETE") + elif args.action == "replace-worker": + bao.request("auth/cert/crls/worker", {"crl": (ROOT / "secrets/pki/crl.pem").read_text()}) + bao.configure_role("worker") + print(f"OpenBao: {args.action} OK") + + +if __name__ == "__main__": + main() diff --git a/scripts/db-credentials.sh b/scripts/db-credentials.sh new file mode 100755 index 0000000..0118856 --- /dev/null +++ b/scripts/db-credentials.sh @@ -0,0 +1,16 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +case ${1:-all} in + all) roles='api worker reconciler' ;; + worker) roles=worker ;; + *) exit 2 ;; +esac +for role in $roles; do + password=$(cat "secrets/operator/db_$role") + case "$password" in *[!a-f0-9]*|'') exit 2 ;; esac + # Передача по stdin, аутентификация оператора через Unix socket и peer map. + printf "ALTER ROLE %s PASSWORD '%s';\n" "$role" "$password" | + docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 >/dev/null +done +echo 'PostgreSQL: SCRAM credentials настроены' diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100755 index 0000000..49a4095 --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,10 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +umask 077 +mkdir -p secrets +chmod 700 secrets +[ -f .env ] || cp .env.example .env +scripts/pki.sh +python3 scripts/render-secrets.py +echo "Локальные сертификаты и credentials готовы." diff --git a/scripts/pki.sh b/scripts/pki.sh new file mode 100755 index 0000000..0a5c542 --- /dev/null +++ b/scripts/pki.sh @@ -0,0 +1,97 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +umask 077 +tls=secrets/tls +pki=secrets/operator/pki +mkdir -p "$pki" +chmod 700 secrets secrets/operator "$pki" + +ca() { + dir=$pki/$1 + [ -s "$dir/ca.crt" ] && return + mkdir -p "$dir" + touch "$dir/index" + printf '1000\n' > "$dir/serial" + printf '1000\n' > "$dir/crlnumber" + cat > "$dir/ca.cnf" </dev/null +} +leaf() { + issuer=$1 name=$2 cn=$3 san=$4 usage=$5 + out=$tls/$name + [ -s "$out/tls.pem" ] && return + mkdir -p "$out" + chmod 755 "$out" + openssl req -new -newkey rsa:2048 -noenc -subj "/CN=$cn" -keyout "$out/tls.key" -out "$pki/request" 2>/dev/null + cat > "$pki/leaf.ext" </dev/null + cat "$out/tls.crt" "$out/tls.key" > "$out/tls.pem" + chmod 644 "$out"/tls.* +} +crl() { + openssl ca -gencrl -config "$pki/service/ca.cnf" -out secrets/pki/crl.new 2>/dev/null + chmod 644 secrets/pki/crl.new + mv secrets/pki/crl.new secrets/pki/crl.pem +} +case ${1:-init} in + init) + mkdir -p secrets/pki "$tls/service-ca" "$tls/telemetry-ca" "$tls/collector-ca" "$tls/foreign-ca" + chmod 755 "$tls" secrets/pki "$tls/"*-ca + for issuer in service telemetry collector foreign; do ca "$issuer"; done + for issuer in service collector foreign; do cp "$pki/$issuer/ca.crt" "$tls/$issuer-ca/ca.crt"; done + cat "$pki/collector/ca.crt" "$pki/telemetry/ca.crt" > "$tls/telemetry-ca/ca.crt" + chmod 644 "$tls/"*-ca/ca.crt + for name in postgres s3 rabbitmq lb otel-collector prometheus loki tempo; do + leaf service "$name" "$name" "DNS:$name" serverAuth + done + leaf service openbao openbao 'DNS:openbao,DNS:localhost,IP:127.0.0.1' serverAuth + leaf service ingress localhost 'DNS:localhost,IP:127.0.0.1' serverAuth + leaf service grafana grafana 'DNS:grafana,DNS:localhost,IP:127.0.0.1' serverAuth + leaf service api api 'DNS:api' serverAuth,clientAuth + leaf service worker "worker-$(openssl rand -hex 4)" 'DNS:worker' clientAuth + leaf service lb-client lb-client 'DNS:lb-client' clientAuth + leaf service reconciler reconciler 'DNS:reconciler' clientAuth + leaf service wrong wrong 'DNS:wrong' clientAuth + leaf foreign foreign foreign 'DNS:foreign' clientAuth + leaf collector collector collector 'DNS:collector' clientAuth + leaf telemetry grafana-query grafana-query 'DNS:grafana-query' clientAuth + leaf telemetry prometheus-scrape prometheus-scrape 'DNS:prometheus-scrape' clientAuth + crl + ;; + replace-worker) + name=worker + openssl ca -config "$pki/service/ca.cnf" -revoke "$tls/$name/tls.crt" 2>/dev/null + mv "$tls/$name" "$pki/revoked-$(date +%s)" + leaf service worker "worker-$(openssl rand -hex 4)" 'DNS:worker' clientAuth + crl + ;; + *) exit 2 ;; +esac diff --git a/scripts/render-secrets.py b/scripts/render-secrets.py new file mode 100644 index 0000000..eeed18c --- /dev/null +++ b/scripts/render-secrets.py @@ -0,0 +1,91 @@ +#!/usr/bin/env python3 +"""Собирает локальные credentials сервисов. Значения не выводятся.""" +import json +import re +import secrets +import subprocess +import sys +from pathlib import Path + +root = Path("secrets") +operator = root / "operator" +runtime = root / "runtime" +for folder in (operator, runtime, runtime / "s3"): + folder.mkdir(exist_ok=True, mode=0o755 if folder != operator else 0o700) +bucket = "messenger-attachments" + + +def write(path, value, mode=0o600): + temp = path.with_suffix(".new") + temp.write_text(value) + temp.chmod(mode) + temp.replace(path) + + +def value(path): + if not path.exists(): + write(path, secrets.token_hex(24), 0o644 if path.parent == runtime else 0o600) + return path.read_text() + + +def worker_cn(): + return subprocess.check_output( + ["openssl", "x509", "-in", "secrets/tls/worker/tls.crt", "-noout", "-subject", "-nameopt", "RFC2253"], + text=True, + ).strip().removeprefix("subject=CN=") + + +def render(): + db_root = value(runtime / "postgres_password") + value(runtime / "grafana_admin_password") + write(runtime / "database_url", f"postgres://messenger:{db_root}@postgres:5432/messenger", 0o644) + identities = [] + for role in ("admin", "api", "worker", "reconciler"): + access = role + value(operator / f"s3_id_{role}")[:20] + key = value(operator / f"s3_key_{role}") + if role == "admin": + write(runtime / "s3_admin_access_key_id", access, 0o644) + write(runtime / "s3_admin_secret_access_key", key, 0o644) + actions = ["Admin", "Read", "Write", "List"] + else: + scopes = { + "api": ["Write:staging", "Read:originals", "Read:variants"], + "worker": ["Read:staging", "Write:staging", "Read:originals", "Write:originals", "Write:variants"], + "reconciler": [f"{verb}:{prefix}" for verb in ("Read", "Write") for prefix in ("staging", "originals", "variants")], + }[role] + actions = [f"{verb}:{bucket}/{prefix}/*" for verb, prefix in (scope.split(":") for scope in scopes)] + if role == "reconciler": + actions += [f"List:{bucket}"] + password = value(operator / f"db_{role}") + write(operator / f"kv_{role}.json", json.dumps({"data": { + "DATABASE_URL": f"postgres://{role}:{password}@postgres:5432/messenger", + "S3_ACCESS_KEY_ID": access, "S3_SECRET_ACCESS_KEY": key, + }})) + identities.append({"name": role, "credentials": [{"accessKey": access, "secretKey": key}], "actions": actions}) + write(runtime / "s3" / "identities.json", json.dumps({"identities": identities}), 0o644) + + worker = worker_cn() + if not re.fullmatch(r"worker-[0-9a-f]{8}", worker): + raise SystemExit("unexpected worker identity") + vhost = "messenger" + write(runtime / "rabbitmq_definitions.json", json.dumps({ + "users": [{"name": role, "password_hash": "", "tags": []} for role in ("api", worker)], + "vhosts": [{"name": vhost}], + "permissions": [ + {"user": "api", "vhost": vhost, "configure": "^$", "write": "^attachments$", "read": "^$"}, + {"user": worker, "vhost": vhost, "configure": "^$", "write": "^$", "read": r"^attachments\.process$"}, + ], + "exchanges": [{"name": "attachments", "vhost": vhost, "type": "direct", + "durable": True, "auto_delete": False, "internal": False, "arguments": {}}], + "queues": [{"name": "attachments.process", "vhost": vhost, "durable": True, "auto_delete": False, + "arguments": {"x-queue-type": "quorum", "x-delivery-limit": 20}}], + "bindings": [{"source": "attachments", "vhost": vhost, "destination": "attachments.process", + "destination_type": "queue", "routing_key": "process", "arguments": {}}], + }), 0o644) + + +if __name__ == "__main__": + if sys.argv[1:] == ["rotate-worker"]: + for key in ("s3_id_worker", "s3_key_worker", "db_worker"): + write(operator / key, secrets.token_hex(24)) + render() diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 0000000..38e3ded --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,17 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +services='lb api worker reconciler postgres s3 rabbitmq otel-collector collector prometheus loki tempo grafana openbao' +started() { + for service in $services; do + for id in $(docker compose ps -aq "$service"); do + docker inspect -f "$service {{.State.StartedAt}}" "$id" + done + done +} +started > secrets/runtime/restart-before.txt +docker compose stop -t 6 lb api worker reconciler +docker compose restart -t 5 postgres s3 rabbitmq otel-collector collector prometheus loki tempo grafana openbao +python3 scripts/bao.py unseal +docker compose start api worker reconciler lb +started > secrets/runtime/restart-after.txt diff --git a/scripts/rotate-worker.sh b/scripts/rotate-worker.sh new file mode 100755 index 0000000..d7fc059 --- /dev/null +++ b/scripts/rotate-worker.sh @@ -0,0 +1,23 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +old=$(openssl x509 -in secrets/tls/worker/tls.crt -noout -subject -nameopt RFC2253) +old=${old#subject=CN=} +case "$old" in worker-????????) ;; *) exit 2 ;; esac +docker compose stop worker +python3 scripts/bao.py revoke-worker +docker compose exec -T rabbitmq rabbitmqctl delete_user "$old" +# Прежний пароль немедленно перестаёт открывать соединения, а уже открытые соединения worker закрываются. +docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 <<'SQL' +ALTER ROLE worker NOLOGIN; +SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE usename = 'worker'; +SQL +scripts/pki.sh replace-worker +python3 scripts/render-secrets.py rotate-worker +scripts/db-credentials.sh worker +docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 -c 'ALTER ROLE worker LOGIN' +# Повторный import добавляет нового пользователя, старый уже удалён. Volumes остаются. +docker compose up -d --force-recreate --wait s3 rabbitmq otel-collector collector +python3 scripts/bao.py replace-worker +docker compose up -d --force-recreate --no-deps worker +echo 'Worker identity и credentials заменены' diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100755 index 0000000..6638e2c --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,14 @@ +#!/bin/sh +# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной. +# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера. +# Восстановление после теста: docker compose start api +set -eu +: "${TARGET_INSTANCE_ID:?test provides target API instance alias}" +cd "$(dirname "$0")/.." +case "$TARGET_INSTANCE_ID" in + *[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;; +esac +ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true) +[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; } +docker stop -t 6 "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с) +docker inspect -f "stopped {{.Name}} ($TARGET_INSTANCE_ID)" "$ids" | tee secrets/runtime/failover-target.txt diff --git a/scripts/up.sh b/scripts/up.sh new file mode 100755 index 0000000..7685c0d --- /dev/null +++ b/scripts/up.sh @@ -0,0 +1,9 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +scripts/init-secrets.sh +docker compose up -d --wait --wait-timeout 240 postgres s3 openbao rabbitmq otel-collector collector prometheus loki tempo grafana +docker compose run --rm --build migrate +scripts/db-credentials.sh +python3 scripts/bao.py init +docker compose up -d --build --wait --wait-timeout 240 diff --git a/security/THREAT_MODEL.md b/security/THREAT_MODEL.md index 31da287..88c1a83 100644 --- a/security/THREAT_MODEL.md +++ b/security/THREAT_MODEL.md @@ -1,19 +1,20 @@ -# Модель угроз — заполнить +# Модель угроз -## Активы и акторы +Активы — пароли и сессии пользователей, сообщения и вложения, задачи обработки, учётные данные сервисов, PKI и содержимое telemetry. Внешний клиент имеет доступ к ingress. Посторонний пользователь имеет собственный Bearer и может знать UUID чужих объектов. При компрометации worker атакующий читает его leaf и получает его рабочие credentials, может подключаться в backend и отправлять произвольные операции. Оператор контролирует Docker, CA и unseal. Компрометация оператора или хоста находится вне этой модели. -TODO: пользовательские credentials/сессии, сообщения/вложения, service identities, CA/secrets, telemetry. Акторы: участник чата, посторонний пользователь, внешний клиент, скомпрометированный сервис, оператор. Опишите доступ атакующего и границы учебного стенда. +Границы проходят на внешнем ingress, между HAProxy и API, на каждом сетевом подключении к зависимости и при обращении за секретами. Порты, SAN и права указаны в [матрице доверия](../contracts/trust-matrix.md). -## Границы доверия +| Угроза | Инвариант и контроль | Отрицательная проверка | Остаточный риск | +| --- | --- | --- | --- | +| Подмена TLS-сервера | Клиент сверяет CA и SAN; внешний API доступен только по TLS | `make test-security` и TLS-аудит | Утечка ключа service CA нарушает эту границу | +| Подмена HAProxy клиентом с действительным leaf | API разрешает только SAN lb-client; peer certificate обязателен | Пробы без cert, с foreign CA и wrong leaf | Ключ LB даёт доступ к TLS-границе API, где продолжает действовать Bearer ACL | +| Чтение чужого вложения по UUID, подделка X-User-Id | Сессия и членство проверяются при чтении и повторном использовании объекта | `auth_security.py` | Участник сохраняет доступ к выданным ему данным | +| Повтор украденного токена после logout/expiry | Проверка `expires_at` и удаление хеша при logout | `auth_security.py` | Украденный действующий токен работает до отзыва | +| Исчерпание CPU/RAM неверными логинами | Общий лимит PostgreSQL, максимум два параллельных хеширования на API, лимит тела | Нагрузочная часть `auth_security.py`, `argon2_bench.mjs` | Общий лимит можно занять, вызвав временные 429 для легитимных клиентов | +| Worker читает пароли или сообщения, пишет в произвольный prefix или очередь | SQL grants, SeaweedFS prefix ACL, RabbitMQ EXTERNAL и права очереди | `worker_compromise.py` | Worker может менять состояния задач и байты разрешённых prefix | +| Worker пытается читать ключи API и менять политики OpenBao | Leaf закреплён за ролью и получает только её KV read | `worker_compromise.py` | Секрет зависимости остаётся действительным до отзыва у этой зависимости | +| Поддельные сигналы отправлены в Collector | mTLS, CN allowlist, CRL и ограничение методов/маршрутов | `tls-audit.sh`, проверка старого leaf в треке | Владелец разрешённого leaf может подделать свой сигнал | +| Токены или payload попадают в историю наблюдаемости | Нет логирования заголовков/значений SQL, входные filename/cursor маскируются, запись исключений ограничена | `telemetry_check.py` | Сохраняются технические UUID; доступ к Grafana ограничен | +| Worker остаётся подключён после ротации | Закрываются его DB connections, удаляется пользователь RabbitMQ, обновляются S3 credentials и CRL | `worker_compromise.py` проверяет новые подключения со старыми материалами | Ротация временно прерывает брокер и S3 на одиночном стенде | -TODO: схема и ссылка на заполненную contracts/trust-matrix.md; публичные/внутренние интерфейсы, процессы, секреты и их выдача. - -| Угроза и конкретный путь | Нарушаемый инвариант | Контроль | Отрицательный тест | Остаточное ограничение | -| --- | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | TODO | - -На 4 минимум 6 конкретных угроз. Не заменяйте сценарии словами «SQL injection», «безопасный Docker», «mTLS включён» без пути и проверки. - -## Lifecycle и инциденты - -TODO: bootstrap, expiry/renewal, revoke/rotation, компрометация identity, sealed OpenBao и восстановление. Указать владельца CA/unseal и способ защиты bootstrap credentials. Сопоставить scan findings с реальной применимостью и исправлением/остаточным риском. +Локальный оператор выпускает leaf, хранит CA и Shamir в закрытом каталоге, выполняет unseal и обслуживает журнал аудита. При отзыве удаляется привязка leaf в OpenBao, у брокера удаляется CN, а ingress Collector читает новую CRL. Для рабочего процесса успешный re-auth проверяет секреты каждые 5 с. Если проверка не проходит, по истечении 45 с процесс завершает работу. Долговременное чтение старых секретов ограничивается дополнительно отзывом у PostgreSQL и S3. diff --git a/src/app.ts b/src/app.ts new file mode 100644 index 0000000..8680810 --- /dev/null +++ b/src/app.ts @@ -0,0 +1,120 @@ +// HTTP-приложение: таблица маршрутов, health-проверки и общая обработка каждого запроса. +// Наблюдаемость (lab6): server span создаёт instrumentation-http, здесь ему задаётся шаблон маршрута +// и X-Request-Id; после ответа пишется структурный access-лог с trace_id/span_id этого span. +import { randomUUID } from 'node:crypto'; +import type { IncomingMessage, OutgoingHttpHeaders, ServerResponse } from 'node:http'; +import { Readable } from 'node:stream'; +import { pipeline } from 'node:stream/promises'; +import { context, trace } from '@opentelemetry/api'; +import type { Pool } from 'pg'; +import type { Config } from './config.ts'; +import type { Handler, Result } from './http/context.ts'; +import { notFound, toHttpError, unavailable } from './http/errors.ts'; +import { downloadAttachment, getAttachment, uploadAttachment } from './modules/attachments.ts'; +import { createChat, getChat, listChats } from './modules/chats.ts'; +import { listMessages, sendMessage } from './modules/messages.ts'; +import { createSession, deleteSession } from './modules/sessions.ts'; +import { createUser, me } from './modules/users.ts'; +import { log, setRoute } from './otel.ts'; +import type { Storage } from './storage/s3.ts'; + +function send(res: ServerResponse, status: number, body?: unknown, headers?: OutgoingHttpHeaders) { + if (body instanceof Readable) { + // Байты вложения потоком из S3. Обрыв с любой стороны закрывает соединение: клиент увидит + // несовпадение с Content-Length, а не «успешно» обрезанный файл. + res.writeHead(status, headers); + pipeline(body, res).catch((err) => log('warn', 'http.stream_aborted', `передача вложения прервана: ${err.message}`)); + return; + } + if (body === undefined) { + res.writeHead(status).end(); + return; + } + const data = JSON.stringify(body); + res.writeHead(status, { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(data) }).end(data); +} + +export function createApp(db: Pool, s3: Storage, config: Config, relay: { kick(): void }) { + // ready = false с момента SIGTERM: балансировщик по readiness выводит реплику из ротации. + const state = { ready: true }; + + // Готовность: процесс не завершается и PostgreSQL отвечает. Это единственная критичная зависимость: + // при недоступном S3 реплика остаётся в ротации, текстовые сообщения работают, вложения отвечают 503; + // при недоступном брокере загрузки принимаются (задания ждут в outbox), worker не нужен для приёма. + const readiness: Handler = async () => { + if (!state.ready) throw unavailable('Реплика завершает работу'); + try { + await db.query('SELECT 1'); + } catch { + throw unavailable('База данных недоступна'); + } + return [200, { status: 'ok' }]; + }; + + // Шаблон маршрута — и правило сопоставления, и label http.route метрик/имя span (без реальных UUID). + const routes = ([ + ['GET', '/health/live', async () => [200, { status: 'ok' }]], + ['GET', '/health/ready', readiness], + ['POST', '/api/v1/users', createUser], + ['GET', '/api/v1/users/me', me], + ['POST', '/api/v1/auth/sessions', createSession], + ['DELETE', '/api/v1/auth/sessions/current', deleteSession], + ['POST', '/api/v1/chats', createChat], + ['GET', '/api/v1/chats', listChats], + ['GET', '/api/v1/chats/{chat_id}', getChat], + ['POST', '/api/v1/chats/{chat_id}/messages', sendMessage], + ['GET', '/api/v1/chats/{chat_id}/messages', listMessages], + ['POST', '/api/v1/chats/{chat_id}/attachments', uploadAttachment], + ['GET', '/api/v1/attachments/{attachment_id}', getAttachment], + ['GET', '/api/v1/attachments/{attachment_id}/content', downloadAttachment], + ] as [string, string, Handler][]).map(([method, template, handler]) => + ({ method, template, handler, pattern: new RegExp(`^${template.replace(/\{\w+\}/g, '([^/]+)')}$`) })); + + async function dispatch(req: IncomingMessage, matched: { route?: string }): Promise { + const url = new URL(req.url ?? '/', 'http://api'); + for (const { method, template, handler, pattern } of routes) { + const m = pattern.exec(url.pathname); + if (m && req.method === method) { + matched.route = template; + setRoute(template); + return handler({ req, url, params: m.slice(1), db, s3, config, relay }); + } + } + throw notFound(); // неизвестный путь или метод — тоже JSON-ошибка контракта + } + + // Каждый ответ, включая ошибки и health, несёт X-Request-Id и X-Instance-Id. + function handle(req: IncomingMessage, res: ServerResponse) { + const requestId = randomUUID(); + const started = performance.now(); + const ctx = context.active(); // контекст server span этого запроса + trace.getSpan(ctx)?.setAttribute('messenger.request_id', requestId); + res.setHeader('X-Request-Id', requestId); + res.setHeader('X-Instance-Id', config.instanceId); + if (!state.ready) res.setHeader('Connection', 'close'); // при остановке LB не переиспользует соединение + const matched: { route?: string } = {}; + // Access-лог одного запроса; health (проверки LB и Docker каждую секунду) не логируется. + // 'close' приходит и после полного ответа, и при обрыве соединения клиентом. + res.on('close', () => { + if (matched.route?.startsWith('/health/')) return; + const status = res.statusCode; + context.with(ctx, () => log(status >= 500 ? 'error' : 'info', 'http.request', `${req.method} ${matched.route ?? 'unmatched'} → ${status}`, { + request_id: requestId, 'http.request.method': req.method ?? '', 'http.route': matched.route ?? 'unmatched', + 'http.response.status_code': status, duration_ms: Math.round((performance.now() - started) * 10) / 10, + ...(!res.writableFinished && { aborted: true }), + })); + }); + dispatch(req, matched).then(([status, body, headers]) => send(res, status, body, headers), (err) => { + const e = toHttpError(err, requestId); + if (e.status >= 500) trace.getSpan(ctx)?.recordException(e); + if (e.retryAfter) res.setHeader('Retry-After', e.retryAfter); + if (e.status === 401) { + // Basic только на входе, на остальных эндпоинтах — Bearer. + res.setHeader('WWW-Authenticate', req.url === '/api/v1/auth/sessions' ? 'Basic realm="messenger", charset="UTF-8"' : 'Bearer realm="messenger"'); + } + send(res, e.status, { error: { code: e.code, message: e.message, request_id: requestId } }); + }); + } + + return { state, handle }; +} diff --git a/src/config.ts b/src/config.ts new file mode 100644 index 0000000..9a2d272 --- /dev/null +++ b/src/config.ts @@ -0,0 +1,91 @@ +// Конфигурация процесса из переменных окружения. Читается один раз при старте. +import { readFileSync } from 'node:fs'; +import { hostname } from 'node:os'; + +export type S3Config = { + endpoint: string; + region: string; + bucket: string; + accessKeyId: string; + secretAccessKey: string; +}; + +export type Config = { + host: string; + port: number; + databaseUrl: string; + dbPoolMax: number; + sessionTtlSeconds: number; + shutdownDrainMs: number; + instanceId: string; + s3: S3Config; + maxUploadBytes: number; + maxImagePixels: number; + jobs: JobsConfig; +}; + +// Общие параметры заданий для API (relay, sweeper) и worker. +export type JobsConfig = { + pipelineVersion: number; // версия pipeline для новых загрузок + maxAttempts: number; // попыток на job, затем failed retry_exhausted + timeoutSeconds: number; // предел одной попытки; аренда = timeout + 15 с + retryBaseMs: number; // backoff повтора: base × 2^(n−1), cap 60 с, jitter 50–100 % + republishSeconds: number; // queued без живого сообщения дольше этого — опубликовать заново +}; + +function env(name: string, def: string): string { + return process.env[name] || def; +} + +export function envInt(name: string, def: number): number { + const n = Number(env(name, String(def))); + if (!Number.isInteger(n) || n <= 0) throw new Error(`${name} должен быть положительным целым`); + return n; +} + +// Секрет берётся из файла NAME_FILE (Docker secret), иначе из NAME. Значение никогда не логируется. +export function secret(name: string): string { + const file = process.env[name + '_FILE']; + const value = file ? readFileSync(file, 'utf8').trim() : process.env[name]; + if (!value) throw new Error(`нужна переменная ${name} или ${name}_FILE`); + return value; +} + +// Ключи у каждого сервиса свои (api, reconciler, s3-init), compose монтирует их под одинаковыми именами. +export function s3Config(): S3Config { + return { + endpoint: env('S3_ENDPOINT', 'https://s3:9000'), + region: env('S3_REGION', 'us-east-1'), + bucket: env('S3_BUCKET', 'messenger-attachments'), + accessKeyId: secret('S3_ACCESS_KEY_ID'), + secretAccessKey: secret('S3_SECRET_ACCESS_KEY'), + }; +} + +export function jobsConfig(): JobsConfig { + return { + pipelineVersion: envInt('PIPELINE_VERSION', 1), + maxAttempts: envInt('JOB_MAX_ATTEMPTS', 5), + timeoutSeconds: envInt('JOB_TIMEOUT_SECONDS', 60), + retryBaseMs: envInt('JOB_RETRY_BASE_MS', 2000), + republishSeconds: envInt('JOB_REPUBLISH_SECONDS', 600), + }; +} + +export function loadConfig(): Config { + return { + host: env('APP_HOST', '0.0.0.0'), + port: envInt('APP_PORT', 8080), + databaseUrl: secret('DATABASE_URL'), + dbPoolMax: envInt('DB_POOL_MAX', 8), + sessionTtlSeconds: envInt('SESSION_TTL_SECONDS', 3600), + // Пауза между отказом readiness и закрытием сервера: должна быть больше времени обнаружения LB (fall × inter). + shutdownDrainMs: envInt('SHUTDOWN_DRAIN_MS', 2500), + // X-Instance-Id = hostname контейнера (12 символов ID), по нему scripts/stop-one.sh находит реплику. + instanceId: env('INSTANCE_ID', hostname()), + s3: s3Config(), + maxUploadBytes: envInt('MAX_UPLOAD_BYTES', 10485760), + maxImagePixels: envInt('MAX_IMAGE_PIXELS', 40000000), + jobs: jobsConfig(), + }; +} diff --git a/src/db.ts b/src/db.ts new file mode 100644 index 0000000..62f57cd --- /dev/null +++ b/src/db.ts @@ -0,0 +1,52 @@ +// Доступ к PostgreSQL: пул соединений для API и однократный прогон миграций. +import { readFileSync, readdirSync } from 'node:fs'; +import { context, ROOT_CONTEXT } from '@opentelemetry/api'; +import pg from 'pg'; +import { log } from './otel.ts'; + +const ssl = { ca: readFileSync(process.env.TLS_CA_FILE ?? '/run/tls/ca.crt'), rejectUnauthorized: true }; + +export function createPool(databaseUrl: string, max: number): pg.Pool { + const { hostname, port, pathname } = new URL(databaseUrl); + const pool = new pg.Pool({ + connectionString: databaseUrl, ssl, + // Только для имени пула в метриках db.client.connection.* (postgres:5432/messenger); пароль туда не попадает. + host: hostname, port: Number(port || 5432), database: pathname.slice(1), + max, + connectionTimeoutMillis: 2000, // пул исчерпан или БД недоступна → 503, а не зависший запрос + statement_timeout: 5000, + }); + // Ошибка простаивающего соединения (например, рестарт PostgreSQL) не должна ронять процесс. + // ROOT_CONTEXT: иначе лог унаследовал бы trace_id запроса, который когда-то открыл это соединение. + pool.on('error', context.bind(ROOT_CONTEXT, (err: Error) => log('error', 'db.connection_error', `ошибка соединения с БД: ${err.name}`))); + return pool; +} + +// Применяет src/migrations/*.sql по порядку, каждую в своей транзакции и ровно один раз. +// Advisory lock не даёт двум запускам выполнить DDL одновременно. +export async function migrate(databaseUrl: string): Promise { + const client = new pg.Client({ connectionString: databaseUrl, ssl }); + await client.connect(); + try { + await client.query('SELECT pg_advisory_lock(3003)'); + await client.query('CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())'); + const dir = new URL('./migrations/', import.meta.url); + for (const file of readdirSync(dir).filter((f) => f.endsWith('.sql')).sort()) { + const done = await client.query('SELECT 1 FROM schema_migrations WHERE version = $1', [file]); + if (done.rowCount) continue; + await client.query('BEGIN'); + try { + await client.query(readFileSync(new URL(file, dir), 'utf8')); + await client.query('INSERT INTO schema_migrations (version) VALUES ($1)', [file]); + await client.query('COMMIT'); + } catch (err) { + await client.query('ROLLBACK'); + throw err; + } + log('info', 'db.migration_applied', `применена миграция ${file}`, { migration: file }); + } + log('info', 'db.schema_ready', 'схема актуальна'); + } finally { + await client.end(); + } +} diff --git a/src/failpoints.ts b/src/failpoints.ts new file mode 100644 index 0000000..51cab65 --- /dev/null +++ b/src/failpoints.ts @@ -0,0 +1,28 @@ +// Точки внедрения отказов для тестов (трек 2 и уровень 4). Выключены, пока FAILPOINTS не равно 1. +// Срабатывает только для вложения с именем файла failpoint-<точка>[-s].png и ровно один раз на вложение +// (отметка в failpoint_hits), поэтому перезапущенный процесс доделывает работу, а не падает по кругу. +// failpoint-<точка>.png — немедленный выход с кодом 137: ни finally, ни ack, ни ROLLBACK — соединения с БД +// и брокером рвёт ядро, как при реальном падении. Не SIGKILL себе: node в контейнере — +// PID 1, а сигналы без обработчика, посланные init изнутри его namespace, ядро игнорирует; +// failpoint-<точка>-s.png — пауза N секунд: процесс жив, но «завис» (проверка аренды и fencing). +// Точки: api_after_staging, api_after_commit, relay_after_publish, worker_after_claim, worker_after_side_effect, +// worker_after_commit. +import { setTimeout as sleep } from 'node:timers/promises'; +import type { Pool } from 'pg'; +import { log } from './otel.ts'; + +const enabled = process.env.FAILPOINTS === '1'; + +export async function failpoint(db: Pool, name: string, attachmentId: string, filename: string): Promise { + const m = enabled ? /^failpoint-([a-z_]+)(?:-(\d+)s)?\.png$/.exec(filename) : null; + if (!m || m[1] !== name) return; + const hit = await db.query('INSERT INTO failpoint_hits (name, attachment_id) VALUES ($1, $2) ON CONFLICT DO NOTHING', [name, attachmentId]); + if (!hit.rowCount) return; + if (m[2]) { + log('warn', 'failpoint.pause', `failpoint ${name}: пауза ${m[2]} с`, { 'failpoint.name': name }); + await sleep(Number(m[2]) * 1000); + return; + } + log('error', 'failpoint.kill', `failpoint ${name}: аварийное завершение процесса`, { 'failpoint.name': name }); + process.exit(137); // как при падении: OTLP-буферы не сбрасываются, строка лога в stdout (pipe) пишется синхронно +} diff --git a/src/http/context.ts b/src/http/context.ts new file mode 100644 index 0000000..d019a21 --- /dev/null +++ b/src/http/context.ts @@ -0,0 +1,20 @@ +// Общие типы обработчиков: контекст запроса и результат. +import type { IncomingMessage, OutgoingHttpHeaders } from 'node:http'; +import type { Pool } from 'pg'; +import type { Config } from '../config.ts'; +import type { Storage } from '../storage/s3.ts'; + +export type Ctx = { + req: IncomingMessage; + url: URL; + params: string[]; // группы из шаблона маршрута, например chat_id + db: Pool; + s3: Storage; + config: Config; + relay: { kick(): void }; // разбудить публикацию outbox сразу после COMMIT +}; + +// [HTTP-статус, JSON-тело или поток байтов, заголовки потока]; без тела — ответ без содержимого (204). +export type Result = [status: number, body?: unknown, headers?: OutgoingHttpHeaders]; + +export type Handler = (c: Ctx) => Promise; diff --git a/src/http/errors.ts b/src/http/errors.ts new file mode 100644 index 0000000..ad65409 --- /dev/null +++ b/src/http/errors.ts @@ -0,0 +1,36 @@ +// Ошибки API в формате контракта: {"error":{"code","message","request_id"}}. +import { log } from '../otel.ts'; + +export class HttpError extends Error { + status: number; + code: string; + readonly retryAfter?: number; + constructor(status: number, code: string, message: string, retryAfter?: number) { + super(message); + this.status = status; + this.code = code; + this.retryAfter = retryAfter; + } +} + +export const badRequest = (message: string) => new HttpError(400, 'invalid_request', message); +export const unauthorized = () => new HttpError(401, 'unauthorized', 'Требуется действительная сессия'); +// 404 и для отсутствующего, и для чужого объекта: не раскрываем факт существования. +export const notFound = () => new HttpError(404, 'not_found', 'Объект не найден'); +export const conflict = (message: string) => new HttpError(409, 'conflict', message); +export const unavailable = (message: string) => new HttpError(503, 'unavailable', message); +export const tooLarge = (message: string) => new HttpError(413, 'payload_too_large', message); +export const unsupported = (message: string) => new HttpError(415, 'unsupported_media_type', message); + +// Неизвестную ошибку переводим в ответ без внутренних деталей. +// Ошибка SQL — наш баг (500). Потеря соединения, таймаут пула, рестарт или отмена в PostgreSQL — +// временная недоступность зависимости (503): клиент может повторить запрос. +export function toHttpError(err: unknown, requestId: string): HttpError { + if (err instanceof HttpError) return err; + const { code = '', message = '' } = err as { code?: string; message?: string }; + const transient = /^(08|53|57)/.test(code) || /^E[A-Z]+$/.test(code) || /connect|terminated|timeout/i.test(message); + // request_id в логе связывает ответ клиенту (X-Request-Id) с trace_id этого запроса. + log('error', transient ? 'http.dependency_unavailable' : 'http.internal_error', `запрос ${requestId}: ${code || "Error"}`, + { request_id: requestId, 'error.type': code || 'Error' }); + return transient ? unavailable('Сервис временно недоступен') : new HttpError(500, 'internal_error', 'Внутренняя ошибка'); +} diff --git a/src/http/pagination.ts b/src/http/pagination.ts new file mode 100644 index 0000000..019413b --- /dev/null +++ b/src/http/pagination.ts @@ -0,0 +1,44 @@ +// Keyset-пагинация по (created_at, id) по возрастанию. +// Cursor непрозрачен для клиента: base64url("вид|область|created_at|id"). +// Область привязывает cursor к конкретному чату (или пользователю для списка чатов): чужой cursor → 400. +import { badRequest } from './errors.ts'; +import { UUID } from './request.ts'; + +const TIMESTAMP = /^\d{4}-\d\d-\d\dT\d\d:\d\d:\d\d\.\d{6}Z$/; + +type Keyed = { created_at: string; id: string }; + +export function limitOf(url: URL): number { + const q = url.searchParams.get('limit'); + if (q === null) return 50; + const n = Number(q); + if (!/^\d+$/.test(q) || n < 1 || n > 100) throw badRequest('limit должен быть целым 1–100'); + return n; +} + +// Позиция, после которой продолжать чтение. Без cursor — начало истории. +export function afterCursor(url: URL, kind: string, scope: string): [createdAt: string, id: string] { + const raw = url.searchParams.get('cursor'); + if (raw === null) return ['-infinity', '00000000-0000-0000-0000-000000000000']; + const [k, s, ts, id, ...rest] = Buffer.from(raw, 'base64url').toString().split('|'); + if (k !== kind || s !== scope || !isTimestamp(ts) || !UUID.test(id ?? '') || rest.length) { + throw badRequest('Некорректный cursor'); + } + return [ts, id]; +} + +// Форма RFC 3339 и реальная дата: 2026-13-01 или 2026-02-30 иначе дошли бы до PostgreSQL и дали 500. +// Проверка круговым преобразованием: JS-дата без микросекунд должна совпасть с исходной строкой. +function isTimestamp(ts: string | undefined): ts is string { + if (!ts || !TIMESTAMP.test(ts)) return false; + const ms = Date.parse(ts.slice(0, 23) + 'Z'); + return !Number.isNaN(ms) && new Date(ms).toISOString().slice(0, 23) === ts.slice(0, 23); +} + +// Запрос выбирает limit + 1 строк: лишняя строка означает, что следующая страница есть. +export function page(rows: T[], limit: number, kind: string, scope: string) { + const items = rows.slice(0, limit); + const last = items[limit - 1]; + const next = rows.length > limit ? Buffer.from([kind, scope, last.created_at, last.id].join('|')).toString('base64url') : null; + return { items, next_cursor: next }; +} diff --git a/src/http/request.ts b/src/http/request.ts new file mode 100644 index 0000000..52101b0 --- /dev/null +++ b/src/http/request.ts @@ -0,0 +1,60 @@ +// Разбор и проверка входных данных запроса. +import type { IncomingMessage } from 'node:http'; +import { badRequest, tooLarge, unsupported } from './errors.ts'; + +const BODY_LIMIT = 1 << 20; // 1 MiB: с запасом для 4000 символов в худшем JSON-экранировании +export const UUID = /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/i; + +// Тело запроса как JSON: только application/json, строгий UTF-8, ограничение размера. +export async function readJson(req: IncomingMessage): Promise { + if (mediaType(req) !== 'application/json') throw unsupported('Ожидается application/json'); + const chunks: Buffer[] = []; + let size = 0; + for await (const chunk of req) { + size += chunk.length; + if (size > BODY_LIMIT) throw tooLarge('Слишком большое тело запроса'); + chunks.push(chunk); + } + try { + return JSON.parse(new TextDecoder('utf-8', { fatal: true }).decode(Buffer.concat(chunks))); + } catch { + throw badRequest('Некорректный JSON'); + } +} + +// Тип тела без параметров (charset и т.п.), в нижнем регистре. +export function mediaType(req: IncomingMessage): string { + return (req.headers['content-type'] ?? '').split(';')[0].trim().toLowerCase(); +} + +// Для эндпоинтов без тела: любое непустое тело — 400, а не молча игнорируется. +export async function requireEmptyBody(req: IncomingMessage): Promise { + let size = 0; + for await (const chunk of req) { + size += chunk.length; + if (size > BODY_LIMIT) break; + } + if (size > 0) throw badRequest('Тело запроса не допускается'); +} + +// JSON-объект только с разрешёнными ключами: лишние поля по контракту дают 400. +export function jsonObject(value: unknown, keys: string[]): Record { + if (typeof value !== 'object' || value === null || Array.isArray(value) || Object.keys(value).some((k) => !keys.includes(k))) { + throw badRequest('Ожидается JSON-объект без лишних полей'); + } + return value as Record; +} + +// Обязательная строка: не только пробелы, длина в Unicode code points (эмодзи = 1 символ). +export function isText(v: unknown, min: number, max: number): v is string { + if (typeof v !== 'string' || v.trim() === '') return false; + const n = [...v].length; + return n >= min && n <= max; +} + +// UUID из пути в каноническом нижнем регистре. +export function uuidParam(c: { params: string[] }, name: string): string { + const value = c.params[0]; + if (!UUID.test(value)) throw badRequest(`Некорректный ${name}`); + return value.toLowerCase(); +} diff --git a/src/jobs/admin.ts b/src/jobs/admin.ts new file mode 100644 index 0000000..a7930e8 --- /dev/null +++ b/src/jobs/admin.ts @@ -0,0 +1,88 @@ +// Операторские команды над заданиями (выполняются в контейнере api: docker compose exec api node src/main.ts …). +// failed — реестр failed (аналог DLQ): job, вложение, код ошибки, попытки +// replay — failed → queued: новая попытка той же логической job с аудитом; +// для done/queued/processing — отказ (повтор не дублирует успешную работу) +// reprocess --version=N — поставить job версии N для ready-вложений с более старой версией (трек 5); +// вложения в работе не затрагиваются — после разбора очереди команду повторяют +// show — вложение, его jobs, попытки в outbox (время следующей), replay-аудит, варианты +import type { Pool } from 'pg'; +import { UUID } from '../http/request.ts'; + +export async function adminCommand(db: Pool, args: string[]): Promise { + const [cmd, arg] = args; + if (cmd === 'failed') { + const r = await db.query(`SELECT j.job_id, j.attachment_id, j.pipeline_version, j.attempts, j.error_code, rfc3339(j.updated_at) AS failed_at +FROM jobs j WHERE j.state = 'failed' ORDER BY j.updated_at`); + for (const row of r.rows) console.log(JSON.stringify(row)); + console.log(JSON.stringify({ failed: r.rowCount })); + } else if (cmd === 'replay') { + if (!UUID.test(arg ?? '')) throw new Error('replay '); + console.log(JSON.stringify(await replay(db, arg.toLowerCase()))); + } else if (cmd === 'reprocess') { + const version = Number(args.find((a) => a.startsWith('--version='))?.split('=')[1]); + if (!Number.isInteger(version) || version < 1) throw new Error('reprocess --version=N'); + const r = await db.query(`WITH j AS ( + INSERT INTO jobs (job_id, attachment_id, pipeline_version) + SELECT gen_random_uuid(), a.id, $1 FROM attachments a WHERE a.state = 'ready' AND a.pipeline_version < $1 + ON CONFLICT (attachment_id, pipeline_version) DO NOTHING RETURNING job_id) +INSERT INTO outbox (job_id, attempt) SELECT job_id, 1 FROM j`, [version]); + console.log(JSON.stringify({ reprocess_version: version, enqueued: r.rowCount })); + } else if (cmd === 'show') { + if (!UUID.test(arg ?? '')) throw new Error('show '); + const q = async (sql: string) => (await db.query(sql, [arg.toLowerCase()])).rows; + console.log(JSON.stringify({ + attachment: (await q(`SELECT id, state, pipeline_version, error_code, staging_key IS NOT NULL AS has_staging +FROM attachments WHERE id = $1`))[0] ?? null, + jobs: await q(`SELECT job_id, pipeline_version, state, attempts, error_code, rfc3339(lease_until) AS lease_until +FROM jobs WHERE attachment_id = $1 ORDER BY pipeline_version`), + outbox: await q(`SELECT j.pipeline_version, o.attempt, rfc3339(o.available_at) AS available_at, rfc3339(o.published_at) AS published_at +FROM outbox o JOIN jobs j ON j.job_id = o.job_id WHERE j.attachment_id = $1 ORDER BY o.id`), + replays: await q(`SELECT r.previous_error, r.previous_attempts, rfc3339(r.replayed_at) AS replayed_at +FROM job_replays r JOIN jobs j ON j.job_id = r.job_id WHERE j.attachment_id = $1 ORDER BY r.replayed_at`), + variants: await q(`SELECT pipeline_version, name, width, height, size_bytes, left(sha256, 12) AS sha256 +FROM attachment_variants WHERE attachment_id = $1 ORDER BY pipeline_version, name`), + })); + } else { + throw new Error('jobs failed | replay | reprocess --version=N | show '); + } +} + +async function replay(db: Pool, attachmentId: string) { + const client = await db.connect(); + try { + await client.query('BEGIN'); + const j = (await client.query(`SELECT j.job_id, j.state, j.attempts, j.error_code, a.pipeline_version IS NULL AS initial +FROM jobs j JOIN attachments a ON a.id = j.attachment_id +WHERE j.attachment_id = $1 ORDER BY j.pipeline_version DESC LIMIT 1 FOR UPDATE OF j`, [attachmentId])).rows[0]; + if (!j) throw new Error('у вложения нет заданий'); + if (j.state !== 'failed') { + await client.query('ROLLBACK'); + return { replayed: false, reason: `job в состоянии ${j.state}: повтор не нужен` }; + } + // Staging failed-вложения хранится STAGING_RETENTION_SECONDS; после очистки повторять нечего. + if (j.initial) { + const s = await client.query(`SELECT 1 FROM attachments WHERE id = $1 AND staging_key IS NOT NULL`, [attachmentId]); + if (!s.rowCount) throw new Error('исходник недоступен'); + } + await client.query('INSERT INTO job_replays (job_id, previous_error, previous_attempts) VALUES ($1, $2, $3)', [j.job_id, j.error_code, j.attempts]); + // Новая серия попыток той же логической job: прежний эффект защищён ключом (attachment_id, version, name). + // created_at — момент повторного приёма: time-to-ready и возраст задания (lag alert) считаются от replay, + // а не от исходной загрузки, уже учтённой в SLO как failed. + await client.query(`UPDATE jobs SET state = 'queued', attempts = 0, error_code = NULL, created_at = clock_timestamp(), + updated_at = clock_timestamp() WHERE job_id = $1`, [j.job_id]); + // Trace context последней публикации: повтор оператора виден в том же trace, что и исходная загрузка. + await client.query(`INSERT INTO outbox (job_id, attempt, traceparent, tracestate) +SELECT $1, 1, l.traceparent, l.tracestate FROM (SELECT 1) one +LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = $1 ORDER BY id DESC LIMIT 1) l ON true`, [j.job_id]); + if (j.initial) { + await client.query(`UPDATE attachments SET state = 'queued', error_code = NULL, updated_at = clock_timestamp() WHERE id = $1 AND state = 'failed'`, [attachmentId]); + } + await client.query('COMMIT'); + return { replayed: true, job_id: j.job_id, previous_error: j.error_code, previous_attempts: j.attempts }; + } catch (err) { + await client.query('ROLLBACK').catch(() => {}); + throw err; + } finally { + client.release(); + } +} diff --git a/src/jobs/broker.ts b/src/jobs/broker.ts new file mode 100644 index 0000000..2f86edb --- /dev/null +++ b/src/jobs/broker.ts @@ -0,0 +1,98 @@ +// RabbitMQ: формат сообщения job (contracts/jobs.schema.json), публикация с publisher confirm. +// Топология (exchange attachments → quorum-очередь attachments.process) и пользователи создаются из +// definitions при старте брокера (scripts/init-secrets.sh); у API право только писать в exchange. +import amqp, { type ChannelModel, type ConfirmChannel } from 'amqplib'; +import { serviceTls } from '../security.ts'; +import { UUID } from '../http/request.ts'; +import { log } from '../otel.ts'; + +export const EXCHANGE = 'attachments'; +export const ROUTING_KEY = 'process'; +export const QUEUE = 'attachments.process'; + +// В сообщении только идентификаторы: ни байтов, ни ключей S3, ни credentials. Worker берёт данные из БД. +export type Job = { + schema_version: 1; + job_id: string; + type: 'attachment.process.v1'; + attachment_id: string; + pipeline_version: number; + attempt: number; + created_at: string; + traceparent?: string; // W3C trace context PRODUCER span (lab6), см. src/jobs/relay.ts + tracestate?: string; +}; + +const TRACEPARENT = /^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$/; + +// Проверка входящего сообщения по jobs.schema.json; null — сообщение не по контракту. +export function parseJob(content: Buffer): Job | null { + let j: Record; + try { + j = JSON.parse(content.toString('utf8')); + } catch { + return null; + } + const keys = ['schema_version', 'job_id', 'type', 'attachment_id', 'pipeline_version', 'attempt', 'created_at', 'traceparent', 'tracestate']; + const ok = typeof j === 'object' && j !== null && Object.keys(j).every((k) => keys.includes(k)) + && j.schema_version === 1 && j.type === 'attachment.process.v1' + && typeof j.job_id === 'string' && UUID.test(j.job_id) && typeof j.attachment_id === 'string' && UUID.test(j.attachment_id) + && Number.isInteger(j.pipeline_version) && (j.pipeline_version as number) >= 1 + && Number.isInteger(j.attempt) && (j.attempt as number) >= 1 + && typeof j.created_at === 'string' && !Number.isNaN(Date.parse(j.created_at)) + && (j.traceparent === undefined || (typeof j.traceparent === 'string' && TRACEPARENT.test(j.traceparent))) + && (j.tracestate === undefined || (typeof j.tracestate === 'string' && j.tracestate.length <= 512)); + return ok ? (j as unknown as Job) : null; +} + +export function brokerConnect(timeout: number) { + return amqp.connect('amqps://rabbitmq:5671/messenger?heartbeat=10', { + ...serviceTls(), timeout, credentials: amqp.credentials.external(), + }); +} + +export type Publisher = { publish(jobs: Job[]): Promise }; + +// Ленивое соединение: брокер может быть недоступен — тогда publish бросает ошибку, а задания остаются в outbox. +export function createPublisher(): Publisher { + let channel: Promise | null = null; + let conn: ChannelModel | null = null; + const open = async () => { + conn = await brokerConnect(2000); + const reset = () => { channel = null; }; + conn.on('error', reset); + conn.on('close', reset); + const ch = await conn.createConfirmChannel(); + ch.on('error', reset); + ch.on('close', reset); + // mandatory + return: сообщение без маршрута (сломана топология) не исчезает молча. + ch.on('return', (m) => log('error', 'broker.unroutable', `брокер вернул неотмаршрутизированное сообщение ${m.properties.messageId}`)); + return ch; + }; + return { + async publish(jobs) { + channel ??= open().catch((err) => { channel = null; throw err; }); + const ch = await channel; + for (const job of jobs) { + ch.publish(EXCHANGE, ROUTING_KEY, Buffer.from(JSON.stringify(job)), { + persistent: true, mandatory: true, contentType: 'application/json', messageId: `${job.job_id}:${job.attempt}`, + }); + } + // Publisher confirm: брокер записал сообщения в quorum-очередь (на диск). Только после этого outbox отмечается. + // Зависший брокер не держит транзакцию relay вечно: через 5 с соединение закрывается, строки остаются в outbox. + let timer: NodeJS.Timeout | undefined; + const timeout = new Promise((_, reject) => { + timer = setTimeout(() => { + channel = null; + conn?.close().catch(() => {}); + reject(new Error('нет publisher confirm за 5 с')); + }, 5000); + }); + try { + await Promise.race([ch.waitForConfirms(), timeout]); + } finally { + clearTimeout(timer); + } + }, + }; +} diff --git a/src/jobs/metrics.ts b/src/jobs/metrics.ts new file mode 100644 index 0000000..4bcf85d --- /dev/null +++ b/src/jobs/metrics.ts @@ -0,0 +1,22 @@ +// Метрики заданий (contracts/observability.md), общие для API (relay, sweeper) и worker. +// Атрибуты только низкой кардинальности: тип job, исход, код ошибки; идентификаторы — в логах и spans. +import { meter } from '../otel.ts'; + +export const JOB_TYPE = 'attachment.process.v1'; + +// Длительность одной обработки сообщения worker-ом; _count по outcome — счётчик обработанных/ошибочных jobs. +// outcome: done | retry | failed | noop | discarded | error (сбой вне попытки, сообщение вернётся в очередь). +export const jobDuration = meter.createHistogram('messenger.job.duration', { + unit: 's', + description: 'Processing time of one job delivery by the worker', + advice: { explicitBucketBoundaries: [0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60] }, +}); + +// От durable acceptance (COMMIT задания при загрузке) до публикации ready (outcome=ready) или до терминальной +// ошибки (outcome=failed, error.type = error_code). Время считает PostgreSQL одними часами для обеих точек. +// Граница 30 с совпадает с порогом SLO time-to-ready (infra/prometheus/rules/slo.yml). +export const timeToReady = meter.createHistogram('messenger.attachment.time_to_ready', { + unit: 's', + description: 'Time from durable upload acceptance to published ready (or terminal failure)', + advice: { explicitBucketBoundaries: [0.5, 1, 2, 5, 10, 15, 30, 60, 120, 300, 600] }, +}); diff --git a/src/jobs/relay.ts b/src/jobs/relay.ts new file mode 100644 index 0000000..70ee156 --- /dev/null +++ b/src/jobs/relay.ts @@ -0,0 +1,184 @@ +// Relay transactional outbox → RabbitMQ и восстановление зависшей работы. Работает в каждой реплике API. +// publishDue: строки outbox, у которых наступил available_at, блокируются FOR UPDATE SKIP LOCKED (две реплики +// не публикуют одну строку одновременно), публикуются с publisher confirm и только потом отмечаются. +// Падение после confirm, но до отметки → повторная публикация → дубль, который worker распознаёт по job. +// sweep: истёкшая аренда (worker умер/завис) → новая попытка или failed retry_exhausted; queued без живого +// сообщения (потеряно брокером, отброшено delivery-limit) → публикуется снова. Источник истины — БД. +// Lab6: каждое сообщение публикуется в PRODUCER span, дочернем к контексту строки outbox (запрос загрузки, +// попытка worker-а или, у sweeper, предыдущая публикация той же job), и несёт traceparent/tracestate этого span +// в теле (contracts/jobs.schema.json) — worker продолжает тот же trace. Здесь же метрики очереди по БД. +import { ROOT_CONTEXT, SpanKind, SpanStatusCode, context, trace, type Span } from '@opentelemetry/api'; +import type { Pool, PoolClient, QueryConfig } from 'pg'; +import type { JobsConfig } from '../config.ts'; +import { failpoint } from '../failpoints.ts'; +import { contextFrom, log, meter, traceCarrier, tracer } from '../otel.ts'; +import { EXCHANGE, QUEUE, ROUTING_KEY, type Job, type Publisher } from './broker.ts'; +import { JOB_TYPE, timeToReady } from './metrics.ts'; + +const BATCH = 100; + +export function startRelay(db: Pool, publisher: Publisher, cfg: JobsConfig) { + let busy = false; + let again = false; + let failing = false; // лог ошибки брокера один раз на серию, а не каждые 500 мс + + async function publishBatch(client: PoolClient): Promise { + const r = await client.query(`SELECT o.id, o.attempt, o.traceparent, o.tracestate, rfc3339(o.created_at) AS created_at, + j.job_id, j.attachment_id, j.pipeline_version, a.filename +FROM outbox o JOIN jobs j ON j.job_id = o.job_id JOIN attachments a ON a.id = j.attachment_id +WHERE o.published_at IS NULL AND o.available_at <= clock_timestamp() +ORDER BY o.id LIMIT ${BATCH} FOR UPDATE OF o SKIP LOCKED`); + if (!r.rowCount) return 0; + const spans: Span[] = []; + const jobs: Job[] = r.rows.map((row) => { + const parent = contextFrom(row); + const span = tracer.startSpan(`publish ${EXCHANGE}`, { + kind: SpanKind.PRODUCER, + attributes: { + 'messaging.system': 'rabbitmq', 'messaging.operation.type': 'send', 'messaging.operation.name': 'publish', + 'messaging.destination.name': EXCHANGE, 'messaging.rabbitmq.destination.routing_key': ROUTING_KEY, + 'messaging.message.id': `${row.job_id}:${row.attempt}`, 'messenger.job.id': row.job_id, + 'messenger.job.attempt': row.attempt, 'messenger.attachment.id': row.attachment_id, + }, + }, parent); + spans.push(span); + const { traceparent, tracestate } = traceCarrier(trace.setSpan(parent, span)); + return { + schema_version: 1, job_id: row.job_id, type: JOB_TYPE, attachment_id: row.attachment_id, + pipeline_version: row.pipeline_version, attempt: row.attempt, created_at: row.created_at, + ...(traceparent ? { traceparent } : {}), ...(tracestate ? { tracestate } : {}), + }; + }); + try { + await publisher.publish(jobs); + } catch (err) { + for (const span of spans) { + span.recordException({ name: (err as Error).name, message: 'Ошибка публикации' }); + span.setStatus({ code: SpanStatusCode.ERROR, message: 'не опубликовано, строка остаётся в outbox' }); + span.end(); + } + throw err; + } + spans.forEach((span, i) => { + context.with(trace.setSpan(context.active(), span), () => log('info', 'job.published', + `job опубликована в ${EXCHANGE}, попытка ${jobs[i].attempt}`, + { 'messenger.job.id': jobs[i].job_id, 'messenger.job.attempt': jobs[i].attempt, 'messenger.attachment.id': jobs[i].attachment_id })); + span.end(); + }); + for (const row of r.rows) await failpoint(db, 'relay_after_publish', row.attachment_id, row.filename); + await client.query('UPDATE outbox SET published_at = clock_timestamp() WHERE id = ANY($1::bigint[])', [r.rows.map((row) => row.id)]); + return r.rows.length; + } + + async function publishDue(): Promise { + if (busy) { + again = true; + return; + } + busy = true; + try { + do { + again = false; + const client = await db.connect(); + try { + await client.query('BEGIN'); + const n = await publishBatch(client); + await client.query('COMMIT'); + if (failing) log('info', 'relay.publish_restored', 'relay: публикация восстановлена'); + failing = false; + if (n === BATCH) again = true; + } catch (err) { + await client.query('ROLLBACK').catch(() => {}); + if (!failing) log('warn', 'relay.publish_deferred', `relay: публикация отложена, задания ждут в outbox: ${(err as Error).message}`); + failing = true; + again = false; + } finally { + client.release(); + } + } while (again); + } catch (err) { + if (!failing) log('error', 'relay.db_unavailable', `relay: нет соединения с БД: ${(err as Error).message}`); + failing = true; + } finally { + busy = false; + } + } + + async function sweep(): Promise { + let client: PoolClient | undefined; + let exhausted: { age: number }[] = []; + try { + client = await db.connect(); + await client.query('BEGIN'); + // Одна реплика за раз: остальные пропускают такт. + if ((await client.query('SELECT pg_try_advisory_xact_lock(5005) AS ok')).rows[0].ok) { + const r = await client.query(`WITH e AS ( + UPDATE jobs SET state = CASE WHEN attempts >= $1 THEN 'failed' ELSE 'queued' END, + error_code = CASE WHEN attempts >= $1 THEN 'retry_exhausted' END, + lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp() + WHERE state = 'processing' AND lease_until < clock_timestamp() + RETURNING job_id, attachment_id, state, attempts, error_code, extract(epoch FROM clock_timestamp() - created_at)::float8 AS age), +s AS (UPDATE attachments a SET state = e.state, error_code = e.error_code, updated_at = clock_timestamp() FROM e + WHERE a.id = e.attachment_id AND a.pipeline_version IS NULL AND a.state IN ('queued', 'processing') RETURNING a.id), +o AS (INSERT INTO outbox (job_id, attempt, traceparent, tracestate) + SELECT e.job_id, e.attempts + 1, l.traceparent, l.tracestate FROM e + LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = e.job_id ORDER BY id DESC LIMIT 1) l ON true + WHERE e.state = 'queued') +SELECT e.state, e.age, s.id IS NOT NULL AS initial FROM e LEFT JOIN s ON s.id = e.attachment_id`, [cfg.maxAttempts]); + // Повторная публикация продолжает trace предыдущей: контекст копируется из последней строки outbox job. + const stale = await client.query(`INSERT INTO outbox (job_id, attempt, traceparent, tracestate) +SELECT j.job_id, j.attempts + 1, l.traceparent, l.tracestate FROM jobs j +LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = j.job_id ORDER BY id DESC LIMIT 1) l ON true +WHERE j.state = 'queued' AND NOT EXISTS (SELECT 1 FROM outbox o WHERE o.job_id = j.job_id + AND (o.published_at IS NULL OR o.published_at > clock_timestamp() - make_interval(secs => $1)))`, [cfg.republishSeconds]); + const requeued = r.rows.filter((row) => row.state === 'queued').length; + const failed = r.rows.filter((row) => row.state === 'failed'); + exhausted = failed.filter((row) => row.initial); + if (requeued || failed.length || stale.rowCount) { + log('warn', 'sweeper.recovered', `sweeper: аренда истекла — повтор ${requeued}, failed ${failed.length}; переопубликовано queued ${stale.rowCount}`, + { requeued, failed: failed.length, republished: stale.rowCount ?? 0 }); + } + } + await client.query('COMMIT'); + // Исчерпание попыток после смерти worker-ов — терминальная ошибка для SLO time-to-ready (после COMMIT). + for (const row of exhausted) timeToReady.record(row.age, { 'job.type': JOB_TYPE, outcome: 'failed', 'error.type': 'retry_exhausted' }); + } catch (err) { + await client?.query('ROLLBACK').catch(() => {}); + log('error', 'sweeper.error', `sweeper: ${(err as Error).message}`); + } finally { + client?.release(); + } + if (!failing) void publishDue(); + } + + // Очередь по источнику истины (БД): видна и при остановленном worker (растёт возраст), и при недоступном брокере + // (копится outbox). Каждая реплика API сообщает одно и то же — в PromQL берётся max по репликам. + const attrs = { queue: QUEUE }; + const backlog = meter.createObservableGauge('messenger.jobs.backlog', { unit: '{job}', description: 'Unfinished jobs by state' }); + const oldest = meter.createObservableGauge('messenger.jobs.oldest_age', { unit: 's', description: 'Age of the oldest unfinished job since durable acceptance' }); + const pending = meter.createObservableGauge('messenger.outbox.pending', { unit: '{message}', description: 'Outbox rows not yet confirmed by the broker' }); + meter.addBatchObservableCallback(async (result) => { + try { + // query_timeout — на клиенте: statement_timeout сервера не сработает, если PostgreSQL заморожен; зависший сбор + // задержал бы экспорт всех метрик API и занял соединение пула. При ошибке пул закрывает это соединение. + const q = (await db.query({ query_timeout: 2000, text: `SELECT count(*) FILTER (WHERE state = 'queued')::int AS queued, + count(*) FILTER (WHERE state = 'processing')::int AS processing, + COALESCE(extract(epoch FROM clock_timestamp() - min(created_at)), 0)::float8 AS oldest, + (SELECT count(*)::int FROM outbox WHERE published_at IS NULL) AS pending +FROM jobs WHERE state IN ('queued', 'processing')` } as QueryConfig)).rows[0]; // query_timeout нет в @types/pg QueryConfig + result.observe(backlog, q.queued, { ...attrs, state: 'queued' }); + result.observe(backlog, q.processing, { ...attrs, state: 'processing' }); + result.observe(oldest, q.oldest, attrs); + result.observe(pending, q.pending, attrs); + } catch { + // БД недоступна: точек нет, на графике разрыв; причину покажут ошибки API и readiness. + } + }, [backlog, oldest, pending]); + + const timers = [setInterval(publishDue, 500), setInterval(sweep, 5000)]; + return { + // Вне контекста запроса: пакет может содержать задания разных загрузок, его SQL не относится к этому trace. + kick: () => context.with(ROOT_CONTEXT, () => void publishDue()), + stop: () => timers.forEach(clearInterval), + }; +} diff --git a/src/jobs/render.ts b/src/jobs/render.ts new file mode 100644 index 0000000..ff335bc --- /dev/null +++ b/src/jobs/render.ts @@ -0,0 +1,84 @@ +// Варианты изображения (libvips через sharp). Параметры зависят от версии pipeline; результат версии N +// всегда один и тот же набор: thumbnail, crop, optimized. +// thumbnail — JPEG, вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом, +// размеры округляются вниз (не меньше 1 px): 320×200 → 256×160; +// crop — JPEG, центрированный квадрат 128×128 (маленький исходник увеличивается); +// optimized — WebP, вписан в 1280×1280 без увеличения; метаданные (EXIF/XMP/ICC) не копируются — sharp +// по умолчанию их отбрасывает, цвета приводятся к sRGB. +// Ограничения: пиксели проверяются по заголовку до декодирования (limitInputPixels), время — timeout libvips, +// память — один поток libvips на процесс, без кэша операций, и лимит памяти контейнера worker. +import { createHash } from 'node:crypto'; +import sharp, { type Sharp } from 'sharp'; + +sharp.cache(false); +sharp.concurrency(1); + +export class PermanentError extends Error { + code: string; + constructor(code: string, message: string) { + super(message); + this.code = code; + } +} + +// Версия 2 (трек 5): другое качество и лёгкая резкость — заметно иной результат той же логической работы. +const PIPELINES: Record = { + 1: { jpeg: 82, webp: 80, sharpen: false }, + 2: { jpeg: 90, webp: 85, sharpen: true }, +}; +export const SUPPORTED_VERSIONS = Object.keys(PIPELINES).map(Number); + +export type Rendered = { + name: 'thumbnail' | 'crop' | 'optimized'; + content_type: 'image/jpeg' | 'image/webp'; + ext: string; + data: Buffer; + width: number; + height: number; + size_bytes: number; + sha256: string; +}; + +export async function render(source: Buffer, version: number, maxPixels: number, timeoutSeconds: number): Promise { + const p = PIPELINES[version]; + if (!p) throw new PermanentError('unsupported_pipeline', `pipeline v${version} не поддерживается`); + const input = () => sharp(source, { limitInputPixels: maxPixels, sequentialRead: true }).timeout({ seconds: timeoutSeconds }); + try { + const meta = await input().metadata(); + if (!meta.width || !meta.height || !['png', 'jpeg'].includes(meta.format ?? '')) throw new PermanentError('invalid_image', 'не PNG/JPEG'); + const turned = (meta.orientation ?? 1) >= 5; // EXIF 5–8: после поворота ширина и высота меняются местами + const width = turned ? meta.height : meta.width; + const height = turned ? meta.width : meta.height; + const inside = (box: number) => { + const k = Math.min(box / width, box / height, 1); + return [Math.max(1, Math.floor(width * k)), Math.max(1, Math.floor(height * k))]; + }; + const [tw, th] = inside(256); + const [ow, oh] = inside(1280); + const oriented = () => { + const img = input().autoOrient(); + return p.sharpen ? img.sharpen() : img; + }; + return [ + await output('thumbnail', oriented().flatten({ background: '#ffffff' }).resize(tw, th, { fit: 'fill' }).jpeg({ quality: p.jpeg, mozjpeg: true })), + await output('crop', oriented().flatten({ background: '#ffffff' }).resize(128, 128, { fit: 'cover', position: 'centre' }).jpeg({ quality: p.jpeg, mozjpeg: true })), + await output('optimized', oriented().resize(ow, oh, { fit: 'fill' }).webp({ quality: p.webp, effort: 4 })), + ]; + } catch (err) { + if (err instanceof PermanentError) throw err; + const message = (err as Error).message ?? ''; + // Ошибки libvips — свойство входного файла: повтор не поможет. + throw /timeout/i.test(message) + ? new PermanentError('processing_timeout', 'обработка дольше лимита') + : new PermanentError('invalid_image', message.split('\n')[0].slice(0, 200)); + } +} + +async function output(name: Rendered['name'], img: Sharp): Promise { + const { data, info } = await img.toBuffer({ resolveWithObject: true }); + const webp = info.format === 'webp'; + return { + name, content_type: webp ? 'image/webp' : 'image/jpeg', ext: webp ? 'webp' : 'jpg', data, + width: info.width, height: info.height, size_bytes: data.length, sha256: createHash('sha256').update(data).digest('hex'), + }; +} diff --git a/src/jobs/worker.ts b/src/jobs/worker.ts new file mode 100644 index 0000000..b52100d --- /dev/null +++ b/src/jobs/worker.ts @@ -0,0 +1,340 @@ +// Worker: отдельный процесс, читает quorum-очередь attachments.process (at least once, ручной ack). +// Порядок одной попытки — каждое окно отказа безопасно: +// 1. захват: jobs queued → processing, attempts+1, аренда с fencing-токеном (одна транзакция); +// 2. исходник из S3 (ключ — из БД, не из сообщения), сверка размера и SHA-256 с метаданными; +// 3. рендер вариантов; запись объектов под ключами с токеном попытки; копия оригинала staging → originals; +// 4. фиксация (одна транзакция): job done только у владельца аренды, вложение ready только если более новая +// версия ещё не опубликована, строки вариантов по ключу эффекта (attachment_id, pipeline_version, name); +// 5. удаление staging, затем ack. +// Падение до 4 — аренда истечёт, sweeper (relay) вернёт работу в очередь; чужие объекты попытки уберёт +// reconciler. Падение после 4 — redelivery видит job done и подтверждает без повторной работы. +// Lab6: сообщение обрабатывается в CONSUMER span, дочернем к PRODUCER span из traceparent сообщения (тот же trace, +// что и загрузка); внутри — spans захвата, S3, рендера и фиксации. Повтор сохраняет контекст попытки в outbox, +// поэтому следующие публикация и обработка продолжают этот trace. +import { createHash, randomUUID } from 'node:crypto'; +import { setTimeout as sleep } from 'node:timers/promises'; +import { SpanKind, SpanStatusCode, context, trace } from '@opentelemetry/api'; +import type { ConsumeMessage } from 'amqplib'; +import type { Pool } from 'pg'; +import { envInt, jobsConfig, s3Config, secret } from '../config.ts'; +import { createPool } from '../db.ts'; +import { failpoint } from '../failpoints.ts'; +import { contextFrom, flushTelemetry, inSpan, log, meter, traceCarrier, tracer } from '../otel.ts'; +import { createStorage, type Storage } from '../storage/s3.ts'; +import { QUEUE, brokerConnect, parseJob, type Job } from './broker.ts'; +import { JOB_TYPE, jobDuration, timeToReady } from './metrics.ts'; +import { PermanentError, render } from './render.ts'; + +type Claim = { + job: Job; + token: string; + attempts: number; + version: number; + initial: boolean; // первая обработка (вложение ещё не ready): публикуем оригинал, синхронизируем статус + a: { id: string; filename: string; staging_key: string; object_key: string; size_bytes: number; sha256: string }; +}; + +// Исход обработки одного сообщения: атрибут span и метрики messenger.job.duration. +type Outcome = 'done' | 'retry' | 'failed' | 'noop' | 'discarded' | 'invalid' | 'error'; + +// Технические идентификаторы для логов/spans: нужны, чтобы найти конкретную загрузку (данные синтетические). +const ids = (c: Claim) => ({ 'messenger.job.id': c.job.job_id, 'messenger.job.attempt': c.attempts, 'messenger.attachment.id': c.a.id }); + +export async function runWorker(): Promise { + const cfg = jobsConfig(); + const concurrency = envInt('WORKER_CONCURRENCY', 2); + const maxPixels = envInt('MAX_IMAGE_PIXELS', 40000000); + const db = createPool(secret('DATABASE_URL'), concurrency + 2); + const s3 = createStorage(s3Config()); + const conn = await connect(); + let stopping = false; + // Потеря соединения или канала (в том числе consumer_timeout брокера) — выход; Docker перезапустит процесс, + // неподтверждённые сообщения брокер отдаст снова. + const lost = (what: string) => () => { + if (stopping) return; + log('error', 'worker.broker_lost', `${what} с брокером закрыт(о)`); + void flushTelemetry().finally(() => process.exit(1)); + }; + conn.on('close', lost('соединение')); + conn.on('error', (err) => log('error', 'worker.broker_error', `брокер: ${err.name}`)); + const ch = await conn.createChannel(); + ch.on('close', lost('канал')); + ch.on('error', (err) => log('error', 'worker.channel_error', `канал: ${err.name}`)); + await ch.prefetch(concurrency); // не больше concurrency неподтверждённых сообщений на worker + const leaseSeconds = cfg.timeoutSeconds + 15; + let inflight = 0; + // Насыщение worker-а: занятые слоты и ёмкость (= prefetch) каждой реплики. + meter.createObservableGauge('messenger.worker.busy', { unit: '{job}', description: 'Jobs being processed now' }) + .addCallback((r) => r.observe(inflight)); + meter.createObservableGauge('messenger.worker.capacity', { unit: '{job}', description: 'Max concurrent jobs (prefetch)' }) + .addCallback((r) => r.observe(concurrency)); + + const opts = { cfg, maxPixels, leaseSeconds }; + const { consumerTag } = await ch.consume(QUEUE, (msg) => { + if (!msg) return; // очередь удалена или consumer отменён брокером + inflight++; + consume(db, s3, msg, opts) + .then(() => ch.ack(msg), async () => { + // Сюда попадают только сбои БД/брокера вне попытки (например, БД недоступна при захвате): вернуть позже. + await sleep(2000); + ch.nack(msg, false, true); + }) + .finally(() => { inflight--; }); + }, { noAck: false }); + log('info', 'worker.started', `worker: очередь ${QUEUE}, prefetch ${concurrency}, попыток ${cfg.maxAttempts}, таймаут ${cfg.timeoutSeconds} с`); + + const stop = async () => { + log('info', 'worker.stopping', 'SIGTERM: новые сообщения не принимаются, дожидаюсь текущих'); + await ch.cancel(consumerTag).catch(() => {}); + for (let i = 0; inflight && i < 100; i++) await sleep(100); + stopping = true; + await conn.close().catch(() => {}); + await flushTelemetry(); + process.exit(0); + }; + process.on('SIGTERM', stop); + process.on('SIGINT', stop); +} + +// Брокер недоступен при старте (рестарт брокера, worker поднят раньше) — ждать с backoff, а не падать в цикле. +async function connect() { + for (let delay = 1000; ; delay = Math.min(delay * 2, 15000)) { + try { + return await brokerConnect(5000); + } catch (err) { + log('warn', 'worker.broker_unavailable', `брокер недоступен (${(err as Error).name}), повтор через ${delay} мс`); + await sleep(delay); + } + } +} + +type Opts = { cfg: ReturnType; maxPixels: number; leaseSeconds: number }; + +// Одно сообщение — один CONSUMER span. Исключение (сбой вне попытки) пробрасывается: сообщение вернётся в очередь. +async function consume(db: Pool, s3: Storage, msg: ConsumeMessage, o: Opts): Promise { + const job = parseJob(msg.content); + const parent = contextFrom(job ?? {}); + const span = tracer.startSpan(`process ${QUEUE}`, { + kind: SpanKind.CONSUMER, + attributes: { + 'messaging.system': 'rabbitmq', 'messaging.operation.type': 'process', 'messaging.destination.name': QUEUE, + 'messaging.message.id': msg.properties.messageId ?? '', 'messenger.redelivered': msg.fields.redelivered, + ...(job ? { 'messenger.job.id': job.job_id, 'messenger.job.attempt': job.attempt, 'messenger.attachment.id': job.attachment_id } : {}), + }, + }, parent); + const ctx = trace.setSpan(parent, span); + const started = performance.now(); + let outcome: Outcome = 'error'; + try { + outcome = await context.with(ctx, () => handle(db, s3, job, o)); + } catch (err) { + span.recordException({ name: (err as Error).name, message: 'Ошибка обработки' }); + context.with(ctx, () => log('error', 'job.requeued', `job не обработан, вернётся в очередь: ${(err as Error).name}`, + { 'messenger.job.id': job?.job_id ?? '' })); + throw err; + } finally { + if (!['done', 'noop', 'discarded'].includes(outcome)) span.setStatus({ code: SpanStatusCode.ERROR }); + span.setAttribute('messenger.job.outcome', outcome); + span.end(); + jobDuration.record((performance.now() - started) / 1000, { 'job.type': JOB_TYPE, outcome }); + } +} + +// Ошибка бизнес-уровня здесь не бросается: она переводит job в retry/failed, сообщение подтверждается. +async function handle(db: Pool, s3: Storage, job: Job | null, o: Opts): Promise { + if (!job) { + log('error', 'job.invalid_message', 'сообщение не по jobs.schema.json отброшено'); + return 'invalid'; + } + const claim = await inSpan('claim job', {}, () => claimJob(db, job, o.leaseSeconds)); + if (!claim) return 'noop'; + const written: string[] = []; + let reason = 'storage_unavailable'; // безопасная причина временной ошибки (в jobs.error_code, без текста исключения) + try { + await failpoint(db, 'worker_after_claim', claim.a.id, claim.a.filename); // до любого side effect + const source = await readSource(s3, claim); + const variants = await inSpan('render variants', { 'messenger.pipeline.version': claim.version, 'messenger.source.bytes': claim.a.size_bytes }, + () => render(source, claim.version, o.maxPixels, o.cfg.timeoutSeconds)); + for (const v of variants) { + // Токен попытки в ключе: проигравшая аренду попытка не перезапишет объекты победителя. + const key = `variants/${claim.a.id}/v${claim.version}/${v.name}-${claim.token.slice(0, 8)}.${v.ext}`; + await s3.putBuffer(key, v.data, v.content_type); + written.push(key); + } + if (claim.initial) await s3.copy(claim.a.staging_key, claim.a.object_key); // тот же ключ при повторе + await failpoint(db, 'worker_after_side_effect', claim.a.id, claim.a.filename); + reason = 'database_unavailable'; + const age = await inSpan('commit result', {}, () => commit(db, claim, variants.map((v, i) => ({ ...v, key: written[i] })))); + if (age === null) { + await removeAll(s3, written); + return 'discarded'; + } + await failpoint(db, 'worker_after_commit', claim.a.id, claim.a.filename); // результат зафиксирован, ack ещё нет + // Staging больше не нужен; если удаление не удалось, остаток уберёт reconciler. + if (claim.initial) { + await s3.remove(claim.a.staging_key).catch((err) => log('warn', 'job.staging_not_removed', `staging не удалён: ${err.name}`, ids(claim))); + timeToReady.record(age, { 'job.type': JOB_TYPE, outcome: 'ready' }); + } + log('info', 'job.ready', `job v${claim.version} попытка ${claim.attempts}: ready через ${age.toFixed(2)} с после приёма`, + { ...ids(claim), 'messenger.time_to_ready_s': Math.round(age * 1000) / 1000 }); + return 'done'; + } catch (err) { + await removeAll(s3, written); + return failOrRetry(db, claim, err, o.cfg, reason); + } +} + +async function claimJob(db: Pool, job: Job, leaseSeconds: number): Promise { + const client = await db.connect(); + try { + await client.query('BEGIN'); + const token = randomUUID(); + // Захват только ожидаемой попытки: сообщение старой попытки (redelivery после падения) — no-op, + // живую аренду другого worker не трогаем — при его смерти работу вернёт sweeper. + const r = await client.query(`UPDATE jobs SET state = 'processing', attempts = attempts + 1, lease_token = $2, + lease_until = clock_timestamp() + make_interval(secs => $3), updated_at = clock_timestamp() +WHERE job_id = $1 AND attempts + 1 = $4 + AND (state = 'queued' OR (state = 'processing' AND lease_until < clock_timestamp())) +RETURNING attachment_id, pipeline_version, attempts`, [job.job_id, token, leaseSeconds, job.attempt]); + if (!r.rowCount) { + await client.query('COMMIT'); + const s = await db.query('SELECT state, attempts FROM jobs WHERE job_id = $1', [job.job_id]); + log('info', 'job.noop', `job попытка ${job.attempt}: no-op (${s.rows[0] ? `${s.rows[0].state}, попыток ${s.rows[0].attempts}` : 'неизвестная job'})`, + { 'messenger.job.id': job.job_id, 'messenger.job.attempt': job.attempt }); + return null; + } + const { attachment_id, pipeline_version, attempts } = r.rows[0]; + const a = (await client.query(`SELECT id, filename, staging_key, object_key, size_bytes, sha256, state, pipeline_version +FROM attachments WHERE id = $1 FOR UPDATE`, [attachment_id])).rows[0]; + // Результат этой или более новой версии уже опубликован: старая job не должна ничего перезаписать. + if (a.pipeline_version !== null && a.pipeline_version >= pipeline_version) { + await client.query(`UPDATE jobs SET state = 'superseded', lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp() +WHERE job_id = $1`, [job.job_id]); + await client.query('COMMIT'); + log('info', 'job.superseded', `job v${pipeline_version}: superseded (опубликована v${a.pipeline_version})`, { 'messenger.job.id': job.job_id }); + return null; + } + const initial = a.pipeline_version === null; + if (initial) await client.query(`UPDATE attachments SET state = 'processing', updated_at = clock_timestamp() WHERE id = $1 AND state = 'queued'`, [a.id]); + await client.query('COMMIT'); + return { job, token, attempts, version: pipeline_version, initial, a }; + } catch (err) { + await client.query('ROLLBACK').catch(() => {}); + throw err; + } finally { + client.release(); + } +} + +// Исходник: при первой обработке — staging, при переобработке новой версией — опубликованный оригинал. +// Читается не больше size_bytes + 1 байт и сверяется с доверенными метаданными из БД. +async function readSource(s3: Storage, claim: Claim): Promise { + const body = await s3.get(claim.initial ? claim.a.staging_key : claim.a.object_key); + if (!body) throw new PermanentError('source_missing', 'исходник отсутствует в S3'); + const chunks: Buffer[] = []; + let size = 0; + for await (const chunk of body) { + size += chunk.length; + if (size > claim.a.size_bytes) { + body.destroy(); + break; + } + chunks.push(chunk); + } + const data = Buffer.concat(chunks); + if (size !== claim.a.size_bytes || createHash('sha256').update(data).digest('hex') !== claim.a.sha256) { + throw new PermanentError('source_corrupted', 'исходник не совпадает с метаданными'); + } + return data; +} + +type Stored = { name: string; content_type: string; size_bytes: number; width: number; height: number; sha256: string; key: string }; + +// Возвращает секунды от приёма загрузки (jobs.created_at) до публикации ready или null, если результат отброшен. +async function commit(db: Pool, claim: Claim, variants: Stored[]): Promise { + const client = await db.connect(); + try { + await client.query('BEGIN'); + // Fencing: если аренда истекла и работу забрал другой worker, токен уже не совпадает. + const done = await client.query(`UPDATE jobs SET state = 'done', lease_token = NULL, lease_until = NULL, error_code = NULL, + updated_at = clock_timestamp() WHERE job_id = $1 AND lease_token = $2 AND state = 'processing' +RETURNING extract(epoch FROM clock_timestamp() - created_at)::float8 AS age`, [claim.job.job_id, claim.token]); + if (!done.rowCount) { + await client.query('ROLLBACK'); + log('warn', 'job.lease_lost', `job попытка ${claim.attempts}: аренда потеряна, результат отброшен`, ids(claim)); + return null; + } + const ready = await client.query(`UPDATE attachments SET state = 'ready', pipeline_version = $2, error_code = NULL, updated_at = clock_timestamp() +WHERE id = $1 AND (pipeline_version IS NULL OR pipeline_version < $2)`, [claim.a.id, claim.version]); + if (!ready.rowCount) { + await client.query(`UPDATE jobs SET state = 'superseded' WHERE job_id = $1`, [claim.job.job_id]); + await client.query('COMMIT'); + log('info', 'job.superseded', `job v${claim.version}: superseded при фиксации`, ids(claim)); + return null; + } + for (const v of variants) { + await client.query(`INSERT INTO attachment_variants (attachment_id, pipeline_version, name, object_key, content_type, size_bytes, width, height, sha256) +VALUES ($1, $2, $3, $4, $5, $6, $7, $8, $9)`, [claim.a.id, claim.version, v.name, v.key, v.content_type, v.size_bytes, v.width, v.height, v.sha256]); + } + await client.query('COMMIT'); + return done.rows[0].age; + } catch (err) { + await client.query('ROLLBACK').catch(() => {}); + throw err; + } finally { + client.release(); + } +} + +// Постоянная ошибка (свойство файла) → failed сразу. Временная → новая попытка через outbox с backoff и jitter, +// пока attempts < JOB_MAX_ATTEMPTS, затем failed retry_exhausted. Всё — только у владельца аренды. +// У job в error_code — последняя причина (и для queued), у вложения — только финальный код failed. +// Lab6: новая строка outbox несёт контекст текущего CONSUMER span — повтор продолжит тот же trace. +// Лог, исключение в span и метрика — только если UPDATE с fencing изменил job: проигравшая аренду попытка → discarded. +async function failOrRetry(db: Pool, claim: Claim, err: unknown, cfg: Opts['cfg'], reason: string): Promise<'retry' | 'failed' | 'discarded'> { + const permanent = err instanceof PermanentError ? err.code : null; + const exhausted = !permanent && claim.attempts >= cfg.maxAttempts; + const state = permanent || exhausted ? 'failed' : 'queued'; + const code = permanent ?? (exhausted ? 'retry_exhausted' : null); + const delayMs = Math.min(60000, cfg.retryBaseMs * 2 ** (claim.attempts - 1)) * (0.5 + Math.random() / 2); + const { traceparent, tracestate } = traceCarrier(); + const client = await db.connect(); + try { + await client.query('BEGIN'); + const r = await client.query(`UPDATE jobs SET state = $3, error_code = $4, lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp() +WHERE job_id = $1 AND lease_token = $2 RETURNING extract(epoch FROM clock_timestamp() - created_at)::float8 AS age`, + [claim.job.job_id, claim.token, state, code ?? reason]); + if (r.rowCount) { + if (state === 'queued') { + await client.query(`INSERT INTO outbox (job_id, attempt, available_at, traceparent, tracestate) +VALUES ($1, $2, clock_timestamp() + make_interval(secs => $3), $4, $5)`, [claim.job.job_id, claim.attempts + 1, delayMs / 1000, traceparent, tracestate]); + } + if (claim.initial) { + await client.query(`UPDATE attachments SET state = $2, error_code = $3, updated_at = clock_timestamp() +WHERE id = $1 AND pipeline_version IS NULL AND state IN ('queued', 'processing')`, [claim.a.id, state, code]); + } + } + await client.query('COMMIT'); + if (!r.rowCount) { + log('warn', 'job.lease_lost', `job попытка ${claim.attempts}: аренда потеряна, ошибка попытки отброшена`, ids(claim)); + return 'discarded'; + } + trace.getActiveSpan()?.recordException({ name: (err as Error).name, message: 'Ошибка задания' }); + log(state === 'failed' ? 'error' : 'warn', state === 'failed' ? 'job.failed' : 'job.retry', + `job попытка ${claim.attempts}: ${(err as Error).name} → ${state}${code ? ` ${code}` : `, повтор через ${Math.round(delayMs)} мс`}`, + { ...ids(claim), 'error.type': code ?? reason }); + if (state === 'failed' && claim.initial) { + timeToReady.record(r.rows[0].age, { 'job.type': JOB_TYPE, outcome: 'failed', 'error.type': code ?? reason }); + } + return state === 'failed' ? 'failed' : 'retry'; + } catch (e) { + await client.query('ROLLBACK').catch(() => {}); + throw e; // job останется processing: аренда истечёт и sweeper вернёт её + } finally { + client.release(); + } +} + +async function removeAll(s3: Storage, keys: string[]): Promise { + for (const key of keys) await s3.remove(key).catch(() => {}); // остаток уберёт reconciler +} diff --git a/src/main.ts b/src/main.ts new file mode 100644 index 0000000..6451d91 --- /dev/null +++ b/src/main.ts @@ -0,0 +1,106 @@ +// Точка входа мессенджера (лабораторная 7). +// Реплика не хранит состояния: пользователи, сессии, чаты, сообщения, ключи идемпотентности, метаданные +// вложений и задания (jobs, outbox) — в PostgreSQL, байты — в S3, поэтому запрос может обслужить любая реплика. +// node src/main.ts — HTTPS-сервер + relay outbox → RabbitMQ (src/jobs/relay.ts) +// node src/main.ts worker — обработка изображений из очереди (src/jobs/worker.ts, сервис worker) +// api и worker запускаются с --import ./src/telemetry.ts (OpenTelemetry SDK, см. Dockerfile и compose.yaml). +// node src/main.ts jobs … — операторские команды: failed | replay | reprocess --version=N +// node src/main.ts migrate — однократный прогон миграций (сервис migrate) +// node src/main.ts s3-init — идемпотентное создание приватного bucket ключом администратора (сервис s3-init) +// node src/main.ts reconcile — сверка БД ↔ S3, параметры в src/reconcile.ts (сервис reconciler) +import { createServer } from 'node:https'; +import { createServer as localServer } from 'node:http'; +import { setTimeout as sleep } from 'node:timers/promises'; +import { readFileSync } from 'node:fs'; +import { loadServiceSecrets, serviceTls } from './security.ts'; +import { createApp } from './app.ts'; +import { envInt, loadConfig, s3Config, secret } from './config.ts'; +import { createPool, migrate } from './db.ts'; +import { adminCommand } from './jobs/admin.ts'; +import { createPublisher } from './jobs/broker.ts'; +import { startRelay } from './jobs/relay.ts'; +import { runWorker } from './jobs/worker.ts'; +import { flushTelemetry, log } from './otel.ts'; +import { reconcileCommand } from './reconcile.ts'; +import { createStorage } from './storage/s3.ts'; + +async function serve(): Promise { + const config = loadConfig(); + const db = createPool(config.databaseUrl, config.dbPoolMax); + const relay = startRelay(db, createPublisher(), config.jobs); + const app = createApp(db, createStorage(config.s3), config, relay); + const server = createServer({ + ...serviceTls(), requestCert: true, + crl: readFileSync('/run/pki/crl.pem'), + }, app.handle); + server.prependListener('secureConnection', (socket) => { + if (socket.getPeerCertificate().subjectaltname !== 'DNS:lb-client') socket.destroy(); + }); + const health = localServer((_req, res) => res.writeHead(app.state.ready ? 204 : 503).end()).listen(8081, '127.0.0.1'); + server.headersTimeout = 5000; + server.requestTimeout = 60000; // 10 MiB на медленном канале; grace reconciler-а (15 мин) заведомо больше + server.keepAliveTimeout = 60000; + server.listen(config.port, config.host, () => + log('info', 'server.started', `реплика ${config.instanceId} слушает :${config.port}, пул БД ${config.dbPoolMax}`)); + + // Graceful shutdown: сначала readiness → 503 и пауза drain, пока LB не исключит реплику (fall × inter), + // при этом запросы ещё обслуживаются; затем перестаём принимать соединения и дожидаемся текущих запросов. + const stop = (signal: string) => { + if (!app.state.ready) return; + log('info', 'server.draining', `${signal}: readiness=503, drain ${config.shutdownDrainMs} мс`); + app.state.ready = false; + relay.stop(); + health.close(); + setTimeout(() => { + server.close(async () => { + await db.end(); + log('info', 'server.stopped', 'остановлена'); + await flushTelemetry(); // последние spans/логи/метрики — до выхода процесса + process.exit(0); + }); + server.closeIdleConnections(); + setTimeout(() => process.exit(1), 10000).unref(); // страховка от зависшего запроса + }, config.shutdownDrainMs); + }; + process.on('SIGTERM', () => stop('SIGTERM')); + process.on('SIGINT', () => stop('SIGINT')); +} + +// S3 может стартовать позже: повторяем до 30 с. Повторный запуск на готовом bucket ничего не меняет. +async function s3Init(): Promise { + const storage = createStorage(s3Config()); + for (let attempt = 1; ; attempt++) { + try { + console.log(`bucket ${storage.bucket}: ${await storage.createBucket()}`); // вывод проверяет scripts/check-s3-security.sh + return; + } catch (err) { + if (attempt >= 30) throw err; + await sleep(1000); + } + } +} + +const command = process.argv[2]; +if (process.env.BAO_ROLE) { + try { + await loadServiceSecrets(process.env.BAO_ROLE); + } catch { + log('error', 'secrets.startup_denied', 'OpenBao не выдал credentials'); + process.exit(1); + } +} +if (command === 'migrate') { + await migrate(secret('DATABASE_URL')); +} else if (command === 's3-init') { + await s3Init(); +} else if (command === 'worker') { + await runWorker(); +} else if (command === 'jobs') { + const db = createPool(secret('DATABASE_URL'), 2); + await adminCommand(db, process.argv.slice(3)); + await db.end(); +} else if (command === 'reconcile') { + await reconcileCommand(process.argv.slice(3), envInt('RECONCILE_GRACE_SECONDS', 900), envInt('STAGING_RETENTION_SECONDS', 86400)); +} else { + await serve(); +} diff --git a/src/migrations/001_init.sql b/src/migrations/001_init.sql new file mode 100644 index 0000000..e78ebda --- /dev/null +++ b/src/migrations/001_init.sql @@ -0,0 +1,57 @@ +-- Начальная схема мессенджера. Источник истины для всех реплик API. +CREATE TABLE users ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + username text NOT NULL UNIQUE, + display_name text NOT NULL, + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +-- Хранится только sha256(токена): дамп БД не содержит рабочих Bearer-токенов. +CREATE TABLE sessions ( + token_hash bytea PRIMARY KEY, + user_id uuid NOT NULL REFERENCES users (id), + expires_at timestamptz NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE TABLE chats ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + title text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE TABLE chat_members ( + chat_id uuid NOT NULL REFERENCES chats (id), + user_id uuid NOT NULL REFERENCES users (id), + position int NOT NULL, + PRIMARY KEY (chat_id, user_id) +); +CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id); + +CREATE TABLE messages ( + id uuid PRIMARY KEY, + chat_id uuid NOT NULL REFERENCES chats (id), + sender_id uuid NOT NULL REFERENCES users (id), + text text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); +CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id); + +-- Ключи идемпотентности: область = пользователь + метод + путь + ключ. +-- Строка вставляется тем же SQL-оператором, что и сообщение (атомарно). +-- ponytail: ключи не удаляются (контракт требует >= 24 ч); при росте таблицы добавить периодический DELETE. +CREATE TABLE idempotency_keys ( + user_id uuid NOT NULL, + method text NOT NULL, + path text NOT NULL, + key text NOT NULL, + request_hash bytea NOT NULL, + message_id uuid NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + PRIMARY KEY (user_id, method, path, key) +); + +-- RFC 3339 UTC с микросекундами: формат ответа API и точная позиция keyset-cursor. +CREATE FUNCTION rfc3339(timestamptz) RETURNS text LANGUAGE sql STABLE AS +$$ SELECT to_char($1 AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS.US"Z"') $$; diff --git a/src/migrations/002_attachments.sql b/src/migrations/002_attachments.sql new file mode 100644 index 0000000..de1f5ba --- /dev/null +++ b/src/migrations/002_attachments.sql @@ -0,0 +1,38 @@ +-- Вложения (lab4). Только добавление схемы: версия lab3 продолжает работать на этой схеме. +-- Метаданные — здесь, байты — в приватном S3-bucket под ключом object_key, который назначает сервер. +-- pending — запись-намерение: создаётся ДО загрузки байтов, поэтому у любого объекта в S3 сначала есть строка; +-- ready — объект загружен и проверен, метаданные описывают оригинал; +-- lost — reconciler не нашёл объект или он не совпал по размеру/SHA-256: вложение скрыто из API (404), +-- ссылки в сообщениях сохраняются, при возврате правильного объекта reconciler вернёт ready. +CREATE TABLE attachments ( + id uuid PRIMARY KEY, + chat_id uuid NOT NULL REFERENCES chats (id), + owner_id uuid NOT NULL REFERENCES users (id), + filename text NOT NULL, + content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')), + -- Побайтовая сортировка совпадает с порядком ListObjectsV2: reconciler сливает два отсортированных потока. + object_key text COLLATE "C" NOT NULL UNIQUE, + state text NOT NULL DEFAULT 'pending' CHECK (state IN ('pending', 'ready', 'lost')), + size_bytes integer CHECK (size_bytes > 0), + sha256 text CHECK (sha256 ~ '^[0-9a-f]{64}$'), + width integer, + height integer, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + updated_at timestamptz NOT NULL DEFAULT clock_timestamp(), + UNIQUE (chat_id, id), -- цель составного FK из message_attachments + CHECK (state = 'pending' OR (size_bytes IS NOT NULL AND sha256 IS NOT NULL)) +); +-- Поиск зависших загрузок reconciler-ом. +CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE state = 'pending'; + +-- Вложения сообщения. FK (chat_id, attachment_id) → attachments (chat_id, id): БД не даст прикрепить вложение +-- чужого чата и не даст удалить метаданные вложения, на которое ссылается сообщение (NO ACTION). +CREATE TABLE message_attachments ( + message_id uuid NOT NULL REFERENCES messages (id), + chat_id uuid NOT NULL, + attachment_id uuid NOT NULL, + position int NOT NULL, + PRIMARY KEY (message_id, attachment_id), + FOREIGN KEY (chat_id, attachment_id) REFERENCES attachments (chat_id, id) +); +CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id, chat_id); diff --git a/src/migrations/003_jobs.sql b/src/migrations/003_jobs.sql new file mode 100644 index 0000000..8c25ef6 --- /dev/null +++ b/src/migrations/003_jobs.sql @@ -0,0 +1,74 @@ +-- Фоновая обработка вложений (lab5). Только добавление: версия lab4 продолжает работать на этой схеме. +-- Состояния вложения: pending (байты ещё принимаются) → queued (оригинал устойчиво в staging, задание +-- сохранено) → processing → ready | failed; lost — карантин reconciler (объект пропал или повреждён). +ALTER TABLE attachments DROP CONSTRAINT attachments_state_check; +ALTER TABLE attachments ADD CONSTRAINT attachments_state_check + CHECK (state IN ('pending', 'queued', 'processing', 'ready', 'failed', 'lost')); +ALTER TABLE attachments + ADD COLUMN staging_key text COLLATE "C" UNIQUE, -- staging/: принятый оригинал до публикации worker-ом + ADD COLUMN pipeline_version int, -- версия pipeline опубликованного результата (ready) + ADD COLUMN error_code text; -- машинный код failed, без деталей + +-- Логическая работа: одна на (вложение, версия pipeline). job_id не меняется при повторах и redelivery. +CREATE TABLE jobs ( + job_id uuid PRIMARY KEY, + attachment_id uuid NOT NULL REFERENCES attachments (id), + pipeline_version int NOT NULL, + state text NOT NULL DEFAULT 'queued' + CHECK (state IN ('queued', 'processing', 'done', 'failed', 'superseded')), + attempts int NOT NULL DEFAULT 0, -- начатые попытки (успешные захваты аренды) + lease_token uuid, -- fencing: результат фиксирует только владелец аренды + lease_until timestamptz, + error_code text, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + updated_at timestamptz NOT NULL DEFAULT clock_timestamp(), + UNIQUE (attachment_id, pipeline_version) +); +CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE state = 'processing'; +CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE state = 'queued'; + +-- Transactional outbox: строка пишется в одной транзакции с изменением состояния, relay публикует её +-- в брокер после COMMIT и только после publisher confirm отмечает published_at. +CREATE TABLE outbox ( + id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY, + job_id uuid NOT NULL REFERENCES jobs (job_id), + attempt int NOT NULL, + available_at timestamptz NOT NULL DEFAULT clock_timestamp(), -- момент после backoff повтора + published_at timestamptz, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); +CREATE INDEX outbox_due_idx ON outbox (available_at) WHERE published_at IS NULL; +CREATE INDEX outbox_job_idx ON outbox (job_id, created_at); + +-- Результат обработки. Ключ эффекта (attachment_id, pipeline_version, name): повтор той же job +-- не может создать второй набор вариантов. +CREATE TABLE attachment_variants ( + attachment_id uuid NOT NULL REFERENCES attachments (id), + pipeline_version int NOT NULL, + name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')), + object_key text COLLATE "C" NOT NULL UNIQUE, + content_type text NOT NULL, + size_bytes int NOT NULL, + width int NOT NULL, + height int NOT NULL, + sha256 text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + PRIMARY KEY (attachment_id, pipeline_version, name) +); + +-- Аудит операторского replay failed → queued. +CREATE TABLE job_replays ( + id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY, + job_id uuid NOT NULL REFERENCES jobs (job_id), + previous_error text, + previous_attempts int NOT NULL, + replayed_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +-- Учебный fault-injection (src/failpoints.ts): точка срабатывает один раз на вложение. Пусто, если FAILPOINTS выключены. +CREATE TABLE failpoint_hits ( + name text NOT NULL, + attachment_id uuid NOT NULL, + hit_at timestamptz NOT NULL DEFAULT clock_timestamp(), + PRIMARY KEY (name, attachment_id) +); diff --git a/src/migrations/004_trace_context.sql b/src/migrations/004_trace_context.sql new file mode 100644 index 0000000..d9d270e --- /dev/null +++ b/src/migrations/004_trace_context.sql @@ -0,0 +1,6 @@ +-- Lab6: W3C trace context задания. Строка outbox хранит контекст того, кто поставил попытку в очередь +-- (upload, worker при повторе, sweeper — копия предыдущей), relay кладёт его в сообщение (traceparent/tracestate +-- из contracts/jobs.schema.json). Только добавление nullable-столбцов: код lab5 продолжает работать на этой схеме. +ALTER TABLE outbox + ADD COLUMN traceparent text, + ADD COLUMN tracestate text; diff --git a/src/migrations/005_security.sql b/src/migrations/005_security.sql new file mode 100644 index 0000000..cd5c835 --- /dev/null +++ b/src/migrations/005_security.sql @@ -0,0 +1,47 @@ +DO $$ +BEGIN + IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'api') THEN CREATE ROLE api LOGIN; END IF; + IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'worker') THEN CREATE ROLE worker LOGIN; END IF; + IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'reconciler') THEN CREATE ROLE reconciler LOGIN; END IF; +END $$; + +REVOKE CREATE ON SCHEMA public FROM PUBLIC; +REVOKE TEMPORARY ON DATABASE messenger FROM PUBLIC; +GRANT USAGE ON SCHEMA public TO api, worker, reconciler; +GRANT SELECT, INSERT ON users TO api; +GRANT UPDATE (password_hash) ON users TO api; +GRANT SELECT, INSERT, DELETE ON sessions TO api; +GRANT SELECT, INSERT ON chats, chat_members, messages, message_attachments TO api; +GRANT SELECT, INSERT, UPDATE, DELETE ON idempotency_keys, attachments TO api; +GRANT SELECT ON attachment_variants TO api; +GRANT SELECT, INSERT ON failpoint_hits TO api; +GRANT SELECT, INSERT, UPDATE ON jobs, outbox TO api; +GRANT USAGE ON SEQUENCE outbox_id_seq TO api, worker; + +GRANT SELECT ON jobs TO worker; +GRANT UPDATE (state, attempts, lease_token, lease_until, error_code, updated_at) ON jobs TO worker; +GRANT SELECT (id, filename, staging_key, object_key, size_bytes, sha256, state, pipeline_version) ON attachments TO worker; +GRANT UPDATE (state, error_code, updated_at, pipeline_version) ON attachments TO worker; +GRANT INSERT, UPDATE, SELECT ON attachment_variants TO worker; +GRANT INSERT ON outbox, failpoint_hits TO worker; +GRANT SELECT ON failpoint_hits TO worker; + +GRANT SELECT ON attachments, attachment_variants TO reconciler; +GRANT UPDATE (state, updated_at, staging_key), DELETE ON attachments TO reconciler; + +CREATE TABLE login_rate (singleton boolean PRIMARY KEY CHECK (singleton), window_start timestamptz NOT NULL, attempts int NOT NULL); +INSERT INTO login_rate VALUES (true, '-infinity', 0); +CREATE FUNCTION login_budget() RETURNS int LANGUAGE plpgsql SECURITY DEFINER SET search_path = pg_catalog, public AS $$ +DECLARE + tick timestamptz := date_bin('10 seconds', statement_timestamp(), '2000-01-01'::timestamptz); + used int; +BEGIN + UPDATE public.login_rate + SET attempts = CASE WHEN window_start < tick THEN 1 ELSE attempts + 1 END, window_start = tick + WHERE singleton AND (window_start < tick OR attempts < 30) + RETURNING attempts INTO used; + IF FOUND THEN RETURN 0; END IF; + RETURN greatest(1, ceil(extract(epoch FROM tick + interval '10 seconds' - clock_timestamp()))::int); +END $$; +REVOKE ALL ON FUNCTION login_budget() FROM PUBLIC; +GRANT EXECUTE ON FUNCTION login_budget() TO api; diff --git a/src/modules/attachments.ts b/src/modules/attachments.ts new file mode 100644 index 0000000..125814d --- /dev/null +++ b/src/modules/attachments.ts @@ -0,0 +1,182 @@ +// Вложения: приём PNG/JPEG в устойчивый staging, фоновая обработка worker-ом, скачивание только через API. +// +// Приём (lab5): ответ 202 означает, что устойчиво сохранено всё, что нужно для завершения работы без клиента: +// 1. INSERT строки pending (запись-намерение с ключами staging и оригинала) — COMMIT; +// 2. поток байтов: клиент → проверка формата + SHA-256 → S3 staging/; +// 3. одна транзакция: pending → queued, job и строка outbox (transactional outbox) — COMMIT → 202. +// Брокер в этот момент не нужен: relay (src/jobs/relay.ts) опубликует задание после COMMIT, даже если брокер +// поднимется позже. Ошибка на шагах 2–3 → компенсация; падение процесса → pending-строку уберёт reconciler. +// Lab6: строка outbox запоминает trace context запроса загрузки — publish и обработка worker-ом продолжат этот trace. +import { createHash, randomUUID } from 'node:crypto'; +import { Transform } from 'node:stream'; +import { failpoint } from '../failpoints.ts'; +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, conflict, notFound, tooLarge, unavailable, unsupported } from '../http/errors.ts'; +import { isText, mediaType, uuidParam } from '../http/request.ts'; +import { log, traceCarrier } from '../otel.ts'; +import { requireMember } from './chats.ts'; +import { imageValidator, type Dimensions } from './images.ts'; +import type { User } from './model.ts'; +import { authenticate } from './sessions.ts'; + +const FORBIDDEN_IN_FILENAME = /[/\\\p{Cc}]/u; // разделители путей, NUL и управляющие символы C0/C1 +const VARIANTS = ['thumbnail', 'crop', 'optimized']; +// Варианты — опубликованной версии pipeline; у queued/processing/failed их нет. +const columns = `a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes, a.sha256, a.state AS status, a.error_code, + rfc3339(a.created_at) AS created_at, rfc3339(a.updated_at) AS updated_at, + COALESCE((SELECT json_agg(json_build_object('name', v.name, 'content_type', v.content_type, 'size_bytes', v.size_bytes, + 'width', v.width, 'height', v.height, 'sha256', v.sha256) ORDER BY v.name) + FROM attachment_variants v WHERE v.attachment_id = a.id AND v.pipeline_version = a.pipeline_version), '[]') AS variants`; +const VISIBLE = `('queued', 'processing', 'ready', 'failed')`; // pending ещё не принято, lost — в карантине + +type Row = Record & { object_key?: string; pipeline_version?: number | null }; + +// Ключи объектов и внутренняя версия pipeline наружу не отдаются. +const view = ({ object_key: _, pipeline_version: __, ...row }: Row) => row; + +// POST /api/v1/chats/{chat_id}/attachments?filename=… — сырые байты одного PNG/JPEG → 202 queued. +// Все лимиты проверяются до чтения тела; тело не буферизуется целиком ни в памяти, ни на диске API. +export async function uploadAttachment(c: Ctx): Promise { + const user = await authenticate(c); + const chatId = await requireMember(c, user); + const filename = c.url.searchParams.get('filename'); + if (!isText(filename, 1, 255) || FORBIDDEN_IN_FILENAME.test(filename)) { + throw badRequest('filename: 1–255 символов, без / \\ и управляющих символов'); + } + const type = mediaType(c.req); + if (type !== 'image/png' && type !== 'image/jpeg') throw unsupported('Ожидается image/png или image/jpeg'); + const declared = c.req.headers['content-length']; + if (declared === undefined || !/^\d+$/.test(declared)) throw badRequest('Нужен Content-Length: файл передаётся потоком в S3'); + const length = Number(declared); + if (length > c.config.maxUploadBytes) throw tooLarge(`Файл больше ${c.config.maxUploadBytes} байт`); + if (length === 0) throw unsupported('Пустое тело не является изображением'); + + const id = randomUUID(); + const staging = `staging/${id}`; // filename только для отображения и в ключи не попадает + await c.db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, staging_key) +VALUES ($1, $2, $3, $4, $5, $6, $7)`, [id, chatId, user.id, filename, type, `originals/${id}`, staging]); + let row: Row; + try { + const dims = await store(c, staging, type, length); + await failpoint(c.db, 'api_after_staging', id, filename); // байты в staging, задания ещё нет + row = await accept(c, id, length, dims); + } catch (err) { + void discard(c, id, staging); // в фоне: при зависшем S3 клиент не ждёт ещё и DELETE + throw err; + } + await failpoint(c.db, 'api_after_commit', id, filename); // задание в outbox, публикации ещё не было + c.relay.kick(); + return [202, view(row)]; +} + +// pending → queued + job + outbox одной транзакцией: после COMMIT работа не теряется при падении API. +async function accept(c: Ctx, id: string, length: number, dims: { sha256: string; width: number; height: number }): Promise { + const client = await c.db.connect(); + try { + await client.query('BEGIN'); + const r = await client.query(`UPDATE attachments AS a SET state = 'queued', size_bytes = $2, sha256 = $3, width = $4, height = $5, + updated_at = clock_timestamp() WHERE a.id = $1 AND a.state = 'pending' RETURNING ${columns}`, [id, length, dims.sha256, dims.width, dims.height]); + if (!r.rowCount) throw unavailable('Загрузка не завершилась вовремя'); // строку уже убрал reconciler + const { traceparent, tracestate } = traceCarrier(); + await client.query(`WITH j AS (INSERT INTO jobs (job_id, attachment_id, pipeline_version) VALUES (gen_random_uuid(), $1, $2) RETURNING job_id) +INSERT INTO outbox (job_id, attempt, traceparent, tracestate) SELECT job_id, 1, $3, $4 FROM j`, [id, c.config.jobs.pipelineVersion, traceparent, tracestate]); + await client.query('COMMIT'); + return r.rows[0]; + } catch (err) { + await client.query('ROLLBACK').catch(() => {}); + throw err; + } finally { + client.release(); + } +} + +// Клиент → проверка + SHA-256 → S3. Обратное давление: пока S3 не принял кусок, следующий не читается из сокета, +// поэтому память на загрузку не зависит от размера файла. Последний кусок уходит в S3 только после полной +// проверки файла: S3 не получит все Content-Length байт невалидного изображения, и объект не создастся. +async function store(c: Ctx, key: string, type: 'image/png' | 'image/jpeg', length: number) { + const check = imageValidator(type, c.config.maxImagePixels); + const hash = createHash('sha256'); + const abort = new AbortController(); + let received = 0; + let dims: Dimensions | undefined; + let failure: unknown; + const fail = (err: unknown) => { + failure ??= err; + abort.abort(); + }; + const body = new Transform({ + transform(chunk: Buffer, _encoding, done) { + received += chunk.length; + hash.update(chunk); + check.write(chunk) + .then(async () => { if (received === length) dims = await check.end(); }) + .then(() => done(null, chunk), done); + }, + }); + body.on('error', fail); + c.req.on('close', () => { if (!c.req.complete) fail(badRequest('Загрузка прервана клиентом')); }); + c.req.pipe(body); + try { + await c.s3.put(key, body, length, type, abort.signal); + if (failure) throw failure; + if (!dims) throw new Error('S3 принял объект до конца проверки'); + return { sha256: hash.digest('hex'), ...dims }; + } catch (err) { + // Остаток тела читаем и выбрасываем: иначе ответ с ошибкой не дойдёт до клиента, который ещё отправляет файл. + c.req.unpipe(body); + c.req.resume(); + body.destroy(); + check.close(); + throw failure ?? err; + } +} + +// Компенсация неудачной загрузки. Объект удаляется, только если строка точно не стала queued: при +// неоднозначной ошибке COMMIT (соединение оборвалось) строка могла зафиксироваться, и байты нужны worker-у. +// Сбой здесь не теряет учёт: останется pending-строка с ключом staging, её подберёт reconciler. +async function discard(c: Ctx, id: string, key: string): Promise { + try { + const deleted = await c.db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'`, [id]); + if (!deleted.rowCount && (await c.db.query('SELECT 1 FROM attachments WHERE id = $1', [id])).rowCount) return; + await c.s3.remove(key); + } catch (err) { + log('warn', 'attachment.compensation_failed', `компенсация вложения не завершена, остаток уберёт reconciler: ${(err as Error).message}`, { 'attachment.id': id }); + } +} + +// Вложение доступно только участникам его чата; постороннему — тот же 404, что и для несуществующего. +async function findVisible(c: Ctx, user: User): Promise { + const r = await c.db.query(`SELECT ${columns}, a.object_key, a.pipeline_version FROM attachments a +JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2 +WHERE a.id = $1 AND a.state IN ${VISIBLE}`, [uuidParam(c, 'attachment_id'), user.id]); + if (!r.rowCount) throw notFound(); + return r.rows[0]; +} + +// GET /api/v1/attachments/{attachment_id} — снимок статуса; клиент опрашивает до ready/failed. +export async function getAttachment(c: Ctx): Promise { + return [200, view(await findVisible(c, await authenticate(c)))]; +} + +// GET /api/v1/attachments/{attachment_id}/content[?variant=original|thumbnail|crop|optimized] — байты потоком из S3. +// queued/processing/failed — 409; отсутствующий вариант ready-объекта — 404; без redirect. +export async function downloadAttachment(c: Ctx): Promise { + const user = await authenticate(c); + const variant = c.url.searchParams.get('variant') ?? 'original'; + if (variant !== 'original' && !VARIANTS.includes(variant)) throw badRequest('Неизвестный variant'); + const row = await findVisible(c, user); + if (row.status !== 'ready') throw conflict(row.status === 'failed' ? 'Обработка вложения завершилась ошибкой' : 'Вложение ещё обрабатывается'); + let target = { key: row.object_key, type: row.content_type as string, size: row.size_bytes as number }; + if (variant !== 'original') { + const v = await c.db.query(`SELECT object_key, content_type, size_bytes FROM attachment_variants +WHERE attachment_id = $1 AND pipeline_version = $2 AND name = $3`, [row.id, row.pipeline_version, variant]); + if (!v.rowCount) throw notFound(); + target = { key: v.rows[0].object_key, type: v.rows[0].content_type, size: v.rows[0].size_bytes }; + } + const body = await c.s3.get(target.key); + if (!body) { + log('error', 'attachment.object_missing', `объект ${variant} вложения отсутствует в S3`, { 'attachment.id': row.id as string }); // reconciler пометит оригинал lost + throw notFound(); + } + return [200, body, { 'Content-Type': target.type, 'Content-Length': target.size, 'X-Content-Type-Options': 'nosniff' }]; +} diff --git a/src/modules/chats.ts b/src/modules/chats.ts new file mode 100644 index 0000000..8a874a8 --- /dev/null +++ b/src/modules/chats.ts @@ -0,0 +1,68 @@ +// Чаты: создание, список чатов пользователя, один чат, проверка членства. +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, notFound } from '../http/errors.ts'; +import { afterCursor, limitOf, page } from '../http/pagination.ts'; +import { UUID, isText, jsonObject, readJson, uuidParam } from '../http/request.ts'; +import { authenticate } from './sessions.ts'; +import type { User } from './model.ts'; + +// Чаты, где состоит пользователь $1; member_ids в порядке, заданном при создании. +const chatSelect = `SELECT c.id, c.title, rfc3339(c.created_at) AS created_at, + (SELECT array_agg(m.user_id::text ORDER BY m.position) FROM chat_members m WHERE m.chat_id = c.id) AS member_ids +FROM chats c JOIN chat_members me ON me.chat_id = c.id AND me.user_id = $1 `; + +// chat_id из пути, если пользователь — участник. Постороннему тот же 404, что и для несуществующего чата. +export async function requireMember(c: Ctx, user: User): Promise { + const chatId = uuidParam(c, 'chat_id'); + const r = await c.db.query({ + name: 'member', + text: 'SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2', + values: [chatId, user.id], + }); + if (!r.rowCount) throw notFound(); + return chatId; +} + +// POST /api/v1/chats: участники фиксируются при создании и обязательно включают создателя. +export async function createChat(c: Ctx): Promise { + const user = await authenticate(c); + const b = jsonObject(await readJson(c.req), ['title', 'member_ids']); + const ids = b.member_ids; + if (!isText(b.title, 1, 100) || !Array.isArray(ids) || ids.length < 1 || ids.length > 100 + || !ids.every((id) => typeof id === 'string' && UUID.test(id))) { + throw badRequest('Неверные title или member_ids'); + } + const members = ids.map((id: string) => id.toLowerCase()); + if (new Set(members).size !== members.length || !members.includes(user.id)) { + throw badRequest('member_ids должны быть уникальны и включать создателя'); + } + try { + // Один оператор = одна транзакция: при неизвестном участнике сработает FK и не создастся ничего. + const r = await c.db.query(`WITH c AS (INSERT INTO chats (title) VALUES ($1) RETURNING id, title, created_at), +m AS (INSERT INTO chat_members (chat_id, user_id, position) + SELECT c.id, t.u::uuid, t.o FROM c, unnest($2::text[]) WITH ORDINALITY AS t(u, o)) +SELECT id, title, rfc3339(created_at) AS created_at FROM c`, [b.title, members]); + return [201, { ...r.rows[0], member_ids: members }]; + } catch (err) { + if ((err as { code?: string }).code === '23503') throw badRequest('Неизвестный участник'); // foreign_key_violation + throw err; + } +} + +// GET /api/v1/chats: только чаты текущего пользователя, cursor привязан к пользователю. +export async function listChats(c: Ctx): Promise { + const user = await authenticate(c); + const limit = limitOf(c.url); + const [ts, id] = afterCursor(c.url, 'c', user.id); + const r = await c.db.query(chatSelect + 'WHERE (c.created_at, c.id) > ($2, $3::uuid) ORDER BY c.created_at, c.id LIMIT $4', + [user.id, ts, id, limit + 1]); + return [200, page(r.rows, limit, 'c', user.id)]; +} + +// GET /api/v1/chats/{chat_id} +export async function getChat(c: Ctx): Promise { + const user = await authenticate(c); + const r = await c.db.query(chatSelect + 'WHERE c.id = $2', [user.id, uuidParam(c, 'chat_id')]); + if (!r.rowCount) throw notFound(); + return [200, r.rows[0]]; +} diff --git a/src/modules/images.ts b/src/modules/images.ts new file mode 100644 index 0000000..f4995c3 --- /dev/null +++ b/src/modules/images.ts @@ -0,0 +1,411 @@ +// Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла. +// Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу. +// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, длина PLTE; поток zlib распаковывается с подсчётом байтов +// (вывод выбрасывается, смотрится только байт фильтра 0–4 в начале каждой строки) и сверяется с объёмом, +// который следует из размеров и формата пикселя. +// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI и те же проверки заголовков, на которых +// останавливается libjpeg-turbo (декодер Pillow и браузеров): 8 бит, 1/3/4 компонента, прореживание, таблицы +// DQT/DHT для каждого скана, параметры SOS; скан не пустой. Энтропийные данные не декодируются — битый +// Huffman-код libjpeg тоже считает лишь предупреждением. +// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста +// (у JPEG ещё сегмент заголовка, ≤ 64 KiB). +import { finished } from 'node:stream/promises'; +import { createInflate, crc32 } from 'node:zlib'; +import { tooLarge, unsupported } from '../http/errors.ts'; + +export type Dimensions = { width: number; height: number }; + +export type ImageValidator = { + write(chunk: Buffer): Promise; + end(): Promise; // весь файл получен; бросает 415, если он обрезан + close(): void; // освободить ресурсы при обрыве загрузки +}; + +const broken = (why: string) => unsupported(`Содержимое не является корректным изображением: ${why}`); + +export function imageValidator(type: 'image/png' | 'image/jpeg', maxPixels: number): ImageValidator { + return type === 'image/png' ? png(maxPixels) : jpeg(maxPixels); +} + +function checkPixels(width: number, height: number, maxPixels: number): void { + if (width * height > maxPixels) throw tooLarge(`Изображение больше ${maxPixels} пикселей`); +} + +const SIGNATURE = Buffer.from([0x89, 0x50, 0x4e, 0x47, 0x0d, 0x0a, 0x1a, 0x0a]); +const CHANNELS: Record = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 }; +const DEPTHS: Record = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] }; +const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]]; + +// Строки распакованных данных PNG как [число строк, байт в строке]: байт фильтра + пиксели; +// при interlace — по одной паре на каждый непустой проход Adam7. +function rowLayout(width: number, height: number, bits: number, interlaced: boolean): [number, number][] { + const row = (w: number) => 1 + Math.ceil((w * bits) / 8); + if (!interlaced) return [[height, row(width)]]; + const passes: [number, number][] = []; + for (const [x0, y0, dx, dy] of ADAM7) { + const w = Math.ceil((width - x0) / dx); + const h = Math.ceil((height - y0) / dy); + if (w > 0 && h > 0) passes.push([h, row(w)]); + } + return passes; +} + +function png(maxPixels: number): ImageValidator { + let carry = Buffer.alloc(0); + let state: 'signature' | 'header' | 'data' | 'crc' | 'done' = 'signature'; + let type = ''; + let left = 0; + let crc = 0; + let ihdr = Buffer.alloc(0); + let dims: Dimensions | null = null; + let color = 0; + let palette = false; + let idat: 'none' | 'open' | 'closed' = 'none'; + let expected = 0; + let inflated = 0; + let rows: [number, number][] = []; + let pass = 0; // текущий проход Adam7 (без interlace — единственный) + let rowsLeft = 0; // строк до конца прохода + let inRow = 0; // позиция внутри текущей строки + let badFilter = false; + + const inflate = createInflate(); + let zerr: Error | null = null; + let wake: (() => void) | null = null; + inflate.on('data', (d: Buffer) => { + inflated += d.length; + // Первый байт каждой строки — тип фильтра, допустимы только 0–4 (ISO/IEC 15948, 9.2). + for (let i = 0; i < d.length && pass < rows.length;) { + const len = rows[pass][1]; + if (inRow === 0 && d[i] > 4) badFilter = true; + const step = Math.min(len - inRow, d.length - i); + i += step; + inRow += step; + if (inRow === len) { + inRow = 0; + if (--rowsLeft === 0 && ++pass < rows.length) rowsLeft = rows[pass][0]; + } + } + }); + // При ошибке zlib callback write не вызывается: будим ожидающего вручную. + inflate.on('error', (e) => { zerr = e; wake?.(); }); + const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise((resolve) => { + wake = resolve; + inflate.write(data, () => resolve()); + }); + + function startChunk(len: number) { + if (!/^[A-Za-z]{4}$/.test(type) || len > 0x7fffffff) throw broken('неверный заголовок chunk'); + if (!dims && type !== 'IHDR') throw broken('первым должен быть IHDR'); + if (dims && type === 'IHDR') throw broken('повторный IHDR'); + if (type === 'IHDR' && len !== 13) throw broken('неверная длина IHDR'); + // Неизвестный критический chunk (заглавная первая буква) декодер обязан отвергнуть. + if (/^[A-Z]/.test(type) && !['IHDR', 'PLTE', 'IDAT', 'IEND'].includes(type)) throw broken(`неизвестный chunk ${type}`); + if (type === 'IDAT') { + if (idat === 'closed') throw broken('IDAT идут не подряд'); + if (color === 3 && !palette) throw broken('нет палитры PLTE'); + idat = 'open'; + } else if (idat === 'open') { + idat = 'closed'; + } + if (type === 'PLTE') { + if (palette || !len || len > 256 * 3 || len % 3) throw broken('неверная палитра PLTE'); + palette = true; + } + if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND'); + } + + function endChunk() { + if (type === 'IHDR') { + const width = ihdr.readUInt32BE(0); + const height = ihdr.readUInt32BE(4); + const depth = ihdr[8]; + color = ihdr[9]; + if (!width || !height || width > 0x7fffffff || height > 0x7fffffff) throw broken('неверные размеры'); + if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR'); + checkPixels(width, height, maxPixels); // до первого байта IDAT + dims = { width, height }; + rows = rowLayout(width, height, CHANNELS[color] * depth, ihdr[12] === 1); + expected = rows.reduce((sum, [h, len]) => sum + h * len, 0); + rowsLeft = rows[0][0]; + } + state = type === 'IEND' ? 'done' : 'header'; + } + + async function write(chunk: Buffer) { + const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk; + let pos = 0; + while (pos < buf.length) { + const avail = buf.length - pos; + if (state === 'signature') { + if (avail < 8) break; + if (!buf.subarray(pos, pos + 8).equals(SIGNATURE)) throw broken('нет сигнатуры PNG'); + pos += 8; + state = 'header'; + } else if (state === 'header') { + if (avail < 8) break; + left = buf.readUInt32BE(pos); + type = buf.toString('latin1', pos + 4, pos + 8); + startChunk(left); + crc = crc32(buf.subarray(pos + 4, pos + 8)); + pos += 8; + state = left ? 'data' : 'crc'; + } else if (state === 'data') { + const part = buf.subarray(pos, pos + Math.min(left, avail)); + crc = crc32(part, crc); + if (type === 'IHDR') ihdr = Buffer.concat([ihdr, part]); + if (type === 'IDAT') { + await feed(part); + if (zerr) throw broken('повреждён поток zlib'); + if (badFilter) throw broken('неверный тип фильтра строки'); + if (inflated > expected) throw broken('данных больше, чем пикселей'); + } + left -= part.length; + pos += part.length; + if (!left) state = 'crc'; + } else if (state === 'crc') { + if (avail < 4) break; + if (buf.readUInt32BE(pos) !== crc) throw broken(`неверная CRC chunk ${type}`); + pos += 4; + endChunk(); + } else { + throw broken('данные после IEND'); + } + } + carry = Buffer.from(buf.subarray(pos)); + } + + return { + async write(chunk) { + try { + await write(chunk); + } catch (err) { + inflate.destroy(); + throw err; + } + }, + async end() { + if (state !== 'done') throw broken('файл обрезан'); + inflate.end(); + try { + await finished(inflate); + } catch { + throw broken('поток zlib не завершён'); + } + if (badFilter) throw broken('неверный тип фильтра строки'); + if (inflated !== expected) throw broken('объём данных не совпадает с размерами'); + return dims!; + }, + close: () => inflate.destroy(), + }; +} + +// SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра. +const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]); +// Принимается то, что декодирует libjpeg-turbo через обычный 8-битный API: baseline, extended, progressive +// с Huffman- или arithmetic-кодированием. Lossless и hierarchical (C3, C5–C7, CB, CD–CF) отвергаются. +const SUPPORTED_SOF = new Set([0xc0, 0xc1, 0xc2, 0xc9, 0xca]); +const DHT = 0xc4; +const SOS = 0xda; +const DQT = 0xdb; +const DRI = 0xdd; +const PARSED = new Set([...SUPPORTED_SOF, DHT, SOS, DQT]); + +type Component = { h: number; v: number; tq: number }; + +function jpeg(maxPixels: number): ImageValidator { + let carry = Buffer.alloc(0); + let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi'; + let marker = 0; + let left = 0; + let seg = Buffer.alloc(0); // payload разбираемого сегмента (SOF, DHT, DQT, SOS) + let dims: Dimensions | null = null; + let progressive = false; + let arithmetic = false; + let scanned = false; + let scanData = 0; // байт энтропийных данных в текущем скане + const components = new Map(); + const quant = new Set(); // номера определённых таблиц DQT + const huff = new Set(); // таблицы DHT: класс << 2 | номер + + function frame() { + const [precision, n] = [seg[0], seg[5]]; + const height = seg.readUInt16BE(1); + const width = seg.readUInt16BE(3); + if (!width || !height) throw broken('нулевые размеры'); + if (precision !== 8) throw broken('поддерживается только 8 бит на канал'); + if (![1, 3, 4].includes(n) || seg.length !== 6 + 3 * n) throw broken('неверный SOF'); + for (let i = 6; i < seg.length; i += 3) { + const [id, h, v, tq] = [seg[i], seg[i + 1] >> 4, seg[i + 1] & 15, seg[i + 2]]; + if (components.has(id) || h < 1 || h > 4 || v < 1 || v > 4 || tq > 3) throw broken('неверные компоненты SOF'); + components.set(id, { h, v, tq }); + } + // libjpeg восстанавливает цвет только при целом отношении прореживания к максимальному. + const all = [...components.values()]; + const [maxH, maxV] = [Math.max(...all.map((c) => c.h)), Math.max(...all.map((c) => c.v))]; + if (all.some((c) => maxH % c.h || maxV % c.v)) throw broken('неподдерживаемое прореживание цвета'); + checkPixels(width, height, maxPixels); // до энтропийных данных + dims = { width, height }; + progressive = marker === 0xc2 || marker === 0xca; + arithmetic = marker >= 0xc9; + } + + function quantTables() { + for (let i = 0; i < seg.length;) { + const [pq, tq] = [seg[i] >> 4, seg[i] & 15]; + const size = 1 + 64 * (pq + 1); + if (pq > 1 || tq > 3 || i + size > seg.length) throw broken('неверная таблица DQT'); + quant.add(tq); + i += size; + } + } + + function huffmanTables() { + for (let i = 0; i < seg.length;) { + if (i + 17 > seg.length) throw broken('неверная таблица DHT'); + const [tc, th] = [seg[i] >> 4, seg[i] & 15]; + let total = 0; + let code = 0; + for (let len = 1; len <= 16; len++) { + total += seg[i + len]; + code += seg[i + len]; + // Как jpeg_make_d_derived_tbl: коды длины len не должны занять всё пространство (код из одних 1 зарезервирован). + if (code >= 1 << len) throw broken('неверная таблица DHT'); + code <<= 1; + } + const symbols = seg.subarray(i + 17, i + 17 + total); + if (tc > 1 || th > 3 || total > 256 || symbols.length !== total) throw broken('неверная таблица DHT'); + if (tc === 0 && symbols.some((s) => s > 15)) throw broken('неверная таблица DHT'); + huff.add((tc << 2) | th); + i += 17 + total; + } + } + + function scan() { + const n = seg[0]; + if (n < 1 || n > 4 || seg.length !== 4 + 2 * n) throw broken('неверный SOS'); + const [ss, se, ah, al] = [seg[1 + 2 * n], seg[2 + 2 * n], seg[3 + 2 * n] >> 4, seg[3 + 2 * n] & 15]; + if (progressive && (ss === 0 ? se !== 0 : ss > se || se > 63 || n !== 1)) throw broken('неверные параметры скана'); + if (progressive && ((ah && al !== ah - 1) || al > 13)) throw broken('неверные параметры скана'); + const seen = new Set(); + let blocks = 0; + for (let i = 1; i < 1 + 2 * n; i += 2) { + const comp = components.get(seg[i]); + if (!comp || seen.has(seg[i])) throw broken('SOS ссылается на неизвестный компонент'); + seen.add(seg[i]); + blocks += comp.h * comp.v; + if (!quant.has(comp.tq)) throw broken('нет таблицы квантования DQT'); + // Отсутствующие таблицы Хаффмана 0 и 1 libjpeg-turbo заменяет стандартными (Motion JPEG); 2 и 3 — нет. + // У arithmetic-кодирования таблицы условий (DAC) необязательны, проверяется только номер. + const [td, ta] = [seg[i + 1] >> 4, seg[i + 1] & 15]; + const missing = (cls: number, t: number) => t > 3 || (!arithmetic && t > 1 && !huff.has((cls << 2) | t)); + const needDC = !progressive || (ss === 0 && ah === 0); + const needAC = !progressive || ss > 0; + if ((needDC && missing(0, td)) || (needAC && missing(1, ta))) throw broken('нет таблицы энтропийного кодирования'); + } + if (n > 1 && blocks > 10) throw broken('слишком большой MCU'); + scanned = true; + scanData = 0; + } + + function write(chunk: Buffer) { + const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk; + let pos = 0; + loop: while (pos < buf.length) { + const avail = buf.length - pos; + switch (state) { + case 'soi': + if (avail < 2) break loop; + if (buf[pos] !== 0xff || buf[pos + 1] !== 0xd8) throw broken('нет сигнатуры JPEG'); + pos += 2; + state = 'marker'; + break; + case 'marker': { + if (avail < 2) break loop; + if (buf[pos] !== 0xff) throw broken('ожидался маркер'); + const code = buf[pos + 1]; + if (code === 0xff) { // байты-заполнители 0xFF перед маркером + pos += 1; + break; + } + pos += 2; + if (code === 0xd9) { + if (!scanned) throw broken('EOI до данных изображения'); + state = 'done'; + } else if (code === 0x00 || code === 0xd8 || (code >= 0xd0 && code <= 0xd7)) { + throw broken('неожиданный маркер'); + } else if (code !== 0x01) { // TEM не имеет длины + marker = code; + state = 'length'; + } + break; + } + case 'length': { + if (avail < 2) break loop; + left = buf.readUInt16BE(pos) - 2; + pos += 2; + if (left < 0) throw broken('неверная длина сегмента'); + if (SOF.has(marker) && !SUPPORTED_SOF.has(marker)) throw broken('неподдерживаемый вид JPEG (lossless, hierarchical)'); + if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF'); + if (marker === SOS && !dims) throw broken('SOS до SOF'); + if (marker === DRI && left !== 2) throw broken('неверный DRI'); + seg = Buffer.alloc(0); + state = 'payload'; + break; + } + case 'payload': { + const n = Math.min(left, avail); + if (PARSED.has(marker)) seg = Buffer.concat([seg, buf.subarray(pos, pos + n)]); + pos += n; + left -= n; + if (left) break; + if (SUPPORTED_SOF.has(marker)) frame(); + else if (marker === DQT) quantTables(); + else if (marker === DHT) huffmanTables(); + else if (marker === SOS) scan(); + state = marker === SOS ? 'scan' : 'marker'; + break; + } + case 'scan': { + // Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер. + const ff = buf.indexOf(0xff, pos); + scanData += (ff < 0 ? buf.length : ff) - pos; + if (ff < 0) { + pos = buf.length; + } else if (ff + 1 >= buf.length) { + pos = ff; + break loop; + } else { + const next = buf[ff + 1]; + if (next === 0x00) { + pos = ff + 2; + scanData += 1; + } else if (next >= 0xd0 && next <= 0xd7) { + pos = ff + 2; + } else if (next === 0xff) { + pos = ff + 1; // заполнитель перед маркером + } else { + if (!scanData) throw broken('скан без данных'); + pos = ff; + state = 'marker'; + } + } + break; + } + case 'done': // данные после EOI (MPF, «живые» фото) — нормальная практика камер + pos = buf.length; + break; + } + } + carry = Buffer.from(buf.subarray(pos)); + } + + return { + write: async (chunk) => write(chunk), + async end() { + if (state !== 'done') throw broken('нет EOI: файл обрезан'); + return dims!; + }, + close: () => {}, + }; +} diff --git a/src/modules/messages.ts b/src/modules/messages.ts new file mode 100644 index 0000000..f6dfc42 --- /dev/null +++ b/src/modules/messages.ts @@ -0,0 +1,104 @@ +// Сообщения: идемпотентная отправка и история чата. +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, conflict, notFound } from '../http/errors.ts'; +import { afterCursor, limitOf, page } from '../http/pagination.ts'; +import { UUID, isText, jsonObject, readJson } from '../http/request.ts'; +import { requireMember } from './chats.ts'; +import { authenticate, sha256 } from './sessions.ts'; + +const IDEMPOTENCY_KEY = /^[A-Za-z0-9._:-]{1,128}$/; +// attachment_ids в порядке, заданном отправителем; text[] драйвер pg возвращает как массив строк. +const attachmentIds = (m: string) => + `ARRAY(SELECT ma.attachment_id::text FROM message_attachments ma WHERE ma.message_id = ${m}.id ORDER BY ma.position) AS attachment_ids`; +const messageColumns = `id, chat_id, sender_id, text, rfc3339(created_at) AS created_at, ${attachmentIds('messages')}`; + +// POST /api/v1/chats/{chat_id}/messages с обязательным Idempotency-Key. +// Область ключа: пользователь + метод + путь чата + ключ. +// Ключ и сообщение вставляются ОДНИМ оператором, поэтому фиксируются атомарно: при ошибке БД нет ни того, +// ни другого, и клиент может безопасно повторить запрос с тем же ключом. +// Одновременный дубль (с любой реплики) ждёт на первичном ключе idempotency_keys, пока первая транзакция +// не зафиксируется, затем получает ON CONFLICT DO NOTHING и отдаёт сохранённый результат. +export async function sendMessage(c: Ctx): Promise { + const user = await authenticate(c); + const chatId = await requireMember(c, user); // повтор тоже заново проверяет сессию и доступ + const key = c.req.headers['idempotency-key']; + if (typeof key !== 'string' || !IDEMPOTENCY_KEY.test(key)) throw badRequest('Нужен Idempotency-Key [A-Za-z0-9._:-]{1,128}'); + // sender_id в теле не принимается: отправитель — из сессии. + const b = jsonObject(await readJson(c.req), ['text', 'attachment_ids']); + const ids = attachmentList(b.attachment_ids); + const text = b.text; + // С вложениями текст может быть пустым; без вложений — 1–4000 символов, не только пробелы. + if (typeof text !== 'string' || [...text].length > 4000 || (!ids.length && !isText(text, 1, 4000))) { + throw badRequest('text: до 4000 символов; пустой текст допустим только с вложениями'); + } + if (ids.length) await requireAttachments(c, chatId, ids); + + const path = `/api/v1/chats/${chatId}/messages`; + // Каноническое тело: порядок ключей JSON не важен, отсутствующий attachment_ids = []. + // Без вложений hash тот же, что в lab3 (32 байта); с вложениями 64 байта — с текстовым не совпадёт. + const hash = ids.length ? Buffer.concat([sha256(text), sha256(ids.join(','))]) : sha256(text); + let inserted; + try { + inserted = await c.db.query({ + name: 'send', + text: `WITH k AS ( + INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id) + VALUES ($1, 'POST', $2, $3, $4, gen_random_uuid()) ON CONFLICT DO NOTHING RETURNING message_id), +m AS (INSERT INTO messages (id, chat_id, sender_id, text) SELECT message_id, $5, $1, $6 FROM k + RETURNING id, chat_id, sender_id, text, rfc3339(created_at) AS created_at), +a AS (INSERT INTO message_attachments (message_id, chat_id, attachment_id, position) + SELECT m.id, m.chat_id, t.id, t.ord FROM m, unnest($7::uuid[]) WITH ORDINALITY AS t(id, ord)) +SELECT * FROM m`, + values: [user.id, path, key, hash, chatId, text, ids], + }); + } catch (err) { + // Составной FK (chat_id, attachment_id): вложение другого чата не прикрепить даже в обход проверки выше. + if ((err as { code?: string }).code === '23503') throw notFound(); + throw err; + } + if (inserted.rowCount) return [201, { ...inserted.rows[0], attachment_ids: ids }]; + + // Ключ уже использован: тот же body → тот же 201 и то же сообщение, другой body → 409. + const stored = await c.db.query(`SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, rfc3339(m.created_at) AS created_at, + ${attachmentIds('m')} +FROM idempotency_keys k JOIN messages m ON m.id = k.message_id +WHERE k.user_id = $1 AND k.method = 'POST' AND k.path = $2 AND k.key = $3`, [user.id, path, key]); + const { request_hash, ...message } = stored.rows[0]; + if (!hash.equals(request_hash)) throw conflict('Idempotency-Key уже использован с другим телом'); + return [201, message]; +} + +// GET /api/v1/chats/{chat_id}/messages: история по возрастанию (created_at, id), limit 1–100. +export async function listMessages(c: Ctx): Promise { + const user = await authenticate(c); + const chatId = await requireMember(c, user); + const limit = limitOf(c.url); + const [ts, id] = afterCursor(c.url, 'm', chatId); + const r = await c.db.query({ + name: 'history', + text: `SELECT ${messageColumns} FROM messages WHERE chat_id = $1 AND (created_at, id) > ($2, $3::uuid) +ORDER BY created_at, id LIMIT $4`, + values: [chatId, ts, id, limit + 1], + }); + return [200, page(r.rows, limit, 'm', chatId)]; +} + +// attachment_ids: 0–10 уникальных UUID (в нижнем регистре), по умолчанию []. +function attachmentList(value: unknown): string[] { + if (value === undefined) return []; + if (!Array.isArray(value) || value.length > 10 || !value.every((id) => typeof id === 'string' && UUID.test(id))) { + throw badRequest('attachment_ids: до 10 UUID'); + } + const ids = value.map((id: string) => id.toLowerCase()); + if (new Set(ids).size !== ids.length) throw badRequest('attachment_ids должны быть уникальны'); + return ids; +} + +// Все вложения из этого чата и приняты (queued/processing/ready). Чужое или неизвестное — 404, как и чужой чат; +// failed — 409: прикреплять нечего, но объект виден участнику. +async function requireAttachments(c: Ctx, chatId: string, ids: string[]): Promise { + const r = await c.db.query(`SELECT count(*)::int AS visible, count(*) FILTER (WHERE state = 'failed')::int AS failed +FROM attachments WHERE id = ANY($1::uuid[]) AND chat_id = $2 AND state IN ('queued', 'processing', 'ready', 'failed')`, [ids, chatId]); + if (r.rows[0].visible !== ids.length) throw notFound(); + if (r.rows[0].failed) throw conflict('Вложение не обработано (failed), прикрепить нельзя'); +} diff --git a/src/modules/model.ts b/src/modules/model.ts new file mode 100644 index 0000000..05b679d --- /dev/null +++ b/src/modules/model.ts @@ -0,0 +1,8 @@ +// Общая модель пользователя для модулей users и sessions. + +export type User = { id: string; username: string; display_name: string; created_at: string }; + +export const USERNAME = /^[a-z0-9_]{3,32}$/; + +// Время форматирует PostgreSQL: Date в JS потерял бы микросекунды, на которых держится cursor. +export const userColumns = 'u.id, u.username, u.display_name, rfc3339(u.created_at) AS created_at'; diff --git a/src/modules/passwords.ts b/src/modules/passwords.ts new file mode 100644 index 0000000..6724562 --- /dev/null +++ b/src/modules/passwords.ts @@ -0,0 +1,56 @@ +import { argon2, randomBytes, scrypt, timingSafeEqual, type Argon2Parameters } from 'node:crypto'; +import { envInt } from '../config.ts'; +import { HttpError } from '../http/errors.ts'; + +const memory = envInt('ARGON2_MEMORY_KIB', 19456); +const passes = envInt('ARGON2_ITERATIONS', 2); +const lanes = envInt('ARGON2_PARALLELISM', 1); +if (memory < 19456 || passes < 2 || lanes !== 1) throw new Error('Недопустимые параметры Argon2id'); + +export const currentPassword = (hash: string) => hash.startsWith(`$argon2id$v=19$m=${memory},t=${passes},p=${lanes}$`); +let inFlight = 0; + +function derive(password: string, nonce: Buffer, params: Pick): Promise { + return new Promise((resolve, reject) => argon2('argon2id', { message: password, nonce, tagLength: 32, ...params }, + (err, key) => err ? reject(err) : resolve(key))); +} + +// Бюджет общий для регистрации и входа внутри реплики. +export async function withPasswordSlot(work: () => Promise): Promise { + if (inFlight >= 2) throw new HttpError(429, 'rate_limited', 'Слишком много запросов входа или регистрации', 1); + inFlight++; + try { return await work(); } finally { inFlight--; } +} + +export async function hashPassword(password: string): Promise { + const salt = randomBytes(16); + const hash = await derive(password, salt, { memory, passes, parallelism: lanes }); + return `$argon2id$v=19$m=${memory},t=${passes},p=${lanes}$${salt.toString('base64').replace(/=+$/, '')}$${hash.toString('base64').replace(/=+$/, '')}`; +} + +export async function checkPassword(password: string, encoded: string): Promise { + const phc = /^\$argon2id\$v=19\$m=(\d+),t=(\d+),p=(\d+)\$([^$]+)\$([^$]+)$/.exec(encoded); + let got: Buffer; + let expected: Buffer; + if (phc) { + const [, m, t, p, salt, hash] = phc; + const params = { memory: Number(m), passes: Number(t), parallelism: Number(p) }; + const nonce = Buffer.from(salt, 'base64'); + expected = Buffer.from(hash, 'base64'); + if (params.memory < 19456 || params.memory > Math.max(65536, memory) || + params.passes < 2 || params.passes > Math.max(6, passes) || params.parallelism !== 1 || + nonce.length !== 16 || expected.length !== 32) return false; + got = await derive(password, nonce, params); + } else { + const legacy = /^scrypt\$16384\$8\$1\$([^$]+)\$([^$]+)$/.exec(encoded); + if (!legacy) return false; + expected = Buffer.from(legacy[2], 'base64'); + if (expected.length !== 32) return false; + got = await new Promise((resolve, reject) => + scrypt(password, Buffer.from(legacy[1], 'base64'), 32, { N: 16384, r: 8, p: 1, maxmem: 64 << 20 }, + (err, key) => err ? reject(err) : resolve(key))); + } + return timingSafeEqual(got, expected); +} + +export const dummyHash = hashPassword('dummy-password-for-timing'); diff --git a/src/modules/sessions.ts b/src/modules/sessions.ts new file mode 100644 index 0000000..5b081d3 --- /dev/null +++ b/src/modules/sessions.ts @@ -0,0 +1,72 @@ +// Сессии: вход по Basic, выход, проверка Bearer-токена. +// В БД хранится только sha256(токена): дамп базы не даёт рабочих токенов. +import { createHash, randomBytes } from 'node:crypto'; +import type { Ctx, Result } from '../http/context.ts'; +import { HttpError, unauthorized } from '../http/errors.ts'; +import { isText, requireEmptyBody } from '../http/request.ts'; +import { checkPassword, currentPassword, dummyHash, hashPassword, withPasswordSlot } from './passwords.ts'; +import { USERNAME, userColumns, type User } from './model.ts'; + +export const sha256 = (s: string) => createHash('sha256').update(s).digest(); + +function bearerToken(c: Ctx): string | null { + return /^Bearer +(\S+)$/i.exec(c.req.headers.authorization ?? '')?.[1] ?? null; +} + +// Текущий пользователь по Bearer-сессии. Basic и X-User-Id на бизнес-эндпоинтах не аутентифицируют. +// Запрос именованный: pg готовит его один раз на соединение (улучшение из трека 1). +export async function authenticate(c: Ctx): Promise { + const token = bearerToken(c); + if (!token) throw unauthorized(); + const r = await c.db.query({ + name: 'auth', + text: `SELECT ${userColumns} FROM sessions s JOIN users u ON u.id = s.user_id +WHERE s.token_hash = $1 AND s.expires_at > now()`, + values: [sha256(token)], + }); + if (!r.rowCount) throw unauthorized(); + return r.rows[0]; +} + +// POST /api/v1/auth/sessions: Basic username:password → новый Bearer-токен. +export async function createSession(c: Ctx): Promise { + await requireEmptyBody(c.req); // контракт: только заголовок Basic, без JSON-тела + const deny = new HttpError(401, 'unauthorized', 'Неверные учётные данные'); // одинаковый ответ на любую ошибку входа + const budget = await c.db.query<{ retry_after: number }>('SELECT login_budget() AS retry_after'); + const wait = budget.rows[0].retry_after; + if (wait) throw new HttpError(429, 'rate_limited', 'Лимит попыток входа', wait); + const m = /^Basic +([A-Za-z0-9+/]+=*)$/i.exec(c.req.headers.authorization ?? ''); + if (!m) throw deny; + const decoded = Buffer.from(m[1], 'base64').toString('utf8'); + const colon = decoded.indexOf(':'); // в username двоеточия нет, в пароле может быть + const username = decoded.slice(0, colon); + const password = decoded.slice(colon + 1); + if (colon < 0 || !USERNAME.test(username) || !isText(password, 12, 128)) throw deny; + + const r = await c.db.query( + `SELECT ${userColumns}, u.password_hash FROM users u WHERE u.username = $1`, [username]); + const row = r.rows[0]; + await withPasswordSlot(async () => { + const valid = await checkPassword(password, row?.password_hash ?? await dummyHash); + if (!row || !valid) throw deny; + if (!currentPassword(row.password_hash)) { + await c.db.query('UPDATE users SET password_hash = $1 WHERE id = $2 AND password_hash = $3', + [await hashPassword(password), row.id, row.password_hash]); + } + }); + if (!row) throw deny; + + const token = randomBytes(32).toString('base64url'); // 256 бит энтропии + const s = await c.db.query( + `INSERT INTO sessions (token_hash, user_id, expires_at) VALUES ($1, $2, now() + make_interval(secs => $3)) +RETURNING rfc3339(expires_at) AS expires_at`, [sha256(token), row.id, c.config.sessionTtlSeconds]); + const { password_hash: _, ...user } = row; + return [201, { token, token_type: 'Bearer', expires_at: s.rows[0].expires_at, user }]; +} + +// DELETE /api/v1/auth/sessions/current: отзыв текущего токена. +export async function deleteSession(c: Ctx): Promise { + await authenticate(c); + await c.db.query('DELETE FROM sessions WHERE token_hash = $1', [sha256(bearerToken(c)!)]); + return [204]; +} diff --git a/src/modules/users.ts b/src/modules/users.ts new file mode 100644 index 0000000..094548c --- /dev/null +++ b/src/modules/users.ts @@ -0,0 +1,29 @@ +// Пользователи: регистрация и профиль текущего пользователя. +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, conflict } from '../http/errors.ts'; +import { isText, jsonObject, readJson } from '../http/request.ts'; +import { hashPassword, withPasswordSlot } from './passwords.ts'; +import { USERNAME, userColumns, type User } from './model.ts'; +import { authenticate } from './sessions.ts'; + +// POST /api/v1/users: публичная регистрация. Пароль и его хеш в ответ не попадают. +export async function createUser(c: Ctx): Promise { + const b = jsonObject(await readJson(c.req), ['username', 'display_name', 'password']); + if (typeof b.username !== 'string' || !USERNAME.test(b.username) || !isText(b.display_name, 1, 100) || !isText(b.password, 12, 128)) { + throw badRequest('Неверные username, display_name или password'); + } + try { + const r = await c.db.query( + `INSERT INTO users AS u (username, display_name, password_hash) VALUES ($1, $2, $3) RETURNING ${userColumns}`, + [b.username, b.display_name, await withPasswordSlot(() => hashPassword(b.password as string))]); + return [201, r.rows[0]]; + } catch (err) { + if ((err as { code?: string }).code === '23505') throw conflict('Username уже занят'); // unique_violation + throw err; + } +} + +// GET /api/v1/users/me +export async function me(c: Ctx): Promise { + return [200, await authenticate(c)]; +} diff --git a/src/otel.ts b/src/otel.ts new file mode 100644 index 0000000..ee9c4d2 --- /dev/null +++ b/src/otel.ts @@ -0,0 +1,73 @@ +// Наблюдаемость на уровне API OpenTelemetry: tracer, meter, структурный лог, перенос W3C trace context. +// SDK подключает src/telemetry.ts (node --import, только api и worker); без него всё здесь — no-op, +// а лог пишется только в stdout. Модуль не зависит от SDK, поэтому его импортируют и утилиты (migrate, reconcile). +import { setTimeout as sleep } from 'node:timers/promises'; +import { context, metrics, propagation, ROOT_CONTEXT, SpanStatusCode, trace, type Attributes, type Context } from '@opentelemetry/api'; +import { logs, SeverityNumber } from '@opentelemetry/api-logs'; +import { getRPCMetadata, RPCType } from '@opentelemetry/core'; + +export const tracer = trace.getTracer('messenger'); +export const meter = metrics.getMeter('messenger'); +const logger = logs.getLogger('messenger'); +const service = process.env.OTEL_SERVICE_NAME || 'messenger'; + +type Level = 'info' | 'warn' | 'error'; +const SEVERITY = { info: SeverityNumber.INFO, warn: SeverityNumber.WARN, error: SeverityNumber.ERROR }; + +// Структурный лог: JSON-строка в stdout/stderr (docker logs) и запись OTLP (Loki) с trace_id/span_id активного span. +// event — стабильный машинный ключ события, message — текст для человека. В attrs только технические поля: +// без паролей, токенов, Authorization, текста сообщений, имён файлов и байтов изображений. +export function log(level: Level, event: string, message: string, attrs: Attributes = {}): void { + const span = trace.getActiveSpan()?.spanContext(); + const line = { time: new Date().toISOString(), level, service, event, message, ...attrs, trace_id: span?.traceId, span_id: span?.spanId }; + (level === 'info' ? process.stdout : process.stderr).write(JSON.stringify(line) + '\n'); + logger.emit({ severityNumber: SEVERITY[level], severityText: level.toUpperCase(), body: message, attributes: { event, ...attrs } }); +} + +// Дочерний span вокруг шага (захват job, рендер, фиксация): группирует его SQL/S3-spans; ошибка помечает span. +export function inSpan(name: string, attributes: Attributes, fn: () => Promise): Promise { + return tracer.startActiveSpan(name, { attributes }, async (span) => { + try { + return await fn(); + } catch (err) { + span.recordException({ name: (err as Error).name, message: 'Операция завершилась ошибкой' }); + span.setStatus({ code: SpanStatusCode.ERROR }); + throw err; + } finally { + span.end(); + } + }); +} + +export type TraceCarrier = { traceparent: string | null; tracestate: string | null }; + +// Trace context для переноса через outbox и брокер: поля traceparent/tracestate из contracts/jobs.schema.json. +// tracestate длиннее 512 символов (предел схемы) не переносится. +export function traceCarrier(ctx: Context = context.active()): TraceCarrier { + const c: Record = {}; + propagation.inject(ctx, c); + return { traceparent: c.traceparent ?? null, tracestate: c.tracestate && c.tracestate.length <= 512 ? c.tracestate : null }; +} + +// Обратное преобразование; пустой carrier (строки до lab6, сообщение без полей) — корневой контекст, новый trace. +export function contextFrom(carrier: Partial): Context { + return propagation.extract(ROOT_CONTEXT, carrier); +} + +// Шаблон маршрута (/api/v1/chats/{chat_id}/messages) для имени server span и метрики http.server.request.duration: +// реальный путь с UUID в label метрики попасть не должен. +export function setRoute(template: string): void { + const rpc = getRPCMetadata(context.active()); + if (rpc?.type === RPCType.HTTP) rpc.route = template; +} + +let flushHook: () => Promise = async () => {}; +export function onFlush(f: () => Promise): void { + flushHook = f; +} + +// Перед выходом процесса: отправить накопленные spans, логи и метрики, но не дольше timeoutMs — +// недоступный Collector не должен задерживать остановку. +export async function flushTelemetry(timeoutMs = 3000): Promise { + await Promise.race([flushHook().catch(() => {}), sleep(timeoutMs)]); +} diff --git a/src/reconcile.ts b/src/reconcile.ts new file mode 100644 index 0000000..4e1ab2a --- /dev/null +++ b/src/reconcile.ts @@ -0,0 +1,260 @@ +// Сверка PostgreSQL ↔ S3: очистка после сбоев загрузки (уровень 4) и исправление расхождений (трек 2). +// node src/main.ts reconcile — dry-run: только отчёт, ничего не меняет +// ... reconcile --apply — выполнить исправления +// --verify дополнительно скачать ready-объекты и сверить SHA-256 (читает все байты bucket) +// --grace=N pending-строки и объекты без строки моложе N секунд не трогаются (RECONCILE_GRACE_SECONDS, 900) +// --retention=N staging failed-вложений хранится N секунд для replay (STAGING_RETENTION_SECONDS, 86400) +// --every=N повторять каждые N секунд (так работает сервис reconciler) +// +// Правила. Строки ready/lost не удаляются никогда, используемые сообщениями дополнительно защищены FK. +// stale_pending pending старше grace: запрос загрузки давно завершён (таймаут API 60 с ≪ grace) +// → удалить строку, затем объект (если упадём между ними — останется orphan_object) +// orphan_object объект без строки старше grace → удалить объект. Строка создаётся раньше объекта, +// ключ случайный, поэтому строка для такого объекта уже не появится +// missing_object ready без объекта (повторно проверено HEAD) → lost: скрыть из API, ссылки сохранить +// size_mismatch ready, размер объекта ≠ size_bytes → lost +// checksum_mismatch ready, SHA-256 объекта ≠ sha256 (только --verify) → lost +// restored lost, объект на месте и SHA-256 совпал → снова ready (карантин обратим) +// Lab5, префиксы staging/ и variants/ (объект нужен, пока на него ссылается БД): +// orphan_staging staging без строки старше grace → удалить +// published_staging staging ready-вложения старше grace (worker не успел удалить после фиксации) → удалить +// expired_staging staging failed-вложения старше STAGING_RETENTION_SECONDS → удалить (replay после этого невозможен) +// orphan_variant объект варианта без строки attachment_variants старше grace (попытка проиграла аренду +// или упала до фиксации; grace ≫ JOB_TIMEOUT_SECONDS) → удалить +// +// Обход: ListObjectsV2 и строки БД, оба отсортированы по ключу побайтово, сливаются как два потока +// (merge join) — память O(страница), запросов O(N / 1000). Конкурентные загрузки: строки, изменённые после +// начала обхода (updated_at ≥ t0), не проверяются; их объекты моложе grace и тоже не трогаются. +import { createHash } from 'node:crypto'; +import type { Readable } from 'node:stream'; +import { setTimeout as sleep } from 'node:timers/promises'; +import type pg from 'pg'; +import { s3Config, secret } from './config.ts'; +import { createPool } from './db.ts'; +import { createStorage, type Storage } from './storage/s3.ts'; + +const PREFIX = 'originals/'; +const PAGE = 1000; +const PRINT_LIMIT = 20; // находки сверх лимита только считаются + +type Options = { apply: boolean; verify: boolean; grace: number; retention: number }; +type Obj = { key: string; size: number; modified: Date }; +type Row = { id: string; object_key: string; state: string; size_bytes: number | null; sha256: string | null; settled: boolean }; + +export async function reconcileCommand(args: string[], defaultGrace: number, defaultRetention: number): Promise { + const flag = (name: string) => args.find((a) => a.startsWith(`--${name}=`))?.split('=')[1]; + const opts: Options = { apply: args.includes('--apply'), verify: args.includes('--verify'), grace: Number(flag('grace') ?? defaultGrace), + retention: Number(flag('retention') ?? defaultRetention) }; + const every = Number(flag('every') ?? 0); + if (!Number.isInteger(opts.grace) || opts.grace < 0 || !Number.isInteger(every) || every < 0) throw new Error('--grace/--every: целые секунды'); + const db = createPool(secret('DATABASE_URL'), 2); + const s3 = createStorage(s3Config()); + process.on('SIGTERM', () => process.exit(0)); // прерванный обход безопасен: каждое действие атомарно + for (;;) { + try { + console.log(JSON.stringify(await reconcile(db, s3, opts))); + } catch (err) { + console.error(`сверка не выполнена: ${(err as Error).message}`); + if (!every) process.exitCode = 1; + } + if (!every) break; + await sleep(every * 1000); + } + await db.end(); +} + +export async function reconcile(db: pg.Pool, s3: Storage, opts: Options) { + const started = performance.now(); + const lock = await db.connect(); + try { + // Два reconciler-а одновременно не работают: второй сразу выходит. + if (!(await lock.query('SELECT pg_try_advisory_lock(4004) AS ok')).rows[0].ok) return { skipped: 'другая сверка уже идёт' }; + try { + return await run(db, s3, opts, started); + } finally { + await lock.query('SELECT pg_advisory_unlock(4004)'); + } + } finally { + lock.release(); + } +} + +async function run(db: pg.Pool, s3: Storage, { apply, verify, grace, retention }: Options, started: number) { + const stats = { mode: apply ? 'apply' : 'dry-run', verify, grace_seconds: grace, objects: 0, rows: 0, fresh_skipped: 0, + s3_list: 0, s3_head: 0, s3_get_bytes: 0, db_queries: 0, findings: {} as Record, applied: 0 }; + const t0: Date = (await db.query('SELECT now() AS t0')).rows[0].t0; + stats.db_queries++; + const cutoff = t0.getTime() - grace * 1000; + + const found = async (kind: string, detail: Record, fix: () => Promise) => { + const n = stats.findings[kind] = (stats.findings[kind] ?? 0) + 1; + const done = apply && await fix(); + if (done) stats.applied++; + if (n <= PRINT_LIMIT) console.log(JSON.stringify({ finding: kind, ...detail, action: apply ? (done ? 'fixed' : 'changed meanwhile, skipped') : 'would fix' })); + }; + const setState = async (id: string, from: string, to: string) => { + stats.db_queries++; + return Boolean((await db.query('UPDATE attachments SET state = $3, updated_at = clock_timestamp() WHERE id = $1 AND state = $2', + [id, from, to])).rowCount); + }; + const sha256Of = async (key: string) => { + const body = await s3.get(key); + if (!body) return null; + const hash = createHash('sha256'); + for await (const chunk of body as Readable) { + hash.update(chunk); + stats.s3_get_bytes += chunk.length; + } + return hash.digest('hex'); + }; + + // 1. Зависшие загрузки. Условие повторяется в DELETE: если строка успела измениться, её не трогаем. + const stale = await db.query(`SELECT id, COALESCE(staging_key, object_key) AS object_key FROM attachments +WHERE state = 'pending' AND created_at < $1::timestamptz - make_interval(secs => $2)`, [t0, grace]); + stats.db_queries++; + for (const r of stale.rows) { + await found('stale_pending', { id: r.id, key: r.object_key }, async () => { + stats.db_queries++; + const d = await db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending' +AND created_at < $2::timestamptz - make_interval(secs => $3)`, [r.id, t0, grace]); + if (!d.rowCount) return false; + await s3.remove(r.object_key); + return true; + }); + } + + // 2. Слияние отсортированных потоков объектов и строк. + const onlyObject = async (o: Obj) => { + if (o.modified.getTime() > cutoff) { + stats.fresh_skipped++; + return; + } + await found('orphan_object', { key: o.key, size: o.size, modified: o.modified }, async () => { + await s3.remove(o.key); + return true; + }); + }; + const onlyRow = async (r: Row) => { + // pending — этап 1; lost — уже в карантине; не settled — строка изменилась после начала обхода. + if (r.state !== 'ready' || !r.settled) return; + stats.s3_head++; + if (await s3.exists(r.object_key)) return; // объект не попал в листинг, но существует — не трогаем + await found('missing_object', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost')); + }; + const both = async (o: Obj, r: Row) => { + // Оригинал до фиксации ready (processing/queued) может уже лежать в originals/: его не проверяем. + if ((r.state !== 'ready' && r.state !== 'lost') || !r.settled) return; + if (o.size !== r.size_bytes) { + if (r.state === 'ready') await found('size_mismatch', { id: r.id, key: r.object_key, expected: r.size_bytes, actual: o.size }, () => setState(r.id, 'ready', 'lost')); + return; + } + if (r.state === 'ready' && !verify) return; + const actual = await sha256Of(o.key); + if (r.state === 'ready' && actual !== r.sha256) { + await found('checksum_mismatch', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost')); + } else if (r.state === 'lost' && actual === r.sha256) { + await found('restored', { id: r.id, key: r.object_key }, () => setState(r.id, 'lost', 'ready')); + } + }; + + const objs = objects(s3, stats); + const rows = dbRows(db, t0, stats); + let o = (await objs.next()).value; + let r = (await rows.next()).value; + while (o || r) { + if (o && (!r || o.key < r.object_key)) { + stats.objects++; + await onlyObject(o); + o = (await objs.next()).value; + } else if (r && (!o || r.object_key < o.key)) { + stats.rows++; + await onlyRow(r); + r = (await rows.next()).value; + } else { + stats.objects++; + stats.rows++; + await both(o!, r!); + o = (await objs.next()).value; + r = (await rows.next()).value; + } + } + + // 3. staging/ и variants/: постраничный поиск ключей в БД. + const remove = (key: string) => async () => { + await s3.remove(key); + return true; + }; + for await (const page of pages(s3, 'staging/', stats)) { + const r = await db.query(`SELECT staging_key AS key, state, updated_at < $2::timestamptz - make_interval(secs => $3) AS expired +FROM attachments WHERE staging_key = ANY($1)`, [page.map((o) => o.key), t0, retention]); + stats.db_queries++; + const rows = new Map(r.rows.map((row) => [row.key, row])); + for (const o of page) { + stats.objects++; + const row = rows.get(o.key); + const old = o.modified.getTime() <= cutoff; + if (!row && !old) stats.fresh_skipped++; + else if (!row) await found('orphan_staging', { key: o.key }, remove(o.key)); + else if (row.state === 'ready' && old) await found('published_staging', { key: o.key }, remove(o.key)); + else if (row.state === 'failed' && row.expired) { + await found('expired_staging', { key: o.key }, async () => { + await s3.remove(o.key); + await db.query(`UPDATE attachments SET staging_key = NULL WHERE staging_key = $1 AND state = 'failed'`, [o.key]); + return true; + }); + } + } + } + for await (const page of pages(s3, 'variants/', stats)) { + const r = await db.query('SELECT object_key FROM attachment_variants WHERE object_key = ANY($1)', [page.map((o) => o.key)]); + stats.db_queries++; + const known = new Set(r.rows.map((row) => row.object_key)); + for (const o of page) { + stats.objects++; + if (known.has(o.key)) continue; + if (o.modified.getTime() > cutoff) stats.fresh_skipped++; + else await found('orphan_variant', { key: o.key }, remove(o.key)); + } + } + return { ...stats, duration_ms: Math.round(performance.now() - started), max_rss_mb: Math.round(process.resourceUsage().maxRSS / 1024) }; +} + +async function* pages(s3: Storage, prefix: string, stats: { s3_list: number }): AsyncGenerator { + let token: string | undefined; + do { + const page = await s3.list(prefix, token); + stats.s3_list++; + yield (page.Contents ?? []).map((item) => ({ key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! })); + token = page.IsTruncated ? page.NextContinuationToken : undefined; + } while (token); + return undefined; +} + +async function* objects(s3: Storage, stats: { s3_list: number }): AsyncGenerator { + let token: string | undefined; + let last = ''; + do { + const page = await s3.list(PREFIX, token); + stats.s3_list++; + for (const item of page.Contents ?? []) { + // Слияние корректно только на отсортированных потоках: иначе остановиться, а не удалить лишнее. + if (item.Key! <= last) throw new Error('S3 вернул ключи не по порядку'); + last = item.Key!; + yield { key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! }; + } + token = page.IsTruncated ? page.NextContinuationToken : undefined; + } while (token); + return undefined; +} + +async function* dbRows(db: pg.Pool, t0: Date, stats: { db_queries: number }): AsyncGenerator { + let last = ''; + for (;;) { + const r = await db.query(`SELECT id, object_key, state, size_bytes, sha256, updated_at < $2 AS settled +FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT ${PAGE}`, [last, t0]); + stats.db_queries++; + yield* r.rows; + if (r.rows.length < PAGE) return undefined; + last = r.rows[r.rows.length - 1].object_key; + } +} diff --git a/src/security.ts b/src/security.ts new file mode 100644 index 0000000..f6d05d9 --- /dev/null +++ b/src/security.ts @@ -0,0 +1,99 @@ +import { X509Certificate } from 'node:crypto'; +import { readFileSync } from 'node:fs'; +import { Agent, request } from 'node:https'; +import { setTimeout as sleep } from 'node:timers/promises'; + +export function serviceTls() { + return { + ca: readFileSync(process.env.TLS_CA_FILE ?? '/run/tls/ca.crt'), + cert: readFileSync('/run/identity/tls.crt'), + key: readFileSync('/run/identity/tls.key'), + minVersion: 'TLSv1.2' as const, + rejectUnauthorized: true, + }; +} + +const keys = ['DATABASE_URL', 'S3_ACCESS_KEY_ID', 'S3_SECRET_ACCESS_KEY'] as const; +type Credentials = Record<(typeof keys)[number], string>; + +let baoAgent: Agent | undefined; + +export async function baoRequest(path: string, data?: object, token?: string): Promise { + const url = new URL(path, process.env.BAO_ADDR ?? 'https://openbao:8200'); + if (url.protocol !== 'https:') throw new Error('OpenBao требует HTTPS'); + return new Promise((resolve, reject) => { + const body = data === undefined ? undefined : JSON.stringify(data); + const req = request(url, { + agent: baoAgent ??= new Agent({ ...serviceTls(), keepAlive: true, maxSockets: 1 }), method: body === undefined ? 'GET' : 'POST', + headers: { + ...(body && { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(body) }), + ...(token && { 'X-Vault-Token': token }), + }, + signal: AbortSignal.timeout(8000), + }, (res) => { + let content = ''; + res.setEncoding('utf8'); + res.on('data', (part: string) => { + content += part; + if (content.length > 65536) req.destroy(new Error('OpenBao: ответ превышает лимит')); + }); + res.on('error', reject); + res.on('end', () => { + if (res.statusCode !== 200 && res.statusCode !== 204) return reject(new Error(`OpenBao HTTP ${res.statusCode}`)); + try { resolve(content ? JSON.parse(content) : null); } catch { reject(new Error('OpenBao: неверный JSON')); } + }); + }); + req.on('error', reject); + req.end(body); + }); +} + +export function serviceSecretName(role: string): string { + if (role !== 'worker') return role; + const name = new X509Certificate(serviceTls().cert).subject; + if (!/^CN=worker-[0-9a-f]{8}$/.test(name)) throw new Error('Неверная identity worker'); + return name.slice(3); +} + +export async function loadServiceSecrets(role: string) { + const path = serviceSecretName(role); + async function acquire(): Promise<{ values: Credentials; ttl: number }> { + const { auth } = await baoRequest('/v1/auth/cert/login', { name: role }); + const { data } = await baoRequest(`/v1/messenger/data/${path}`, undefined, auth.client_token); + if (!keys.every((key) => typeof data.data[key] === 'string' && data.data[key])) throw new Error('OpenBao: неполный secret'); + if (!Number.isFinite(auth.lease_duration) || auth.lease_duration < 10 || auth.lease_duration > 300) { + throw new Error('OpenBao: неверный TTL'); + } + const values = Object.fromEntries(keys.map((key) => [key, data.data[key]])) as Credentials; + return { values, ttl: auth.lease_duration }; + } + + const { log } = await import('./otel.ts'); + const initial = await acquire(); + Object.assign(process.env, initial.values); + // Re-auth вместо продления токена: замена/отзыв leaf проверяются при каждом цикле. + let expiresAt = performance.now() + initial.ttl * 1000; + const expire = () => { + log('error', 'secrets.expired', 'OpenBao недоступен или identity отозвана; срок использования credentials истёк'); + process.exit(1); + }; + let deadline = setTimeout(expire, initial.ttl * 1000).unref(); + void (async () => { + for (;;) { + await sleep(5000, undefined, { ref: false }); + try { + const next = await acquire(); + if (keys.some((key) => next.values[key] !== initial.values[key])) { + log('info', 'secrets.rotated', 'Получены новые credentials; процесс перезапускается'); + process.kill(process.pid, 'SIGTERM'); + return; + } + expiresAt = performance.now() + next.ttl * 1000; + clearTimeout(deadline); + deadline = setTimeout(expire, next.ttl * 1000).unref(); + } catch { + if (performance.now() >= expiresAt) expire(); + } + } + })(); +} diff --git a/src/storage/s3.ts b/src/storage/s3.ts new file mode 100644 index 0000000..59d6e5b --- /dev/null +++ b/src/storage/s3.ts @@ -0,0 +1,100 @@ +// S3-совместимое хранилище байтов вложений (SeaweedFS). Один приватный bucket, ключи объектов назначает сервер. +// Ошибки переводятся в ответы контракта: недоступность хранилища — 503, ошибка конфигурации/прав — 500. +import { + CopyObjectCommand, + CreateBucketCommand, + DeleteObjectCommand, + GetObjectCommand, + HeadObjectCommand, + ListObjectsV2Command, + PutObjectCommand, + S3Client, +} from '@aws-sdk/client-s3'; +import type { Readable } from 'node:stream'; +import type { S3Config } from '../config.ts'; +import { HttpError, unavailable } from '../http/errors.ts'; +import { log } from '../otel.ts'; + +export type Storage = ReturnType; + +export function createStorage(cfg: S3Config) { + const client = new S3Client({ + endpoint: cfg.endpoint, + region: cfg.region, + forcePathStyle: true, + credentials: { accessKeyId: cfg.accessKeyId, secretAccessKey: cfg.secretAccessKey }, + // Тело PUT уходит как есть с Content-Length, без aws-chunked/trailer: SHA-256 считает сам API. + requestChecksumCalculation: 'WHEN_REQUIRED', + responseChecksumValidation: 'WHEN_REQUIRED', + // Потоковое тело PUT нельзя отправить повторно; повтор — решение клиента API (он получит 503). + maxAttempts: 1, + // Недоступный S3 — быстрый отказ (1 с); requestTimeout — простой сокета, а не длительность всей загрузки. + // requestTimeout < timeout server HAProxy (10 с): при зависшем S3 ответит API (503), а не LB (504). + requestHandler: { connectionTimeout: 1000, requestTimeout: 8000, throwOnRequestTimeout: true }, + }); + const Bucket = cfg.bucket; + const send = async (p: Promise): Promise => { + try { + return await p; + } catch (err) { + throw storageError(err); + } + }; + + return { + bucket: Bucket, + put: (key: string, body: Readable, length: number, type: string, signal: AbortSignal) => + send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentLength: length, ContentType: type }), { abortSignal: signal })), + putBuffer: (key: string, body: Buffer, type: string) => + send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentType: type }))), + // Копия на стороне S3 (байты не идут через процесс): публикация оригинала из staging в конечный prefix. + copy: (from: string, to: string) => + send(client.send(new CopyObjectCommand({ Bucket, CopySource: `${Bucket}/${from}`, Key: to }))), + // null — объекта нет. + async get(key: string): Promise { + try { + return (await client.send(new GetObjectCommand({ Bucket, Key: key }))).Body as Readable; + } catch (err) { + if (isMissing(err)) return null; + throw storageError(err); + } + }, + async exists(key: string): Promise { + try { + await client.send(new HeadObjectCommand({ Bucket, Key: key })); + return true; + } catch (err) { + if (isMissing(err)) return false; + throw storageError(err); + } + }, + remove: (key: string) => send(client.send(new DeleteObjectCommand({ Bucket, Key: key }))), + list: (prefix: string, token?: string) => + send(client.send(new ListObjectsV2Command({ Bucket, Prefix: prefix, ContinuationToken: token, MaxKeys: 1000 }))), + // Идемпотентный bootstrap: существующий bucket этого владельца — не ошибка. + async createBucket(): Promise<'created' | 'exists'> { + try { + await client.send(new CreateBucketCommand({ Bucket })); + return 'created'; + } catch (err) { + if ((err as Error).name === 'BucketAlreadyOwnedByYou') return 'exists'; + throw err; + } + }, + }; +} + +function isMissing(err: unknown): boolean { + const e = err as { name?: string; $metadata?: { httpStatusCode?: number } }; + return e.name === 'NoSuchKey' || e.name === 'NotFound' || e.$metadata?.httpStatusCode === 404; +} + +// 4xx от S3 (AccessDenied, неверный bucket) — ошибка конфигурации: 500. Сеть, таймаут, 5xx — 503, клиент может повторить. +function storageError(err: unknown): Error { + if (err instanceof HttpError) return err; + const e = err as { name?: string; message?: string; $metadata?: { httpStatusCode?: number } }; + if (e.name === 'AbortError') return err as Error; // загрузку прервал сам API, причину знает вызывающий + log('error', 's3.error', `S3: ${e.name}`, { 'error.type': e.name ?? 'Error' }); + const status = e.$metadata?.httpStatusCode ?? 0; + return status >= 400 && status < 500 ? new HttpError(500, 'internal_error', 'Внутренняя ошибка') : unavailable('Хранилище файлов недоступно'); +} diff --git a/src/telemetry.ts b/src/telemetry.ts new file mode 100644 index 0000000..c266a4b --- /dev/null +++ b/src/telemetry.ts @@ -0,0 +1,70 @@ +// OpenTelemetry SDK для api и worker: node --import ./src/telemetry.ts src/main.ts [worker]. +// Загружается до приложения, чтобы инструментации успели перехватить http, pg и AWS SDK (ESM — через +// import-in-the-middle). Экспорт traces/metrics/logs — OTLP/HTTP в Collector; адрес, протокол, service.name, +// интервалы и OTEL_SDK_DISABLED задаются переменными OTEL_* (compose.yaml). Недоступный Collector не влияет на +// обработку запросов: очереди SDK ограничены (BSP/BLRP 2048 записей), при переполнении данные отбрасываются. +import { readFileSync } from 'node:fs'; +import { register } from 'node:module'; +import { OTLPTraceExporter } from '@opentelemetry/exporter-trace-otlp-proto'; +import { OTLPMetricExporter } from '@opentelemetry/exporter-metrics-otlp-proto'; +import { OTLPLogExporter } from '@opentelemetry/exporter-logs-otlp-proto'; +import { PeriodicExportingMetricReader } from '@opentelemetry/sdk-metrics'; +import { BatchLogRecordProcessor } from '@opentelemetry/sdk-logs'; +import { serviceTls } from './security.ts'; +import { hostname } from 'node:os'; +import { AwsInstrumentation } from '@opentelemetry/instrumentation-aws-sdk'; +import { HttpInstrumentation } from '@opentelemetry/instrumentation-http'; +import { PgInstrumentation } from '@opentelemetry/instrumentation-pg'; +import { RuntimeNodeInstrumentation } from '@opentelemetry/instrumentation-runtime-node'; +import { NodeSDK, resources } from '@opentelemetry/sdk-node'; + +// OTEL_SDK_DISABLED=true — ни ESM-hook, ни патчей модулей instrumentations: чистая база для сравнения. +if (process.env.OTEL_SDK_DISABLED !== 'true') { + register('@opentelemetry/instrumentation/hook.mjs', import.meta.url); + + const { version } = JSON.parse(readFileSync(new URL('../package.json', import.meta.url), 'utf8')); + + const httpAgentOptions = { ...serviceTls(), keepAlive: true }; + const sdk = new NodeSDK({ + traceExporter: new OTLPTraceExporter({ httpAgentOptions }), + metricReaders: [new PeriodicExportingMetricReader({ + exporter: new OTLPMetricExporter({ httpAgentOptions }), + exportIntervalMillis: Number(process.env.OTEL_METRIC_EXPORT_INTERVAL ?? 10000), + })], + logRecordProcessors: [new BatchLogRecordProcessor({ exporter: new OTLPLogExporter({ httpAgentOptions }) })], + // Только явные атрибуты и OTEL_SERVICE_NAME/OTEL_RESOURCE_ATTRIBUTES: host/process detectors добавили бы + // аргументы командной строки и пр. в каждую запись. service.instance.id = hostname = X-Instance-Id. + resourceDetectors: [resources.envDetector], + resource: resources.resourceFromAttributes({ 'service.version': version, 'service.instance.id': hostname() }), + instrumentations: [ + new HttpInstrumentation({ + // Health-проверки HAProxy и Docker (каждую секунду) — не бизнес-трафик: без spans и без метрик. + ignoreOutgoingRequestHook: ({ hostname }) => hostname === 'openbao', + ignoreIncomingRequestHook: (req) => req.url?.startsWith('/health/') ?? false, + // filename (пользовательский текст) и cursor не попадают в url.query server span. + redactedQueryParamsServer: ['filename', 'cursor'], + }), + // requireParentSpan: фоновые опросы outbox/sweeper (каждые 0.5–5 с) не создают отдельных trace. + // enhancedDatabaseReporting выключен: значения параметров SQL (текст сообщений, хеши) не записываются. + new PgInstrumentation({ requireParentSpan: true, enhancedDatabaseReporting: false }), + // Span на операцию S3 (PutObject, GetObject …) вместо дублирующего HTTP-клиентского span. + new AwsInstrumentation({ suppressInternalInstrumentation: true }), + new RuntimeNodeInstrumentation(), + ], + }); + sdk.start(); + + // otel.ts загружается только после start(): metrics.getMeter() до регистрации провайдера вернул бы no-op meter. + const { meter, onFlush } = await import('./otel.ts'); + onFlush(() => sdk.shutdown()); + + // CPU и RSS процесса (в контейнере один процесс, поэтому это и нагрузка контейнера). + meter.createObservableCounter('process.cpu.time', { unit: 's', description: 'CPU time of the process' }) + .addCallback((r) => { + const { user, system } = process.cpuUsage(); + r.observe(user / 1e6, { 'cpu.mode': 'user' }); + r.observe(system / 1e6, { 'cpu.mode': 'system' }); + }); + meter.createObservableGauge('process.memory.usage', { unit: 'By', description: 'Resident set size of the process' }) + .addCallback((r) => r.observe(process.memoryUsage.rss())); +} diff --git a/student-tests/alternate_failover.py b/student-tests/alternate_failover.py new file mode 100644 index 0000000..581eac6 --- /dev/null +++ b/student-tests/alternate_failover.py @@ -0,0 +1,64 @@ +#!/usr/bin/env python3 +"""Проверка второй реплики, если публичный сценарий повторно выбирает тот же target.""" +import os +from pathlib import Path +import subprocess +import sys +import time +from uuid import uuid4 + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, Failure, ROOT, arguments, check, run +from resilience import history +from worker_compromise import cmd + + +def main(): + args = arguments('Отказ выбранной API-реплики', lambda p: p.add_argument('--replica', choices=('1', '2'), required=True)) + c = Client(args.base_url, args.ca_file or ROOT / 'secrets/tls/service-ca/ca.crt', timeout=2) + container = cmd('docker', 'compose', 'ps', '-q', 'api', capture=True).splitlines() + target, = (cid[:12] for cid in container if cmd('docker', 'inspect', '-f', + '{{index .Config.Labels "com.docker.compose.container-number"}}', cid, capture=True) == args.replica) + alice, bob, _, chat = c.bootstrap() + initial = c.message(alice, chat, 'Подтверждено до отказа')['json'] + attachment, image = c.attachment(alice, chat) + c.wait_ready(alice, attachment) + seen = {c.call('GET', '/api/v1/users/me', actor=alice)['headers']['X-Instance-Id'] for _ in range(10)} + check(len(seen) == 2 and target in seen, 'Две реплики не обнаружены') + + started = time.monotonic() + proc = subprocess.Popen([str(ROOT / 'scripts/stop-one.sh')], cwd=ROOT, + env={**os.environ, 'TARGET_INSTANCE_ID': target}) + results, failures, recovered = [], 0, None + key = uuid4().hex + try: + while time.monotonic() < started + 15: + try: + response = c.message(alice, chat, key, key=key) + except Failure: + failures += 1 + else: + results.append(response['json']) + if proc.poll() == 0: + check(response['headers']['X-Instance-Id'] != target, 'Остановленная реплика ответила') + if recovered is None: + recovered = time.monotonic() - started + key = uuid4().hex + time.sleep(0.1) + check(proc.wait(timeout=2) == 0 and recovered is not None and recovered <= 10, 'Долгое восстановление') + check(len(results) >= 5, 'Мало успешных записей') + messages = history(c, bob, chat) + check(all(row in messages for row in [initial, *results]), 'Подтверждённое сообщение потеряно') + check(len({row['text'] for row in messages}) == len(messages), 'Дубли сообщений') + result = c.call('GET', '/api/v1/attachments/' + attachment['id'] + '/content', actor=bob) + check(result['bytes'] == image, 'Оригинал изменился') + print(f'PASS api-{args.replica}: {len(results)} successful writes, {failures} failures, recovery {recovered:.3f}s') + finally: + if proc.poll() is None: + proc.terminate() + proc.wait() + cmd('docker', 'compose', 'start', 'api') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/argon2_bench.mjs b/student-tests/argon2_bench.mjs new file mode 100644 index 0000000..e2724b1 --- /dev/null +++ b/student-tests/argon2_bench.mjs @@ -0,0 +1,31 @@ +import assert from 'node:assert/strict'; +import { hashPassword, checkPassword } from '../src/modules/passwords.ts'; + +const sample = 'synthetic-benchmark-password'; +const hash = await hashPassword(sample); +assert.match(hash, /^\$argon2id\$v=19\$m=19456,t=2,p=1\$/); +assert.notEqual(await hashPassword(sample), hash); +assert.equal(await checkPassword(sample, hash), true); +assert.equal(await checkPassword('different-password', hash), false); + +for (const concurrency of [1, 2]) { + const elapsed = []; + const cpu = process.cpuUsage(); + const start = performance.now(); + await Promise.all(Array.from({ length: concurrency }, async () => { + for (let i = 0; i < 25; i++) { + const at = performance.now(); + assert.equal(await checkPassword(sample, hash), true); + elapsed.push(performance.now() - at); + } + })); + elapsed.sort((a, b) => a - b); + const used = process.cpuUsage(cpu); + console.log(JSON.stringify({ + concurrency, runs: elapsed.length, p50_ms: Math.round(elapsed[Math.ceil(elapsed.length * .5) - 1]), + p95_ms: Math.round(elapsed[Math.ceil(elapsed.length * .95) - 1]), + p99_ms: Math.round(elapsed[Math.ceil(elapsed.length * .99) - 1]), + elapsed_ms: Math.round(performance.now() - start), cpu_ms: Math.round((used.user + used.system) / 1000), + max_rss_mib: Math.round(process.resourceUsage().maxRSS / 1024), + })); +} diff --git a/student-tests/attachments.py b/student-tests/attachments.py new file mode 100644 index 0000000..372eeb9 --- /dev/null +++ b/student-tests/attachments.py @@ -0,0 +1,220 @@ +#!/usr/bin/env python3 +"""Негативные и граничные сценарии вложений (уровень 4) через LB: ни один из них не должен дать 500. +Lab5: принятый файл — 202 queued, байты и варианты доступны после ready (worker). +Изображения генерируются кодом (PNG — zlib/struct), JPEG — синтетический fixtures/sample.jpg (sips из sample.png). +Запуск: python3 student-tests/attachments.py --base-url http://localhost:8080""" +import hashlib +import http.client +import os +from pathlib import Path +import struct +import sys +import time +import urllib.parse +import uuid +import zlib + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, ROOT, arguments, check, run # noqa: E402 + +MiB = 1024 * 1024 +SAMPLE_PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() +SAMPLE_JPG = (Path(__file__).parent / 'fixtures/sample.jpg').read_bytes() + + +def chunk(kind, data): + return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data)) + + +def png(width, height, raw, depth=8, color=2, level=1): + """PNG из готовых распакованных строк raw (байт фильтра + пиксели).""" + ihdr = struct.pack('>IIBBBBB', width, height, depth, color, 0, 0, 0) + return b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level)) + chunk(b'IEND', b'') + + +def noise_png(side): + """RGB-шум не сжимается: размер файла ≈ side² × 3 байт.""" + row = 1 + side * 3 + return png(side, side, b''.join(b'\0' + os.urandom(row - 1) for _ in range(side))) + + +def gray1(width, height): + """1-битный серый PNG из нулей: 40 Мпикс занимают несколько килобайт файла.""" + return png(width, height, bytes(height * (1 + (width + 7) // 8)), depth=1, color=0, level=9) + + +def jpeg_with_size(data, width, height): + """Подменить размеры в SOF0 существующего JPEG.""" + i = data.index(b'\xff\xc0') + return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:] + + +def jpeg_without(data, marker): + """Вырезать из JPEG все сегменты с маркером marker, стоящие до SOS.""" + out, i = data[:2], 2 + while data[i + 1] != 0xda: + size = 2 + struct.unpack('>H', data[i + 2:i + 4])[0] + if data[i + 1] != marker: + out += data[i:i + size] + i += size + return out + data[i:] + + +def bare_jpeg(): + """27 байт: SOI, SOF0 1x1, SOS, EOI — без таблиц DQT/DHT и без данных скана.""" + return (b'\xff\xd8' + b'\xff\xc0' + struct.pack('>HBHHB', 11, 8, 1, 1, 1) + b'\x01\x11\x00' + + b'\xff\xda' + struct.pack('>HB', 8, 1) + b'\x01\x00\x00\x3f\x00' + b'\xff\xd9') + + +def main(): + args = arguments('Attachment negative suite') + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, eve, chat = c.bootstrap() + other = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'Другой чат', 'member_ids': [alice['id']]}, schema='Chat')['json'] + results = [] + + def upload(data, expected, ctype='image/png', name='file.png', actor=alice, target=chat, label=None): + path = '/api/v1/chats/' + target['id'] + '/attachments?filename=' + urllib.parse.quote(name, safe='') + r = c.call('POST', path, expected, actor=actor, raw=data, headers={'Content-Type': ctype}, schema='Attachment' if expected == 202 else None) + results.append((label or name, r['status'], (r['json'] or {}).get('error', {}).get('code', ''), round(r['elapsed'] * 1000))) + if expected == 202: + att = r['json'] + check(att['sha256'] == hashlib.sha256(data).hexdigest() and att['size_bytes'] == len(data), label + ': checksum/size') + check(att['content_type'] == ctype and att['filename'] == name, label + ': metadata') + check(att['status'] == 'queued' and att['variants'] == [] and att['error_code'] is None, label + ': 202 snapshot') + return att + return r['json'] + + def download(att, actor=bob, expect=None): + att = c.wait_ready(actor, att, 120) + r = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=actor) + check(r['bytes'] == expect and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'download differs') + check(r['headers'].get_content_type() == att['content_type'], 'download content type') + check(r['headers'].get('X-Content-Type-Options') == 'nosniff', 'missing nosniff') + check(not r['headers'].get('Location'), 'download must not redirect') + + # Принимаются реальные PNG/JPEG, граница по размеру и по пикселям. + jpg = upload(SAMPLE_JPG, 202, 'image/jpeg', 'фото 📷 2026.jpg', label='real JPEG + unicode filename') + download(jpg, expect=SAMPLE_JPG) + big = noise_png(1860) + check(9 * MiB < len(big) <= 10 * MiB, 'big fixture size %d' % len(big)) + big_att = upload(big, 202, label='PNG %.2f MiB (noise 1860x1860)' % (len(big) / MiB)) + download(big_att, expect=big) + huge = upload(gray1(6400, 6250), 202, label='PNG ровно 40 000 000 px') + huge = c.wait_ready(bob, huge, 120) # worker обрабатывает предельный по пикселям файл в своих лимитах + dims = {v['name']: (v['width'], v['height']) for v in huge['variants']} + check(dims == {'thumbnail': (256, 250), 'crop': (128, 128), 'optimized': (1280, 1250)}, 'variants of 6400x6250: %s' % dims) + + # Лимиты: до чтения тела (Content-Length) и по заголовку изображения до распаковки. + upload(noise_png(1900), 413, label='PNG 10.33 MiB > 10 MiB') + upload(os.urandom(10 * MiB + 1), 413, label='10 MiB + 1 байт') + upload(gray1(6400, 6251), 413, label='PNG 40 006 400 px') + bomb = gray1(30000, 30000) + upload(bomb, 413, label='pixel-bomb 30000x30000, файл %d КБ' % (len(bomb) // 1024)) + upload(jpeg_with_size(SAMPLE_JPG, 10000, 10000), 413, 'image/jpeg', 'bomb.jpg', label='JPEG SOF 10000x10000') + # IHDR обещает 100x100, а IDAT распаковывается в 64 МБ нулей: распаковка останавливается на лишних данных. + upload(png(100, 100, bytes(64 * MiB), level=9), 415, label='zip-bomb в IDAT (64 МБ при 100x100)') + + # Повреждённые файлы и подмена типа. + bad_crc = bytearray(SAMPLE_PNG) + bad_crc[1000] ^= 0xFF + upload(bytes(bad_crc), 415, label='PNG: байт IDAT испорчен (CRC)') + upload(png(320, 200, os.urandom(1000)), 415, label='PNG: корректные CRC, мусор в zlib') + upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей') + upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан') + upload(SAMPLE_PNG + b'', 415, label='PNG + данные после IEND') + upload(png(1, 1, b'\x05\0\0\0'), 415, label='PNG 1x1: фильтр строки 5 (допустимы 0–4)') + upload(bare_jpeg(), 415, 'image/jpeg', 'bare.jpg', label='JPEG 27 байт: без DQT/DHT и скана') + upload(jpeg_without(SAMPLE_JPG, 0xdb), 415, 'image/jpeg', 'nodqt.jpg', label='JPEG без таблиц квантования DQT') + upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)') + upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg') + upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png') + upload(b'GIF89a' + os.urandom(100), 415, label='GIF под видом image/png') + upload(b'', 415, label='SVG под видом image/png') + upload(SAMPLE_PNG, 415, 'image/gif', 'x.gif', label='Content-Type image/gif') + upload(SAMPLE_PNG, 415, 'application/octet-stream', 'x.png', label='Content-Type octet-stream') + upload(b'', 415, label='пустое тело') + + # Опасные и некорректные filename: 400 до чтения тела. + for name in ['../etc/passwd', 'a/b.png', 'a\\b.png', 'nul\x00.png', 'tab\t.png', 'line\n.png', 'c1\x85.png', '', ' ', 'x' * 256]: + upload(SAMPLE_PNG, 400, name=name, label='filename %r' % name[:20]) + r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments', 400, actor=alice, raw=SAMPLE_PNG, headers={'Content-Type': 'image/png'}) + results.append(('без filename', r['status'], r['json']['error']['code'], round(r['elapsed'] * 1000))) + results.append(('chunked без Content-Length',) + chunked_upload(c, alice, chat)) + + # Доступ: без сессии, посторонний, чужое вложение. + upload(SAMPLE_PNG, 401, actor={'id': '', 'token': 'bad'}, label='без действительной сессии') + upload(SAMPLE_PNG, 404, actor=eve, label='посторонний грузит в чужой чат') + upload(SAMPLE_PNG, 404, target={'id': str(uuid.uuid4())}, label='несуществующий чат') + upload(SAMPLE_PNG, 400, target={'id': 'not-a-uuid'}, label='chat_id не UUID') + own = upload(SAMPLE_PNG, 202, label='обычный PNG') + foreign = upload(SAMPLE_PNG, 202, target=other, label='PNG в другом чате') + for suffix in ('', '/content'): + c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 404, actor=eve) + c.call('GET', '/api/v1/attachments/' + foreign['id'] + suffix, 404, actor=bob) + c.call('GET', '/api/v1/attachments/' + str(uuid.uuid4()) + suffix, 404, actor=bob) + c.call('GET', '/api/v1/attachments/xyz' + suffix, 400, actor=bob) + c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 401) + content = '/api/v1/attachments/' + own['id'] + '/content' + c.wait_ready(bob, own) + check(c.call('GET', content + '?variant=thumbnail', actor=bob)['headers'].get_content_type() == 'image/jpeg', 'thumbnail type') + check(c.call('GET', content + '?variant=optimized', actor=bob)['headers'].get_content_type() == 'image/webp', 'optimized type') + c.call('GET', content + '?variant=bogus', 400, actor=bob) + check(c.call('GET', content + '?variant=original', actor=bob)['bytes'] == SAMPLE_PNG, 'variant=original') + + # Привязка к сообщению: только вложения этого чата, 0–10 уникальных UUID. + send = '/api/v1/chats/' + chat['id'] + '/messages' + + def post(body, expected, key=None): + return c.call('POST', send, expected, actor=alice, body=body, headers={'Idempotency-Key': key or uuid.uuid4().hex}, + schema='Message' if expected == 201 else None)['json'] + + post({'text': 'чужое', 'attachment_ids': [foreign['id']]}, 404) + post({'text': 'смесь', 'attachment_ids': [own['id'], foreign['id']]}, 404) + post({'text': 'нет такого', 'attachment_ids': [str(uuid.uuid4())]}, 404) + post({'text': 'дубль', 'attachment_ids': [own['id'], own['id'].upper()]}, 400) + post({'text': 'много', 'attachment_ids': [str(uuid.uuid4()) for _ in range(11)]}, 400) + post({'text': 'не uuid', 'attachment_ids': ['x']}, 400) + post({'text': 'не массив', 'attachment_ids': own['id']}, 400) + post({'text': ' '}, 400) + post({'text': '', 'attachment_ids': []}, 400) + c.call('POST', '/api/v1/chats/' + other['id'] + '/messages', 404, actor=bob, body={'text': 'x', 'attachment_ids': [foreign['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}) + key = uuid.uuid4().hex + m = post({'text': '', 'attachment_ids': [own['id'], jpg['id']]}, 201, key) + check(m['attachment_ids'] == [own['id'], jpg['id']] and m['text'] == '', 'attachment order/text') + check(post({'attachment_ids': [own['id'], jpg['id']], 'text': ''}, 201, key) == m, 'replay with attachments differs') + post({'text': '', 'attachment_ids': [jpg['id'], own['id']]}, 409, key) + post({'text': '', 'attachment_ids': [own['id']]}, 409, key) + key = uuid.uuid4().hex + t = post({'text': 'без вложений'}, 201, key) + check(post({'text': 'без вложений', 'attachment_ids': []}, 201, key) == t and t['attachment_ids'] == [], 'missing attachment_ids != []') + history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] + check([x for x in history if x['id'] == m['id']] == [m], 'history lost attachment_ids') + + width = max(len(r[0]) for r in results) + for label, status, code, ms in results: + print('%-*s %d %-24s %5d ms' % (width, label, status, code, ms)) + check(all(status < 500 for _, status, _, _ in results), 'server error in negative suite') + print('PASS: %d upload cases, ACL and message linking; no 5xx' % len(results)) + + +def chunked_upload(c, actor, chat): + """Тело без Content-Length (Transfer-Encoding: chunked): потоковая запись в S3 требует длину — 400.""" + url = urllib.parse.urlsplit(c.base) + conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10) + conn.putrequest('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=c.png') + conn.putheader('Authorization', 'Bearer ' + actor['token']) + conn.putheader('Content-Type', 'image/png') + conn.putheader('Transfer-Encoding', 'chunked') + conn.endheaders() + start = time.monotonic() + conn.send(b'%x\r\n%s\r\n0\r\n\r\n' % (len(SAMPLE_PNG), SAMPLE_PNG)) + r = conn.getresponse() + body = r.read() + check(r.status == 400 and b'invalid_request' in body, 'chunked upload: %d' % r.status) + return r.status, 'invalid_request', round((time.monotonic() - start) * 1000) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/auth_security.py b/student-tests/auth_security.py new file mode 100644 index 0000000..97f587f --- /dev/null +++ b/student-tests/auth_security.py @@ -0,0 +1,87 @@ +#!/usr/bin/env python3 +import base64 +from concurrent.futures import ThreadPoolExecutor +import hashlib +import json +from pathlib import Path +import ssl +import socket +from urllib.parse import urlsplit +import sys +import time +from collections import Counter + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, ROOT, arguments, check, run +from worker_compromise import sql + +CA = ROOT / 'secrets/tls/service-ca/ca.crt' + + +def main(): + args = arguments('TLS, ACL, Argon2id и сессии') + c = Client(args.base_url, args.ca_file or CA) + alice, bob, eve, chat = c.bootstrap() + att, _ = c.attachment(alice, chat) + c.wait_ready(alice, att) + path = '/api/v1/attachments/' + att['id'] + for suffix in ('', '/content'): + c.call('GET', path + suffix, 404, actor=eve, headers={'X-User-Id': alice['id']}) + own = c.call('POST', '/api/v1/chats', 201, actor=eve, body={'title': 'ACL', 'member_ids': [eve['id'], bob['id']]}, schema='Chat')['json'] + c.call('POST', '/api/v1/chats/' + own['id'] + '/messages', 404, actor=eve, + body={'text': 'blocked', 'attachment_ids': [att['id']]}, headers={'Idempotency-Key': 'acl-test-' + att['id']}) + print('PASS outsider: metadata, bytes and reuse of foreign attachment denied') + + session_hash = hashlib.sha256(alice['token'].encode()).hexdigest() + sql(f"UPDATE sessions SET expires_at = now() - interval '1 second' WHERE token_hash = decode('{session_hash}', 'hex')") + c.call('GET', '/api/v1/users/me', 401, actor=alice) + c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=bob) + c.call('GET', '/api/v1/users/me', 401, actor=bob) + print('PASS expired and logged-out sessions rejected') + + registration = alice['registration'] + salt = bytes(range(16)) + legacy = 'scrypt$16384$8$1$' + base64.b64encode(salt).decode() + '$' + base64.b64encode( + hashlib.scrypt(registration['password'].encode(), salt=salt, n=16384, r=8, p=1, dklen=32, maxmem=64 << 20) + ).decode() + sql(f"UPDATE users SET password_hash = '{legacy}' WHERE id = '{alice['id']}'") + auth = base64.b64encode((registration['username'] + ':' + registration['password']).encode()).decode() + c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + auth}) + check(sql(f"SELECT password_hash LIKE '$argon2id$v=19$%' FROM users WHERE id = '{alice['id']}'") == 't', 'rehash missing') + print('PASS successful scrypt login rehashes to Argon2id') + + endpoint = urlsplit(c.base) + ctx = ssl.create_default_context(cafile=CA) + try: + with socket.create_connection((endpoint.hostname, endpoint.port or 443), timeout=5) as raw: + with ctx.wrap_socket(raw, server_hostname='invalid.lab'): + raise AssertionError('wrong hostname accepted') + except ssl.SSLCertVerificationError as exc: + check(exc.verify_code == 62, 'expected hostname mismatch') + print('PASS ingress rejects an incorrect hostname') + + # Exercise password work with a known user and valid-length wrong password. + sql("UPDATE login_rate SET window_start='-infinity', attempts=0") + invalid = base64.b64encode((registration['username'] + ':wrong-password-for-lab').encode()).decode() + start = time.monotonic() + with ThreadPoolExecutor(max_workers=4) as pool: + samples = list(pool.map(lambda _: c.call('POST', '/api/v1/auth/sessions', [401, 429], + headers={'Authorization': 'Basic ' + invalid}), range(64))) + counts = Counter(r['status'] for r in samples) + for item in samples: + if item['status'] == 429: + check(int(item['headers']['Retry-After']) >= 1, 'Retry-After missing') + check(401 in counts and 429 in counts, 'rate limit test did not see both status codes') + check(len({item['headers']['X-Instance-Id'] for item in samples if item['status'] == 429}) >= 2, + '429 was not observed on both API replicas') + elapsed = sorted(r['elapsed'] for r in samples if r['status'] == 401) + print('PASS shared login budget ' + json.dumps({ + 'codes': counts, 'requests': 64, 'concurrency': 4, 'seconds': round(time.monotonic() - start, 2), + '401_p50_ms': round(elapsed[len(elapsed) // 2] * 1000, 1), + '401_p95_ms': round(elapsed[int((len(elapsed) - 1) * .95)] * 1000, 1), + })) + sql("UPDATE login_rate SET window_start='-infinity', attempts=0") + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/bao_expiry.py b/student-tests/bao_expiry.py new file mode 100644 index 0000000..7821e0f --- /dev/null +++ b/student-tests/bao_expiry.py @@ -0,0 +1,71 @@ +#!/usr/bin/env python3 +"""Проверяет sealed OpenBao, границу TTL и восстановление API без удаления данных.""" +import datetime +from pathlib import Path +import ssl +import sys +import time +import urllib.error +import urllib.request + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, Failure, ROOT, arguments, check, run +from worker_compromise import cmd + + +def instances(c): + return {c.call('GET', '/health/ready')['headers']['X-Instance-Id'] for _ in range(8)} + + +def main(): + args = arguments('OpenBao sealed / credential expiry') + ca = args.ca_file or ROOT / 'secrets/tls/service-ca/ca.crt' + c = Client(args.base_url, ca, timeout=5) + deadline = time.monotonic() + 90 + while time.monotonic() < deadline: + try: + if len(instances(c)) == 2: + break + except Failure: + pass + time.sleep(1) + else: + raise AssertionError('Before sealing, both API replicas must respond') + + started = time.monotonic() + since = datetime.datetime.now(datetime.timezone.utc).isoformat() + ctx = ssl.create_default_context(cafile=ca) + cmd('python3', 'scripts/bao.py', 'seal') + try: + c.call('GET', '/health/live') + expired = set() + while time.monotonic() < started + 80: + logs = cmd('docker', 'compose', 'logs', '--since', since, '--no-color', 'api', capture=True) + expired.update(line.split('|', 1)[0].strip() for line in logs.splitlines() if 'secrets.expired' in line) + if len(expired) == 2: + break + time.sleep(1) + check(len(expired) == 2, 'Both replicas must record credential expiry') + try: + urllib.request.urlopen(c.base + '/health/ready', context=ctx, timeout=5).close() + except urllib.error.HTTPError as exc: + check(exc.code == 503, 'Expected HTTP 503 from ingress') + else: + raise AssertionError('Ingress still routes after both API credentials expired') + print(f'PASS sealed OpenBao, both replicas expired and ingress returned 503 after {time.monotonic() - started:.1f}s') + finally: + cmd('python3', 'scripts/bao.py', 'unseal') + deadline = time.monotonic() + 90 + while time.monotonic() < deadline: + try: + if len(instances(c)) == 2: + print(f'PASS both replicas recovered after {time.monotonic() - started:.1f}s from seal') + return + except Failure: + pass + time.sleep(1) + raise AssertionError('API failed to recover after unseal') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/failures.py b/student-tests/failures.py new file mode 100644 index 0000000..0ea48c9 --- /dev/null +++ b/student-tests/failures.py @@ -0,0 +1,139 @@ +#!/usr/bin/env python3 +"""Отказы вокруг S3 и перезапуск всего стенда (уровни 3–4). Управляет Docker Compose этого каталога: + 1. S3 остановлен: upload/download → 503 быстро, метаданные и текст работают, readiness = 200; + 2. S3 «завис» (docker pause): ответ 503 по таймауту API раньше таймаута LB; + 3. после возврата S3 всё работает; неудачные загрузки не оставили строк (lab5: компенсация сначала удаляет строку), + «воскресший» после pause объект staging убирает reconciler (orphan_staging); + 4. docker compose down (без -v) + up: метаданные, оригинал и прежний токен сохранены. +Запуск: python3 student-tests/failures.py --base-url http://localhost:8080""" +import hashlib +import json +from pathlib import Path +import subprocess +import sys +import time +import uuid + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, ROOT, arguments, check, run # noqa: E402 + +PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() + + +def compose(*args, capture=False): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True) + check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:])) + return r.stdout if capture else None + + +def sql(query): + return compose('exec', '-T', '-u', 'postgres', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', query, capture=True).strip() + + +def reconcile(*flags): + out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags, capture=True) + return json.loads(out.strip().splitlines()[-1]) + + +def wait_ready(c, seconds=90): + deadline = time.monotonic() + seconds + while time.monotonic() < deadline: + try: + if c.call('GET', '/health/ready', [200, 503])['status'] == 200: + return + except AssertionError: + pass + time.sleep(1) + raise AssertionError('stand not ready') + + +def recover(c, path, actor, seconds=60): + """Время до первого успешного скачивания после возврата S3.""" + start = time.monotonic() + while c.call('GET', path, [200, 503], actor=actor)['status'] != 200: + check(time.monotonic() - start < seconds, 'S3 path did not recover') + time.sleep(0.5) + return time.monotonic() - start + + +def main(): + args = arguments('S3 outage, S3 hang and full stand restart') + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, _, chat = c.bootstrap() + up = '/api/v1/chats/' + chat['id'] + '/attachments?filename=outage.png' + send = '/api/v1/chats/' + chat['id'] + '/messages' + hdr = {'Content-Type': 'image/png'} + att = c.call('POST', up, 202, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json'] + att = c.wait_ready(bob, att) # lab5: байты доступны после обработки worker + content = '/api/v1/attachments/' + att['id'] + '/content' + pending_before = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) + log = [] + + def step(name, r): + log.append('%-52s %d %5d ms' % (name, r['status'], r['elapsed'] * 1000)) + + # 1. S3 остановлен. + compose('stop', 's3') + try: + step('S3 stopped: /health/ready (S3 не критичен)', c.call('GET', '/health/ready', 200)) + for i in range(3): + step('S3 stopped: upload #%d' % (i + 1), c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr)) + step('S3 stopped: download', c.call('GET', content, 503, actor=bob)) + step('S3 stopped: metadata (только БД)', c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')) + step('S3 stopped: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 недоступен'}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')) + step('S3 stopped: message with ready attachment', c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')) + finally: + compose('start', 's3') + # Компенсация сначала удаляет pending-строку (БД доступна), объектов при остановленном S3 не появилось. + leftover = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) - pending_before + log.append('pending-строк после 3 неудачных загрузок: %d' % leftover) + check(leftover == 0, 'failed uploads left pending rows') + + log.append('S3 started: download снова 200 через %.1f s' % recover(c, content, bob)) + + # 2. S3 завис: TCP-соединения не отвечают. + c.call('GET', content, 200, actor=bob) # прогреть keep-alive соединения API → S3 + compose('pause', 's3') + try: + step('S3 paused: download (таймаут сокета S3 8 с)', c.call('GET', content, 503, actor=bob)) + step('S3 paused: upload', c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr)) + step('S3 paused: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 завис'}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')) + finally: + compose('unpause', 's3') + + # 3. S3 вернулся. + log.append('S3 unpaused: download снова 200 через %.1f s' % recover(c, content, bob)) + r = c.call('POST', up, 202, actor=alice, raw=PNG, headers=hdr, schema='Attachment') + step('S3 back: upload', r) + c.wait_ready(bob, r['json']) # reconcile --grace=0 ниже не должен застать работу в процессе + r = c.call('GET', content, 200, actor=bob) + check(r['bytes'] == PNG, 'original changed') + step('S3 back: download old attachment', r) + # Возможен orphan_staging — PUT, который S3 буферизовал во время pause и выполнил после того, как API сдался + # и компенсационный DELETE уже прошёл (объект «воскрес»). Других расхождений быть не должно. + dry = reconcile('--grace=0') + log.append('reconcile dry-run --grace=0: %s' % json.dumps(dry['findings'], ensure_ascii=False)) + check(set(dry['findings']) <= {'orphan_staging'}, 'unexpected findings') + fixed = reconcile('--grace=0', '--apply') + again = reconcile('--grace=0') + log.append('reconcile --apply: applied=%d; повтор: %s' % (fixed['applied'], json.dumps(again['findings']))) + check(not again['findings'], 'reconciler left inconsistencies') + + # 4. Полный перезапуск стенда с сохранением volumes: down удаляет контейнеры и сети, не volumes. + compose('down') + compose('up', '-d', '--wait') + wait_ready(c) + r = c.call('GET', content, 200, actor=bob) # прежний токен + check(r['bytes'] == PNG and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'original lost after down/up') + step('down + up -d: download with old token', r) + meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json'] + check(meta == att, 'metadata changed after restart') + print('\n'.join(log)) + print('PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/fixtures/sample.jpg b/student-tests/fixtures/sample.jpg new file mode 100644 index 0000000..208d00b Binary files /dev/null and b/student-tests/fixtures/sample.jpg differ diff --git a/student-tests/hardening.sh b/student-tests/hardening.sh new file mode 100755 index 0000000..747fff4 --- /dev/null +++ b/student-tests/hardening.sh @@ -0,0 +1,21 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +for service in api worker; do + ids=$(docker compose ps -q "$service") + [ -n "$ids" ] + for id in $ids; do + docker inspect "$id" | python3 -c ' +import json, sys +c = json.load(sys.stdin)[0] +h = c["HostConfig"] +assert c["Config"]["User"] == "node" +assert h["ReadonlyRootfs"] and not h["Privileged"] and h["NetworkMode"] != "host" +assert h["CapDrop"] == ["ALL"] and "no-new-privileges:true" in h["SecurityOpt"] +assert h["Memory"] > 0 and h["NanoCpus"] > 0 and "/tmp" in h["Tmpfs"] +assert not h["PortBindings"] +assert all(m["Destination"] != "/var/run/docker.sock" for m in c["Mounts"]) +print("PASS", c["Name"], "non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports") +' + done +done diff --git a/student-tests/idempotency_race.py b/student-tests/idempotency_race.py new file mode 100755 index 0000000..0b056a6 --- /dev/null +++ b/student-tests/idempotency_race.py @@ -0,0 +1,59 @@ +#!/usr/bin/env python3 +"""Один Idempotency-Key, N параллельных запросов через LB (то есть через разные реплики). +Половина запросов с телом A, половина с телом B: должно появиться ровно одно сообщение, каждый 201 возвращает его, +другое тело получает 409. Запуск: python3 student-tests/idempotency_race.py --base-url http://localhost:8080""" +from concurrent.futures import ThreadPoolExecutor +import json +from pathlib import Path +import sys +import threading +import uuid + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, arguments, check, run # noqa: E402 + + +def main(): + args = arguments('Parallel same-key POST race', lambda p: p.add_argument('--parallel', type=int, default=32)) + c = Client(args.base_url, args.ca_file) + alice, bob, _, chat = c.bootstrap() + path = '/api/v1/chats/' + chat['id'] + '/messages' + key = 'race-' + uuid.uuid4().hex + texts = ['гонка A ' + key, 'гонка B ' + key] + barrier = threading.Barrier(args.parallel) + + def send(i): + local = Client(args.base_url, args.ca_file) + barrier.wait() + r = local.call('POST', path, [201, 409], actor=alice, body={'text': texts[i % 2]}, headers={'Idempotency-Key': key}, schema='Message') + return r['status'], r['json'], r['headers']['X-Instance-Id'] + + with ThreadPoolExecutor(args.parallel) as pool: + results = list(pool.map(send, range(args.parallel))) + + created = [body for status, body, _ in results if status == 201] + check(created, 'no request succeeded') + winner = created[0] + check(all(body == winner for body in created), 'replicas returned different messages for one key') + check(all(body['error']['code'] == 'conflict' for status, body, _ in results if status == 409), '409 without conflict code') + statuses = {texts[i % 2]: set() for i in range(2)} + for i, (status, _, _) in enumerate(results): + statuses[texts[i % 2]].add(status) + check(statuses[winner['text']] == {201}, 'winning body must always get 201') + check(statuses[next(t for t in texts if t != winner['text'])] == {409}, 'other body must always get 409') + instances = {inst for _, _, inst in results} + check(len(instances) >= 2, 'race did not reach two replicas') + + history = c.call('GET', path + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] + stored = [m for m in history if key in m['text']] + check(stored == [winner], 'expected exactly one stored message equal to the replayed one') + # Тот же ключ у другого пользователя независим. + other = c.message(bob, chat, texts[0], key=key)['json'] + check(other['id'] != winner['id'] and other['sender_id'] == bob['id'], 'key scope leaked across users') + print(json.dumps({'parallel': args.parallel, 'replicas_hit': len(instances), 'created_201': len(created), + 'conflict_409': args.parallel - len(created), 'stored_messages': len(stored)}, ensure_ascii=False)) + print('PASS: concurrent same-key POSTs through different replicas created exactly one message') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/pipeline_faults.py b/student-tests/pipeline_faults.py new file mode 100644 index 0000000..adaa789 --- /dev/null +++ b/student-tests/pipeline_faults.py @@ -0,0 +1,354 @@ +#!/usr/bin/env python3 +"""Уровень 4 и трек 2: автоматический fault-injection pipeline вложений и проверка инвариантов. + +На время теста api и worker пересоздаются с FAILPOINTS=1 и JOB_TIMEOUT_SECONDS=10 (аренда 25 с), в конце — +снова с конфигурацией из .env. Отказы настоящие: аварийный выход процесса в точке (src/failpoints.ts), пауза процесса, +дубли и перестановка сообщений через outbox, остановка S3 и брокера, устаревшая job после новой версии pipeline. + +Инварианты (проверяются в конце по всем вложениям тестового чата): + I1 нет потерянной работы: каждое вложение, для которого записано задание, в конечном состоянии ready/failed; + I2 один результат: у пары (вложение, версия) ровно 3 варианта, лишние объекты попыток убирает reconciler; + I3 новый результат не перезаписан старым: версия только растёт, варианты v2 не меняются после старых job; + I4 повтор даёт тот же результат: sha256 вариантов после сбоев = sha256 контрольной обработки тех же байтов; + I5 API согласован: каждый вариант и оригинал скачиваются, размер и sha256 совпадают с метаданными; + I6 все job в конечном состоянии (done/failed/superseded), reconciler после очистки ничего не находит. +Запуск: python3 student-tests/pipeline_faults.py --base-url http://localhost:8080""" +import hashlib +import http.client +import json +import os +import struct +import subprocess +import time +import urllib.parse +import uuid +import zlib + +from failures import PNG, ROOT, sql, wait_ready +from client import Client, arguments, check, run + +TEST_ENV = {'FAILPOINTS': '1', 'JOB_TIMEOUT_SECONDS': '10'} # аренда = таймаут + 15 с +LEASE = 25 + + +def compose(*args, env=None): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True, env={**os.environ, **(env or {})}) + check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:])) + return r.stdout + + +def jobs(*args): + out = compose('run', '--rm', '--no-deps', '-T', 'migrate', 'node', 'src/main.ts', 'jobs', *args) + return [json.loads(line) for line in out.splitlines() if line.startswith('{')] + + +def reconcile(*flags): + """Находки reconciler (по одной JSON-строке) и итоговая сводка.""" + out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags) + lines = [json.loads(line) for line in out.splitlines() if line.startswith('{')] + return [x for x in lines if 'finding' in x], lines[-1] + + +def rows(query): + out = sql(query) + return [line.split('|') for line in out.splitlines()] if out else [] + + +def wait_for(what, fn, seconds): + deadline = time.monotonic() + seconds + while True: + value = fn() + if value: + return value + check(time.monotonic() < deadline, 'timeout: ' + what) + time.sleep(1) + + +def healthy(service): + """Все реплики сервиса healthy (после crash Docker перезапускает контейнер).""" + out = compose('ps', '-a', service, '--format', '{{.State}} {{.Health}}').split('\n') + return all(line == 'running healthy' for line in out if line) + + +def bad_filter_png(): + """Структура PNG верна (CRC, объём данных), но байт фильтра строк 9 не существует: API принимает, libvips — нет.""" + def chunk(kind, data): + return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data)) + raw = b''.join(b'\x09' + bytes(64 * 3) for _ in range(64)) + return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', struct.pack('>IIBBBBB', 64, 64, 8, 2, 0, 0, 0)) + + chunk(b'IDAT', zlib.compress(raw)) + chunk(b'IEND', b'')) + + +def main(): + args = arguments('Pipeline fault injection with invariant checks') + c = Client(args.base_url, args.ca_file, timeout=30) + since = time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime()) + compose('up', '-d', '--no-deps', 'api', 'worker', env=TEST_ENV) + wait_for('api healthy with FAILPOINTS=1', lambda: healthy('api'), 90) + for service in ('api', 'worker'): + ids = compose('ps', '-q', service).split() + check(len(ids) == 2 and all(subprocess.run(['docker', 'exec', i, 'printenv', 'FAILPOINTS'], capture_output=True, text=True) + .stdout.strip() == '1' for i in ids), '%s replicas without FAILPOINTS=1' % service) + wait_ready(c) + alice, bob, _, chat = c.bootstrap() + report = [] + + def record(name, text): + report.append('%-44s %s' % (name, text)) + print(report[-1], flush=True) + + def upload(name, data=PNG): + path = '/api/v1/chats/%s/attachments?filename=%s' % (chat['id'], urllib.parse.quote(name)) + return c.call('POST', path, 202, actor=alice, raw=data, headers={'Content-Type': 'image/png'}, schema='Attachment')['json']['id'] + + def raw_upload(name): + """Upload, при котором API может погибнуть посреди запроса: статус без проверок клиента (0 — обрыв).""" + url = urllib.parse.urlsplit(c.base) + conn = http.client.HTTPConnection(url.hostname, url.port, timeout=30) + try: + conn.request('POST', '/api/v1/chats/%s/attachments?filename=%s' % (chat['id'], name), body=PNG, + headers={'Authorization': 'Bearer ' + alice['token'], 'Content-Type': 'image/png'}) + return conn.getresponse().status + except OSError: + return 0 + finally: + conn.close() + + def find(name): + return sql("SELECT id FROM attachments WHERE chat_id = '%s' AND filename = '%s'" % (chat['id'], name)) + + def state(aid): + return rows("SELECT state, coalesce(pipeline_version, 0), coalesce(error_code, '') FROM attachments WHERE id = '%s'" % aid)[0] + + def job(aid, version=1): + r = rows("SELECT job_id, state, attempts, coalesce(error_code, '') FROM jobs WHERE attachment_id = '%s' AND pipeline_version = %d" + % (aid, version)) + return r[0] if r else None + + def variants(aid, version): + return {name: sha for name, sha in rows("SELECT name, sha256 FROM attachment_variants WHERE attachment_id = '%s' " + "AND pipeline_version = %d" % (aid, version))} + + def settle(aid, seconds=90, version=1): + """Дождаться конечного состояния вложения и его job нужной версии.""" + return wait_for('attachment %s final' % aid, lambda: state(aid)[0] in ('ready', 'failed') + and (job(aid, version) or ['', ''])[1] in ('done', 'failed', 'superseded') and state(aid), seconds) + + def deliveries(job_id): + log = compose('logs', '--no-log-prefix', '--since', since, 'worker') + return [line for line in log.splitlines() if job_id in line] + + try: + # S0. Контроль: эталонные sha256 вариантов v1 для тех же байтов. + control = upload('control.png') + settle(control) + ref = variants(control, 1) + check(len(ref) == 3, 'control variants') + record('S0 контроль', 'ready v1, варианты %s' % ', '.join(sorted(ref))) + + # S1. API падает после записи staging, до транзакции задания: 202 не было — работы не обещано. + status = raw_upload('failpoint-api_after_staging.png') + s1 = find('failpoint-api_after_staging.png') + check(status != 202 and state(s1)[0] == 'pending' and job(s1) is None, 'S1: %s %s' % (status, state(s1))) + wait_for('api restarted', lambda: healthy('api'), 90) + record('S1 API: crash после staging', 'клиент получил %d; строка pending, заданий нет → stale_pending для reconciler' % status) + + # S2. API падает после COMMIT задания+outbox, до publish и ответа: публикует relay другой реплики. + status = raw_upload('failpoint-api_after_commit.png') + s2 = find('failpoint-api_after_commit.png') + st = settle(s2) + j = job(s2) + check(status != 202 and st[0] == 'ready' and j[1:3] == ['done', '1'], 'S2: %s %s %s' % (status, st, j)) + wait_for('api restarted', lambda: healthy('api'), 90) + record('S2 API: crash после COMMIT, до publish', 'клиент %d; задание из outbox опубликовано → ready, попыток 1' % status) + + # S3. Relay падает после publisher confirm, до отметки published_at: строку публикует снова — дубль. + status = raw_upload('failpoint-relay_after_publish.png') + s3 = find('failpoint-relay_after_publish.png') + st = settle(s3) + j = job(s3) + seen = wait_for('duplicate delivered', lambda: len(deliveries(j[0])) >= 2 and deliveries(j[0]), 20) + check(st[0] == 'ready' and j[1:3] == ['done', '1'] and len(seen) >= 2 and len(variants(s3, 1)) == 3, 'S3: %s %s %s' % (st, j, seen)) + wait_for('api restarted', lambda: healthy('api'), 90) + record('S3 relay: crash после confirm', 'клиент %d; доставок worker: %d (дубль), обработка 1, вариантов 3' % (status, len(seen))) + + # S4. Тройная доставка одной попытки одновременно двум worker. + compose('stop', 'worker') + s4 = upload('duplicate.png') + j4 = job(s4)[0] + sql("INSERT INTO outbox (job_id, attempt) VALUES ('%s', 1), ('%s', 1)" % (j4, j4)) + wait_for('duplicates published', lambda: sql("SELECT count(*) FROM outbox WHERE job_id = '%s' AND published_at IS NOT NULL" % j4) == '3', 20) + compose('start', 'worker') + st = settle(s4) + seen = wait_for('all copies delivered', lambda: len(deliveries(j4)) >= 3 and deliveries(j4), 20) + noop = [line for line in seen if 'no-op' in line] + check(st[0] == 'ready' and job(s4)[2] == '1' and len(seen) == 3 and len(noop) == 2 and variants(s4, 1) == ref, 'S4: %s' % seen) + record('S4 дубль: 3 копии попытки 1', '3 доставки → 1 обработка, 2 no-op; попыток 1, варианты = контрольным') + + # S5. Reorder в новой версии: сообщение попытки 2 опубликовано раньше попытки 1 (job v2 для ready v1). + j5 = str(uuid.uuid4()) + sql("INSERT INTO jobs (job_id, attachment_id, pipeline_version) VALUES ('%s', '%s', 2); " + "INSERT INTO outbox (job_id, attempt) VALUES ('%s', 2), ('%s', 1)" % (j5, s4, j5, j5)) + st = settle(s4, version=2) + v2 = variants(s4, 2) + seen = wait_for('attempt 2 no-op', lambda: any('попытка 2: no-op' in line for line in deliveries(j5)) and deliveries(j5), 20) + check(st[:2] == ['ready', '2'] and job(s4, 2)[1:3] == ['done', '1'] and len(v2) == 3 and v2['thumbnail'] != ref['thumbnail'] + and any('попытка 2: no-op' in line for line in seen), 'S5: %s %s' % (st, seen)) + record('S5 reorder: попытка 2 раньше 1 (job v2)', 'попытка 2 → no-op, попытка 1 → done; версия 1 → 2, вариантов v2: 3') + + # S6. Устаревшая job v1 после публикации v2: поздний дубль старого сообщения и повторно поставленная v1. + j1 = job(s4)[0] + before = len(deliveries(j1)) + sql("INSERT INTO outbox (job_id, attempt) VALUES ('%s', 1)" % j1) + wait_for('late duplicate handled', lambda: len(deliveries(j1)) > before, 20) + sql("UPDATE jobs SET state = 'queued' WHERE job_id = '%s'; " + "INSERT INTO outbox (job_id, attempt) SELECT job_id, attempts + 1 FROM jobs WHERE job_id = '%s'" % (j1, j1)) + wait_for('stale v1 superseded', lambda: job(s4)[1] == 'superseded', 30) + check(state(s4)[:2] == ['ready', '2'] and variants(s4, 2) == v2, 'S6: v2 changed') + record('S6 устаревшая v1 после v2 (захват)', 'дубль старого сообщения → no-op; повторно поставленная v1 → superseded; v2 не тронута') + + # S7. v1 фиксируется после v2: v1 «зависла» 10 с после записи объектов, тем временем v2 опубликована. + name = 'failpoint-worker_after_side_effect-10s.png' + s7 = upload(name) + wait_for('v1 stalled after side effects', lambda: sql("SELECT count(*) FROM failpoint_hits WHERE attachment_id = '%s'" % s7) == '1', 30) + j7 = str(uuid.uuid4()) + sql("INSERT INTO jobs (job_id, attachment_id, pipeline_version) VALUES ('%s', '%s', 2); " + "INSERT INTO outbox (job_id, attempt) VALUES ('%s', 1)" % (j7, s7, j7)) + wait_for('v2 done', lambda: (job(s7, 2) or ['', ''])[1] == 'done', 30) + v2_7 = variants(s7, 2) + wait_for('v1 superseded at commit', lambda: job(s7)[1] == 'superseded', 30) + check(state(s7)[:2] == ['ready', '2'] and variants(s7, 1) == {} and variants(s7, 2) == v2_7, 'S7: %s' % state(s7)) + record('S7 v1 фиксируется после v2 (фиксация)', 'v2 ready; v1 при фиксации → superseded, вариантов v1 в БД 0, объекты удалены') + + # S8–S10. Worker crash до side effect, после side effect, после COMMIT (до ack). + crashed = {} + for label, point, attempts in (('S8 worker: crash после захвата', 'worker_after_claim', '2'), + ('S9 worker: crash после записи S3', 'worker_after_side_effect', '2'), + ('S10 worker: crash после COMMIT до ack', 'worker_after_commit', '1')): + started = time.monotonic() + aid = crashed[point] = upload('failpoint-%s.png' % point) + st = settle(aid, LEASE * 3) + j = job(aid) + check(st[0] == 'ready' and j[1:3] == ['done', attempts] and variants(aid, 1) == ref, '%s: %s %s' % (point, st, j)) + wait_for('worker restarted', lambda: set(compose('ps', '-a', 'worker', '--format', '{{.State}}').split()) == {'running'}, 30) + how = 'redelivery → no-op (аренда жива), аренда истекла → попытка 2' if attempts == '2' else 'redelivery → no-op (job done)' + record(label, '%s; ready за %.0f с, попыток %s, варианты = контрольным' % (how, time.monotonic() - started, attempts)) + + # S11. Зависший worker: пауза 35 с > аренды 25 с. Работу забирает другая попытка, поздний результат отброшен. + started = time.monotonic() + s11 = upload('failpoint-worker_after_side_effect-35s.png') + st = settle(s11, 90) + j = job(s11) + ready_after = time.monotonic() - started + wait_for('stale attempt fenced', lambda: any('аренда потеряна' in line for line in deliveries(j[0])), 60) + check(st[0] == 'ready' and j[1:3] == ['done', '2'] and variants(s11, 1) == ref, 'S11: %s %s' % (st, j)) + record('S11 worker завис на 35 с (аренда 25 с)', 'попытка 2 → ready за %.0f с; попытка 1 проснулась → fencing: результат отброшен' % ready_after) + + # S12. S3 недоступен для worker: backoff с jitter → retry_exhausted → реестр failed → replay. + compose('stop', 'worker') + s12 = upload('transient.png') + compose('stop', 's3') + try: + compose('up', '-d', '--no-deps', 'worker', env=TEST_ENV) # start поднял бы и S3 по цепочке depends_on + st = wait_for('retry exhausted', lambda: state(s12)[0] == 'failed' and state(s12), 120) + j = job(s12) + delays = rows("SELECT attempt, round(extract(epoch FROM available_at - created_at)::numeric, 1) FROM outbox " + "WHERE job_id = '%s' AND attempt > 1 ORDER BY attempt" % j[0]) + registry = [r for r in jobs('failed') if r.get('attachment_id') == s12] + meta = c.call('GET', '/api/v1/attachments/' + s12, 200, actor=bob, schema='Attachment')['json'] + c.call('GET', '/api/v1/attachments/' + s12 + '/content', 409, actor=bob) + c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 409, actor=alice, body={'text': '', 'attachment_ids': [s12]}, + headers={'Idempotency-Key': uuid.uuid4().hex}) + check(st[2] == 'retry_exhausted' and j[1:3] == ['failed', '5'] and len(registry) == 1 + and meta['status'] == 'failed' and meta['error_code'] == 'retry_exhausted', 'S12: %s %s' % (st, j)) + finally: + compose('start', 's3') + wait_for('s3 healthy', lambda: healthy('s3'), 60) + replay = jobs('replay', s12)[-1] + st = settle(s12) + audit = rows("SELECT previous_error, previous_attempts FROM job_replays WHERE job_id = '%s'" % j[0]) + again = jobs('replay', s12)[-1] + check(replay['replayed'] and st[0] == 'ready' and audit == [['retry_exhausted', '5']] and not again['replayed'] + and variants(s12, 1) == ref, 'S12 replay: %s %s %s' % (replay, st, again)) + record('S12 S3 недоступен → retry_exhausted', 'задержки попыток 2–5: %s с; failed в реестре, API: failed/409' + % ', '.join(d for _, d in delays)) + record(' replay', 'аудит (retry_exhausted, 5) → ready; повторный replay: %s' % again['reason']) + + # S13. Постоянная ошибка: файл проходит приём, но не декодируется — failed сразу, без повторов. + s13 = upload('bad-filter.png', bad_filter_png()) + st = wait_for('permanent failure', lambda: state(s13)[0] == 'failed' and state(s13), 60) + check(st[2] == 'invalid_image' and job(s13)[1:3] == ['failed', '1'], 'S13: %s' % st) + record('S13 постоянная ошибка (фильтр PNG = 9)', 'failed invalid_image с первой попытки, без повторов') + + # S14. Брокер остановлен: API принимает файлы (202), задания ждут в outbox; брокер вернулся — ready. + compose('stop', 'rabbitmq') + try: + s14 = [upload('broker-down-%d.png' % i) for i in range(3)] + c.call('GET', '/health/ready', 200) # readiness API не зависит от брокера + unpublished = sql("SELECT count(*) FROM outbox o JOIN jobs j ON j.job_id = o.job_id WHERE o.published_at IS NULL " + "AND j.attachment_id IN ('%s')" % "', '".join(s14)) + check(unpublished == '3', 'S14: unpublished %s' % unpublished) + finally: + compose('start', 'rabbitmq') + started = time.monotonic() + for aid in s14: + check(settle(aid, 180)[0] == 'ready' and variants(aid, 1) == ref, 'S14: %s' % aid) + record('S14 брокер остановлен', '3 upload → 202, неопубликовано в outbox 3; брокер вернулся → все ready за %.0f с' + % (time.monotonic() - started)) + + # Инварианты по всем вложениям тестового чата. + print('\nИнварианты:') + atts = rows("SELECT id, state, coalesce(pipeline_version, 0), filename FROM attachments WHERE chat_id = '%s'" % chat['id']) + open_work = [a for a in atts if a[1] not in ('ready', 'failed') and a[0] != s1] + check(not open_work, 'I1: %s' % open_work) + print(' I1 нет потерянной работы: %d вложений с заданием, все ready/failed; S1 (без 202) — pending до reconciler' % (len(atts) - 1)) + counts = rows("SELECT v.attachment_id, v.pipeline_version, count(*) FROM attachment_variants v JOIN attachments a ON a.id = v.attachment_id " + "WHERE a.chat_id = '%s' GROUP BY 1, 2" % chat['id']) + check(all(n == '3' for _, _, n in counts), 'I2: %s' % counts) + ready = [a for a in atts if a[1] == 'ready'] + check(all(any(aid == a[0] and ver == a[2] for aid, ver, _ in counts) for a in ready), 'I2: ready without variants') + print(' I2 один результат: %d наборов (вложение, версия), в каждом ровно 3 варианта' % len(counts)) + check(state(s4)[:2] == ['ready', '2'] and variants(s4, 2) == v2 and state(s7)[:2] == ['ready', '2'] and variants(s7, 2) == v2_7, 'I3') + print(' I3 v2 не перезаписана: S5–S7 остались v2, sha256 вариантов v2 не изменились после старых job') + same = [a for a in ready if a[2] == '1'] + check(all(variants(a[0], 1) == ref for a in same) and variants(s4, 1) == ref, 'I4') + print(' I4 тот же результат: у %d ready v1 после сбоев sha256 вариантов = контрольным' % len(same)) + downloads = 0 + for a in ready: + meta = c.call('GET', '/api/v1/attachments/' + a[0], 200, actor=bob, schema='Attachment')['json'] + check(c.call('GET', '/api/v1/attachments/' + a[0] + '/content', 200, actor=bob)['bytes'] == PNG, 'I5 original') + for v in meta['variants']: + body = c.call('GET', '/api/v1/attachments/%s/content?variant=%s' % (a[0], v['name']), 200, actor=bob)['bytes'] + check(len(body) == v['size_bytes'] and hashlib.sha256(body).hexdigest() == v['sha256'], 'I5 %s' % v['name']) + downloads += 1 + print(' I5 API согласован: %d оригиналов и %d вариантов скачаны, размер и sha256 = метаданным' % (len(ready), downloads)) + states = dict((s, n) for s, n in rows("SELECT j.state, count(*) FROM jobs j JOIN attachments a ON a.id = j.attachment_id " + "WHERE a.chat_id = '%s' GROUP BY 1" % chat['id'])) + check(set(states) <= {'done', 'failed', 'superseded'}, 'I6 jobs: %s' % states) + # Остатки ожидаются ровно от трёх сценариев; находки по чужим вложениям (прерванные прошлые прогоны) не считаем. + found, summary = reconcile('--grace=0') + ids = {a[0] for a in atts} + mine = {} + for f in found: + owner = f.get('id') or f['key'].split('/')[1] + if owner in ids: + mine.setdefault(f['finding'], set()).add(owner) + check(mine == {'stale_pending': {s1}, 'orphan_variant': {crashed['worker_after_side_effect']}, + 'published_staging': {crashed['worker_after_commit']}}, 'I6 reconcile: %s' % mine) + n_variants = sum(1 for f in found if f['finding'] == 'orphan_variant' and f['key'].split('/')[1] in ids) + fixed = reconcile('--grace=0', '--apply')[1] + after = reconcile('--grace=0')[1]['findings'] + check(not after and n_variants == 3, 'I6 after cleanup: %s, orphan variants %d' % (after, n_variants)) + print(' I6 job: %s; reconciler: stale_pending S1, orphan_variant ×%d попытки 1 в S9, published_staging S10 — и только они;' + ' применено %d (всего на стенде %s), повторный обход: {}' % (json.dumps(states), n_variants, fixed['applied'], + json.dumps(summary['findings']))) + finally: + compose('start', 's3', 'worker') + compose('up', '-d', '--no-deps', 'api', 'worker') # FAILPOINTS и таймаут — снова из .env + wait_for('api healthy', lambda: healthy('api'), 90) + print('\n'.join(['', 'Сводка:'] + report)) + print('PASS: 14 fault scenarios, invariants I1–I6 hold (at-least-once delivery + idempotent effect, not exactly-once)') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/probe.sh b/student-tests/probe.sh new file mode 100755 index 0000000..80b62e6 --- /dev/null +++ b/student-tests/probe.sh @@ -0,0 +1,16 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +identity=$1 +shift +case "$identity" in + revoked-*) path="$PWD/secrets/operator/pki/$identity" ;; + *) path="$PWD/secrets/tls/$identity" ;; +esac +docker run --rm -i --network "${COMPOSE_PROJECT_NAME:-messenger-lab7}_${PROBE_NETWORK:-backend}" \ + --user 1000:1000 --read-only --cap-drop ALL --security-opt no-new-privileges:true \ + --mount "type=bind,src=$path,dst=/run/identity,readonly" \ + --mount "type=bind,src=$PWD/secrets/tls/service-ca,dst=/run/tls,readonly" \ + --mount "type=bind,src=$PWD/student-tests/security-probe.mjs,dst=/app/student-tests/security-probe.mjs,readonly" \ + -e PROBE_HOST -e PROBE_EXPECT -e PROBE_NO_CERT -e PROBE_ROLE -e PROBE_KEY -e NODE_EXTRA_CA_CERTS=/run/tls/ca.crt \ + "$@" messenger-lab7-app:dev node /app/student-tests/security-probe.mjs "${PROBE_MODE:-tls}" diff --git a/student-tests/reprocess_v2.py b/student-tests/reprocess_v2.py new file mode 100644 index 0000000..736ea97 --- /dev/null +++ b/student-tests/reprocess_v2.py @@ -0,0 +1,79 @@ +#!/usr/bin/env python3 +"""Трек 2, versioned pipeline: выкатка pipeline v2 без потери работы и без перезаписи. + 1. Новые загрузки сразу получают v2: api пересоздаётся с PIPELINE_VERSION=2 (worker уже поддерживает v1 и v2). + 2. Старые ready-вложения: `jobs reprocess --version=2`; повтор команды ничего не ставит (ключ attachment_id + версия). + 3. Пока идёт переобработка, вложение остаётся ready и отдаёт прежние варианты: в processing не откатывается. + 4. Итог: у всех ready версия 2; для одинаковых байтов v2 детерминирована (sha256 совпадает с новой загрузкой); + у каждой пары (вложение, версия) ровно 3 варианта, варианты v1 остаются историей и не отдаются. +В конце api возвращается к PIPELINE_VERSION из .env. Запуск: python3 student-tests/reprocess_v2.py --base-url http://localhost:8080""" +import hashlib +import time + +from failures import PNG, sql +from pipeline_faults import compose, healthy, jobs, rows, wait_for +from client import Client, arguments, check, run + + +def main(): + args = arguments('Pipeline v1 -> v2 rollout and reprocess') + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, _, chat = c.bootstrap() + + def upload(name): + att = c.call('POST', '/api/v1/chats/%s/attachments?filename=%s' % (chat['id'], name), 202, actor=alice, raw=PNG, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + return c.wait_ready(bob, att) + + def thumbnail(att): + return hashlib.sha256(c.call('GET', '/api/v1/attachments/%s/content?variant=thumbnail' % att['id'], 200, actor=bob)['bytes']).hexdigest() + + def version(att): + return sql("SELECT pipeline_version FROM attachments WHERE id = '%s'" % att['id']) + + def by_version(): + return ', '.join('v%s: %s' % tuple(r) for r in rows("SELECT pipeline_version, count(*) FROM attachments WHERE state = 'ready' GROUP BY 1 ORDER BY 1")) + + old = upload('before-v2.png') + old_thumb = thumbnail(old) + check(version(old) == '1', 'expected v1 before rollout') + print('до выкатки: ready по версиям — %s; вложение %s v1' % (by_version(), old['id'])) + try: + compose('up', '-d', '--no-deps', 'api', env={'PIPELINE_VERSION': '2'}) + wait_for('api healthy with PIPELINE_VERSION=2', lambda: healthy('api'), 90) + new = upload('after-v2.png') + check(version(new) == '2' and thumbnail(new) != old_thumb, 'new upload is not v2') + print('api с PIPELINE_VERSION=2: новая загрузка %s сразу v2 (thumbnail отличается от v1)' % new['id']) + + started = time.monotonic() + first = jobs('reprocess', '--version=2')[-1] + states = set() + while True: + states.add(c.call('GET', '/api/v1/attachments/' + old['id'], 200, actor=bob, schema='Attachment')['json']['status']) + thumbnail(old) # во время переобработки вариант доступен + if not int(sql("SELECT count(*) FROM jobs WHERE pipeline_version = 2 AND state IN ('queued', 'processing')")): + break + check(time.monotonic() - started < 600, 'reprocess did not finish') + time.sleep(0.5) + elapsed = time.monotonic() - started + second = jobs('reprocess', '--version=2')[-1] + check(states == {'ready'}, 'attachment left ready during reprocess: %s' % states) + check(second['enqueued'] == 0, 'second reprocess enqueued %s' % second) + print('reprocess --version=2: поставлено %d, все done за %.1f с (%.1f вложений/с); статус во время: %s; повтор: поставлено %d' + % (first['enqueued'], elapsed, first['enqueued'] / max(elapsed, 0.001), ', '.join(sorted(states)), second['enqueued'])) + left = rows("SELECT id FROM attachments WHERE state = 'ready' AND pipeline_version < 2") + check(not left, 'ready attachments still below v2: %d' % len(left)) + bad = rows("SELECT attachment_id, pipeline_version, count(*) FROM attachment_variants GROUP BY 1, 2 HAVING count(*) <> 3") + check(not bad, 'variant sets with count != 3: %s' % bad) + failed = rows("SELECT state, count(*) FROM jobs WHERE pipeline_version = 2 GROUP BY 1") + check(version(old) == '2' and thumbnail(old) == thumbnail(new) != old_thumb, 'reprocessed result differs from fresh v2') + print('итог: ready по версиям — %s; jobs v2: %s; у всех пар (вложение, версия) по 3 варианта;' + % (by_version(), ', '.join('%s %s' % tuple(r) for r in failed))) + print(' %s после reprocess отдаёт v2, thumbnail побайтно равен свежей загрузке v2 (детерминизм pipeline)' % old['id']) + finally: + compose('up', '-d', '--no-deps', 'api') + wait_for('api healthy', lambda: healthy('api'), 90) + print('PASS: v2 rollout — new uploads v2, reprocess idempotent, no rollback of ready, deterministic result') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/s3_probe.mjs b/student-tests/s3_probe.mjs new file mode 100644 index 0000000..a191604 --- /dev/null +++ b/student-tests/s3_probe.mjs @@ -0,0 +1,31 @@ +// Проба прав S3 изнутри контейнера сервиса (его же ключами из /run/secrets). +// Запуск: docker compose exec -T api node --input-type=module - < student-tests/s3_probe.mjs +// Печатает по строке «операция: результат»; ключи и секреты не выводятся. +import { readFileSync } from 'node:fs'; +import { CreateBucketCommand, GetObjectCommand, ListObjectsV2Command, PutObjectCommand, DeleteObjectCommand, S3Client } from '@aws-sdk/client-s3'; + +const key = process.argv[2]; +const bucket = process.env.S3_BUCKET; +const s3 = new S3Client({ + endpoint: process.env.S3_ENDPOINT, region: process.env.S3_REGION, forcePathStyle: true, maxAttempts: 1, + credentials: { + accessKeyId: readFileSync('/run/secrets/s3_access_key_id', 'utf8').trim(), + secretAccessKey: readFileSync('/run/secrets/s3_secret_access_key', 'utf8').trim(), + }, +}); +const probe = async (name, command) => { + try { + await s3.send(command); + console.log(`${name}: allowed`); + } catch (err) { + console.log(`${name}: denied (${err.$metadata?.httpStatusCode} ${err.name})`); + } +}; +const scratch = `probe/${Date.now()}`; +await probe('GetObject own bucket', new GetObjectCommand({ Bucket: bucket, Key: key })); +await probe('ListObjectsV2 own bucket', new ListObjectsV2Command({ Bucket: bucket, MaxKeys: 1 })); +await probe('CreateBucket other', new CreateBucketCommand({ Bucket: `probe-${Date.now()}` })); +await probe('PutObject other bucket', new PutObjectCommand({ Bucket: 'other-bucket', Key: 'x', Body: 'x' })); +await probe('PutObject own bucket', new PutObjectCommand({ Bucket: bucket, Key: scratch, Body: 'x' })); +await probe('DeleteObject own bucket', new DeleteObjectCommand({ Bucket: bucket, Key: scratch })); +s3.destroy(); // keep-alive сокеты иначе держат процесс до idle-таймаута S3 diff --git a/student-tests/security-probe.mjs b/student-tests/security-probe.mjs new file mode 100644 index 0000000..822ea2c --- /dev/null +++ b/student-tests/security-probe.mjs @@ -0,0 +1,148 @@ +import assert from 'node:assert/strict'; +import { execFile } from 'node:child_process'; +import { promisify } from 'node:util'; +import { readFileSync } from 'node:fs'; +import { request } from 'node:https'; +import amqp from 'amqplib'; +import pg from 'pg'; +import { S3Client, PutObjectCommand, GetObjectCommand, ListObjectsV2Command, CopyObjectCommand } from '@aws-sdk/client-s3'; +import { baoRequest, serviceSecretName, serviceTls } from '../src/security.ts'; + +const mode = process.argv[2]; +const ca = serviceTls().ca; +const tls = serviceTls(); +if (process.env.PROBE_IDENTITY) { + tls.cert = readFileSync(`/run/probes/${process.env.PROBE_IDENTITY}/tls.crt`); + tls.key = readFileSync(`/run/probes/${process.env.PROBE_IDENTITY}/tls.key`); +} +const target = process.env.PROBE_HOST; +const role = process.env.PROBE_ROLE ?? 'worker'; +const ensure = (p, predicate) => assert.rejects(p, predicate); +const http = (url, method = 'GET') => new Promise((resolve, reject) => { + const req = request(url, { ...tls, agent: false, method, + servername: process.env.PROBE_SERVERNAME || undefined, + headers: method === 'POST' ? { 'Content-Type': 'application/x-protobuf', 'Content-Length': 0 } : undefined }, + (res) => { res.resume(); res.on('end', () => resolve(res.statusCode)); }); + req.on('error', reject); + req.setTimeout(4000, () => req.destroy(new Error('timeout'))); + req.end(); +}); +if (process.env.PROBE_NO_CERT === '1') { + delete tls.cert; + delete tls.key; +} +const broker = () => amqp.connect('amqps://rabbitmq:5671/messenger', { + ...tls, timeout: 4000, credentials: amqp.credentials.external(), +}); +const auth = () => baoRequest('/v1/auth/cert/login', { name: role }); +const tlsDeny = (err) => /TLS|SSL|CERT|ECONNRESET|socket hang up/.test(err.code ?? err.message); +const amqpDeny = (err) => /403|ACCESS_REFUSED|not allowed|Login was refused/i.test(err.message); +const s3Deny = (err) => err.$metadata?.httpStatusCode === 403; +const s3 = (values) => new S3Client({ + endpoint: 'https://s3:9000', region: 'us-east-1', forcePathStyle: true, maxAttempts: 1, + credentials: { accessKeyId: values.S3_ACCESS_KEY_ID, secretAccessKey: values.S3_SECRET_ACCESS_KEY }, +}); +const Bucket = 'messenger-attachments'; +const params = (Key) => ({ Bucket, Key }); +const read = async (store, key) => (await store.send(new GetObjectCommand(params(key)))).Body.transformToString(); +const write = (store, key) => store.send(new PutObjectCommand({ ...params(key), Body: 'security-probe' })); +const db = (values) => new pg.Client({ connectionString: values.DATABASE_URL, ssl: { ca, rejectUnauthorized: true }, + connectionTimeoutMillis: 3000 }); + +if (mode === 'tls-audit') { + const matrix = process.env.AUDIT_NETWORK === 'backend' + ? ['api', 'rabbitmq', 'otel-collector'].flatMap((host) => { + const leaf = host === 'api' ? 'lb-client' : 'worker'; + return [[host, leaf, 'allow'], [host, 'wrong', 'deny'], [host, 'foreign', 'tls-deny'], + [host, leaf, 'tls-deny', '1'], [host, leaf, 'tls-deny', '', 'wrong.internal']]; + }) + : ['prometheus', 'loki', 'tempo'].flatMap((host) => + [[host, 'grafana-query', 'allow'], [host, 'worker', 'tls-deny']]); + const exec = promisify(execFile); + for (const [host, leaf, expected, noCert, wrongHost] of matrix) { + if (host === 'rabbitmq' && wrongHost) continue; + const { stdout } = await exec(process.execPath, [import.meta.filename, 'tls'], { env: { + ...process.env, PROBE_HOST: host, PROBE_IDENTITY: leaf, PROBE_EXPECT: expected, + PROBE_NO_CERT: noCert ?? '', PROBE_SERVERNAME: wrongHost ?? '', + }}); + process.stdout.write(stdout); + } +} else if (mode === 'tls') { + const expected = process.env.PROBE_EXPECT; + if (target === 'rabbitmq') { + if (expected === 'allow') await (await broker()).close(); + else await ensure(broker(), expected === 'deny' ? amqpDeny : tlsDeny); + } else { + const port = { api: 8080, 'otel-collector': 4318, prometheus: 9090, loki: 3100, tempo: 3200 }[target]; + const suffix = { api: '/health/live', 'otel-collector': '/v1/traces', prometheus: '/-/ready', loki: '/loki/api/v1/labels', tempo: '/api/search?limit=1' }[target]; + const call = http(`https://${target}:${port}${suffix}`, target === 'otel-collector' ? 'POST' : 'GET'); + if (expected === 'allow') assert.equal(await call, 200); + else if (expected === 'deny' && target === 'otel-collector') assert.equal(await call, 403); + else await ensure(call, tlsDeny); + } + console.log(`PASS ${target} ${expected}`); +} else if (mode === 'scope') { + const { auth: session } = await auth(); + const token = session.client_token; + assert.equal(session.lease_duration, 45); + { + const { data: { data: values } } = await baoRequest(`/v1/messenger/data/${serviceSecretName('worker')}`, undefined, token); + await ensure(baoRequest('/v1/messenger/data/api', undefined, token), /HTTP 403/); + await ensure(baoRequest('/v1/sys/policies/acl/api', { policy: '' }, token), /HTTP 403/); + await ensure(baoRequest(`/v1/messenger/data/${serviceSecretName('worker')}`, { data: {} }, token), /HTTP 403/); + console.log('PASS OpenBao own read; cross-role read, write and policy update denied; TTL 45s'); + + const client = db(values); + await client.connect(); + assert.equal((await client.query('SELECT ssl FROM pg_stat_ssl WHERE pid=pg_backend_pid()')).rows[0].ssl, true); + await client.query('SELECT state FROM jobs LIMIT 1'); + await client.query("UPDATE jobs SET state = 'done' WHERE false"); + await ensure(client.query('SELECT password_hash FROM users LIMIT 1'), { code: '42501' }); + await ensure(client.query('SELECT text FROM messages LIMIT 1'), { code: '42501' }); + await ensure(client.query('DELETE FROM attachments WHERE false'), { code: '42501' }); + await ensure(client.query('ALTER TABLE jobs ADD COLUMN probe int'), { code: '42501' }); + await client.end(); + console.log('PASS PostgreSQL TLS; job select/update allowed; users, messages, delete and DDL denied'); + + const store = s3(values); + const suffix = process.env.PROBE_KEY; + assert.equal(await read(store, 'staging/' + suffix), 'security-probe'); + await write(store, 'variants/' + suffix); + await write(store, 'originals/' + suffix); + await ensure(read(store, 'private/' + suffix), s3Deny); + await ensure(write(store, 'private/' + suffix), s3Deny); + await ensure(store.send(new CopyObjectCommand({ ...params('originals/' + suffix), CopySource: Bucket + '/private/' + suffix })), s3Deny); + await ensure(store.send(new ListObjectsV2Command({ Bucket })), s3Deny); + console.log('PASS S3 staging read; variants/originals write; private read/write/copy and bucket list denied'); + + const conn = await broker(); + const channel = await conn.createChannel(); + const consumer = await channel.consume('attachments.process', () => {}, { noAck: false }); + await channel.cancel(consumer.consumerTag); + await channel.close(); + const publisher = await conn.createConfirmChannel(); + publisher.on('error', () => {}); + publisher.publish('attachments', 'process', Buffer.from('{}')); + await ensure(publisher.waitForConfirms(), /closed|ended|nack/i); + const configure = await conn.createChannel(); + configure.on('error', () => {}); + await ensure(configure.assertQueue('probe.unauthorized', { durable: false }), amqpDeny); + await conn.close(); + console.log('PASS RabbitMQ worker consumes attachments.process; publish and queue creation denied'); + } +} else if (mode === 'seed') { + const store = s3(JSON.parse(readFileSync('/run/probe/credentials.json', 'utf8')).data); + for (const prefix of ['staging', 'private']) await write(store, prefix + '/' + process.env.PROBE_KEY); + assert.equal(await read(store, 'private/' + process.env.PROBE_KEY), 'security-probe'); + console.log('PASS operator seeds staging/private and reads private'); +} else if (mode === 'revoked') { + const values = JSON.parse(readFileSync('/run/probe/credentials.json', 'utf8')).data; + await ensure(auth(), /HTTP (400|403)/); + await ensure(broker(), amqpDeny); + await ensure(http('https://otel-collector:4318/v1/traces', 'POST'), tlsDeny); + await ensure(db(values).connect(), { code: '28P01' }); + await ensure(write(s3(values), 'variants/' + process.env.PROBE_KEY), s3Deny); + console.log('PASS old leaf denied by OpenBao, AMQP and OTLP; old DB password and S3 key denied'); +} else { + throw new Error('Unknown probe'); +} diff --git a/student-tests/telemetry_check.py b/student-tests/telemetry_check.py new file mode 100644 index 0000000..2b9ee26 --- /dev/null +++ b/student-tests/telemetry_check.py @@ -0,0 +1,266 @@ +#!/usr/bin/env python3 +"""Сигналы наблюдаемости lab6 (уровни 3–4) на запущенном стенде; данные читаются через API Grafana (datasource proxy). + 1. Контролируемый запрос с заданным traceparent: server span в Tempo (шаблон маршрута, X-Request-Id, + service.instance.id = X-Instance-Id, дочерние SQL-spans) и access-лог в Loki с тем же trace_id/span_id. + 2. Ошибка 404: request_id из тела ошибки находит лог, а лог — trace. + 3. Upload → один trace: SERVER (api) → PRODUCER publish → CONSUMER process (worker) → S3 и SQL; лог worker в trace. + 4. Retry: S3 «зависает» (docker compose pause) на первую попытку → в том же trace две публикации и две обработки, + первая с ошибкой, вторая — ready. Шаг управляет Docker Compose этого каталога: только учебный стенд. + 5. Метрики сигналов есть в Prometheus; в labels нет id пользователей/чатов/сообщений/вложений, request_id и сырых URL. + 6. В spans и логах нет пароля, session token, текста сообщения и имени файла. + 7. Dashboard загружен provisioning-ом из репозитория, его запросы к Prometheus/Loki/Tempo находят данные. +Запуск: python3 student-tests/telemetry_check.py --ca-file secrets/tls/service-ca/ca.crt""" +import base64 +import json +from pathlib import Path +import re +import secrets +import ssl +import subprocess +import sys +import time +import urllib.error +import urllib.parse +import urllib.request +import uuid + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import SPEC, Client, ROOT, arguments, check, run # noqa: E402 + +UUID_RE = re.compile(r'[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}', re.I) +PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() + + + +def hexid(b64): # Tempo отдаёт OTLP JSON: id spans в base64, в логах и traceparent — hex + return base64.b64decode(b64).hex() + + +class Grafana: + def __init__(self, base): + password = (ROOT / 'secrets/runtime/grafana_admin_password').read_text().strip() # не печатается + self.base = base.rstrip('/') + self.auth = 'Basic ' + base64.b64encode(f'admin:{password}'.encode()).decode() + + def get(self, path, **params): + url = self.base + path + ('?' + urllib.parse.urlencode(params) if params else '') + req = urllib.request.Request(url, headers={'Authorization': self.auth, 'Accept': 'application/json'}) + try: + with urllib.request.urlopen(req, timeout=15, context=ssl.create_default_context(cafile=ROOT / 'secrets/tls/service-ca/ca.crt')) as r: + return r.read().decode() + except urllib.error.HTTPError as e: + if e.code == 404: + return '' + raise + + def trace(self, trace_id): + raw = self.get(f'/api/datasources/proxy/uid/tempo/api/traces/{trace_id}') + spans = [] + for batch in json.loads(raw).get('batches', []) if raw else []: + res = {a['key']: next(iter(a['value'].values()), None) for a in batch['resource']['attributes']} + for scope in batch.get('scopeSpans', []): + for s in scope['spans']: + attrs = {a['key']: next(iter(a['value'].values()), None) for a in s.get('attributes', [])} + spans.append({'name': s['name'], 'kind': s.get('kind', '').replace('SPAN_KIND_', ''), 'id': hexid(s['spanId']), + 'parent': hexid(s.get('parentSpanId', '')), 'status': s.get('status', {}).get('code', ''), + 'start': int(s['startTimeUnixNano']), 'end': int(s['endTimeUnixNano']), 'attrs': attrs, 'resource': res}) + return raw, spans + + def logs(self, query, minutes=30): + raw = self.get('/api/datasources/proxy/uid/loki/loki/api/v1/query_range', query=query, limit=200, + start=str(int((time.time() - minutes * 60) * 1e9)), direction='forward') + rows = [{**stream['stream'], 'line': line} for stream in json.loads(raw)['data']['result'] for _, line in stream['values']] + return raw, rows + + def prom(self, path, **params): + return json.loads(self.get('/api/datasources/proxy/uid/prometheus/api/v1/' + path, **params))['data'] + + +def until(what, fn, ready=bool, seconds=45): + deadline = time.monotonic() + seconds + while True: + value = fn() + if ready(value): + return value + check(time.monotonic() < deadline, f'{what}: не дождались за {seconds} с') + time.sleep(1) + + +def has(kind, outcome=None): + return lambda x: any(s['kind'] == kind and (outcome is None or s['attrs'].get('messenger.job.outcome') == outcome) for s in x[1]) + + +def traceparent(): + tid, sid = secrets.token_hex(16), secrets.token_hex(8) + return tid, sid, f'00-{tid}-{sid}-01' + + +def compose(*args): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True) + check(r.returncode == 0, f'docker compose {args[0]}: {r.stderr.strip()[-200:]}') + return r.stdout.strip() + + +def sql(query): + return compose('exec', '-T', '-u', 'postgres', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', query) + + +def main(): + args = arguments('Сигналы наблюдаемости lab6', lambda p: p.add_argument('--grafana', default='https://localhost:3000')) + c, g = Client(args.base_url, args.ca_file), Grafana(args.grafana) + raw_dump = [] # всё, что прочитано из Tempo/Loki, — для проверки отсутствия секретов (шаг 6) + + alice, bob, eve, chat = c.bootstrap() + text = 'секретный текст ' + uuid.uuid4().hex + + # 1. Контролируемый запрос: клиент сам задаёт trace_id, API продолжает этот trace. + tid, client_span, tp = traceparent() + r = c.call('POST', f'/api/v1/chats/{chat["id"]}/messages', 201, actor=alice, body={'text': text}, + headers={'Idempotency-Key': uuid.uuid4().hex, 'traceparent': tp}, schema='Message') + rid, instance = r['headers']['X-Request-Id'], r['headers']['X-Instance-Id'] + raw, spans = until('trace сообщения в Tempo', lambda: g.trace(tid), has('SERVER')) + raw_dump.append(raw) + server = [s for s in spans if s['kind'] == 'SERVER'] + check(len(server) == 1, 'ожидался один server span') + srv = server[0] + check(srv['name'] == 'POST /api/v1/chats/{chat_id}/messages', f'имя span: {srv["name"]}') + check(srv['parent'] == client_span, 'server span не продолжает traceparent клиента') + check(srv['attrs'].get('http.route') == '/api/v1/chats/{chat_id}/messages', 'нет http.route') + check(srv['attrs'].get('messenger.request_id') == rid, 'request_id span ≠ X-Request-Id') + check(srv['resource'].get('service.name') == 'messenger-api', 'service.name') + check(srv['resource'].get('service.instance.id') == instance, 'service.instance.id ≠ X-Instance-Id') + check(srv['resource'].get('deployment.environment.name') == 'lab', 'deployment.environment.name') + check(srv['resource'].get('service.version'), 'service.version') + db_spans = [s for s in spans if s['parent'] == srv['id'] and s['name'].startswith('pg.query')] + check(db_spans, 'нет дочерних SQL-spans') + raw, logs = until('access-лог в Loki', lambda: g.logs(f'{{service_name="messenger-api"}} | trace_id="{tid}" | event="http.request"'), + lambda x: x[1]) + raw_dump.append(raw) + log = logs[0] + check(log['request_id'] == rid and log['span_id'] == srv['id'], 'лог не связан с server span') + check(log['severity_text'] == 'INFO' and log['service_name'] == 'messenger-api', 'severity/service.name лога') + print(f'PASS 1 trace {tid}: server span {srv["name"]} ({len(db_spans)} SQL), лог request_id={rid}') + + # 2. Ошибка клиента: по request_id из тела ответа находится лог, по trace_id лога — trace. + err = c.call('GET', f'/api/v1/chats/{chat["id"]}', 404, actor=eve)['json']['error'] + raw, logs = until('лог ошибки по request_id', lambda: g.logs(f'{{service_name="messenger-api"}} | request_id="{err["request_id"]}"'), + lambda x: x[1]) + raw_dump.append(raw) + err_tid = logs[0]['trace_id'] + raw, spans = until('trace ошибки', lambda: g.trace(err_tid), has('SERVER')) + raw_dump.append(raw) + check(any(s['kind'] == 'SERVER' and s['attrs'].get('http.response.status_code') == '404' for s in spans), 'trace 404') + print(f'PASS 2 404 request_id={err["request_id"]} → лог → trace {err_tid}') + + # 3. Upload → обработка worker-ом в одном trace. + filename = f'тайное-имя-{uuid.uuid4().hex[:8]}.png' + tid, client_span, tp = traceparent() + att = c.call('POST', f'/api/v1/chats/{chat["id"]}/attachments?filename={urllib.parse.quote(filename)}', 202, actor=alice, + raw=PNG, headers={'Content-Type': 'image/png', 'traceparent': tp}, schema='Attachment')['json'] + c.wait_ready(alice, att) + raw, spans = until('trace upload → worker', lambda: g.trace(tid), has('CONSUMER', 'done')) + raw_dump.append(raw) + by_id = {s['id']: s for s in spans} + srv = next(s for s in spans if s['kind'] == 'SERVER') + prod = [s for s in spans if s['kind'] == 'PRODUCER'] + cons = [s for s in spans if s['kind'] == 'CONSUMER'] + check(len(prod) == 1 and prod[0]['parent'] == srv['id'], 'PRODUCER span не дочерний к upload') + check(len(cons) == 1 and cons[0]['parent'] == prod[0]['id'], 'CONSUMER span не дочерний к PRODUCER') + check(prod[0]['resource']['service.name'] == 'messenger-api' and cons[0]['resource']['service.name'] == 'messenger-worker', 'сервисы') + under = {s['name'] for s in spans if s['parent'] == cons[0]['id']} + check({'claim job', 'S3.GetObject', 'render variants', 'S3.PutObject', 'S3.CopyObject', 'commit result', 'S3.DeleteObject'} <= under, + f'шаги worker: {sorted(under)}') + check(any(by_id.get(s['parent'], {}).get('name') == 'commit result' and s['name'].startswith('pg.query') for s in spans), + 'нет SQL фиксации результата') + raw, logs = until('лог worker в trace', lambda: g.logs(f'{{service_name="messenger-worker"}} | trace_id="{tid}" | event="job.ready"'), + lambda x: x[1]) + raw_dump.append(raw) + check(logs[0]['span_id'] == cons[0]['id'], 'лог job.ready не связан с CONSUMER span') + print(f'PASS 3 trace {tid}: upload → publish → process ({len(spans)} spans), лог job.ready в том же trace') + + # 4. Retry: первая попытка упирается в «зависший» S3 (requestTimeout 8 с), вторая после backoff — успешна. + # S3 размораживается сразу после первой ошибки: вторая попытка (backoff 1–2 с) застанет его рабочим. + compose('stop', 'worker') + tid, client_span, tp = traceparent() + try: + att = c.call('POST', f'/api/v1/chats/{chat["id"]}/attachments?filename=retry.png', 202, actor=alice, + raw=PNG, headers={'Content-Type': 'image/png', 'traceparent': tp}, schema='Attachment')['json'] + compose('pause', 's3') + compose('up', '-d', '--no-deps', 'worker') # start ждал бы healthy у замороженного s3 + until('первая попытка завершилась ошибкой', + lambda: sql(f"SELECT 1 FROM jobs WHERE attachment_id = '{att['id']}' AND error_code IS NOT NULL"), seconds=60) + finally: + compose('unpause', 's3') + compose('up', '-d', '--no-deps', 'worker') + c.wait_ready(alice, att, wait_seconds=60) + raw, spans = until('trace с повтором', lambda: g.trace(tid), has('CONSUMER', 'done')) + raw_dump.append(raw) + prod = sorted((s for s in spans if s['kind'] == 'PRODUCER'), key=lambda s: s['start']) + cons = sorted((s for s in spans if s['kind'] == 'CONSUMER'), key=lambda s: s['start']) + check(len(prod) == 2 and len(cons) == 2, f'ожидались 2 публикации и 2 обработки: {len(prod)}/{len(cons)}') + check(cons[0]['parent'] == prod[0]['id'] and prod[1]['parent'] == cons[0]['id'] and cons[1]['parent'] == prod[1]['id'], + 'цепочка publish → process → publish → process нарушена') + check(cons[0]['status'] == 'STATUS_CODE_ERROR' and cons[0]['attrs'].get('messenger.job.outcome') == 'retry', 'первая попытка не retry') + check(cons[1]['attrs'].get('messenger.job.attempt') == '2', 'вторая попытка не attempt 2') + raw, logs = until('логи retry', lambda: g.logs(f'{{service_name="messenger-worker"}} | trace_id="{tid}"'), + lambda x: {'job.retry', 'job.ready'} <= {l['event'] for l in x[1]}) + raw_dump.append(raw) + print(f'PASS 4 trace {tid}: publish#1 → process#1 (retry, S3 timeout) → publish#2 → process#2 (ready)') + + # 5. Метрики контракта есть, labels — низкой кардинальности. + required = ['http_server_request_duration_seconds_bucket', 'messenger_job_duration_seconds_bucket', + 'messenger_attachment_time_to_ready_seconds_bucket', 'messenger_jobs_backlog', 'messenger_jobs_oldest_age_seconds', + 'messenger_outbox_pending', 'rabbitmq_detailed_queue_messages_ready', 'db_client_connection_count', + 'db_client_connection_pending_requests', 'messenger_worker_busy', 'messenger_worker_capacity', + 'process_cpu_time_seconds_total', 'process_memory_usage_bytes', 'nodejs_eventloop_delay_p99_seconds'] + names = set(g.prom('label/__name__/values')) + missing = [m for m in required if m not in names] + check(not missing, f'нет метрик: {missing}') + # Labels метрик приложения (у otelcol_* есть url_path — постоянный путь экспортёра, не запрос пользователя). + forbidden = {'user_id', 'chat_id', 'message_id', 'attachment_id', 'request_id', 'url', 'url_path', 'url_full', 'url_query', + 'filename', 'text', 'messenger_request_id', 'messenger_job_id', 'messenger_attachment_id'} + app_labels = set(g.prom('labels', **{'match[]': '{job=~"messenger-.+"}'})) + check(not app_labels & forbidden, f'запрещённые labels: {app_labels & forbidden}') + # Значения живых серий (instant query): label values API отдаёт и устаревшие серии всего head-блока TSDB. + labels = set(g.prom('labels')) + for label in labels - {'__name__'}: + values = [r['metric'].get(label, '') for r in g.prom('query', query=f'group by ({label}) ({{{label}!=""}})')['result']] + check(not any(UUID_RE.search(v) for v in values), f'UUID в значениях label {label}') + routes = set(g.prom('label/http_route/values')) + check(routes and routes <= set(SPEC['paths']), f'http_route не из шаблонов OpenAPI: {sorted(routes - set(SPEC["paths"]))}') + print(f'PASS 5 метрики: {len(required)} обязательных есть; {len(labels)} labels без id/URL; {len(routes)} шаблонов http_route') + + # 6. Секреты и содержимое не экспортируются (поиск и в прочитанных trace/логах, и по всему Loki за 30 минут). + blob = '\n'.join(raw_dump) + for name, value in (('пароль', alice['registration']['password']), ('session token', alice['token']), + ('текст сообщения', text), ('имя файла', filename), ('имя файла (urlencoded)', urllib.parse.quote(filename))): + check(value not in blob, f'{name} попал в telemetry') + check(not g.logs(f'{{service_name=~"messenger-.+"}} |= `{value}`')[1], f'{name} найден в Loki') + check('Bearer ' not in blob and 'Basic ' not in blob, 'заголовок Authorization попал в telemetry') + print(f'PASS 6 секреты/контент не найдены в {len(raw_dump)} ответах Tempo/Loki и во всём Loki за 30 мин') + + # 7. Dashboard из репозитория загружен provisioning-ом, его запросы находят данные за последние 15 минут + # (пустыми допустимы только панели ошибок экспорта и alerts — в норме этих серий нет). + dash = json.loads(g.get('/api/dashboards/uid/messenger-lab6')) + check(dash['meta'].get('provisioned') and dash['meta'].get('folderTitle') == 'Messenger', 'dashboard не из provisioning') + targets = [(p['title'], p['datasource']['uid'], t) for p in dash['dashboard']['panels'] for t in p.get('targets', [])] + now, empty = int(time.time()), [] + for title, ds, t in targets: + if ds == 'prometheus': + q = t['expr'].replace('$__rate_interval', '1m') + found = g.prom('query_range', query=q, start=now - 900, end=now, step=30)['result'] + elif ds == 'loki': + found = g.logs(t['expr'], minutes=15)[1] + else: + found = json.loads(g.get('/api/datasources/proxy/uid/tempo/api/search', q=t['query'], start=now - 900, end=now))['traces'] + if not found: + empty.append(title) + allowed = re.compile(r'потер|отказ|alert', re.I) + check(all(allowed.search(t) for t in empty), f'панели без данных: {empty}') + print(f'PASS 7 dashboard «{dash["dashboard"]["title"]}»: {len(dash["dashboard"]["panels"])} панелей, ' + f'{len(targets) - len(empty)}/{len(targets)} запросов с данными (пусто: {sorted(set(empty))})') + print('PASS: сигналы lab6 (traces, logs, metrics, связь через очередь, retry, отсутствие секретов, dashboard)') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/telemetry_history.py b/student-tests/telemetry_history.py new file mode 100644 index 0000000..c542fa4 --- /dev/null +++ b/student-tests/telemetry_history.py @@ -0,0 +1,35 @@ +#!/usr/bin/env python3 +"""Сохранность истории telemetry после перезапуска хранилищ (scripts/restart.sh): trace, логи этого trace и метрики, +записанные ДО перезапуска, читаются ПОСЛЕ него. Запуск: telemetry_history.py --grafana URL --trace-id ID --before UNIX_TS""" +import json +from pathlib import Path +import sys +import time + +sys.path.insert(0, str(Path(__file__).resolve().parent)) +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import check, run # noqa: E402 +from telemetry_check import Grafana # noqa: E402 + + +def main(): + import argparse + p = argparse.ArgumentParser(description=__doc__) + p.add_argument('--grafana', default='http://localhost:3000') + p.add_argument('--trace-id', required=True) + p.add_argument('--before', type=int, required=True, help='unix-время до перезапуска') + a = p.parse_args() + g = Grafana(a.grafana) + _, spans = g.trace(a.trace_id) + check(spans, 'trace до перезапуска не найден в Tempo') + _, logs = g.logs(f'{{service_name=~"messenger-.+"}} | trace_id="{a.trace_id}"', minutes=int((time.time() - a.before) / 60) + 60) + check(logs, 'логи trace до перезапуска не найдены в Loki') + series = g.prom('query_range', query='sum(http_server_request_duration_seconds_count{job="messenger-api"})', + start=a.before - 600, end=a.before, step=60)['result'] + check(series and len(series[0]['values']) >= 5, 'нет метрик API за 10 минут до перезапуска') + print(f'PASS история после перезапуска: trace {a.trace_id} ({len(spans)} spans), {len(logs)} строк лога, ' + f'{len(series[0]["values"])} точек метрики API за 10 мин до перезапуска') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/tls-audit.sh b/student-tests/tls-audit.sh new file mode 100755 index 0000000..6df4239 --- /dev/null +++ b/student-tests/tls-audit.sh @@ -0,0 +1,10 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +audit() { + PROBE_NETWORK=$1 PROBE_MODE=tls-audit student-tests/probe.sh wrong \ + --mount "type=bind,src=$PWD/secrets/tls,dst=/run/probes,readonly" \ + -e "AUDIT_NETWORK=$1" +} +audit backend +audit telemetry diff --git a/student-tests/worker_compromise.py b/student-tests/worker_compromise.py new file mode 100644 index 0000000..7afa34b --- /dev/null +++ b/student-tests/worker_compromise.py @@ -0,0 +1,94 @@ +#!/usr/bin/env python3 +"""Воспроизводимый трек 1. Запускать с правами оператора на отдельном стенде lab7.""" +import hashlib +import json +import os +from pathlib import Path +import subprocess +import sys +import time +import uuid + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, ROOT, arguments, check, run + +CA = ROOT / 'secrets/tls/service-ca/ca.crt' +PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() + + +def cmd(*command, env=None, capture=False): + result = subprocess.run(command, cwd=ROOT, env={**os.environ, **(env or {})}, text=True, + stdout=subprocess.PIPE if capture else None, check=True) + return result.stdout.strip() if capture else None + + +def sql(query): + return cmd('docker', 'compose', 'exec', '-T', '-u', 'postgres', 'postgres', 'psql', + '-X', '-U', 'messenger', '-d', 'messenger', '-v', 'ON_ERROR_STOP=1', '-tAc', query, capture=True) + + +def probe(identity, mode, *, credentials=None, **env): + mounts = ('--mount', f'type=bind,src={credentials},dst=/run/probe/credentials.json,readonly') if credentials else () + cmd('student-tests/probe.sh', identity, *mounts, env={'PROBE_MODE': mode, **env}) + + +def main(): + args = arguments('Компрометация worker', lambda p: p.add_argument('--output', type=Path)) + c = Client(args.base_url, args.ca_file or CA, timeout=20) + marker = 'probe-' + uuid.uuid4().hex[:12] + folder = ROOT / 'secrets/operator' + snapshot = folder / f'{marker}-old.json' + seed = folder / f'{marker}-admin.json' + # Доступ к файлам probe ограничен каталогом оператора 0700. Контейнеру каждый файл передаётся отдельно. + snapshot.write_bytes((folder / 'kv_worker.json').read_bytes()) + snapshot.chmod(0o644) + admin = ROOT / 'secrets/runtime' + seed.write_text(json.dumps({'data': { + 'S3_ACCESS_KEY_ID': (admin / 's3_admin_access_key_id').read_text(), + 'S3_SECRET_ACCESS_KEY': (admin / 's3_admin_secret_access_key').read_text(), + }})) + seed.chmod(0o644) + + alice, bob, _, chat = c.bootstrap() + digest = hashlib.sha256(PNG).hexdigest() + before = set((folder / 'pki').glob('revoked-*')) + try: + probe('worker', 'seed', credentials=seed, PROBE_KEY=marker) + probe('worker', 'scope', PROBE_KEY=marker) + cmd('docker', 'compose', 'stop', 'worker') + ids = [c.attachment(alice, chat)[0]['id'] for _ in range(6)] + quoted = ','.join(f"'{uuid.UUID(x)}'" for x in ids) + deadline = time.monotonic() + 40 + queued = '0' + while time.monotonic() < deadline: + queued = sql(f"SELECT count(*) FROM jobs j JOIN outbox o USING(job_id) WHERE j.attachment_id IN ({quoted}) AND j.state='queued' AND o.published_at IS NOT NULL") + if queued == '6': + break + time.sleep(1) + check(queued == '6', 'Не все задания подтверждены брокером до ротации') + print('PASS 6 заданий queued и подтверждены брокером до ротации', flush=True) + started = time.monotonic() + cmd('scripts/rotate-worker.sh') + [old] = set((folder / 'pki').glob('revoked-*')) - before + probe(old.name, 'revoked', credentials=snapshot, PROBE_KEY=marker) + finished = [] + for attachment in ids: + c.wait_ready(alice, {'id': attachment}) + result = c.call('GET', f'/api/v1/attachments/{attachment}/content', actor=bob) + check(hashlib.sha256(result['bytes']).hexdigest() == digest, 'Оригинал изменился') + finished.append(round(time.monotonic() - started, 2)) + rows = sql(f"SELECT count(*),count(*) FILTER (WHERE state='done'),sum(attempts) FROM jobs WHERE attachment_id IN ({quoted})") + variants = sql(f'SELECT count(*) FROM attachment_variants WHERE attachment_id IN ({quoted})') + check(rows == '6|6|6' and variants == '18', 'Потеря работы или повторный эффект') + summary = {'queued': 6, 'done': 6, 'variants': 18, 'attempts': 6, 'lost': 0, + 'sha256_verified': len(finished), 'seconds_from_rotation_to_verification': finished} + print('PASS ' + json.dumps(summary)) + if args.output: + args.output.write_text(json.dumps(summary, indent=2) + '\n') + finally: + snapshot.unlink(missing_ok=True) + seed.unlink(missing_ok=True) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/worker_outage.py b/student-tests/worker_outage.py new file mode 100644 index 0000000..6a5482e --- /dev/null +++ b/student-tests/worker_outage.py @@ -0,0 +1,97 @@ +#!/usr/bin/env python3 +"""Уровень 3, сценарий защиты 2–3: worker остановлен → upload 202 → сообщение с вложением → content 409, другие +сообщения работают → перезапуск API и брокера с сохранением volumes → worker запущен → то же вложение ready, +thumbnail скачивается. Печатает порядок действий, ID и состояние очереди (без токенов). +Управляет Docker Compose этого каталога. Запуск: python3 student-tests/worker_outage.py --base-url http://localhost:8080""" +import hashlib +import time +import uuid + +from failures import PNG, compose, sql, wait_ready +from client import Client, arguments, check, run +from image_probe import jpeg_size + + +def queue(): + """Глубина quorum-очереди: (сообщений всего, без ack, consumers); None — брокер ещё не готов.""" + try: + out = compose('exec', '-T', 'rabbitmq', 'rabbitmqctl', '-q', 'list_queues', '-p', 'messenger', + 'name', 'messages', 'messages_unacknowledged', 'consumers', capture=True) + except AssertionError: + return None + for line in out.splitlines(): + f = line.split() + if f and f[0] == 'attachments.process': + return tuple(map(int, f[1:4])) + return None + + +def main(): + args = arguments('Worker outage: accepted job survives API and broker restart') + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, _, chat = c.bootstrap() + t0 = time.monotonic() + + def step(text): + print('%6.1f s %s' % (time.monotonic() - t0, text)) + + compose('stop', 'worker') + step('docker compose stop worker') + try: + att = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=outage.png', 202, actor=alice, raw=PNG, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + check(att['status'] == 'queued' and att['variants'] == [], 'upload snapshot is not queued') + step('upload → 202 queued, attachment %s' % att['id']) + m = c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=alice, schema='Message', + body={'text': 'файл ещё в очереди', 'attachment_ids': [att['id']]}, headers={'Idempotency-Key': uuid.uuid4().hex})['json'] + step('сообщение с queued-вложением → 201, message %s' % m['id']) + content = '/api/v1/attachments/' + att['id'] + '/content' + for variant in ('', '?variant=thumbnail'): + check(c.call('GET', content + variant, 409, actor=bob)['json']['error']['code'] == 'conflict', 'content must be 409') + step('content и content?variant=thumbnail → 409 conflict') + c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=bob, body={'text': 'обычное сообщение'}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message') + c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages?limit=10', 200, actor=bob, schema='MessagePage') + step('другие сообщения без worker: POST 201, история 200') + deadline = time.monotonic() + 10 + while sql("SELECT count(*) FROM outbox o JOIN jobs j ON j.job_id = o.job_id WHERE j.attachment_id = '%s' " + "AND o.published_at IS NOT NULL" % att['id']) != '1': + check(time.monotonic() < deadline, 'outbox row was not published') + time.sleep(0.3) + job = sql("SELECT job_id || ' ' || state || ' attempts=' || attempts FROM jobs WHERE attachment_id = '%s'" % att['id']) + step('job %s; outbox опубликован (publisher confirm); очередь (messages, unacked, consumers) = %s' % (job, queue())) + + compose('restart', 'api') + step('docker compose restart api (обе реплики, SIGTERM)') + compose('restart', 'rabbitmq') + deadline = time.monotonic() + 90 + while (q := queue()) is None: + check(time.monotonic() < deadline, 'broker did not come back') + time.sleep(1) + wait_ready(c) + step('docker compose restart rabbitmq; после рестарта очередь = %s' % (q,)) + check(q[0] >= 1, 'accepted job disappeared from the durable queue') + same = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json'] + check(same['status'] == 'queued', 'attachment state lost after restart') + step('вложение после рестартов: %s (прежний токен)' % same['status']) + finally: + compose('start', 'worker') + started = time.monotonic() + step('docker compose start worker') + ready = c.wait_ready(bob, att, 90) + step('ready через %.1f s после старта worker; job: %s' % (time.monotonic() - started, + sql("SELECT state || ' attempts=' || attempts FROM jobs WHERE attachment_id = '%s'" % att['id']))) + thumb = [v for v in ready['variants'] if v['name'] == 'thumbnail'] + check(len(thumb) == 1, 'expected exactly one thumbnail') + r = c.call('GET', content + '?variant=thumbnail', 200, actor=bob) + check(r['headers'].get_content_type() == 'image/jpeg' and jpeg_size(r['bytes']) == (256, 160), 'thumbnail is not 256x160 JPEG') + check(hashlib.sha256(r['bytes']).hexdigest() == thumb[0]['sha256'], 'thumbnail checksum mismatch') + original = c.call('GET', content, 200, actor=bob)['bytes'] + check(original == PNG and hashlib.sha256(original).hexdigest() == ready['sha256'], 'original changed') + step('thumbnail 256x160 JPEG (sha256 = метаданным), оригинал совпадает побайтно; варианты: %s' + % ', '.join('%s %dx%d' % (v['name'], v['width'], v['height']) for v in ready['variants'])) + print('PASS: job accepted while worker was down survived API + broker restart and reached ready') + + +if __name__ == '__main__': + run(main) diff --git a/tsconfig.json b/tsconfig.json new file mode 100644 index 0000000..9afe952 --- /dev/null +++ b/tsconfig.json @@ -0,0 +1,15 @@ +{ + "compilerOptions": { + "target": "esnext", + "module": "nodenext", + "moduleResolution": "nodenext", + "noEmit": true, + "strict": true, + "allowImportingTsExtensions": true, + "erasableSyntaxOnly": true, + "verbatimModuleSyntax": true, + "skipLibCheck": true, + "types": ["node"] + }, + "include": ["src"] +}