forked from mtusi2026/mtusi2026lab7
Compare commits
2
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f028a76d05 | ||
|
|
1991fcd737 |
+9
-37
@@ -1,41 +1,13 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
# Настройки локального стенда. Секреты генерирует scripts/init-secrets.sh.
|
||||
LB_PORT=8443
|
||||
BAO_PORT=8200
|
||||
GRAFANA_PORT=3000
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=https://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
WORKER_CONCURRENCY=2
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
OTEL_SERVICE_NAME=messenger-api
|
||||
# Worker must set a distinct service.name.
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
|
||||
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
|
||||
# TLS and OpenBao: actual paths/ports depend on your implemented trust matrix.
|
||||
PUBLIC_BASE_URL=https://localhost:8443
|
||||
TLS_CA_FILE=/run/secrets/ca.crt
|
||||
TLS_CERT_FILE=/run/secrets/service.crt
|
||||
TLS_KEY_FILE=/run/secrets/service.key
|
||||
BAO_ADDR=https://openbao:8200
|
||||
BAO_CACERT=/run/secrets/bao-ca.crt
|
||||
# No root token here. Bootstrap operator -> short-lived service auth -> scoped token.
|
||||
WORKER_REPLICAS=2
|
||||
SESSION_TTL_SECONDS=3600
|
||||
ARGON2_MEMORY_KIB=19456
|
||||
ARGON2_ITERATIONS=2
|
||||
ARGON2_PARALLELISM=1
|
||||
WORKER_CONCURRENCY=2
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
FAILPOINTS=0
|
||||
|
||||
@@ -1,18 +1,25 @@
|
||||
## Лабораторная 7
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Морару Сергей Сергеевич, БПИ2303
|
||||
Целевая оценка: 5
|
||||
Трек: «Компрометация worker»
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
На основе ЛР № 6 перенесены API мессенджера, обработка вложений, outbox, RabbitMQ и OpenTelemetry. Добавлены HTTPS и mTLS, Argon2id с миграцией scrypt, общий лимит входа, сервисный cert auth OpenBao, ограниченные роли БД, ACL по prefix S3 и отзыв identity worker.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск из чистого clone:
|
||||
|
||||
```sh
|
||||
scripts/up.sh
|
||||
make check
|
||||
make test test-security CA_FILE=secrets/tls/service-ca/ca.crt
|
||||
```
|
||||
|
||||
После ротации все 6 заданий обработались с первой попытки, созданы 18 вариантов, SHA-256 всех оригиналов совпал. Отозванные credentials отклонены.
|
||||
|
||||
Методика, команды, результаты и ограничения собраны в [REPORT.md](../REPORT.md). Покрытие TLS описано в [матрице доверия](../contracts/trust-matrix.md). Использование Codex и первичные источники указаны в отчёте.
|
||||
|
||||
- [x] Контракт и публичные тесты сохранены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов и трек 1 подтверждены артефактами.
|
||||
- [x] Приватные ключи и credentials исключены из Git и Docker build context.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию решения.
|
||||
|
||||
@@ -12,5 +12,16 @@ jobs:
|
||||
python-version: '3.12'
|
||||
- run: python -m pip install -r requirements-dev.txt
|
||||
- run: make check validate PYTHON=python
|
||||
# This job validates the skeleton, not a student solution.
|
||||
# Add build, readiness and make test in a separate application job.
|
||||
|
||||
https-smoke:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 20
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- name: Generate local trust and start Compose
|
||||
run: scripts/up.sh
|
||||
- name: Run HTTPS smoke and reject foreign trust
|
||||
run: make test test-security CA_FILE=secrets/tls/service-ca/ca.crt
|
||||
- name: Stop Compose
|
||||
if: always()
|
||||
run: docker compose down
|
||||
|
||||
@@ -30,3 +30,5 @@ coverage/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
/compose.local.yaml
|
||||
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
FROM node:24.22.2-alpine3.24@sha256:8a32c8cf649a49915a66e81e7a609223c708d0adabf288ee3f4077d765542f85 AS dependencies
|
||||
WORKDIR /app
|
||||
COPY package.json package-lock.json ./
|
||||
RUN npm ci --omit=dev
|
||||
|
||||
FROM node:24.22.2-alpine3.24@sha256:8a32c8cf649a49915a66e81e7a609223c708d0adabf288ee3f4077d765542f85
|
||||
RUN rm -rf /usr/local/lib/node_modules /opt/yarn-* /usr/local/bin/npm /usr/local/bin/npx /usr/local/bin/yarn /usr/local/bin/yarnpkg
|
||||
WORKDIR /app
|
||||
ENV NODE_ENV=production
|
||||
COPY --from=dependencies /app/node_modules ./node_modules
|
||||
COPY package.json ./
|
||||
COPY src ./src
|
||||
USER node
|
||||
EXPOSE 8080
|
||||
CMD ["node", "--import", "./src/telemetry.ts", "src/main.ts"]
|
||||
@@ -1,37 +1,75 @@
|
||||
# Отчёт — лабораторная 7
|
||||
# Отчёт - лабораторная 7
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор - Морару Сергей Сергеевич, БПИ2303.
|
||||
- Целевая оценка - 5. Трек 1 «Компрометация worker».
|
||||
- Ветка - `solution/bpi2303-moraru` от `mtusi2026/mtusi2026lab7:main`.
|
||||
- База реализации - [ЛР № 6, PR № 6](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6/pulls/6), ветка студента на коммите `66367ca`.
|
||||
- Источники - [OpenBao cert auth](https://openbao.org/docs/auth/cert/), [RabbitMQ TLS](https://www.rabbitmq.com/docs/ssl), [SeaweedFS S3 credentials](https://github.com/seaweedfs/seaweedfs/wiki/S3-Credentials), [Prometheus exporter toolkit](https://github.com/prometheus/exporter-toolkit/blob/master/docs/web-configuration.md), [Tempo TLS](https://grafana.com/docs/tempo/latest/configuration/network/tls/), [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html). Codex использовался для переноса, реализации защиты и тестов, диагностики Compose и подготовки отчёта.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker Engine с Compose v2+, Python 3.9+, OpenSSL 3+ и свободное место под контейнеры, образы и volumes. Для полного стенда выделите Docker около 8 ГиБ RAM. Node 24 и версии сервисов закреплены в Dockerfile и Compose. Порты 8443, 8200 и 3000 должны быть свободны на loopback.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
scripts/up.sh
|
||||
curl --fail --cacert secrets/tls/service-ca/ca.crt https://localhost:8443/health/ready
|
||||
make check
|
||||
make test test-security CA_FILE=secrets/tls/service-ca/ca.crt
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
`scripts/up.sh` создаёт локальную конфигурацию, запускает зависимости, применяет миграции, настраивает SCRAM, инициализирует и распечатывает OpenBao, записывает scoped policies и запускает приложение. Файл `.env` управляет портами, числом реплик, TTL сессий и лимитами. Сертификаты и материалы оператора находятся в `secrets/` с закрытым родительским каталогом. Они исключены из Git и Docker build context. После отдельного перезапуска OpenBao выполните `python3 scripts/bao.py unseal`. При исчерпанном пуле адресов Docker можно задать свободные непересекающиеся подсети для `frontend`, `backend` и `telemetry` в локальном `compose.local.yaml`, подключив его через `COMPOSE_FILE=compose.yaml:compose.local.yaml` в `.env`.
|
||||
|
||||
## Доказательства критериев
|
||||
`docker compose down` останавливает стенд с сохранением volumes. `docker compose down -v` намеренно удаляет данные стенда, включая OpenBao. Для нового учебного bootstrap после удаления volumes уберите старый локальный каталог `secrets/` с учётом правил хранения ключей.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
## Архитектура
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Две stateless API-реплики обслуживают контракт ЛР № 6. HAProxy проверяет readiness через mTLS. PostgreSQL хранит пользователей, сессии, чаты, сообщения, метаданные, задания и outbox. Вложения попадают в устойчивый staging. После завершения upload одна транзакция обновляет статус и создаёт job и outbox. Relay отмечает публикацию после подтверждения quorum-очереди. Worker использует ручной ack и fencing в PostgreSQL. SeaweedFS хранит оригиналы и варианты. Reconciler сверяет PostgreSQL и S3. Collector принимает трассы, метрики и логи. Grafana загружает dashboard, источники, SLO и алерты из конфигурации. Схемы бизнес-API и публичные тесты сохранены. Основной эксперимент выполнен на Mac15,6, macOS 14.8.4, Docker Engine 29.8.2 в OrbStack arm64 (11 vCPU, 9 ГБ RAM для VM). Из-за заполнения VM на этом хосте локальный override также поднял порог записи Loki до 99,9%; в Compose из Git действует штатный порог Loki.
|
||||
|
||||
## Эксперименты и отказы
|
||||
Пути доверия описаны в [матрице](contracts/trust-matrix.md), атаки и отрицательные проверки - в [модели угроз](security/THREAT_MODEL.md). API, worker и reconciler получают credentials только после cert auth. Операторские bootstrap и replay используют отдельные credentials. API и worker выполняются с UID 1000, read-only rootfs, tmpfs, dropped capabilities и запретом эскалации. У worker 1 CPU, 768 МиБ и таймаут попытки 60 с. Stateful-сервисы пишут в volumes. PostgreSQL, RabbitMQ и SeaweedFS оставляют штатную инициализацию прав на data directory.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
## Проверки
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Критерий | Команда | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| Контракт | `make check`, `make validate PYTHON=.venv/bin/python` | [contract.txt](evidence/checks/contract.txt) |
|
||||
| HTTPS API и вложения | `make test CA_FILE=secrets/tls/service-ca/ca.crt` | [smoke.txt](evidence/checks/smoke.txt) |
|
||||
| Недоверенный CA | `make test-security CA_FILE=secrets/tls/service-ca/ca.crt` | [public-tls.txt](evidence/checks/public-tls.txt) |
|
||||
| ACL, logout, expiry, rehash, общий login rate limit | `python3 student-tests/auth_security.py` | [auth.txt](evidence/checks/auth.txt) |
|
||||
| Внутреннее TLS/mTLS, чужая identity | `student-tests/tls-audit.sh` | [internal-mtls.txt](evidence/checks/internal-mtls.txt) |
|
||||
| Сохранность и отказ реплик | `make test-persistence ACTION_SCRIPT=scripts/restart.sh CA_FILE=secrets/tls/service-ca/ca.crt`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh CA_FILE=secrets/tls/service-ca/ca.crt`, `python3 student-tests/alternate_failover.py --replica 1` | [persistence.txt](evidence/checks/persistence.txt), [failover-api-1.txt](evidence/checks/failover-api-1.txt), [failover-api-2.txt](evidence/checks/failover-api-2.txt) |
|
||||
| Ограничение доступа и смена ключей | `python3 student-tests/worker_compromise.py --output evidence/checks/worker-track.json` | [worker-track.txt](evidence/checks/worker-track.txt) |
|
||||
| Истечение доступа при sealed OpenBao | `python3 student-tests/bao_expiry.py` | [bao-expiry.txt](evidence/checks/bao-expiry.txt) |
|
||||
| Три сигнала, отсутствие утечек | `python3 student-tests/telemetry_check.py --ca-file secrets/tls/service-ca/ca.crt` | [telemetry.txt](evidence/checks/telemetry.txt) |
|
||||
| Контейнеры API/worker | `student-tests/hardening.sh` | [hardening.txt](evidence/checks/hardening.txt) |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
При последовательной проверке двух реплик запись восстановилась через 3.17 с для API-1 и 3.28 с для API-2. В каждом прогоне подтверждено 122 записи без ошибок и дублей. После общего перезапуска проверены прежний токен, история и байты вложения. При seal обе реплики зафиксировали истечение credentials, через 44.7 с ingress вернул 503. После unseal обе реплики снова отвечали через 48.7 с от начала сценария.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
### Бюджет Argon2id
|
||||
|
||||
Параметры `m=19456 КиБ, t=2, p=1`, случайная соль 16 байт. Для каждой реплики одновременно считаются до двух хешей. Общий PostgreSQL-лимит допускает до 30 запросов входа в 10-секундное окно на весь стенд. При отказе выдаётся 429 с Retry-After. Успешный вход переводит scrypt из ЛР № 6 в Argon2id условным UPDATE. Старые сессии остаются действительны до истечения TTL или logout.
|
||||
|
||||
`node student-tests/argon2_bench.mjs` на macOS arm64, Node 25.8.2, один прогрев, 25 операций на поток. В сохранённом прогоне при 1 потоке p50/p95/p99 составили 91/110/208 мс, CPU 1.82 с за 25 хешей. При 2 потоках p50/p95/p99 91/136/152 мс, CPU 3.54 с за 50 хешей, peak RSS процесса 111 МиБ. CPU одного хеша около 71-73 мс. [Сводка](evidence/checks/argon2.jsonl). Бюджет памяти двух параллельных Argon2id - 38 МиБ плюс память Node и зависимостей. Время ответа на этой загруженной машине включает планирование CPU; эксперимент не оценивает пропускную способность всего API.
|
||||
|
||||
В серии из 64 входов с неверным паролем при concurrency 4 получены 26 ответов 401 и 38 ответов 429 с Retry-After. Отказы наблюдались у обеих API-реплик. p50/p95 ответов 401 составили 101/171 мс. [Вывод](evidence/checks/auth.txt).
|
||||
|
||||
### Трек 1 - компрометация worker
|
||||
|
||||
Гипотеза. Украденные права worker позволяют читать staging, создавать варианты, потреблять очередь и менять состояние заданий. Они не дают читать пароли или сообщения, писать в произвольный prefix, публиковать задания или менять топологию. Ротация должна перекрыть старый доступ и сохранить все задания, которые API успел подтвердить.
|
||||
|
||||
Методика. Синтетический стенд, два worker, concurrency 2 на worker. Скрипт запускает пробу в backend с leaf и credentials worker. Проверяет операции по трём зависимостям и OpenBao. Останавливает worker, загружает 6 PNG и ждёт, пока outbox отметит публикацию. Оператор убирает прежний leaf из OpenBao, отзывает сертификат и пользователя AMQP, завершает DB connections, меняет пароль и S3 key, затем поднимает worker и открывает новые соединения со старыми материалами. Проверяются SHA-256 каждого оригинала, ровно шесть done и восемнадцать строк вариантов. Время считается от начала ротации до проверки каждого оригинала. Эксперимент покрывает очередь без активных lease на момент отключения.
|
||||
|
||||
Результат прогона. Старый leaf получил отказ на OpenBao, RabbitMQ и Collector. Прежние пароль БД и ключ S3 также отклонены. Все 6 заданий обработаны с первой попытки, записаны 18 вариантов, SHA-256 всех 6 оригиналов совпал. Первое подтверждение получено через 84.48 с от начала ротации, последнее через 84.74 с. [Вывод проверок](evidence/checks/worker-track.txt) · [Измерения](evidence/checks/worker-track.json).
|
||||
|
||||
До разграничения в ЛР № 6 worker подключался к PostgreSQL как владелец схемы, имел Read/Write на весь bucket, брокер уже разделял публикацию и потребление. Здесь даже действующий worker видит только рабочие prefix и таблицы pipeline, а его брокерный credential связан с leaf. Внутри своих разрешений worker может повредить рабочие данные или задержать обработку. Время восстановления зависит от рестартов одиночного RabbitMQ и SeaweedFS, поэтому это проверка сохранности, а не высокой доступности этих зависимостей.
|
||||
|
||||
### Сканирование
|
||||
|
||||
`npm audit --omit=dev` вернул 0 известных уязвимостей зависимостей npm. Trivy 0.76.2 в исходном однослойном образе обнаружил zlib CVE-2026-4738 и уязвимости пакетов, поставленных вместе с npm, включая brace-expansion и undici. Исходники сервиса не используют npm CLI в runtime. Финальный образ исключает глобальный npm и Yarn, сохраняя production dependencies приложения. В финальном скане Trivy оставил одну запись CVE-2026-4738 для системного zlib. Описание NVD указывает путь GDAL `frmts/zlib/contrib/infback9`. GDAL отсутствует в runtime, поэтому путь из advisory не входит в поверхность стенда. При обновлении базового образа следует повторить скан. [Вывод Trivy и npm audit](evidence/checks/scan.txt).
|
||||
|
||||
## Ограничения стенда
|
||||
|
||||
OpenBao, PostgreSQL, S3, RabbitMQ и telemetry backends работают в одном экземпляре. OpenBao требует ручного unseal после своего рестарта. Локальная ротация worker переинициализирует слушатели с новыми сертификатами и ACL, сохраняя volumes. Окно fail-closed составляет до 45 с после последнего успешного получения credentials. Это учебный стенд с локальным CA и синтетическими данными.
|
||||
|
||||
## Публикация
|
||||
|
||||
В Gitea создайте fork `mtusi2026/mtusi2026lab7` в аккаунте `s.s.moraru`. Из этой ветки выполните `git push -u fork solution/bpi2303-moraru`. В новом PR выберите base `mtusi2026/mtusi2026lab7:main` и head `s.s.moraru/mtusi2026lab7:solution/bpi2303-moraru`. Заголовок - **ЛР 7 - БПИ2303 - Морару - на 5**. Описание подготовлено в [шаблоне PR](.github/pull_request_template.md).
|
||||
|
||||
+433
@@ -0,0 +1,433 @@
|
||||
name: messenger-lab7
|
||||
|
||||
x-app: &app
|
||||
build: .
|
||||
image: messenger-lab7-app:dev # уникальное имя: на общем Docker-host не перепутать с чужими стендами
|
||||
networks: [backend]
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: [no-new-privileges:true]
|
||||
tmpfs: ["/tmp:size=64m,mode=1777"]
|
||||
ulimits:
|
||||
core: { soft: 0, hard: 0 }
|
||||
volumes: [./secrets/tls/service-ca:/run/tls:ro]
|
||||
logging: &logging
|
||||
driver: json-file
|
||||
options: { max-size: "10m", max-file: "3" } # stdout-логи ограничены; история логов — в Loki
|
||||
|
||||
# OpenTelemetry SDK api и worker (src/telemetry.ts). service.name задаётся у каждого сервиса отдельно.
|
||||
# OTEL_SDK_DISABLED=true — приложение без telemetry (сравнение, отладка).
|
||||
x-otel-env: &otel-env
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: https://otel-collector:4318
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL: ${OTEL_EXPORTER_OTLP_PROTOCOL:-http/protobuf}
|
||||
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
|
||||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||||
OTEL_PROPAGATORS: tracecontext # W3C traceparent/tracestate; baggage клиентов не принимается
|
||||
OTEL_METRIC_EXPORT_INTERVAL: "10000" # мс; окна rate() от 1 минуты
|
||||
OTEL_BSP_SCHEDULE_DELAY: "1000"
|
||||
OTEL_BLRP_SCHEDULE_DELAY: "1000"
|
||||
OTEL_NODE_EXPERIMENTAL_SDK_METRICS: "true" # otel.sdk.*: сколько spans/логов SDK обработал и отбросил
|
||||
|
||||
x-s3-env: &s3-env
|
||||
S3_ENDPOINT: https://s3:9000
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: messenger-attachments
|
||||
NODE_EXTRA_CA_CERTS: /run/tls/ca.crt
|
||||
|
||||
x-jobs-env: &jobs-env
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
PIPELINE_VERSION: ${PIPELINE_VERSION:-1}
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||||
JOB_RETRY_BASE_MS: ${JOB_RETRY_BASE_MS:-2000}
|
||||
JOB_REPUBLISH_SECONDS: ${JOB_REPUBLISH_SECONDS:-600}
|
||||
FAILPOINTS: ${FAILPOINTS:-0} # 1 только на тестовом стенде: файл failpoint-<точка>.png один раз роняет процесс
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:18.6-alpine@sha256:10a5c69a83035ab5239f5620d708520e8b28f5aa1f2b20143e6024532edadfb5
|
||||
entrypoint: ["/bin/sh", "/etc/lab/entrypoint.sh"]
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes:
|
||||
- pgdata:/var/lib/postgresql
|
||||
- ./infra/postgres:/etc/lab:ro
|
||||
- ./secrets/tls/postgres:/run/identity:ro
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 20
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "2", memory: 1g }
|
||||
stop_grace_period: 30s
|
||||
restart: unless-stopped
|
||||
security_opt: [no-new-privileges:true]
|
||||
networks: [backend]
|
||||
|
||||
openbao:
|
||||
image: openbao/openbao:2.5.4@sha256:436eaf9778cad75507ff70ea26ace30dcbe15606e619ac3823495663d7f7c115
|
||||
user: "100:1000"
|
||||
entrypoint: ["/bin/bao"]
|
||||
command: ["server", "-config=/etc/lab/server.hcl"]
|
||||
volumes:
|
||||
- ./infra/openbao/server.hcl:/etc/lab/server.hcl:ro
|
||||
- ./secrets/tls/openbao:/run/identity:ro
|
||||
- bao-data:/openbao/file
|
||||
- bao-audit:/openbao/logs
|
||||
networks: [frontend, backend]
|
||||
ports: ["127.0.0.1:${BAO_PORT:-8200}:8200"]
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: [no-new-privileges:true]
|
||||
tmpfs: ["/tmp:size=16m,mode=1777"]
|
||||
mem_limit: 256m
|
||||
cpus: 0.5
|
||||
restart: unless-stopped
|
||||
|
||||
# Filer, master и volume на loopback в том же контейнере. Наружу слушает только TLS S3.
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
|
||||
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1", "-filer", "-s3",
|
||||
"-master.volumeSizeLimitMB=128", "-volume.minFreeSpace=64MiB", "-s3.ip.bind=0.0.0.0", "-s3.port=9000",
|
||||
"-s3.config=/run/s3/identities.json", "-s3.cert.file=/run/identity/tls.crt", "-s3.key.file=/run/identity/tls.key",
|
||||
"-s3.iam=false", "-s3.port.iceberg=0", "-s3.port.lance=0", "-s3.autoCreateBucket=false",
|
||||
"-s3.concurrentUploadLimitMB=256"]
|
||||
volumes:
|
||||
- s3data:/data
|
||||
- ./secrets/runtime/s3:/run/s3:ro
|
||||
- ./secrets/tls/s3:/run/identity:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "SSL_CERT_FILE=/run/tls/ca.crt wget -qO /dev/null https://s3:9000/healthz"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 30
|
||||
mem_limit: 768m
|
||||
cpus: 1
|
||||
restart: unless-stopped
|
||||
security_opt: [no-new-privileges:true]
|
||||
networks: [backend]
|
||||
|
||||
# Одноразовые сервисы до старта реплик: схема БД (advisory lock) и bucket (повторный запуск ничего не меняет).
|
||||
migrate:
|
||||
<<: *app
|
||||
command: ["node", "src/main.ts", "migrate"]
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets: [database_url]
|
||||
restart: "no"
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "0.5", memory: 128m }
|
||||
depends_on:
|
||||
postgres: { condition: service_healthy }
|
||||
|
||||
s3-init:
|
||||
<<: *app
|
||||
command: ["node", "src/main.ts", "s3-init"]
|
||||
environment:
|
||||
<<: *s3-env
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
secrets:
|
||||
- { source: s3_admin_access_key_id, target: s3_access_key_id }
|
||||
- { source: s3_admin_secret_access_key, target: s3_secret_access_key }
|
||||
restart: "no"
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "0.5", memory: 128m }
|
||||
depends_on:
|
||||
s3: { condition: service_healthy }
|
||||
|
||||
# Брокер: RabbitMQ, quorum-очередь на диске (volume rabbitmq-data), publisher confirms, ручной ack.
|
||||
# hostname фиксирует имя узла rabbit@rabbitmq: данные в volume привязаны к нему и переживают пересоздание.
|
||||
rabbitmq:
|
||||
image: rabbitmq:4.3.6-alpine@sha256:6931816af1a943f471c038b278835d36692d55dec769232739296bb91b7de0f5
|
||||
hostname: rabbitmq
|
||||
volumes:
|
||||
- rabbitmq-data:/var/lib/rabbitmq
|
||||
- ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/90-messenger.conf:ro
|
||||
- ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro
|
||||
- ./secrets/tls/rabbitmq:/run/identity:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
|
||||
secrets: [rabbitmq_definitions]
|
||||
healthcheck:
|
||||
test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
|
||||
interval: 5s
|
||||
timeout: 10s
|
||||
retries: 30
|
||||
start_period: 20s
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "1", memory: 512m }
|
||||
stop_grace_period: 30s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
|
||||
api:
|
||||
<<: *app
|
||||
environment:
|
||||
<<: [*s3-env, *jobs-env, *otel-env]
|
||||
OTEL_SERVICE_NAME: messenger-api
|
||||
BAO_ROLE: api
|
||||
ARGON2_MEMORY_KIB: ${ARGON2_MEMORY_KIB:-19456}
|
||||
ARGON2_ITERATIONS: ${ARGON2_ITERATIONS:-2}
|
||||
ARGON2_PARALLELISM: ${ARGON2_PARALLELISM:-1}
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
DB_POOL_MAX: ${DB_POOL_MAX:-8}
|
||||
SHUTDOWN_DRAIN_MS: ${SHUTDOWN_DRAIN_MS:-2500}
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
volumes:
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/api:/run/identity:ro
|
||||
- ./secrets/pki:/run/pki:ro
|
||||
depends_on:
|
||||
migrate: { condition: service_completed_successfully }
|
||||
s3-init: { condition: service_completed_successfully }
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8081/"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 3
|
||||
# Lab6: старт с OpenTelemetry SDK (загрузка instrumentations через ESM-hook) на занятом хосте — до ~25 с.
|
||||
# Успешная проверка сразу делает контейнер healthy; start_period только прощает неудачи при старте.
|
||||
start_period: 120s
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources:
|
||||
limits: { cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-256m}" }
|
||||
stop_grace_period: 15s
|
||||
restart: unless-stopped # упавшая реплика поднимается сама; после `docker stop` остаётся остановленной
|
||||
|
||||
# Worker: отдельный процесс без HTTP, конкурирующие consumers одной очереди. WORKER_CONCURRENCY = prefetch =
|
||||
# одновременных заданий на реплику; память ограничена контейнером, libvips — один поток, без кэша.
|
||||
worker:
|
||||
<<: *app
|
||||
command: ["node", "--import", "./src/telemetry.ts", "src/main.ts", "worker"]
|
||||
environment:
|
||||
<<: [*s3-env, *jobs-env, *otel-env]
|
||||
OTEL_SERVICE_NAME: messenger-worker
|
||||
BAO_ROLE: worker
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
volumes:
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/worker:/run/identity:ro
|
||||
depends_on:
|
||||
migrate: { condition: service_completed_successfully }
|
||||
s3-init: { condition: service_completed_successfully }
|
||||
rabbitmq: { condition: service_healthy }
|
||||
deploy:
|
||||
replicas: ${WORKER_REPLICAS:-2}
|
||||
resources:
|
||||
limits: { cpus: "${WORKER_CPUS:-1}", memory: "${WORKER_MEMORY:-768m}" }
|
||||
stop_grace_period: 15s # SIGTERM: consumer отменяется, текущие задания до 10 с, затем выход
|
||||
restart: unless-stopped
|
||||
|
||||
# Периодическая сверка БД ↔ S3 с grace period (src/reconcile.ts). Свои S3-ключи: объекты + листинг bucket.
|
||||
reconciler:
|
||||
<<: *app
|
||||
command: ["node", "src/main.ts", "reconcile", "--apply", "--every=${RECONCILE_INTERVAL_SECONDS:-300}"]
|
||||
environment:
|
||||
<<: *s3-env
|
||||
BAO_ROLE: reconciler
|
||||
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-900}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
volumes:
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/reconciler:/run/identity:ro
|
||||
depends_on:
|
||||
migrate: { condition: service_completed_successfully }
|
||||
s3-init: { condition: service_completed_successfully }
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "0.5", memory: 128m }
|
||||
restart: unless-stopped
|
||||
|
||||
lb:
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
- ./secrets/tls/ingress:/run/public:ro
|
||||
- ./secrets/tls/lb-client:/run/client:ro
|
||||
- ./secrets/tls/lb:/run/identity:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
|
||||
ports: ["127.0.0.1:${LB_PORT:-8443}:8443"]
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: [no-new-privileges:true]
|
||||
depends_on:
|
||||
api: { condition: service_healthy }
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "${LB_CPUS:-1}", memory: 128m }
|
||||
restart: unless-stopped
|
||||
networks: [frontend, backend]
|
||||
|
||||
# HAProxy проверяет CN и CRL перед передачей OTLP по loopback в общем network namespace.
|
||||
otel-collector:
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
volumes:
|
||||
- ./infra/otel/ingress.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
- ./secrets/tls/otel-collector:/run/identity:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/pki:/run/pki:ro
|
||||
networks: [backend, telemetry]
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: [no-new-privileges:true]
|
||||
mem_limit: 128m
|
||||
cpus: 0.5
|
||||
restart: unless-stopped
|
||||
logging: *logging
|
||||
|
||||
collector:
|
||||
image: otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6748110ffb6a59bc0df448bccbf501cdb667d610ede4c61d3863d5849
|
||||
network_mode: "service:otel-collector"
|
||||
volumes:
|
||||
- ./infra/otel/collector.yaml:/etc/otelcol-contrib/config.yaml:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/collector:/run/client:ro
|
||||
environment:
|
||||
GOMEMLIMIT: 180MiB
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
security_opt: [no-new-privileges:true]
|
||||
mem_limit: 256m
|
||||
cpus: 1
|
||||
restart: unless-stopped
|
||||
logging: *logging
|
||||
|
||||
prometheus:
|
||||
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||||
command:
|
||||
- --config.file=/etc/prometheus/prometheus.yml
|
||||
- --storage.tsdb.path=/prometheus
|
||||
- --storage.tsdb.retention.time=15d
|
||||
- --storage.tsdb.retention.size=1GB
|
||||
- --web.enable-otlp-receiver
|
||||
- --web.config.file=/etc/prometheus/web.yml
|
||||
- --enable-feature=created-timestamp-zero-ingestion # новая серия счётчика начинается с 0: rate() видит первые ошибки
|
||||
- --query.lookback-delta=1m # данные остановленной реплики перестают учитываться через минуту, а не через 5
|
||||
volumes:
|
||||
- ./infra/prometheus:/etc/prometheus:ro
|
||||
- ./secrets/tls/prometheus:/run/identity:ro
|
||||
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/prometheus-scrape:/run/client:ro
|
||||
- prometheus-data:/prometheus
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "1", memory: 512m }
|
||||
stop_grace_period: 30s
|
||||
restart: unless-stopped
|
||||
logging: *logging
|
||||
networks: [telemetry]
|
||||
|
||||
loki:
|
||||
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
|
||||
command: ["-config.file=/etc/loki/loki.yaml"]
|
||||
volumes:
|
||||
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
|
||||
- ./secrets/tls/loki:/run/identity:ro
|
||||
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
|
||||
- loki-data:/loki
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "1", memory: 384m }
|
||||
stop_grace_period: 30s
|
||||
restart: unless-stopped
|
||||
logging: *logging
|
||||
networks: [telemetry]
|
||||
|
||||
tempo:
|
||||
image: grafana/tempo:2.10.10@sha256:12b0820f13ffa10ce956b6e9acc3b03f3cffded99109be6cc09d106fe56e5d38
|
||||
command: ["-config.file=/etc/tempo/tempo.yaml"]
|
||||
volumes:
|
||||
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
|
||||
- ./secrets/tls/tempo:/run/identity:ro
|
||||
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
|
||||
- ./secrets/tls/collector-ca:/run/collector-ca:ro
|
||||
- tempo-data:/var/tempo
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "1", memory: 512m }
|
||||
stop_grace_period: 30s
|
||||
restart: unless-stopped
|
||||
logging: *logging
|
||||
networks: [telemetry]
|
||||
|
||||
# Grafana: интерфейс и запросы к хранилищам; datasources и dashboard импортируются из Git (provisioning).
|
||||
grafana:
|
||||
image: grafana/grafana:13.2.5@sha256:9f7aa1e1e3246aade5792d35a738049f7f32f89cd51d1956cf426a4e86268a84
|
||||
entrypoint:
|
||||
- /bin/sh
|
||||
- -ec
|
||||
- |
|
||||
export DS_CA="$$(cat /run/tls/ca.crt)" DS_CERT="$$(cat /run/client/tls.crt)" DS_KEY="$$(cat /run/client/tls.key)"
|
||||
exec /run.sh
|
||||
environment:
|
||||
GF_SERVER_PROTOCOL: https
|
||||
GF_SERVER_CERT_FILE: /run/identity/tls.crt
|
||||
GF_SERVER_CERT_KEY: /run/identity/tls.key
|
||||
GF_SECURITY_ADMIN_USER: admin
|
||||
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
|
||||
GF_USERS_ALLOW_SIGN_UP: "false"
|
||||
GF_AUTH_ANONYMOUS_ENABLED: "false"
|
||||
GF_SERVER_ROOT_URL: https://localhost:${GRAFANA_PORT:-3000}
|
||||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
|
||||
GF_PLUGINS_PREINSTALL_DISABLED: "true"
|
||||
GF_NEWS_NEWS_FEED_ENABLED: "false"
|
||||
secrets: [grafana_admin_password]
|
||||
volumes:
|
||||
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
|
||||
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
|
||||
- ./secrets/tls/grafana:/run/identity:ro
|
||||
- ./secrets/tls/service-ca:/run/tls:ro
|
||||
- ./secrets/tls/grafana-query:/run/client:ro
|
||||
- grafana-data:/var/lib/grafana
|
||||
ports:
|
||||
- "127.0.0.1:${GRAFANA_PORT:-3000}:3000"
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "SSL_CERT_FILE=/run/tls/ca.crt wget -qO /dev/null https://localhost:3000/api/health"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
deploy:
|
||||
resources:
|
||||
limits: { cpus: "0.5", memory: 256m }
|
||||
restart: unless-stopped
|
||||
logging: *logging
|
||||
networks: [frontend, telemetry]
|
||||
|
||||
networks:
|
||||
frontend: {}
|
||||
backend: { internal: true } # api, worker, postgres, rabbitmq и s3-шлюз недоступны с хоста и не имеют выхода наружу
|
||||
telemetry: { internal: true } # collector → prometheus/loki/tempo ← grafana; приложение сюда не подключено
|
||||
|
||||
volumes:
|
||||
bao-data: {}
|
||||
bao-audit: {}
|
||||
pgdata: {}
|
||||
s3data: {}
|
||||
rabbitmq-data: {}
|
||||
prometheus-data: {}
|
||||
loki-data: {}
|
||||
tempo-data: {}
|
||||
grafana-data: {}
|
||||
|
||||
secrets:
|
||||
database_url: { file: ./secrets/runtime/database_url }
|
||||
postgres_password: { file: ./secrets/runtime/postgres_password }
|
||||
s3_admin_access_key_id: { file: ./secrets/runtime/s3_admin_access_key_id }
|
||||
s3_admin_secret_access_key: { file: ./secrets/runtime/s3_admin_secret_access_key }
|
||||
rabbitmq_definitions: { file: ./secrets/runtime/rabbitmq_definitions.json }
|
||||
grafana_admin_password: { file: ./secrets/runtime/grafana_admin_password }
|
||||
+16
-33
@@ -1,37 +1,20 @@
|
||||
# Матрица доверия — заполнить в решении lab7
|
||||
# Матрица доверия
|
||||
|
||||
Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
|
||||
Service CA подписывает серверы и клиентские leaf приложения. Отдельные CA telemetry и collector ограничивают доступ к хранилищам сигналов. Bootstrap выпускает leaf на 7 суток и CA на 365 суток. Имена серверов из таблицы проверяются по DNS SAN, кроме локальных HTTPS URL, для которых выданы также localhost и 127.0.0.1.
|
||||
|
||||
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
|
||||
| Связь | Endpoint и проверка сервера | Клиент и ACL | Проверка |
|
||||
| --- | --- | --- | --- |
|
||||
| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO |
|
||||
| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO |
|
||||
| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO |
|
||||
| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO |
|
||||
| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO |
|
||||
| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO |
|
||||
| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO |
|
||||
| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO |
|
||||
| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO |
|
||||
| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO |
|
||||
| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO |
|
||||
| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO |
|
||||
| Клиент → ingress | `https://localhost:8443`, service CA | Bearer, SHA-256 в БД, TTL 3600 с, ACL чата | `make test test-security CA_FILE=secrets/tls/service-ca/ca.crt`, `student-tests/auth_security.py` |
|
||||
| LB → обе API | `https://api:8080`, service CA, SNI/verifyhost api | leaf `DNS:lb-client`, CRL, обязательный client cert | `student-tests/tls-audit.sh`, положительные и отрицательные подключения |
|
||||
| API/worker/reconciler → PostgreSQL | `postgres:5432`, service CA, SSL с проверкой имени | раздельные SCRAM-роли и SQL grants; API имеет доступ к пользовательским данным, worker ограничен pipeline | `student-tests/worker_compromise.py`, `pg_stat_ssl`, SQLSTATE 42501/28P01 |
|
||||
| API/worker/reconciler → S3 | `https://s3:9000`, service CA | SigV4 с отдельными ключами, prefix ACL, List только у reconciler и оператора | `student-tests/worker_compromise.py`, staged read / private deny / старый ключ 403 |
|
||||
| API/worker → RabbitMQ | `amqps://rabbitmq:5671/messenger`, service CA | EXTERNAL по CN, `api` публикует в attachments, текущий `worker-*` читает attachments.process; declare запрещён | `student-tests/tls-audit.sh`, `student-tests/worker_compromise.py` |
|
||||
| API/worker → Collector | `https://otel-collector:4318`, service CA | HAProxy требует client cert и CN `api` или выданный `worker-*`, проверяет CRL, разрешает только OTLP POST | `student-tests/tls-audit.sh`, `student-tests/worker_compromise.py` |
|
||||
| Collector → хранилища | `prometheus:9090`, `loki:3100` по HTTPS, `tempo:4317` по OTLP gRPC/TLS, service CA | клиентский cert от collector CA; Tempo ingest доверяет только collector CA | `student-tests/telemetry_check.py`, `student-tests/tls-audit.sh` |
|
||||
| Grafana → источники | HTTPS `prometheus:9090`, `loki:3100`, `tempo:3200`, service CA | `grafana-query` от telemetry CA, доступ в UI аутентифицирован | provisioning, `student-tests/telemetry_check.py`, `student-tests/tls-audit.sh` |
|
||||
| Сервисы → OpenBao | `https://openbao:8200`, service CA | cert auth с pinned leaf, API/worker/reconciler читают каждый свой KV; TTL 45 с, re-auth 5 с | `student-tests/worker_compromise.py`, `student-tests/bao_expiry.py` |
|
||||
| Оператор | `https://localhost:8200`, `https://localhost:3000`; S3 через внутреннюю сеть | OpenBao root и Shamir у оператора, Grafana Basic, отдельный S3 admin для bootstrap | `scripts/bao.py`, HTTPS Grafana и bootstrap bucket |
|
||||
| Redis/Valkey | Н/П | Сессии в PostgreSQL | HTTPS persistence |
|
||||
| Replication | Н/П | Две независимые API-реплики; брокер и хранилища в одном экземпляре | HTTPS failover обеих API-реплик |
|
||||
|
||||
Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход.
|
||||
|
||||
## Обязательные отрицательные проверки
|
||||
|
||||
1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен».
|
||||
2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех.
|
||||
3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity.
|
||||
4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity.
|
||||
5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3.
|
||||
6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить.
|
||||
|
||||
## Bootstrap и эксплуатация
|
||||
|
||||
В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу.
|
||||
|
||||
OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии.
|
||||
|
||||
Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap.
|
||||
Collector скрейпит `https://lb:8404` и `https://rabbitmq:15691` с client cert от collector CA. Prometheus проверяет серверные сертификаты источников и использует отдельный cert `prometheus-scrape`. Локальные HTTP hop находятся в закрытом namespace: процесс OTel слушает `127.0.0.1:14318`, доступны только его ingress и self-scrape, а внутренние master/filer/volume SeaweedFS находятся на loopback одного контейнера. API имеет отдельный HTTP socket на `127.0.0.1:8081`, отдающий только состояние процесса. Bootstrap БД использует Unix socket с peer map для пользователя postgres. Сеть и порты видны через `docker compose config`.
|
||||
|
||||
@@ -0,0 +1,2 @@
|
||||
{"concurrency":1,"runs":25,"p50_ms":91,"p95_ms":110,"p99_ms":208,"elapsed_ms":2404,"cpu_ms":1817,"max_rss_mib":111}
|
||||
{"concurrency":2,"runs":50,"p50_ms":91,"p95_ms":136,"p99_ms":152,"elapsed_ms":2504,"cpu_ms":3543,"max_rss_mib":111}
|
||||
@@ -0,0 +1,5 @@
|
||||
PASS outsider: metadata, bytes and reuse of foreign attachment denied
|
||||
PASS expired and logged-out sessions rejected
|
||||
PASS successful scrypt login rehashes to Argon2id
|
||||
PASS ingress rejects an incorrect hostname
|
||||
PASS shared login budget {"codes": {"401": 26, "429": 38}, "requests": 64, "concurrency": 4, "seconds": 0.93, "401_p50_ms": 101.2, "401_p95_ms": 170.7}
|
||||
@@ -0,0 +1,5 @@
|
||||
OpenBao: seal OK
|
||||
PASS sealed OpenBao, both replicas expired and ingress returned 503 after 44.7s
|
||||
OpenBao unsealed
|
||||
OpenBao: unseal OK
|
||||
PASS both replicas recovered after 48.7s from seal
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 student-tests/alternate_failover.py --replica 1
|
||||
stopped /messenger-lab7-api-1 (5bdde5a69ba7)
|
||||
PASS api-1: 122 successful writes, 0 failures, recovery 3.171s
|
||||
@@ -0,0 +1,5 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 3.275}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
stopped /messenger-lab7-api-2 (789f75a2d4d6)
|
||||
@@ -0,0 +1,4 @@
|
||||
PASS /messenger-lab7-api-1 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
|
||||
PASS /messenger-lab7-api-2 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
|
||||
PASS /messenger-lab7-worker-1 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
|
||||
PASS /messenger-lab7-worker-2 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
|
||||
@@ -0,0 +1,20 @@
|
||||
PASS api allow
|
||||
PASS api deny
|
||||
PASS api tls-deny
|
||||
PASS api tls-deny
|
||||
PASS api tls-deny
|
||||
PASS rabbitmq allow
|
||||
PASS rabbitmq deny
|
||||
PASS rabbitmq tls-deny
|
||||
PASS rabbitmq tls-deny
|
||||
PASS otel-collector allow
|
||||
PASS otel-collector deny
|
||||
PASS otel-collector tls-deny
|
||||
PASS otel-collector tls-deny
|
||||
PASS otel-collector tls-deny
|
||||
PASS prometheus allow
|
||||
PASS prometheus tls-deny
|
||||
PASS loki allow
|
||||
PASS loki tls-deny
|
||||
PASS tempo allow
|
||||
PASS tempo tls-deny
|
||||
@@ -0,0 +1,20 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
Container StartedAt before → after (volumes preserved)
|
||||
lb 2026-11-13T01:15:11.257385463Z -> 2026-11-13T01:20:10.547301092Z
|
||||
api 2026-11-13T01:15:50.908917222Z -> 2026-11-13T01:20:04.090599786Z
|
||||
api 2026-11-13T01:15:57.172061993Z -> 2026-11-13T01:20:04.636345266Z
|
||||
worker 2026-11-13T01:18:50.289037895Z -> 2026-11-13T01:20:04.088323125Z
|
||||
worker 2026-11-13T01:18:50.641455405Z -> 2026-11-13T01:20:04.571768822Z
|
||||
reconciler 2026-11-13T01:15:50.899418247Z -> 2026-11-13T01:20:04.079800985Z
|
||||
postgres 2026-11-13T00:55:15.413332805Z -> 2026-11-13T01:19:36.476215277Z
|
||||
s3 2026-11-13T01:17:38.625759439Z -> 2026-11-13T01:19:41.274651051Z
|
||||
rabbitmq 2026-11-13T01:17:38.618089156Z -> 2026-11-13T01:19:37.531654708Z
|
||||
otel-collector 2026-11-13T01:17:38.608424136Z -> 2026-11-13T01:19:36.638172339Z
|
||||
collector 2026-11-13T01:17:40.256329957Z -> 2026-11-13T01:19:42.679961375Z
|
||||
prometheus 2026-11-13T00:55:15.184395701Z -> 2026-11-13T01:19:36.261421478Z
|
||||
loki 2026-11-13T01:16:17.793235632Z -> 2026-11-13T01:19:36.783945489Z
|
||||
tempo 2026-11-13T00:55:13.64505991Z -> 2026-11-13T01:19:36.429086463Z
|
||||
grafana 2026-11-13T00:59:58.501910653Z -> 2026-11-13T01:19:42.904075477Z
|
||||
openbao 2026-11-13T00:57:09.723084442Z -> 2026-11-13T01:19:37.422278275Z
|
||||
@@ -0,0 +1,2 @@
|
||||
promtool test rules /etc/prometheus/tests/alerts.test.yml
|
||||
SUCCESS
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/security.py --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
|
||||
PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening.
|
||||
@@ -0,0 +1,5 @@
|
||||
Trivy 0.76.2, messenger-lab7-app:dev, linux/arm64, 2026-11-13
|
||||
npm audit --omit=dev: 0 vulnerabilities
|
||||
messenger-lab7-app:dev (alpine 3.24.3): 1 findings
|
||||
CVE-2026-4738 zlib MEDIUM 1.3.2-r1 1.4-r0
|
||||
Node.js: 0 findings
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
|
||||
PASS: lab7 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,8 @@
|
||||
PASS 1 trace 39bd5ebcd3c5fb3c8289d0fd05f0d332: server span POST /api/v1/chats/{chat_id}/messages (3 SQL), лог request_id=3f633f88-ab37-44df-ad6a-18616b504fb6
|
||||
PASS 2 404 request_id=33b40a88-0173-4364-828c-18d8d3810b53 → лог → trace 01e968716000024fe5e64908a92f9059
|
||||
PASS 3 trace f68deeca64cc65ace6a2821019036d0b: upload → publish → process (39 spans), лог job.ready в том же trace
|
||||
PASS 4 trace d172c7ac2a5c5b7b8f9b8a3970d1b8d4: publish#1 → process#1 (retry, S3 timeout) → publish#2 → process#2 (ready)
|
||||
PASS 5 метрики: 14 обязательных есть; 119 labels без id/URL; 10 шаблонов http_route
|
||||
PASS 6 секреты/контент не найдены в 8 ответах Tempo/Loki и во всём Loki за 30 мин
|
||||
PASS 7 dashboard «Messenger lab6»: 35 панелей, 57/60 запросов с данными (пусто: ['Потери telemetry (элементов/с)'])
|
||||
PASS: сигналы lab6 (traces, logs, metrics, связь через очередь, retry, отсутствие секретов, dashboard)
|
||||
@@ -0,0 +1,16 @@
|
||||
{
|
||||
"queued": 6,
|
||||
"done": 6,
|
||||
"variants": 18,
|
||||
"attempts": 6,
|
||||
"lost": 0,
|
||||
"sha256_verified": 6,
|
||||
"seconds_from_rotation_to_verification": [
|
||||
84.48,
|
||||
84.6,
|
||||
84.64,
|
||||
84.67,
|
||||
84.7,
|
||||
84.74
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,12 @@
|
||||
PASS operator seeds staging/private and reads private
|
||||
PASS OpenBao own read; cross-role read, write and policy update denied; TTL 45s
|
||||
PASS PostgreSQL TLS; job select/update allowed; users, messages, delete and DDL denied
|
||||
PASS S3 staging read; variants/originals write; private read/write/copy and bucket list denied
|
||||
PASS RabbitMQ worker consumes attachments.process; publish and queue creation denied
|
||||
PASS 6 заданий queued и подтверждены брокером до ротации
|
||||
OpenBao: revoke-worker OK
|
||||
PostgreSQL: SCRAM credentials настроены
|
||||
OpenBao: replace-worker OK
|
||||
Worker identity и credentials заменены
|
||||
PASS old leaf denied by OpenBao, AMQP and OTLP; old DB password and S3 key denied
|
||||
PASS {"queued": 6, "done": 6, "variants": 18, "attempts": 6, "lost": 0, "sha256_verified": 6, "seconds_from_rotation_to_verification": [84.48, 84.6, 84.64, 84.67, 84.7, 84.74]}
|
||||
@@ -0,0 +1,210 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Генератор infra/grafana/dashboards/messenger.json (импортируется provisioning-ом).
|
||||
JSON в Git — результат этого скрипта; правьте скрипт и пересоберите: python3 infra/grafana/build_dashboard.py
|
||||
Каждая панель: запрос PromQL/LogQL/TraceQL и единица измерения (fieldConfig.unit). Квантили — histogram_quantile
|
||||
по сумме buckets всех реплик (sum by le), не среднее и не усреднение p99 реплик."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
|
||||
PROM = {'type': 'prometheus', 'uid': 'prometheus'}
|
||||
LOKI = {'type': 'loki', 'uid': 'loki'}
|
||||
TEMPO = {'type': 'tempo', 'uid': 'tempo'}
|
||||
RATE = '$__rate_interval'
|
||||
|
||||
panels, y = [], 0
|
||||
|
||||
|
||||
def row(title):
|
||||
global y
|
||||
panels.append({'type': 'row', 'title': title, 'collapsed': False, 'panels': [],
|
||||
'gridPos': {'x': 0, 'y': y, 'w': 24, 'h': 1}, 'id': len(panels) + 1})
|
||||
y += 1
|
||||
|
||||
|
||||
def place(items, h=8):
|
||||
"""Панели одной строки делят ширину 24 поровну."""
|
||||
global y
|
||||
w = 24 // len(items)
|
||||
for i, p in enumerate(items):
|
||||
p['gridPos'] = {'x': i * w, 'y': y, 'w': w, 'h': h}
|
||||
p['id'] = len(panels) + 1
|
||||
panels.append(p)
|
||||
y += h
|
||||
|
||||
|
||||
def ts(title, unit, targets, desc='', thresholds=None, stack=False, minimum=None):
|
||||
defaults = {'unit': unit, 'custom': {'lineWidth': 1, 'fillOpacity': 10, 'showPoints': 'never',
|
||||
'stacking': {'mode': 'normal' if stack else 'none'}}}
|
||||
if minimum is not None:
|
||||
defaults['min'] = minimum
|
||||
if thresholds:
|
||||
defaults['thresholds'] = {'mode': 'absolute', 'steps': [{'color': 'green', 'value': None}] +
|
||||
[{'color': 'red', 'value': thresholds}]}
|
||||
defaults['custom']['thresholdsStyle'] = {'mode': 'line+area'}
|
||||
return {'type': 'timeseries', 'title': title, 'description': desc, 'datasource': PROM,
|
||||
'fieldConfig': {'defaults': defaults, 'overrides': []},
|
||||
'options': {'legend': {'displayMode': 'list', 'placement': 'bottom'}, 'tooltip': {'mode': 'multi', 'sort': 'desc'}},
|
||||
'targets': [{'refId': chr(65 + i), 'datasource': PROM, 'expr': e, 'legendFormat': l} for i, (e, l) in enumerate(targets)]}
|
||||
|
||||
|
||||
def stat(title, unit, expr, desc='', red_below=None, red_above=None, decimals=None):
|
||||
steps = [{'color': 'green', 'value': None}]
|
||||
if red_below is not None:
|
||||
steps = [{'color': 'red', 'value': None}, {'color': 'green', 'value': red_below}]
|
||||
if red_above is not None:
|
||||
steps.append({'color': 'red', 'value': red_above})
|
||||
defaults = {'unit': unit, 'thresholds': {'mode': 'absolute', 'steps': steps}}
|
||||
if decimals is not None:
|
||||
defaults['decimals'] = decimals
|
||||
return {'type': 'stat', 'title': title, 'description': desc, 'datasource': PROM,
|
||||
'fieldConfig': {'defaults': defaults, 'overrides': []},
|
||||
'options': {'reduceOptions': {'calcs': ['lastNotNull'], 'fields': '', 'values': False},
|
||||
'colorMode': 'background', 'graphMode': 'area', 'textMode': 'value'},
|
||||
'targets': [{'refId': 'A', 'datasource': PROM, 'expr': expr, 'instant': False}]}
|
||||
|
||||
|
||||
def quantiles(metric, selector, by=''):
|
||||
grp = f'le{", " + by if by else ""}'
|
||||
return [(f'histogram_quantile({q}, sum by ({grp}) (rate({metric}_bucket{{{selector}}}[{RATE}])))',
|
||||
f'p{int(q * 100)}{" {{" + by + "}}" if by else ""}') for q in (0.5, 0.95, 0.99)]
|
||||
|
||||
|
||||
API = 'job="messenger-api"'
|
||||
|
||||
row('SLO и alerts (трек 2)')
|
||||
place([
|
||||
stat('Доступность API у клиентов, 1 ч', 'percentunit', '1 - slo:api_error_ratio:rate1h',
|
||||
'SLI = 1 − 5xx/все ответы HAProxy (frontend public) за 1 ч: включает 503/504 самого LB, которых не видит API. '
|
||||
'SLO 99.5 % за 30 дней.', red_below=0.995, decimals=2),
|
||||
stat('Остаток бюджета API (30 д)', 'percentunit', '1 - slo:api_error_ratio:rate30d / 0.005',
|
||||
'Доля неизрасходованного бюджета ошибок 0.5 % за 30 дней (на стенде — за доступную историю).', red_below=0, decimals=1),
|
||||
stat('Ready ≤ 30 с, 1 ч', 'percentunit', '1 - slo:ready_bad_ratio:rate1h',
|
||||
'SLI time-to-ready: доля вложений, ставших ready не позже 30 с от приёма. SLO 99 %.', red_below=0.99, decimals=2),
|
||||
stat('Остаток бюджета time-to-ready (30 д)', 'percentunit', '1 - slo:ready_bad_ratio:rate30d / 0.01',
|
||||
'Бюджет 1 % «медленных» или failed вложений за 30 дней.', red_below=0, decimals=1),
|
||||
stat('Alerts firing', 'none', 'count(ALERTS{alertstate="firing"}) or vector(0)', 'Сейчас активных alerts.', red_above=1),
|
||||
], h=5)
|
||||
place([
|
||||
ts('Burn rate API (×бюджет)', 'none', [
|
||||
('slo:api_error_ratio:rate5m / 0.005', '5m'), ('slo:api_error_ratio:rate30m / 0.005', '30m'),
|
||||
('slo:api_error_ratio:rate1h / 0.005', '1h'), ('slo:api_error_ratio:rate6h / 0.005', '6h')],
|
||||
'Расход бюджета относительно равномерного. Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.', thresholds=6),
|
||||
ts('Burn rate time-to-ready (×бюджет)', 'none', [
|
||||
('slo:ready_bad_ratio:rate5m / 0.01', '5m'), ('slo:ready_bad_ratio:rate30m / 0.01', '30m'),
|
||||
('slo:ready_bad_ratio:rate1h / 0.01', '1h'), ('slo:ready_bad_ratio:rate6h / 0.01', '6h')],
|
||||
'Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.', thresholds=6),
|
||||
{'type': 'state-timeline', 'title': 'Alerts (pending / firing)', 'datasource': PROM,
|
||||
'description': 'Серия ALERTS: состояние правил Prometheus. Отсутствие полосы — alert неактивен (resolved).',
|
||||
'fieldConfig': {'defaults': {'color': {'mode': 'thresholds'}, 'thresholds': {'mode': 'absolute', 'steps': [
|
||||
{'color': 'transparent', 'value': None}, {'color': 'orange', 'value': 1}, {'color': 'red', 'value': 2}]}},
|
||||
'overrides': []},
|
||||
'options': {'showValue': 'never', 'mergeValues': True, 'rowHeight': 0.8, 'legend': {'showLegend': False}},
|
||||
'targets': [{'refId': 'A', 'datasource': PROM, 'legendFormat': '{{alertname}}',
|
||||
'expr': 'max by (alertname) ((ALERTS{alertstate="pending"} * 1) or (ALERTS{alertstate="firing"} * 2))'}]},
|
||||
])
|
||||
|
||||
row('API: запросы, ошибки, задержка')
|
||||
place([
|
||||
ts('RPS по маршрутам', 'reqps', [(f'sum by (http_route, http_request_method) (rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]))',
|
||||
'{{http_request_method}} {{http_route}}')],
|
||||
'http.server.request.duration (_count) — счётчик запросов; label http_route — шаблон маршрута.', stack=True),
|
||||
ts('RPS по классу статуса', 'reqps', [(
|
||||
f'sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]), '
|
||||
'"status_class", "${1}xx", "http_response_status_code", "([0-9]).."))', '{{status_class}}')], stack=True),
|
||||
ts('Доля 5xx', 'percentunit', [
|
||||
(f'(sum(rate(http_server_request_duration_seconds_count{{{API},http_response_status_code=~"5.."}}[{RATE}])) or vector(0))'
|
||||
f' / sum(rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]))', 'в метриках API'),
|
||||
('slo:api_error_ratio:rate5m', 'у клиентов (HAProxy), 5m — SLI, alert > 5 %')],
|
||||
'5xx / все ответы; 4xx — не ошибка сервиса. Линия API ниже линии HAProxy, когда LB отвечает сам: 503 без готовых '
|
||||
'реплик (БД недоступна → readiness), 504 по таймауту.', thresholds=0.05, minimum=0),
|
||||
])
|
||||
place([
|
||||
ts('Задержка API p50/p95/p99', 's', quantiles('http_server_request_duration_seconds', API),
|
||||
'Квантили из buckets histogram всех реплик (sum by le).'),
|
||||
ts('p99 по маршрутам', 's', [(f'histogram_quantile(0.99, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{{{API}}}[{RATE}])))',
|
||||
'{{http_route}}')]),
|
||||
ts('p99 запросов к PostgreSQL', 's', [(f'histogram_quantile(0.99, sum by (le, job) (rate(db_client_operation_duration_seconds_bucket[{RATE}])))', '{{job}}')],
|
||||
'db.client.operation.duration (instrumentation-pg). Медленная БД — растёт здесь; медленный handler — нет.'),
|
||||
])
|
||||
|
||||
row('Worker и задания')
|
||||
place([
|
||||
ts('Jobs/с по исходу', 'ops', [(f'sum by (outcome) (rate(messenger_job_duration_seconds_count[{RATE}]))', '{{outcome}}')],
|
||||
'done — ready; retry — временная ошибка, повтор; failed — терминально; noop/discarded — дубль/потерянная аренда.', stack=True),
|
||||
ts('Длительность обработки job (done) p50/p95/p99', 's', quantiles('messenger_job_duration_seconds', 'outcome="done"')),
|
||||
ts('Время до ready p50/p95/p99', 's', quantiles('messenger_attachment_time_to_ready_seconds', 'outcome="ready"'),
|
||||
'От durable acceptance (COMMIT задания) до публикации ready. Порог SLO — 30 с.', thresholds=30),
|
||||
])
|
||||
place([
|
||||
ts('Насыщение worker (busy / capacity)', 'percentunit', [
|
||||
('sum(messenger_worker_busy) / sum(messenger_worker_capacity)', 'все worker'),
|
||||
('messenger_worker_busy / messenger_worker_capacity', '{{instance}}')], minimum=0),
|
||||
ts('Очередь: backlog', 'none', [
|
||||
('max by (state) (messenger_jobs_backlog)', 'jobs {{state}} (БД)'),
|
||||
('max(messenger_outbox_pending)', 'outbox без confirm'),
|
||||
('sum(rabbitmq_detailed_queue_messages_ready{queue="attachments.process"})', 'RabbitMQ ready'),
|
||||
('sum(rabbitmq_detailed_queue_messages_unacked{queue="attachments.process"})', 'RabbitMQ unacked')],
|
||||
'Количество работы (backlog). БД — источник истины; одинаково видна со всех реплик API, берётся max.'),
|
||||
ts('Возраст старейшего задания', 's', [('max by (queue) (messenger_jobs_oldest_age_seconds)', '{{queue}}'),
|
||||
('sum(rabbitmq_detailed_queue_consumers{queue="attachments.process"})', 'consumers')],
|
||||
'Секунды с приёма старейшего незавершённого задания (lag). Alert JobQueueLagGrowing — > 60 с в течение 1 мин.', thresholds=60),
|
||||
])
|
||||
|
||||
row('Насыщение: пул БД, CPU, память, event loop')
|
||||
place([
|
||||
ts('Пул соединений PostgreSQL', 'none', [
|
||||
('sum by (job, db_client_connection_state) (db_client_connection_count)', '{{job}} {{db_client_connection_state}}'),
|
||||
('sum by (job) (db_client_connection_pending_requests)', '{{job}} ждут соединения'),
|
||||
('sum by (job) (db_client_connection_max)', '{{job}} max')]),
|
||||
ts('CPU процессов (доля ядра)', 'percentunit', [(f'sum by (job, instance) (rate(process_cpu_time_seconds_total[{RATE}]))', '{{job}} {{instance}}')],
|
||||
'process.cpu.time; 100 % = одно ядро. Лимит контейнера api/worker — 1 CPU.'),
|
||||
ts('Память процессов (RSS)', 'bytes', [('process_memory_usage_bytes', '{{job}} {{instance}}'),
|
||||
('otelcol_process_memory_rss', 'collector')]),
|
||||
ts('Event loop: задержка p99', 's', [('nodejs_eventloop_delay_p99_seconds', '{{job}} {{instance}}')],
|
||||
'Блокировка event loop Node.js (CPU-bound handler) — растёт здесь, а не в p99 PostgreSQL.'),
|
||||
])
|
||||
|
||||
row('Telemetry pipeline (OpenTelemetry Collector)')
|
||||
place([
|
||||
ts('Принято / отправлено (элементов/с)', 'ops', [
|
||||
(f'sum(rate(otelcol_receiver_accepted_spans_total[{RATE}]))', 'spans принято'),
|
||||
(f'sum(rate(otelcol_exporter_sent_spans_total[{RATE}]))', 'spans отправлено'),
|
||||
(f'sum(rate(otelcol_receiver_accepted_log_records_total[{RATE}]))', 'logs принято'),
|
||||
(f'sum(rate(otelcol_exporter_sent_log_records_total[{RATE}]))', 'logs отправлено'),
|
||||
(f'sum(rate(otelcol_receiver_accepted_metric_points_total[{RATE}]))', 'metric points принято'),
|
||||
(f'sum(rate(otelcol_exporter_sent_metric_points_total[{RATE}]))', 'metric points отправлено')]),
|
||||
ts('Потери telemetry (элементов/с)', 'ops', [
|
||||
(f'sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[{RATE}]))', 'send failed spans {{exporter}}'),
|
||||
(f'sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[{RATE}]))', 'send failed logs {{exporter}}'),
|
||||
(f'sum by (exporter) (rate(otelcol_exporter_enqueue_failed_spans_total[{RATE}]))', 'очередь полна, spans {{exporter}}'),
|
||||
(f'sum by (exporter) (rate(otelcol_exporter_enqueue_failed_log_records_total[{RATE}]))', 'очередь полна, logs {{exporter}}'),
|
||||
(f'sum(rate(otelcol_receiver_refused_spans_total[{RATE}]))', 'отказ приёма spans (memory_limiter)')],
|
||||
'Отброшенное Collector-ом: после 60 с повторов (send failed) или при полной очереди (enqueue failed).'),
|
||||
ts('Очередь экспортёров', 'none', [('otelcol_exporter_queue_size', '{{exporter}}'),
|
||||
('max(otelcol_exporter_queue_capacity)', 'ёмкость')],
|
||||
'Ограниченная очередь в памяти: при недоступном backend растёт до ёмкости, не дальше.'),
|
||||
])
|
||||
|
||||
row('Логи и трассы')
|
||||
place([
|
||||
{'type': 'logs', 'title': 'Ошибки и предупреждения (Loki)', 'datasource': LOKI,
|
||||
'description': 'Структурные логи api и worker; поле trace_id ведёт в Tempo.',
|
||||
'options': {'showTime': True, 'wrapLogMessage': True, 'sortOrder': 'Descending', 'enableLogDetails': True},
|
||||
'targets': [{'refId': 'A', 'datasource': LOKI,
|
||||
'expr': '{service_name=~"messenger-.+"} | severity_text=~"ERROR|WARN"'}]},
|
||||
{'type': 'table', 'title': 'Трассы с ошибками (Tempo)', 'datasource': TEMPO,
|
||||
'description': 'TraceQL { status = error }: ошибки HTTP 5xx, повторы и отказы обработки заданий.',
|
||||
'targets': [{'refId': 'A', 'datasource': TEMPO, 'queryType': 'traceql', 'query': '{ status = error }',
|
||||
'limit': 20, 'tableType': 'traces'}]},
|
||||
], h=10)
|
||||
|
||||
dashboard = {
|
||||
'uid': 'messenger-lab6', 'title': 'Messenger lab6', 'tags': ['messenger', 'lab6', 'slo'],
|
||||
'description': 'API, worker, очередь, насыщение, SLO/burn rate, telemetry pipeline. Морару С. С., БПИ2303.',
|
||||
'timezone': 'browser', 'refresh': '10s', 'schemaVersion': 41, 'version': 1, 'editable': False,
|
||||
'time': {'from': 'now-1h', 'to': 'now'}, 'templating': {'list': []}, 'annotations': {'list': []},
|
||||
'panels': panels,
|
||||
}
|
||||
out = Path(__file__).with_name('dashboards') / 'messenger.json'
|
||||
out.write_text(json.dumps(dashboard, ensure_ascii=False, indent=2) + '\n')
|
||||
print(f'{out}: {sum(p["type"] != "row" for p in panels)} panels')
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,12 @@
|
||||
# Dashboards из Git (infra/grafana/dashboards/*.json) — импортируются без ручного набора, правка в UI не сохраняется.
|
||||
apiVersion: 1
|
||||
|
||||
providers:
|
||||
- name: messenger
|
||||
folder: Messenger
|
||||
type: file
|
||||
disableDeletion: true
|
||||
allowUiUpdates: false
|
||||
updateIntervalSeconds: 30
|
||||
options:
|
||||
path: /var/lib/grafana/dashboards
|
||||
@@ -0,0 +1,75 @@
|
||||
# Источники данных Grafana (импортируются при старте, правка в UI запрещена). Grafana сама ничего не хранит:
|
||||
# метрики — Prometheus, логи — Loki, трассы — Tempo. Связи: trace → логи этого trace (Tempo → Loki по trace_id),
|
||||
# лог → trace (derived field trace_id из structured metadata Loki), alerts — правила Prometheus.
|
||||
apiVersion: 1
|
||||
|
||||
datasources:
|
||||
- name: Prometheus
|
||||
uid: prometheus
|
||||
type: prometheus
|
||||
access: proxy
|
||||
url: https://prometheus:9090
|
||||
isDefault: true
|
||||
editable: false
|
||||
secureJsonData: &tls_material
|
||||
tlsCACert: $DS_CA
|
||||
tlsClientCert: $DS_CERT
|
||||
tlsClientKey: $DS_KEY
|
||||
jsonData:
|
||||
tlsAuth: true
|
||||
tlsAuthWithCACert: true
|
||||
timeInterval: 10s
|
||||
httpMethod: POST
|
||||
manageAlerts: true # правила Prometheus видны в Grafana Alerting (только чтение)
|
||||
|
||||
- name: Loki
|
||||
uid: loki
|
||||
type: loki
|
||||
access: proxy
|
||||
url: https://loki:3100
|
||||
editable: false
|
||||
secureJsonData: *tls_material
|
||||
jsonData:
|
||||
tlsAuth: true
|
||||
tlsAuthWithCACert: true
|
||||
maxLines: 1000
|
||||
derivedFields:
|
||||
- name: trace_id
|
||||
matcherType: label
|
||||
matcherRegex: trace_id
|
||||
datasourceUid: tempo
|
||||
url: '$${__value.raw}'
|
||||
urlDisplayLabel: Открыть trace
|
||||
|
||||
- name: Tempo
|
||||
uid: tempo
|
||||
type: tempo
|
||||
access: proxy
|
||||
url: https://tempo:3200
|
||||
editable: false
|
||||
secureJsonData: *tls_material
|
||||
jsonData:
|
||||
tlsAuth: true
|
||||
tlsAuthWithCACert: true
|
||||
nodeGraph:
|
||||
enabled: true
|
||||
search:
|
||||
hide: false
|
||||
lokiSearch:
|
||||
datasourceUid: loki
|
||||
tracesToLogsV2:
|
||||
datasourceUid: loki
|
||||
spanStartTimeShift: -5m
|
||||
spanEndTimeShift: 5m
|
||||
customQuery: true
|
||||
query: '{service_name=~"messenger-.+"} | trace_id="$${__trace.traceId}"'
|
||||
tracesToMetrics:
|
||||
datasourceUid: prometheus
|
||||
spanStartTimeShift: -5m
|
||||
spanEndTimeShift: 5m
|
||||
tags:
|
||||
- key: service.name
|
||||
value: job
|
||||
queries:
|
||||
- name: p99 HTTP API
|
||||
query: histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{$$__tags}[5m])))
|
||||
@@ -0,0 +1,60 @@
|
||||
# Единственная публичная точка входа. Реплики находятся через Docker DNS (имя сервиса "api"),
|
||||
# поэтому `docker compose up --scale api=N` не требует правки конфига (до 8 реплик).
|
||||
global
|
||||
log stdout format raw local0 info
|
||||
nbthread 2
|
||||
maxconn 4096
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.2
|
||||
ssl-default-server-options ssl-min-ver TLSv1.2
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 2
|
||||
timeout resolve 3s
|
||||
timeout retry 500ms
|
||||
hold valid 3s
|
||||
hold other 1s
|
||||
hold refused 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
hold obsolete 10s
|
||||
|
||||
defaults
|
||||
mode http
|
||||
log global
|
||||
option httplog
|
||||
option dontlog-normal # логируем только ошибки и смену состояния реплик
|
||||
timeout connect 3s
|
||||
timeout client 30s
|
||||
timeout server 10s
|
||||
timeout http-request 10s
|
||||
timeout http-keep-alive 10s
|
||||
timeout check 3s
|
||||
# Повторяется только запрос, не дошедший до реплики (отказ или таймаут соединения), последняя попытка —
|
||||
# на другой реплике. Уже отправленные запросы НЕ повторяются: POST /users и /chats не идемпотентны.
|
||||
retries 2
|
||||
retry-on conn-failure
|
||||
option redispatch 1
|
||||
|
||||
frontend public
|
||||
bind :8443 ssl crt /run/public/tls.pem
|
||||
default_backend api
|
||||
|
||||
backend api
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready
|
||||
http-check expect status 200
|
||||
# Активная проверка раз в 1 с (0.5 с при смене состояния): 2 неудачи → DOWN, 2 успеха → UP.
|
||||
# Отказ соединения на живом трафике сразу помечает реплику DOWN (observe layer4).
|
||||
default-server check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker init-addr none
|
||||
server-template api 8 api:8080 ssl crt /run/client/tls.pem ca-file /run/tls/ca.crt verify required verifyhost api sni str(api) check-sni api
|
||||
|
||||
# Для оператора (compose публикует только на 127.0.0.1): /stats и Prometheus /metrics.
|
||||
frontend stats
|
||||
bind :8404 ssl crt /run/identity/tls.pem ca-file /run/telemetry/ca.crt verify required
|
||||
http-request deny unless { ssl_c_s_dn(CN) -m str collector }
|
||||
http-request use-service prometheus-exporter if { path /metrics }
|
||||
stats enable
|
||||
stats uri /stats
|
||||
stats refresh 2s
|
||||
@@ -0,0 +1,65 @@
|
||||
# Loki 3.7.9 — хранилище логов (монолит, файловая система в volume loki-data, WAL переживает перезапуск).
|
||||
# Логи приходят от Collector по OTLP (/otlp/v1/logs). Index labels — только ресурсные атрибуты низкой
|
||||
# кардинальности (service_name, service_instance_id, deployment_environment_name); event, request_id, trace_id,
|
||||
# span_id, severity и прочие атрибуты записи — structured metadata, по ним фильтруют: | trace_id="…".
|
||||
auth_enabled: false
|
||||
|
||||
server:
|
||||
http_listen_port: 3100
|
||||
grpc_listen_address: 127.0.0.1
|
||||
grpc_listen_port: 9095
|
||||
log_level: warn
|
||||
http_tls_config:
|
||||
cert_file: /run/identity/tls.crt
|
||||
key_file: /run/identity/tls.key
|
||||
client_auth_type: RequireAndVerifyClientCert
|
||||
client_ca_file: /run/telemetry/ca.crt
|
||||
|
||||
common:
|
||||
instance_addr: 127.0.0.1
|
||||
path_prefix: /loki
|
||||
replication_factor: 1
|
||||
ring:
|
||||
kvstore:
|
||||
store: inmemory
|
||||
storage:
|
||||
filesystem:
|
||||
chunks_directory: /loki/chunks
|
||||
rules_directory: /loki/rules
|
||||
|
||||
schema_config:
|
||||
configs:
|
||||
- from: "2026-01-01"
|
||||
store: tsdb
|
||||
object_store: filesystem
|
||||
schema: v13
|
||||
index:
|
||||
prefix: index_
|
||||
period: 24h
|
||||
|
||||
ingester:
|
||||
wal:
|
||||
dir: /loki/wal
|
||||
|
||||
limits_config:
|
||||
retention_period: 168h # 7 дней истории логов
|
||||
allow_structured_metadata: true
|
||||
volume_enabled: true
|
||||
|
||||
compactor:
|
||||
working_directory: /loki/compactor
|
||||
retention_enabled: true
|
||||
delete_request_store: filesystem
|
||||
|
||||
query_range:
|
||||
results_cache:
|
||||
cache:
|
||||
embedded_cache:
|
||||
enabled: true
|
||||
max_size_mb: 32 # контейнер 384m
|
||||
|
||||
pattern_ingester:
|
||||
enabled: false
|
||||
|
||||
analytics:
|
||||
reporting_enabled: false
|
||||
@@ -1,7 +1,7 @@
|
||||
# OpenBao — реализовать конфигурацию и политики
|
||||
# OpenBao
|
||||
|
||||
Добавьте non-dev конфигурацию listener/storage/TLS, API/worker policies, bootstrap и rotation scripts. Credentials и unseal material создаются локально; здесь нет готового root token или private key.
|
||||
Сервис OpenBao слушает TLS 8200 и использует volume `bao-data`. Аудит включается декларативно в `server.hcl` и пишет в `bao-audit`; OpenBao HMAC-ит значения. Для долговременной эксплуатации оператор должен следить за объёмом файла.
|
||||
|
||||
Решение должно показать реальную сервисную аутентификацию и получение нужного secret по ограниченной policy; просто работающий контейнер OpenBao не засчитывается. На 3 статический KV secret допустим. На 4 покажите expiry/renewal/rotation и allow/deny. Путь KV v2 data/metadata и ACL должен соответствовать фактическому mount; не копируйте широкое `path "*"` для приложения.
|
||||
`scripts/up.sh` запускает зависимости, применяет миграции и выполняет `python3 scripts/bao.py init`. Операторский скрипт пишет 3 доли Shamir и root token в `secrets/operator/bao-init.json` (0600), две доли нужны для unseal. Этот файл и CA private keys доступны только оператору на учебном хосте. Для рабочего окружения доли хранят отдельно у операторов. После перезапуска OpenBao выполните `python3 scripts/bao.py unseal`.
|
||||
|
||||
Документируйте шаги оператора init/unseal и восстановление после restart. Скрипт не должен печатать tokens/shares или хранить их в Git. См. contracts/trust-matrix.md и REPORT.md.
|
||||
Политики `api.hcl`, `worker.hcl` и `reconciler.hcl` разрешают чтение своего KV v2 path. Привязка к leaf настраивается через cert auth. Приложение получает 45-секундный batch token, читает секрет и повторяет аутентификацию через 5 с. Если проверка доступа просрочена, приложение завершается. Ротация worker выполняется через `scripts/rotate-worker.sh` и закрывает действующие подключения перед изменением прав.
|
||||
|
||||
@@ -0,0 +1,3 @@
|
||||
path "messenger/data/api" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
path "messenger/data/reconciler" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -0,0 +1,19 @@
|
||||
ui = false
|
||||
api_addr = "https://openbao:8200"
|
||||
default_lease_ttl = "45s"
|
||||
max_lease_ttl = "90s"
|
||||
|
||||
storage "file" {
|
||||
path = "/openbao/file"
|
||||
}
|
||||
listener "tcp" {
|
||||
address = "0.0.0.0:8200"
|
||||
tls_cert_file = "/run/identity/tls.crt"
|
||||
tls_key_file = "/run/identity/tls.key"
|
||||
tls_min_version = "tls12"
|
||||
}
|
||||
audit "file" "lab" {
|
||||
options {
|
||||
file_path = "/openbao/logs/audit.json"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
path "messenger/data/worker" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -0,0 +1,124 @@
|
||||
# OpenTelemetry Collector (contrib 0.163.2) — получатель, обработчик и экспортёр, не хранилище.
|
||||
# receivers: otlp (loopback HTTP :14318 за mTLS ingress :4318) от api и worker; prometheus — скрейп метрик RabbitMQ (очередь), HAProxy и самого
|
||||
# Collector (otelcol_*: принятые/отправленные/потерянные данные, очередь экспортёров, RSS).
|
||||
# processors: memory_limiter (первым: при 200 MiB отказывает в приёме, а не растёт до OOM), redaction
|
||||
# (страховка: маскирует значения, похожие на секреты), batch.
|
||||
# exporters: traces → Tempo (OTLP gRPC), logs → Loki (OTLP HTTP /otlp), metrics → Prometheus (OTLP receiver).
|
||||
# Недоступный backend: данные ждут в ограниченной очереди в памяти (20 000 элементов на экспортёр), повтор с
|
||||
# backoff до 60 с, затем отбрасываются и считаются (otelcol_exporter_send_failed_*, otelcol_exporter_enqueue_failed_*).
|
||||
# Приложение от Collector не зависит: SDK отбрасывает данные при недоступности, запросы не ждут.
|
||||
extensions:
|
||||
health_check:
|
||||
endpoint: 127.0.0.1:13133
|
||||
|
||||
receivers:
|
||||
otlp:
|
||||
protocols:
|
||||
http:
|
||||
endpoint: 127.0.0.1:14318
|
||||
prometheus:
|
||||
config:
|
||||
global:
|
||||
scrape_interval: 10s
|
||||
scrape_timeout: 5s
|
||||
scrape_configs:
|
||||
# Очередь attachments.process: messages_ready/unacked и число consumers (per-object метрики vhost messenger).
|
||||
- job_name: rabbitmq
|
||||
scheme: https
|
||||
tls_config: &scrape_tls
|
||||
ca_file: /run/tls/ca.crt
|
||||
cert_file: /run/client/tls.crt
|
||||
key_file: /run/client/tls.key
|
||||
metrics_path: /metrics/detailed
|
||||
params:
|
||||
family: [queue_coarse_metrics, queue_consumer_count]
|
||||
vhost: [messenger]
|
||||
static_configs:
|
||||
- targets: [rabbitmq:15691]
|
||||
- job_name: haproxy
|
||||
scheme: https
|
||||
tls_config: *scrape_tls
|
||||
static_configs:
|
||||
- targets: [lb:8404]
|
||||
- job_name: otelcol
|
||||
static_configs:
|
||||
- targets: [127.0.0.1:8888]
|
||||
|
||||
processors:
|
||||
memory_limiter:
|
||||
check_interval: 1s
|
||||
limit_mib: 200 # контейнер 256m, GOMEMLIMIT 180MiB
|
||||
spike_limit_mib: 40
|
||||
redaction:
|
||||
allow_all_keys: true
|
||||
blocked_key_patterns: ['(?i).*(authorization|password|passwd|secret|token|cookie).*']
|
||||
blocked_values:
|
||||
- '(?i)bearer\s+[a-z0-9._~+/=-]{8,}'
|
||||
- '(?i)basic\s+[a-z0-9+/=]{8,}'
|
||||
summary: silent
|
||||
batch:
|
||||
send_batch_size: 1024
|
||||
send_batch_max_size: 2048
|
||||
timeout: 2s
|
||||
|
||||
exporters:
|
||||
otlp_grpc/tempo:
|
||||
endpoint: tempo:4317
|
||||
tls:
|
||||
ca_file: /run/tls/ca.crt
|
||||
cert_file: /run/client/tls.crt
|
||||
key_file: /run/client/tls.key
|
||||
sending_queue: &queue
|
||||
enabled: true
|
||||
sizer: items
|
||||
queue_size: 20000
|
||||
num_consumers: 2
|
||||
retry_on_failure: &retry
|
||||
enabled: true
|
||||
initial_interval: 1s
|
||||
max_interval: 10s
|
||||
max_elapsed_time: 60s
|
||||
otlp_http/loki:
|
||||
endpoint: https://loki:3100/otlp
|
||||
tls: &backend_tls
|
||||
ca_file: /run/tls/ca.crt
|
||||
cert_file: /run/client/tls.crt
|
||||
key_file: /run/client/tls.key
|
||||
sending_queue: *queue
|
||||
retry_on_failure: *retry
|
||||
otlp_http/prometheus:
|
||||
endpoint: https://prometheus:9090/api/v1/otlp
|
||||
tls: *backend_tls
|
||||
sending_queue: *queue
|
||||
retry_on_failure: *retry
|
||||
|
||||
service:
|
||||
extensions: [health_check]
|
||||
telemetry:
|
||||
# Постоянные job/instance для otelcol_* (по умолчанию instance — новый UUID при каждом старте).
|
||||
resource:
|
||||
service.name: otel-collector
|
||||
service.instance.id: otel-collector
|
||||
logs:
|
||||
level: info
|
||||
metrics:
|
||||
level: normal
|
||||
readers:
|
||||
- pull:
|
||||
exporter:
|
||||
prometheus:
|
||||
host: 127.0.0.1 # только для собственного скрейпа (job otelcol выше)
|
||||
port: 8888
|
||||
pipelines:
|
||||
traces:
|
||||
receivers: [otlp]
|
||||
processors: [memory_limiter, redaction, batch]
|
||||
exporters: [otlp_grpc/tempo]
|
||||
logs:
|
||||
receivers: [otlp]
|
||||
processors: [memory_limiter, redaction, batch]
|
||||
exporters: [otlp_http/loki]
|
||||
metrics:
|
||||
receivers: [otlp, prometheus]
|
||||
processors: [memory_limiter, batch]
|
||||
exporters: [otlp_http/prometheus]
|
||||
@@ -0,0 +1,19 @@
|
||||
global
|
||||
nbthread 2
|
||||
log stdout format raw local0 notice
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets
|
||||
|
||||
defaults
|
||||
mode http
|
||||
timeout connect 1s
|
||||
timeout client 10s
|
||||
timeout server 10s
|
||||
|
||||
frontend otlp
|
||||
bind :4318 ssl crt /run/identity/tls.pem ca-file /run/tls/ca.crt crl-file /run/pki/crl.pem verify required
|
||||
http-request deny unless { ssl_c_s_dn(CN) -m reg ^(api|worker-[0-9a-f]{8})$ }
|
||||
http-request deny unless { method POST } { path -m str /v1/traces /v1/metrics /v1/logs }
|
||||
default_backend collector
|
||||
|
||||
backend collector
|
||||
server local 127.0.0.1:14318
|
||||
@@ -0,0 +1,8 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
install -o postgres -g postgres -m 600 /run/identity/tls.key /tmp/pg.key
|
||||
exec docker-entrypoint.sh postgres \
|
||||
-c ssl=on -c ssl_min_protocol_version=TLSv1.2 \
|
||||
-c ssl_cert_file=/run/identity/tls.crt -c ssl_key_file=/tmp/pg.key \
|
||||
-c hba_file=/etc/lab/pg_hba.conf -c ident_file=/etc/lab/pg_ident.conf \
|
||||
-c password_encryption=scram-sha-256 -c max_connections=100 -c shared_buffers=128MB
|
||||
@@ -0,0 +1,3 @@
|
||||
local all messenger peer map=operator
|
||||
hostssl messenger all 0.0.0.0/0 scram-sha-256
|
||||
hostssl messenger all ::/0 scram-sha-256
|
||||
@@ -0,0 +1 @@
|
||||
operator postgres messenger
|
||||
@@ -0,0 +1,39 @@
|
||||
# Prometheus v3.15.1 — хранилище метрик (TSDB в volume prometheus-data) и вычисление правил/alerts.
|
||||
# Метрики api, worker, RabbitMQ, HAProxy и Collector приходят от Collector по OTLP (--web.enable-otlp-receiver,
|
||||
# /api/v1/otlp/v1/metrics); сам Prometheus скрейпит только соседей по сети telemetry.
|
||||
# Имена OTLP → Prometheus: точки → «_», суффикс единицы и _total (http.server.request.duration →
|
||||
# http_server_request_duration_seconds_bucket); service.name → job, service.instance.id → instance.
|
||||
global:
|
||||
scrape_interval: 10s
|
||||
evaluation_interval: 10s
|
||||
|
||||
rule_files:
|
||||
- /etc/prometheus/rules/*.yml
|
||||
|
||||
otlp:
|
||||
translation_strategy: UnderscoreEscapingWithSuffixes
|
||||
|
||||
storage:
|
||||
tsdb:
|
||||
# Пакеты OTLP от разных реплик приходят с задержкой Collector (batch 2 с, повтор до 60 с).
|
||||
out_of_order_time_window: 10m
|
||||
|
||||
scrape_configs:
|
||||
- job_name: prometheus
|
||||
scheme: https
|
||||
tls_config: &scrape_tls
|
||||
ca_file: /run/tls/ca.crt
|
||||
cert_file: /run/client/tls.crt
|
||||
key_file: /run/client/tls.key
|
||||
static_configs:
|
||||
- targets: [prometheus:9090]
|
||||
- job_name: loki
|
||||
scheme: https
|
||||
tls_config: *scrape_tls
|
||||
static_configs:
|
||||
- targets: [loki:3100]
|
||||
- job_name: tempo
|
||||
scheme: https
|
||||
tls_config: *scrape_tls
|
||||
static_configs:
|
||||
- targets: [tempo:3200]
|
||||
@@ -0,0 +1,60 @@
|
||||
# Alerts уровня 4 (contracts/observability.md): высокий error rate, растущий queue lag, насыщение пула БД,
|
||||
# сбой экспорта telemetry. Доставка наружу не настроена: состояние pending/firing и снятие видны в Prometheus
|
||||
# (/alerts, серия ALERTS) и на dashboard «Messenger lab6». Runbook: infra/runbooks.md.
|
||||
groups:
|
||||
- name: messenger-alerts
|
||||
rules:
|
||||
# Простой порог по 5-минутному окну того же SLI (5xx у клиентов, HAProxy). Ловит и короткий всплеск, который
|
||||
# почти не тратит месячный бюджет, — поэтому severity warning; страницу дают burn-rate alerts из slo.yml
|
||||
# (сравнение — трек 2 в REPORT.md).
|
||||
- alert: ApiHighErrorRate
|
||||
expr: slo:api_error_ratio:rate5m > 0.05
|
||||
for: 2m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Более 5 % ответов API — 5xx (окно 5 минут, держится 2 минуты)"
|
||||
description: "Доля 5xx в ответах клиентам (HAProxy): {{ $value | humanizePercentage }}."
|
||||
runbook_url: "infra/runbooks.md#api-high-error-rate"
|
||||
|
||||
# Возраст старейшего незавершённого задания (от durable acceptance). В норме — секунды; при остановленном
|
||||
# или перегруженном worker растёт линейно со временем. Backlog (количество) — отдельная панель.
|
||||
- alert: JobQueueLagGrowing
|
||||
expr: max by (queue) (messenger_jobs_oldest_age_seconds) > 60
|
||||
for: 1m
|
||||
labels:
|
||||
severity: page
|
||||
annotations:
|
||||
summary: "Задания очереди {{ $labels.queue }} ждут дольше минуты"
|
||||
description: "Старейшее незавершённое задание принято {{ $value | humanizeDuration }} назад."
|
||||
runbook_url: "infra/runbooks.md#job-queue-lag"
|
||||
|
||||
# Пул соединений PostgreSQL исчерпан: запросы ждут соединения (затем 503 через 2 с). Признак медленной или
|
||||
# недоступной БД — в отличие от медленного обработчика HTTP, при котором ожидающих соединений нет.
|
||||
- alert: DbPoolSaturated
|
||||
expr: max by (job, instance) (db_client_connection_pending_requests) > 0
|
||||
for: 1m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "{{ $labels.job }} {{ $labels.instance }}: запросы ждут соединения с PostgreSQL"
|
||||
description: "В очереди пула {{ $value }} запросов дольше минуты."
|
||||
runbook_url: "infra/runbooks.md#db-pool-saturated"
|
||||
|
||||
# Collector не может отдать данные в Tempo/Loki/Prometheus: очередь экспортёра растёт, после 60 с повторов
|
||||
# данные отбрасываются. Сообщения при этом работают — теряется только telemetry.
|
||||
- alert: TelemetryExportFailing
|
||||
expr: |
|
||||
(
|
||||
sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[5m]))
|
||||
or sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[5m]))
|
||||
or sum by (exporter) (rate(otelcol_exporter_send_failed_metric_points_total[5m]))
|
||||
) > 0
|
||||
or max by (exporter) (otelcol_exporter_queue_size) > 1000
|
||||
for: 1m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Collector не экспортирует telemetry через {{ $labels.exporter }}"
|
||||
description: "Отбрасывается или копится в очереди {{ $value }} (элементов/с или элементов в очереди)."
|
||||
runbook_url: "infra/runbooks.md#telemetry-export-failing"
|
||||
@@ -0,0 +1,131 @@
|
||||
# SLO и multiwindow multi-burn-rate alerts (трек 2). Обоснование и runbook — REPORT.md, infra/runbooks.md.
|
||||
#
|
||||
# SLO-1 «доступность API»: 99.5 % запросов клиентов за 30 дней без 5xx. SLI = 1 − 5xx / все ответы, измеренные на
|
||||
# HAProxy (frontend public) — там, где их получает клиент. Метрики самого API (http.server.request.duration) этого
|
||||
# не видят: при недоступной БД реплики выходят из ротации по readiness, и HAProxy отвечает 503 «нет готовых реплик»
|
||||
# сам, а при зависании отвечает 504 по timeout server — запрос до API не доходит или его исход API пишет позже.
|
||||
# Проверено: PostgreSQL на 0.05 CPU — 101 ответ 5xx в метриках API против 190 у клиентов. Проверки здоровья HAProxy
|
||||
# идут напрямую к репликам и в трафик frontend не входят; 4xx — ошибка клиента, не сервиса.
|
||||
# Бюджет ошибок 0.5 % = 216 минут полного отказа за 30 дней.
|
||||
# SLO-2 «время до ready»: 99 % принятых вложений публикуются ready не позже 30 с от durable acceptance (30 дней).
|
||||
# Плохое событие — ready позже 30 с или терминальный failed по вине системы (retry_exhausted, source_*,
|
||||
# processing_timeout); invalid_image/unsupported_pipeline — свойство входного файла, в SLI не входят.
|
||||
# Новые серии OTLP-счётчиков (первое событие после старта worker) начинаются с нулевой точки
|
||||
# (--enable-feature=created-timestamp-zero-ingestion) — первое событие не теряется в rate().
|
||||
#
|
||||
# Burn rate = доля ошибок / бюджет. Окна и пороги — SRE Workbook, гл. 5: alert, если за длинное окно израсходовано
|
||||
# столько бюджета, а короткое окно (1/12 длинного) подтверждает, что расход продолжается (быстрый resolve):
|
||||
# fast: 1h и 5m, burn > 14.4 → 2 % месячного бюджета за час (page);
|
||||
# slow: 6h и 30m, burn > 6 → 5 % месячного бюджета за 6 часов (ticket).
|
||||
groups:
|
||||
- name: slo-api-availability
|
||||
rules:
|
||||
- record: slo:api_requests:rate5m
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[5m]))
|
||||
- record: slo:api_errors:rate5m
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[5m]))
|
||||
- record: slo:api_error_ratio:rate5m
|
||||
expr: slo:api_errors:rate5m / slo:api_requests:rate5m
|
||||
|
||||
- record: slo:api_requests:rate30m
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[30m]))
|
||||
- record: slo:api_errors:rate30m
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[30m]))
|
||||
- record: slo:api_error_ratio:rate30m
|
||||
expr: slo:api_errors:rate30m / slo:api_requests:rate30m
|
||||
|
||||
- record: slo:api_requests:rate1h
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[1h]))
|
||||
- record: slo:api_errors:rate1h
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[1h]))
|
||||
- record: slo:api_error_ratio:rate1h
|
||||
expr: slo:api_errors:rate1h / slo:api_requests:rate1h
|
||||
|
||||
- record: slo:api_requests:rate6h
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[6h]))
|
||||
- record: slo:api_errors:rate6h
|
||||
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[6h]))
|
||||
- record: slo:api_error_ratio:rate6h
|
||||
expr: slo:api_errors:rate6h / slo:api_requests:rate6h
|
||||
|
||||
- name: slo-ready-latency
|
||||
rules:
|
||||
- record: slo:ready_events:rate5m
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[5m]))
|
||||
- record: slo:ready_good:rate5m
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[5m])) or vector(0)
|
||||
- record: slo:ready_bad_ratio:rate5m
|
||||
expr: 1 - slo:ready_good:rate5m / slo:ready_events:rate5m
|
||||
|
||||
- record: slo:ready_events:rate30m
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[30m]))
|
||||
- record: slo:ready_good:rate30m
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[30m])) or vector(0)
|
||||
- record: slo:ready_bad_ratio:rate30m
|
||||
expr: 1 - slo:ready_good:rate30m / slo:ready_events:rate30m
|
||||
|
||||
- record: slo:ready_events:rate1h
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[1h]))
|
||||
- record: slo:ready_good:rate1h
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[1h])) or vector(0)
|
||||
- record: slo:ready_bad_ratio:rate1h
|
||||
expr: 1 - slo:ready_good:rate1h / slo:ready_events:rate1h
|
||||
|
||||
- record: slo:ready_events:rate6h
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[6h]))
|
||||
- record: slo:ready_good:rate6h
|
||||
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[6h])) or vector(0)
|
||||
- record: slo:ready_bad_ratio:rate6h
|
||||
expr: 1 - slo:ready_good:rate6h / slo:ready_events:rate6h
|
||||
|
||||
# Остаток бюджета за 30 дней для dashboard (на стенде — за всю доступную историю). Тяжёлое окно — раз в 5 минут.
|
||||
- name: slo-budget
|
||||
interval: 5m
|
||||
rules:
|
||||
- record: slo:api_error_ratio:rate30d
|
||||
expr: |
|
||||
sum(increase(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[30d]))
|
||||
/ sum(increase(haproxy_frontend_http_responses_total{proxy="public"}[30d]))
|
||||
- record: slo:ready_bad_ratio:rate30d
|
||||
expr: |
|
||||
1 - (sum(increase(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[30d])) or vector(0))
|
||||
/ sum(increase(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[30d]))
|
||||
|
||||
- name: slo-burn-rate-alerts
|
||||
rules:
|
||||
- alert: ApiAvailabilityFastBurn
|
||||
expr: slo:api_error_ratio:rate1h > (14.4 * 0.005) and slo:api_error_ratio:rate5m > (14.4 * 0.005)
|
||||
labels:
|
||||
severity: page
|
||||
slo: api-availability
|
||||
annotations:
|
||||
summary: "API быстро сжигает бюджет ошибок (burn rate > 14.4 за 1h и 5m)"
|
||||
description: "Доля 5xx у клиентов (HAProxy) за 1 ч {{ $value | humanizePercentage }} при SLO 99.5 %: 2 % месячного бюджета уходит за час."
|
||||
runbook_url: "infra/runbooks.md#api-availability-burn"
|
||||
- alert: ApiAvailabilitySlowBurn
|
||||
expr: slo:api_error_ratio:rate6h > (6 * 0.005) and slo:api_error_ratio:rate30m > (6 * 0.005)
|
||||
labels:
|
||||
severity: ticket
|
||||
slo: api-availability
|
||||
annotations:
|
||||
summary: "API медленно сжигает бюджет ошибок (burn rate > 6 за 6h и 30m)"
|
||||
description: "Доля 5xx за 6 ч {{ $value | humanizePercentage }}: 5 % месячного бюджета за 6 часов."
|
||||
runbook_url: "infra/runbooks.md#api-availability-burn"
|
||||
- alert: ReadyLatencyFastBurn
|
||||
expr: slo:ready_bad_ratio:rate1h > (14.4 * 0.01) and slo:ready_bad_ratio:rate5m > (14.4 * 0.01)
|
||||
labels:
|
||||
severity: page
|
||||
slo: ready-latency
|
||||
annotations:
|
||||
summary: "Вложения не успевают стать ready за 30 с (burn rate > 14.4 за 1h и 5m)"
|
||||
description: "Доля вложений позже 30 с или failed за 1 ч {{ $value | humanizePercentage }} при SLO 99 %."
|
||||
runbook_url: "infra/runbooks.md#ready-latency-burn"
|
||||
- alert: ReadyLatencySlowBurn
|
||||
expr: slo:ready_bad_ratio:rate6h > (6 * 0.01) and slo:ready_bad_ratio:rate30m > (6 * 0.01)
|
||||
labels:
|
||||
severity: ticket
|
||||
slo: ready-latency
|
||||
annotations:
|
||||
summary: "Медленный расход бюджета SLO time-to-ready (burn rate > 6 за 6h и 30m)"
|
||||
description: "Доля вложений позже 30 с или failed за 6 ч {{ $value | humanizePercentage }}."
|
||||
runbook_url: "infra/runbooks.md#ready-latency-burn"
|
||||
@@ -0,0 +1,143 @@
|
||||
# Unit-тесты правил (трек 2): синтетические счётчики → когда alert переходит в firing и когда снимается.
|
||||
# Запуск: docker run --rm -v "$PWD/infra/prometheus:/etc/prometheus:ro" --entrypoint promtool \
|
||||
# prom/prometheus:v3.15.1 test rules /etc/prometheus/tests/alerts.test.yml
|
||||
# Трафик API (ответы HAProxy frontend public) 10 запросов/с (600 в минуту). Перед каждым инцидентом 6 часов нормальной истории (t = 0…360 мин), чтобы
|
||||
# 6-часовое окно slow burn видело реальный знаменатель. Ожидаемые моменты посчитаны в комментариях.
|
||||
rule_files:
|
||||
- ../rules/slo.yml
|
||||
- ../rules/messenger.yml
|
||||
|
||||
evaluation_interval: 1m
|
||||
|
||||
tests:
|
||||
# 1. Краткий всплеск: 1 минута 100 % 5xx (≈ 0.03 % месячного бюджета). Простой порог даёт срабатывание,
|
||||
# burn-rate alerts молчат: за час доля 5xx 600/36000 = 1.7 % < 7.2 % (14.4 × 0.5 %).
|
||||
- name: short spike — only the naive threshold fires
|
||||
interval: 1m
|
||||
input_series:
|
||||
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}'
|
||||
values: '0+600x360 216000 216600+600x60'
|
||||
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}'
|
||||
values: '0x360 600x62'
|
||||
promql_expr_test:
|
||||
- expr: ALERTS{alertname="ApiHighErrorRate",alertstate="firing"}
|
||||
eval_time: 364m # pending с 361, firing с 363 (for 2m)
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ApiHighErrorRate",alertstate="firing",severity="warning"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname=~"ApiAvailability.*",alertstate="firing"}
|
||||
eval_time: 364m
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertstate="firing"}
|
||||
eval_time: 370m # всплеск вышел из 5-минутного окна — снято
|
||||
exp_samples: []
|
||||
|
||||
# 2. Длительная деградация: 30 % 5xx в течение часа (t = 360…420).
|
||||
# fast: доля за 1h = (t−360)/200 > 0.072 → firing на 15-й минуте (t = 375); снимается, когда 5m-окно < 7.2 % (t = 424).
|
||||
# slow: доля за 6h = (t−360)/1200 > 0.03 → firing на 37-й минуте (t = 397); снимается по 30m-окну (t = 448).
|
||||
- name: long degradation — fast then slow burn, short windows resolve them
|
||||
interval: 1m
|
||||
input_series:
|
||||
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}'
|
||||
values: '0+600x360 216420+420x59 241800+600x119'
|
||||
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}'
|
||||
values: '0x360 180+180x59 10800x120'
|
||||
promql_expr_test:
|
||||
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
|
||||
eval_time: 374m
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
|
||||
eval_time: 376m
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing",severity="page",slo="api-availability"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
|
||||
eval_time: 395m
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
|
||||
eval_time: 398m
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
|
||||
eval_time: 422m # ошибки кончились в 420, но 5m-окно ещё выше порога
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing",severity="page",slo="api-availability"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
|
||||
eval_time: 426m # доля за 1h ещё 27 %, но короткое окно сняло alert
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
|
||||
eval_time: 446m
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
|
||||
eval_time: 449m
|
||||
exp_samples: []
|
||||
|
||||
# 3. Медленное тление: 5 % 5xx шесть часов. Быстрый alert не срабатывает никогда (5 % < 7.2 %),
|
||||
# медленный — когда доля за 6h превысит 3 %: 30(t−360)/216000 > 0.03 → t = 577 (через 3 ч 37 мин).
|
||||
- name: slow burn only
|
||||
interval: 1m
|
||||
input_series:
|
||||
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}'
|
||||
values: '0+600x360 216570+570x359'
|
||||
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}'
|
||||
values: '0x360 30+30x359'
|
||||
promql_expr_test:
|
||||
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
|
||||
eval_time: 575m
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
|
||||
eval_time: 578m
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="ApiAvailabilityFastBurn"}
|
||||
eval_time: 600m
|
||||
exp_samples: []
|
||||
|
||||
# 4. SLO time-to-ready: 60 загрузок в минуту; 30 минут половина вложений готова позже 30 с.
|
||||
# fast: доля плохих за 1h = (t−360)/120 > 0.144 → t = 378; slow: за 6h максимум 30/720 = 4.2 % < 6 % — нет.
|
||||
- name: ready latency fast burn
|
||||
interval: 1m
|
||||
input_series:
|
||||
- series: 'messenger_attachment_time_to_ready_seconds_count{job="messenger-worker",instance="w",job_type="attachment.process.v1",outcome="ready"}'
|
||||
values: '0+60x450'
|
||||
- series: 'messenger_attachment_time_to_ready_seconds_bucket{job="messenger-worker",instance="w",job_type="attachment.process.v1",outcome="ready",le="30"}'
|
||||
values: '0+60x360 21630+30x29 22560+60x60'
|
||||
promql_expr_test:
|
||||
- expr: ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing"}
|
||||
eval_time: 376m
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing"}
|
||||
eval_time: 379m
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing",severity="page",slo="ready-latency"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="ReadyLatencySlowBurn"}
|
||||
eval_time: 390m
|
||||
exp_samples: []
|
||||
|
||||
# 5. Worker остановлен на 10 минут: возраст старейшего задания растёт на 60 с в минуту.
|
||||
# > 60 с с t = 12 (pending), firing с t = 13 (for 1m); после запуска worker (t = 22) — снято.
|
||||
- name: queue lag
|
||||
interval: 1m
|
||||
input_series:
|
||||
- series: 'messenger_jobs_oldest_age_seconds{job="messenger-api",instance="a",queue="attachments.process"}'
|
||||
values: '1x10 60+60x10 1x10'
|
||||
- series: 'messenger_jobs_oldest_age_seconds{job="messenger-api",instance="b",queue="attachments.process"}'
|
||||
values: '1x10 60+60x10 1x10'
|
||||
promql_expr_test:
|
||||
- expr: ALERTS{alertname="JobQueueLagGrowing",alertstate="firing"}
|
||||
eval_time: 12m
|
||||
exp_samples: []
|
||||
- expr: ALERTS{alertname="JobQueueLagGrowing",alertstate="firing"}
|
||||
eval_time: 13m
|
||||
exp_samples:
|
||||
- labels: 'ALERTS{alertname="JobQueueLagGrowing",alertstate="firing",queue="attachments.process",severity="page"}'
|
||||
value: 1
|
||||
- expr: ALERTS{alertname="JobQueueLagGrowing"}
|
||||
eval_time: 23m
|
||||
exp_samples: []
|
||||
@@ -0,0 +1,7 @@
|
||||
tls_server_config:
|
||||
cert_file: /run/identity/tls.crt
|
||||
key_file: /run/identity/tls.key
|
||||
client_auth_type: RequireAndVerifyClientCert
|
||||
client_ca_file: /run/telemetry/ca.crt
|
||||
client_allowed_sans: [collector, grafana-query, prometheus-scrape]
|
||||
min_version: TLS12
|
||||
@@ -0,0 +1 @@
|
||||
[rabbitmq_prometheus,rabbitmq_auth_mechanism_ssl].
|
||||
@@ -0,0 +1,30 @@
|
||||
# Монтируется в /etc/rabbitmq/conf.d/90-messenger.conf: файлы conf.d читаются по алфавиту, этот — последним.
|
||||
# Пользователи, vhost messenger, exchange, quorum-очередь и binding — из definitions (scripts/init-secrets.sh),
|
||||
# импорт при каждом старте узла. При импорте definitions пользователь guest не создаётся.
|
||||
load_definitions = /run/secrets/rabbitmq_definitions
|
||||
# Образ разрешает guest из сети (10-defaults.conf); возвращаем безопасное значение на случай его появления.
|
||||
loopback_users.guest = true
|
||||
# Сообщение без ack дольше 5 минут: брокер закрывает канал consumer и отдаёт сообщение снова.
|
||||
# Это страховка брокера; зависшую попытку раньше (JOB_TIMEOUT_SECONDS + 15 с) обнаруживает аренда в БД.
|
||||
consumer_timeout = 300000
|
||||
# При нехватке диска брокер блокирует публикацию — API продолжает принимать файлы, задания ждут в outbox.
|
||||
disk_free_limit.absolute = 256MB
|
||||
log.console.level = info
|
||||
|
||||
listeners.tcp = none
|
||||
listeners.ssl.default = 5671
|
||||
ssl_options.cacertfile = /run/tls/ca.crt
|
||||
ssl_options.certfile = /run/identity/tls.crt
|
||||
ssl_options.keyfile = /run/identity/tls.key
|
||||
ssl_options.verify = verify_peer
|
||||
ssl_options.fail_if_no_peer_cert = true
|
||||
ssl_options.reuse_sessions = false
|
||||
auth_mechanisms.1 = EXTERNAL
|
||||
ssl_cert_login_from = common_name
|
||||
prometheus.tcp.listener = none
|
||||
prometheus.ssl.port = 15691
|
||||
prometheus.ssl.cacertfile = /run/telemetry/ca.crt
|
||||
prometheus.ssl.certfile = /run/identity/tls.crt
|
||||
prometheus.ssl.keyfile = /run/identity/tls.key
|
||||
prometheus.ssl.verify = verify_peer
|
||||
prometheus.ssl.fail_if_no_peer_cert = true
|
||||
@@ -0,0 +1,173 @@
|
||||
# Runbooks lab6
|
||||
|
||||
Локальные runbook для alert rules из `infra/prometheus/rules/` (ссылка — аннотация `runbook_url` каждого alert).
|
||||
Заголовки разделов — якоря этих ссылок. Автор: Морару С. С., БПИ2303.
|
||||
|
||||
## Как начать
|
||||
|
||||
- Grafana: `http://127.0.0.1:${GRAFANA_PORT}` (в `.env` стенда — 3096), пользователь `admin`, пароль — файл
|
||||
`secrets/grafana_admin_password` (не копируйте его в чат/отчёт). Prometheus, Loki и Tempo на хост не опубликованы:
|
||||
запросы — через Grafana → Explore.
|
||||
- Dashboard «Messenger lab6» (папка Messenger). Состояние alerts: панель «Alerts (pending / firing)» и
|
||||
Grafana → Alerting → Alert rules (правила источника Prometheus); серия `ALERTS` в Explore.
|
||||
- Все команды — из корня репозитория; они касаются только проекта `messenger-lab6`.
|
||||
|
||||
Общий путь от симптома к причине: **метрика** говорит «что и насколько» (какой маршрут, какой статус, какая очередь),
|
||||
**trace** — «где тратится время или возникает ошибка» (какая зависимость), **лог** — «что именно случилось»
|
||||
(событие, `error.type`, `request_id`). Переход: лог → trace по `trace_id` (кнопка Tempo у строки лога),
|
||||
trace → логи по кнопке «Logs for this span», ответ клиента → лог по `X-Request-Id` (`| request_id="…"`).
|
||||
|
||||
Где тратится время в trace запроса API:
|
||||
|
||||
| Что длинное или с ошибкой | Причина | Дальше |
|
||||
| --- | --- | --- |
|
||||
| `pg-pool.connect` | нет свободного соединения в пуле: БД медленная/недоступна или пул мал | сначала «Event loop: задержка p99» этой реплики (см. ниже), затем [db-pool-saturated](#db-pool-saturated) |
|
||||
| `pg.query:*` | сам запрос в PostgreSQL: блокировка, нагрузка на CPU БД, недоступность | так же |
|
||||
| `S3.*` | SeaweedFS (s3 gateway) завис или недоступен | `docker compose ps s3` |
|
||||
| SERVER span длинный, дочерние короткие, между ними «дыры» | синхронная работа в обработчике (event loop занят) | панели «Event loop: задержка p99», «CPU процессов» |
|
||||
| span без дочерних, статус 5xx | ошибка в коде (`http.internal_error`) | событие `exception` в span, лог по `trace_id` |
|
||||
|
||||
**Ловушка (проверено в кампании трека 2, фаза handler-slow).** Если процессу API не хватает CPU, длинными выглядят
|
||||
именно `pg-pool.connect` и `pg.query:*`: время span — до вызова callback, а callback ждёт свободный event loop. Trace
|
||||
такого запроса неотличим от медленной БД (медиана 19 медленных trace: 898 мс, из них SQL 600 мс, «своё» время 4 мс). Поэтому до
|
||||
вывода «виновата БД» сравните реплику из trace (`service.instance.id`) с остальными: задержка event loop в секундах
|
||||
и CPU у лимита контейнера у одной реплики — это процесс, а не БД.
|
||||
|
||||
## api-availability-burn
|
||||
|
||||
**Alerts:** `ApiAvailabilityFastBurn` (severity page), `ApiAvailabilitySlowBurn` (severity ticket).
|
||||
|
||||
SLO: 99.5 % запросов клиентов без 5xx за 30 дней; бюджет — 0.5 % ответов. SLI считается на HAProxy (frontend
|
||||
`public`, метрика `haproxy_frontend_http_responses_total`): так в него попадают и ответы самого LB — 503, когда
|
||||
ни одна реплика не готова (readiness зависит от PostgreSQL), и 504 по таймауту. Burn rate — во сколько раз доля
|
||||
5xx выше бюджета. Fast: за 1 ч **и** за 5 мин доля 5xx > 14.4 × 0.5 % = 7.2 % — за час
|
||||
сгорает 2 % месячного бюджета, при таком темпе весь бюджет кончится за 2 дня. Slow: за 6 ч **и** за 30 мин
|
||||
доля > 6 × 0.5 % = 3 % (5 % бюджета за 6 ч). Короткое окно снимает alert вскоре после восстановления.
|
||||
|
||||
1. Dashboard, ряд «API»: панели «Доля 5xx» и «RPS по классу статуса». Если линия «у клиентов (HAProxy)» заметно выше
|
||||
линии «в метриках API» — отвечает сам LB: реплики вне ротации (readiness → БД, см. db-pool-saturated) или
|
||||
зависают дольше 10 с (504). Проверка: `docker compose ps api lb`, скрейп HAProxy через Collector
|
||||
(`http://127.0.0.1:${LB_STATS_PORT}/stats`) — состояние UP/DOWN реплик.
|
||||
2. Какой маршрут и какой код (Explore → Prometheus):
|
||||
`sum by (http_route, http_response_status_code) (rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m]))`.
|
||||
503 — недоступна зависимость, 500 — ошибка кода.
|
||||
3. Логи (Explore → Loki): `{service_name="messenger-api"} | severity_text="ERROR"`. Событие
|
||||
`http.dependency_unavailable` (503) — поле `error.type` (код PostgreSQL/Node, например `57014` — statement
|
||||
timeout, `ECONNREFUSED`, `Error` — таймаут ожидания пула); `http.internal_error` (500) — баг.
|
||||
4. Из строки лога — trace (`trace_id`) и таблица выше: какая зависимость. Поиск таких trace сразу в Tempo:
|
||||
`{ resource.service.name = "messenger-api" && kind = server && status = error }`.
|
||||
5. Ветки: PostgreSQL → [db-pool-saturated](#db-pool-saturated); S3 — `docker compose ps s3`,
|
||||
`docker compose logs --tail 50 s3`; баг — стек в событии `exception` span.
|
||||
|
||||
Восстановление: после устранения причины доля 5xx за 5 мин падает ниже 7.2 % — fast снимается через ~5 мин;
|
||||
slow — когда доля за 30 мин < 3 %. Остаток бюджета — панель «Остаток бюджета API (30 д)».
|
||||
|
||||
## ready-latency-burn
|
||||
|
||||
**Alerts:** `ReadyLatencyFastBurn` (page), `ReadyLatencySlowBurn` (ticket).
|
||||
|
||||
SLO: 99 % вложений становятся `ready` не позже 30 с после durable acceptance (коммит upload в БД). SLI —
|
||||
гистограмма `messenger_attachment_time_to_ready_seconds` (хорошие — `outcome="ready"`, `le="30"`; плохие — ready
|
||||
позже 30 с и `failed` из-за временных сбоев; постоянные `invalid_image`/`unsupported_pipeline` — свойство файла,
|
||||
в SLI не входят). Пороги: fast — 1 ч и 5 мин > 14.4 %, slow — 6 ч и 30 мин > 6 % плохих.
|
||||
|
||||
1. Ряд «Worker и задания»: «Возраст старейшего задания» (линия «consumers» — подписчики очереди) и «Очередь: backlog».
|
||||
Consumers = 0 или возраст растёт линейно → [job-queue-lag](#job-queue-lag).
|
||||
2. «Насыщение worker (busy / capacity)» около 100 % и растущий backlog → не хватает мощности: «Длительность
|
||||
обработки job (done)» p95, «CPU процессов» worker. Обработка медленнее поступления — масштабировать
|
||||
`WORKER_REPLICAS` (`docker compose up -d --scale worker=3`).
|
||||
3. «Jobs/с по исходу»: доля `retry`/`failed`. Логи: `{service_name="messenger-worker"} | event=~"job.retry|job.failed"` —
|
||||
`error.type` (`storage_unavailable` — S3, `database_unavailable` — PostgreSQL). Каждый retry добавляет backoff
|
||||
2–4–8… с к времени до ready.
|
||||
4. Линия «outbox без confirm» на панели «Очередь: backlog» растёт при пустой очереди RabbitMQ → задания не публикуются: брокер недоступен (`docker compose ps rabbitmq`,
|
||||
логи API `| event=~"relay.*"`).
|
||||
5. Конкретное медленное вложение: в Tempo `{ resource.service.name = "messenger-worker" && kind = consumer && duration > 10s }`
|
||||
или `{ span.messenger.attachment.id = "<uuid>" }` — в одном trace видны upload, все публикации и попытки.
|
||||
|
||||
Восстановление — как в [api-availability-burn](#api-availability-burn): короткое окно (5 мин / 30 мин) снимает alert.
|
||||
|
||||
## api-high-error-rate
|
||||
|
||||
**Alert:** `ApiHighErrorRate` (warning): доля 5xx за 5 мин > 5 % держится 2 мин.
|
||||
|
||||
Простой порог без учёта бюджета: срабатывает и на короткий всплеск, который почти не тратит месячный бюджет
|
||||
(сравнение с burn-rate — REPORT.md, трек 2). Если одновременно горит `ApiAvailabilityFastBurn` — действуйте по
|
||||
[api-availability-burn](#api-availability-burn). Если горит только он — короткий инцидент: найдите причину теми же
|
||||
шагами 1–4 (окно 15 мин вокруг всплеска) и проверьте, что он закончился (доля 5xx вернулась к нулю).
|
||||
|
||||
## job-queue-lag
|
||||
|
||||
**Alert:** `JobQueueLagGrowing` (page): старейшее незавершённое задание принято больше 60 с назад, держится 1 мин.
|
||||
Метрика `messenger_jobs_oldest_age_seconds` (из таблицы `jobs`, считает API) растёт на 1 с за секунду, если задания
|
||||
не обрабатываются.
|
||||
|
||||
1. Подписчики очереди — линия «consumers» на панели «Возраст старейшего задания»
|
||||
(`sum(rabbitmq_detailed_queue_consumers{queue="attachments.process"})`).
|
||||
`0` → worker не работает: `docker compose ps -a worker`; причина остановки —
|
||||
`docker compose logs --tail 50 worker`, `docker inspect -f '{{.State.OOMKilled}} {{.State.ExitCode}}' messenger-lab7-worker-1`.
|
||||
2. Consumers > 0, «Насыщение worker» ≈ 100 % → перегрузка (см. ready-latency-burn, шаг 2).
|
||||
3. Consumers > 0, насыщение низкое, `messages_ready` ≈ 0, а возраст растёт → задания не доходят до очереди:
|
||||
линия «outbox без confirm» и логи `relay.*` в API (брокер), либо задания зависли в `processing` — sweeper вернёт их после
|
||||
истечения аренды (лог `sweeper.recovered`).
|
||||
4. Проверка по БД:
|
||||
`docker compose exec -T -u postgres postgres psql -U messenger -d messenger -c "SELECT state, count(*), round(extract(epoch FROM max(clock_timestamp() - created_at))) AS oldest_s FROM jobs WHERE state IN ('queued','processing') GROUP BY state"`.
|
||||
|
||||
Восстановление: `docker compose up -d --no-deps worker` (или устранить причину); backlog уходит, возраст падает
|
||||
ниже 60 с — alert снимается на следующей оценке правил (интервал 10 с).
|
||||
|
||||
## db-pool-saturated
|
||||
|
||||
**Alert:** `DbPoolSaturated` (warning): у реплики (`job`, `instance`) запросы ждут соединения из пула дольше 1 мин
|
||||
(`db_client_connection_pending_requests > 0`). Пул — 8 соединений на процесс; ожидание дольше 2 с → 503.
|
||||
|
||||
Как отличить медленную БД от медленного обработчика HTTP:
|
||||
|
||||
Значения в скобках — из кампании ЛР № 6: PostgreSQL заморожен (`docker compose pause`) и api-1 на 0.1 CPU.
|
||||
|
||||
| Сигнал | Медленная/недоступная БД | Медленный handler (CPU API) |
|
||||
| --- | --- | --- |
|
||||
| «Event loop: задержка p99» API | норма у всех реплик (0.02–0.03 с) | секунды у одной реплики (api-1 7.3 с, api-2 0.07 с) — **главный признак** |
|
||||
| «CPU процессов» API | норма (0.05) | у лимита контейнера (0.09 при лимите 0.1) |
|
||||
| Ответы клиентам | 5xx: 503 API после 2 с ожидания пула, но в основном 503/504 самого HAProxy — реплики выходят из ротации по readiness (1113 из 1177) | медленные 2xx (p99 api-1 5 с), 5xx < 0.5 % |
|
||||
| «Пул соединений PostgreSQL» | при замороженной БД pending ≈ 0: запросы до API не доходят; при медленной — used = max, pending > 0 у всех реплик | pending до 7 и used = 8 из 8 у одной реплики |
|
||||
| «p99 запросов к PostgreSQL» | у замороженных запросов нет завершения — histogram молчит до восстановления | растёт у медленной реплики (0.6 с) — это ожидание event loop |
|
||||
| Trace запроса | `pg-pool.connect` ≈ 2 с и статус 503 | тоже длинные `pg-pool.connect`/`pg.query:*` (ловушка выше) |
|
||||
| Логи | `http.dependency_unavailable`, `error.type=Error` (таймаут пула), `sweeper.error`, `relay.db_unavailable` | почти пусто |
|
||||
| Затронуты | все реплики, API и worker | одна реплика (18 из 19 медленных trace) |
|
||||
|
||||
`DbPoolSaturated` не помогает отличить: при замороженной БД он молчит (нет нагрузки на пул), при нехватке CPU
|
||||
pending у реплики скачет и может дойти до firing.
|
||||
|
||||
1. Процесс или БД: «Event loop: задержка p99» и «CPU процессов» по репликам. Выброс у одной реплики → её CPU:
|
||||
`docker stats --no-stream messenger-lab7-api-1 messenger-lab7-api-2`, лимит —
|
||||
`docker inspect -f '{{.HostConfig.NanoCpus}}' messenger-lab7-api-1` (1e9 = 1 CPU); дальше профиль/нагрузка
|
||||
этой реплики, БД ни при чём. У всех реплик норма → шаг 2.
|
||||
2. Состояние PostgreSQL: `docker compose ps postgres` (paused/restarting?), `docker stats --no-stream messenger-lab7-postgres-1`.
|
||||
3. Что делают соединения:
|
||||
`docker compose exec -T -u postgres postgres psql -U messenger -d messenger -c "SELECT pid, wait_event_type, state, round(extract(epoch FROM now() - query_start)) AS s, left(query, 60) FROM pg_stat_activity WHERE datname = 'messenger' AND state <> 'idle' ORDER BY s DESC"`
|
||||
— долгие транзакции и блокировки (`wait_event_type = Lock`).
|
||||
4. Логи `{service_name=~"messenger-.+"} | event=~"http.dependency_unavailable|relay.db_unavailable|job.retry"`.
|
||||
|
||||
Восстановление: снять блокировку/нагрузку или вернуть БД; pending падает до 0, p99 SQL возвращается к норме.
|
||||
|
||||
## telemetry-export-failing
|
||||
|
||||
**Alert:** `TelemetryExportFailing` (warning): Collector не отправляет данные в backend (`send_failed` > 0 за 5 мин)
|
||||
или очередь экспортёра > 1000 элементов, держится 1 мин.
|
||||
|
||||
Сообщения и загрузки при этом работают: SDK и Collector отправляют асинхронно. Теряется только telemetry:
|
||||
очередь экспортёра — 20 000 элементов в памяти, повтор с backoff до 60 с, затем данные отбрасываются и считаются
|
||||
(`otelcol_exporter_send_failed_*`, при полной очереди — `otelcol_exporter_enqueue_failed_*`).
|
||||
|
||||
1. Панели «Потери telemetry» и «Очередь экспортёров»: какой экспортёр (`otlp_grpc/tempo`, `otlp_http/loki`,
|
||||
`otlp_http/prometheus`).
|
||||
2. `docker compose ps tempo loki prometheus otel-collector`; ошибки экспорта — `docker compose logs --tail 30 collector otel-collector`.
|
||||
3. Память Collector: панель «Память процессов (RSS)», линия collector; отказ приёма memory_limiter —
|
||||
`otelcol_receiver_refused_*` (контейнер ограничен 256 MiB, лимит memory_limiter 200 MiB).
|
||||
|
||||
Ограничение: правило вычисляет Prometheus. Если недоступен сам Prometheus, alert не сработает — это видно по ошибке
|
||||
источника на dashboard и в `docker compose ps`. Если остановлен Collector, SDK приложений отбрасывают данные
|
||||
после заполнения своих буферов (2048 spans / log records); работа API не зависит от этого.
|
||||
|
||||
Восстановление: запустить backend (`docker compose start tempo`) — очередь опустеет, `send_failed` перестанет
|
||||
расти, alert снимется, когда 5-минутное окно rate станет нулевым.
|
||||
@@ -0,0 +1,43 @@
|
||||
# Tempo 2.10.10 — хранилище трасс (монолит, локальный диск в volume tempo-data; WAL переживает перезапуск).
|
||||
# Spans приходят от Collector по OTLP gRPC :4317 (сеть telemetry); Grafana читает через HTTP :3200 (TraceQL).
|
||||
stream_over_http_enabled: true
|
||||
|
||||
server:
|
||||
http_listen_port: 3200
|
||||
grpc_listen_address: 127.0.0.1
|
||||
grpc_listen_port: 9095
|
||||
log_level: warn
|
||||
http_tls_config:
|
||||
cert_file: /run/identity/tls.crt
|
||||
key_file: /run/identity/tls.key
|
||||
client_auth_type: RequireAndVerifyClientCert
|
||||
client_ca_file: /run/telemetry/ca.crt
|
||||
|
||||
distributor:
|
||||
receivers:
|
||||
otlp:
|
||||
protocols:
|
||||
grpc:
|
||||
endpoint: 0.0.0.0:4317
|
||||
tls:
|
||||
cert_file: /run/identity/tls.crt
|
||||
key_file: /run/identity/tls.key
|
||||
client_ca_file: /run/collector-ca/ca.crt
|
||||
|
||||
ingester:
|
||||
max_block_duration: 5m
|
||||
|
||||
compactor:
|
||||
compaction:
|
||||
block_retention: 168h # 7 дней истории трасс
|
||||
|
||||
storage:
|
||||
trace:
|
||||
backend: local
|
||||
wal:
|
||||
path: /var/tempo/wal
|
||||
local:
|
||||
path: /var/tempo/blocks
|
||||
|
||||
usage_report:
|
||||
reporting_enabled: false
|
||||
Generated
+2643
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,38 @@
|
||||
{
|
||||
"name": "messenger-lab7",
|
||||
"private": true,
|
||||
"version": "7.0.0",
|
||||
"type": "module",
|
||||
"engines": {
|
||||
"node": ">=24"
|
||||
},
|
||||
"scripts": {
|
||||
"start": "node src/main.ts",
|
||||
"migrate": "node src/main.ts migrate",
|
||||
"typecheck": "tsc"
|
||||
},
|
||||
"dependencies": {
|
||||
"@aws-sdk/client-s3": "3.1152.0",
|
||||
"@opentelemetry/api": "1.9.1",
|
||||
"@opentelemetry/api-logs": "0.223.0",
|
||||
"@opentelemetry/core": "2.12.0",
|
||||
"@opentelemetry/exporter-logs-otlp-proto": "0.223.0",
|
||||
"@opentelemetry/exporter-metrics-otlp-proto": "0.223.0",
|
||||
"@opentelemetry/exporter-trace-otlp-proto": "0.223.0",
|
||||
"@opentelemetry/instrumentation-aws-sdk": "0.78.0",
|
||||
"@opentelemetry/instrumentation-http": "0.223.0",
|
||||
"@opentelemetry/instrumentation-pg": "0.76.0",
|
||||
"@opentelemetry/instrumentation-runtime-node": "0.36.1",
|
||||
"@opentelemetry/sdk-logs": "0.223.0",
|
||||
"@opentelemetry/sdk-metrics": "2.12.0",
|
||||
"@opentelemetry/sdk-node": "0.223.0",
|
||||
"amqplib": "2.2.0",
|
||||
"pg": "8.23.1",
|
||||
"sharp": "0.35.5"
|
||||
},
|
||||
"devDependencies": {
|
||||
"@types/node": "24.19.2",
|
||||
"@types/pg": "8.23.1",
|
||||
"typescript": "7.0.2"
|
||||
}
|
||||
}
|
||||
+108
@@ -0,0 +1,108 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Оператор OpenBao. Материалы Shamir и root остаются в secrets/operator (0600)."""
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
import ssl
|
||||
import subprocess
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
OPERATOR = ROOT / "secrets/operator"
|
||||
STATE = OPERATOR / "bao-init.json"
|
||||
ROLES = ("api", "worker", "reconciler")
|
||||
|
||||
|
||||
class Bao:
|
||||
def __init__(self, base):
|
||||
self.base = base
|
||||
self.ssl = ssl.create_default_context(cafile=ROOT / "secrets/tls/service-ca/ca.crt")
|
||||
self.token = None
|
||||
|
||||
def request(self, path, data=None, method=None):
|
||||
body = json.dumps(data).encode() if data is not None else None
|
||||
headers = {"Content-Type": "application/json"}
|
||||
if self.token:
|
||||
headers["X-Vault-Token"] = self.token
|
||||
req = urllib.request.Request(self.base + "/v1/" + path, data=body, headers=headers, method=method)
|
||||
try:
|
||||
with urllib.request.urlopen(req, context=self.ssl, timeout=12) as res:
|
||||
content = res.read()
|
||||
except urllib.error.HTTPError as error:
|
||||
raise SystemExit(f"OpenBao {path}: HTTP {error.code}") from None
|
||||
return json.loads(content) if content else None
|
||||
|
||||
def state(self, init=False):
|
||||
if not self.request("sys/init")["initialized"]:
|
||||
if not init or STATE.exists():
|
||||
raise SystemExit("OpenBao не инициализирован. Проверьте volume перед init.")
|
||||
initialized = self.request("sys/init", {"secret_shares": 3, "secret_threshold": 2})
|
||||
with STATE.open("x") as file:
|
||||
json.dump(initialized, file)
|
||||
return json.loads(STATE.read_text())
|
||||
|
||||
def unseal(self, state):
|
||||
if self.request("sys/seal-status")["sealed"]:
|
||||
for key in state["keys_base64"][:2]:
|
||||
self.request("sys/unseal", {"key": key})
|
||||
print("OpenBao unsealed")
|
||||
|
||||
def configure(self):
|
||||
if "messenger/" not in self.request("sys/mounts"):
|
||||
self.request("sys/mounts/messenger", {"type": "kv", "options": {"version": "2"}})
|
||||
if "cert/" not in self.request("sys/auth"):
|
||||
self.request("sys/auth/cert", {"type": "cert"})
|
||||
for role in ROLES:
|
||||
self.configure_role(role)
|
||||
|
||||
@staticmethod
|
||||
def identity(role):
|
||||
if role != "worker":
|
||||
return role
|
||||
return subprocess.check_output(["openssl", "x509", "-in",
|
||||
str(ROOT / "secrets/tls/worker/tls.crt"), "-noout", "-subject",
|
||||
"-nameopt", "RFC2253"], text=True).strip().removeprefix("subject=CN=")
|
||||
|
||||
def configure_role(self, role):
|
||||
identity = self.identity(role)
|
||||
policy = (ROOT / "infra/openbao" / f"{role}.hcl").read_text().replace("data/worker", f"data/{identity}")
|
||||
self.request(f"sys/policies/acl/{identity}", {"policy": policy})
|
||||
certificate = (ROOT / "secrets/tls" / role / "tls.crt").read_text()
|
||||
self.request(f"auth/cert/certs/{role}", {
|
||||
"certificate": certificate, "token_policies": [identity], "token_no_default_policy": True,
|
||||
"token_type": "batch", "token_ttl": "45s", "token_max_ttl": "45s",
|
||||
})
|
||||
self.request(f"messenger/data/{identity}", json.loads((OPERATOR / f"kv_{role}.json").read_text()))
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("action", choices=("init", "unseal", "seal", "revoke-worker", "replace-worker"))
|
||||
args = parser.parse_args()
|
||||
os.umask(0o077)
|
||||
port = next((line.split("=", 1)[1] for line in (ROOT / ".env").read_text().splitlines()
|
||||
if line.startswith("BAO_PORT=")), "8200")
|
||||
bao = Bao(f"https://localhost:{port}")
|
||||
state = bao.state(init=args.action == "init")
|
||||
if args.action in ("init", "unseal"):
|
||||
bao.unseal(state)
|
||||
bao.token = state["root_token"]
|
||||
if args.action == "init":
|
||||
bao.configure()
|
||||
elif args.action == "seal":
|
||||
bao.request("sys/seal", {})
|
||||
elif args.action == "revoke-worker":
|
||||
identity = bao.identity("worker")
|
||||
bao.request("auth/cert/certs/worker", method="DELETE")
|
||||
bao.request(f"sys/policies/acl/{identity}", method="DELETE")
|
||||
bao.request(f"messenger/metadata/{identity}", method="DELETE")
|
||||
elif args.action == "replace-worker":
|
||||
bao.request("auth/cert/crls/worker", {"crl": (ROOT / "secrets/pki/crl.pem").read_text()})
|
||||
bao.configure_role("worker")
|
||||
print(f"OpenBao: {args.action} OK")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Executable
+16
@@ -0,0 +1,16 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
case ${1:-all} in
|
||||
all) roles='api worker reconciler' ;;
|
||||
worker) roles=worker ;;
|
||||
*) exit 2 ;;
|
||||
esac
|
||||
for role in $roles; do
|
||||
password=$(cat "secrets/operator/db_$role")
|
||||
case "$password" in *[!a-f0-9]*|'') exit 2 ;; esac
|
||||
# Передача по stdin, аутентификация оператора через Unix socket и peer map.
|
||||
printf "ALTER ROLE %s PASSWORD '%s';\n" "$role" "$password" |
|
||||
docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 >/dev/null
|
||||
done
|
||||
echo 'PostgreSQL: SCRAM credentials настроены'
|
||||
Executable
+10
@@ -0,0 +1,10 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
umask 077
|
||||
mkdir -p secrets
|
||||
chmod 700 secrets
|
||||
[ -f .env ] || cp .env.example .env
|
||||
scripts/pki.sh
|
||||
python3 scripts/render-secrets.py
|
||||
echo "Локальные сертификаты и credentials готовы."
|
||||
Executable
+97
@@ -0,0 +1,97 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
umask 077
|
||||
tls=secrets/tls
|
||||
pki=secrets/operator/pki
|
||||
mkdir -p "$pki"
|
||||
chmod 700 secrets secrets/operator "$pki"
|
||||
|
||||
ca() {
|
||||
dir=$pki/$1
|
||||
[ -s "$dir/ca.crt" ] && return
|
||||
mkdir -p "$dir"
|
||||
touch "$dir/index"
|
||||
printf '1000\n' > "$dir/serial"
|
||||
printf '1000\n' > "$dir/crlnumber"
|
||||
cat > "$dir/ca.cnf" <<CONFIG
|
||||
[ca]
|
||||
default_ca = lab
|
||||
[lab]
|
||||
database = $dir/index
|
||||
serial = $dir/serial
|
||||
crlnumber = $dir/crlnumber
|
||||
new_certs_dir = $dir
|
||||
certificate = $dir/ca.crt
|
||||
private_key = $dir/ca.key
|
||||
default_md = sha256
|
||||
default_days = 7
|
||||
default_crl_days = 365
|
||||
policy = names
|
||||
unique_subject = no
|
||||
[names]
|
||||
commonName = supplied
|
||||
CONFIG
|
||||
openssl req -x509 -newkey rsa:3072 -noenc -days 365 -sha256 -subj "/CN=Lab7 $1 CA" \
|
||||
-addext 'basicConstraints=critical,CA:TRUE,pathlen:0' -addext 'keyUsage=critical,keyCertSign,cRLSign' \
|
||||
-keyout "$dir/ca.key" -out "$dir/ca.crt" 2>/dev/null
|
||||
}
|
||||
leaf() {
|
||||
issuer=$1 name=$2 cn=$3 san=$4 usage=$5
|
||||
out=$tls/$name
|
||||
[ -s "$out/tls.pem" ] && return
|
||||
mkdir -p "$out"
|
||||
chmod 755 "$out"
|
||||
openssl req -new -newkey rsa:2048 -noenc -subj "/CN=$cn" -keyout "$out/tls.key" -out "$pki/request" 2>/dev/null
|
||||
cat > "$pki/leaf.ext" <<CONFIG
|
||||
basicConstraints=critical,CA:FALSE
|
||||
keyUsage=critical,digitalSignature,keyEncipherment
|
||||
subjectKeyIdentifier=hash
|
||||
authorityKeyIdentifier=keyid:always
|
||||
extendedKeyUsage=$usage
|
||||
subjectAltName=$san
|
||||
CONFIG
|
||||
openssl ca -batch -notext -config "$pki/$issuer/ca.cnf" -extfile "$pki/leaf.ext" \
|
||||
-in "$pki/request" -out "$out/tls.crt" 2>/dev/null
|
||||
cat "$out/tls.crt" "$out/tls.key" > "$out/tls.pem"
|
||||
chmod 644 "$out"/tls.*
|
||||
}
|
||||
crl() {
|
||||
openssl ca -gencrl -config "$pki/service/ca.cnf" -out secrets/pki/crl.new 2>/dev/null
|
||||
chmod 644 secrets/pki/crl.new
|
||||
mv secrets/pki/crl.new secrets/pki/crl.pem
|
||||
}
|
||||
case ${1:-init} in
|
||||
init)
|
||||
mkdir -p secrets/pki "$tls/service-ca" "$tls/telemetry-ca" "$tls/collector-ca" "$tls/foreign-ca"
|
||||
chmod 755 "$tls" secrets/pki "$tls/"*-ca
|
||||
for issuer in service telemetry collector foreign; do ca "$issuer"; done
|
||||
for issuer in service collector foreign; do cp "$pki/$issuer/ca.crt" "$tls/$issuer-ca/ca.crt"; done
|
||||
cat "$pki/collector/ca.crt" "$pki/telemetry/ca.crt" > "$tls/telemetry-ca/ca.crt"
|
||||
chmod 644 "$tls/"*-ca/ca.crt
|
||||
for name in postgres s3 rabbitmq lb otel-collector prometheus loki tempo; do
|
||||
leaf service "$name" "$name" "DNS:$name" serverAuth
|
||||
done
|
||||
leaf service openbao openbao 'DNS:openbao,DNS:localhost,IP:127.0.0.1' serverAuth
|
||||
leaf service ingress localhost 'DNS:localhost,IP:127.0.0.1' serverAuth
|
||||
leaf service grafana grafana 'DNS:grafana,DNS:localhost,IP:127.0.0.1' serverAuth
|
||||
leaf service api api 'DNS:api' serverAuth,clientAuth
|
||||
leaf service worker "worker-$(openssl rand -hex 4)" 'DNS:worker' clientAuth
|
||||
leaf service lb-client lb-client 'DNS:lb-client' clientAuth
|
||||
leaf service reconciler reconciler 'DNS:reconciler' clientAuth
|
||||
leaf service wrong wrong 'DNS:wrong' clientAuth
|
||||
leaf foreign foreign foreign 'DNS:foreign' clientAuth
|
||||
leaf collector collector collector 'DNS:collector' clientAuth
|
||||
leaf telemetry grafana-query grafana-query 'DNS:grafana-query' clientAuth
|
||||
leaf telemetry prometheus-scrape prometheus-scrape 'DNS:prometheus-scrape' clientAuth
|
||||
crl
|
||||
;;
|
||||
replace-worker)
|
||||
name=worker
|
||||
openssl ca -config "$pki/service/ca.cnf" -revoke "$tls/$name/tls.crt" 2>/dev/null
|
||||
mv "$tls/$name" "$pki/revoked-$(date +%s)"
|
||||
leaf service worker "worker-$(openssl rand -hex 4)" 'DNS:worker' clientAuth
|
||||
crl
|
||||
;;
|
||||
*) exit 2 ;;
|
||||
esac
|
||||
@@ -0,0 +1,91 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Собирает локальные credentials сервисов. Значения не выводятся."""
|
||||
import json
|
||||
import re
|
||||
import secrets
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
root = Path("secrets")
|
||||
operator = root / "operator"
|
||||
runtime = root / "runtime"
|
||||
for folder in (operator, runtime, runtime / "s3"):
|
||||
folder.mkdir(exist_ok=True, mode=0o755 if folder != operator else 0o700)
|
||||
bucket = "messenger-attachments"
|
||||
|
||||
|
||||
def write(path, value, mode=0o600):
|
||||
temp = path.with_suffix(".new")
|
||||
temp.write_text(value)
|
||||
temp.chmod(mode)
|
||||
temp.replace(path)
|
||||
|
||||
|
||||
def value(path):
|
||||
if not path.exists():
|
||||
write(path, secrets.token_hex(24), 0o644 if path.parent == runtime else 0o600)
|
||||
return path.read_text()
|
||||
|
||||
|
||||
def worker_cn():
|
||||
return subprocess.check_output(
|
||||
["openssl", "x509", "-in", "secrets/tls/worker/tls.crt", "-noout", "-subject", "-nameopt", "RFC2253"],
|
||||
text=True,
|
||||
).strip().removeprefix("subject=CN=")
|
||||
|
||||
|
||||
def render():
|
||||
db_root = value(runtime / "postgres_password")
|
||||
value(runtime / "grafana_admin_password")
|
||||
write(runtime / "database_url", f"postgres://messenger:{db_root}@postgres:5432/messenger", 0o644)
|
||||
identities = []
|
||||
for role in ("admin", "api", "worker", "reconciler"):
|
||||
access = role + value(operator / f"s3_id_{role}")[:20]
|
||||
key = value(operator / f"s3_key_{role}")
|
||||
if role == "admin":
|
||||
write(runtime / "s3_admin_access_key_id", access, 0o644)
|
||||
write(runtime / "s3_admin_secret_access_key", key, 0o644)
|
||||
actions = ["Admin", "Read", "Write", "List"]
|
||||
else:
|
||||
scopes = {
|
||||
"api": ["Write:staging", "Read:originals", "Read:variants"],
|
||||
"worker": ["Read:staging", "Write:staging", "Read:originals", "Write:originals", "Write:variants"],
|
||||
"reconciler": [f"{verb}:{prefix}" for verb in ("Read", "Write") for prefix in ("staging", "originals", "variants")],
|
||||
}[role]
|
||||
actions = [f"{verb}:{bucket}/{prefix}/*" for verb, prefix in (scope.split(":") for scope in scopes)]
|
||||
if role == "reconciler":
|
||||
actions += [f"List:{bucket}"]
|
||||
password = value(operator / f"db_{role}")
|
||||
write(operator / f"kv_{role}.json", json.dumps({"data": {
|
||||
"DATABASE_URL": f"postgres://{role}:{password}@postgres:5432/messenger",
|
||||
"S3_ACCESS_KEY_ID": access, "S3_SECRET_ACCESS_KEY": key,
|
||||
}}))
|
||||
identities.append({"name": role, "credentials": [{"accessKey": access, "secretKey": key}], "actions": actions})
|
||||
write(runtime / "s3" / "identities.json", json.dumps({"identities": identities}), 0o644)
|
||||
|
||||
worker = worker_cn()
|
||||
if not re.fullmatch(r"worker-[0-9a-f]{8}", worker):
|
||||
raise SystemExit("unexpected worker identity")
|
||||
vhost = "messenger"
|
||||
write(runtime / "rabbitmq_definitions.json", json.dumps({
|
||||
"users": [{"name": role, "password_hash": "", "tags": []} for role in ("api", worker)],
|
||||
"vhosts": [{"name": vhost}],
|
||||
"permissions": [
|
||||
{"user": "api", "vhost": vhost, "configure": "^$", "write": "^attachments$", "read": "^$"},
|
||||
{"user": worker, "vhost": vhost, "configure": "^$", "write": "^$", "read": r"^attachments\.process$"},
|
||||
],
|
||||
"exchanges": [{"name": "attachments", "vhost": vhost, "type": "direct",
|
||||
"durable": True, "auto_delete": False, "internal": False, "arguments": {}}],
|
||||
"queues": [{"name": "attachments.process", "vhost": vhost, "durable": True, "auto_delete": False,
|
||||
"arguments": {"x-queue-type": "quorum", "x-delivery-limit": 20}}],
|
||||
"bindings": [{"source": "attachments", "vhost": vhost, "destination": "attachments.process",
|
||||
"destination_type": "queue", "routing_key": "process", "arguments": {}}],
|
||||
}), 0o644)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if sys.argv[1:] == ["rotate-worker"]:
|
||||
for key in ("s3_id_worker", "s3_key_worker", "db_worker"):
|
||||
write(operator / key, secrets.token_hex(24))
|
||||
render()
|
||||
Executable
+17
@@ -0,0 +1,17 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
services='lb api worker reconciler postgres s3 rabbitmq otel-collector collector prometheus loki tempo grafana openbao'
|
||||
started() {
|
||||
for service in $services; do
|
||||
for id in $(docker compose ps -aq "$service"); do
|
||||
docker inspect -f "$service {{.State.StartedAt}}" "$id"
|
||||
done
|
||||
done
|
||||
}
|
||||
started > secrets/runtime/restart-before.txt
|
||||
docker compose stop -t 6 lb api worker reconciler
|
||||
docker compose restart -t 5 postgres s3 rabbitmq otel-collector collector prometheus loki tempo grafana openbao
|
||||
python3 scripts/bao.py unseal
|
||||
docker compose start api worker reconciler lb
|
||||
started > secrets/runtime/restart-after.txt
|
||||
Executable
+23
@@ -0,0 +1,23 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
old=$(openssl x509 -in secrets/tls/worker/tls.crt -noout -subject -nameopt RFC2253)
|
||||
old=${old#subject=CN=}
|
||||
case "$old" in worker-????????) ;; *) exit 2 ;; esac
|
||||
docker compose stop worker
|
||||
python3 scripts/bao.py revoke-worker
|
||||
docker compose exec -T rabbitmq rabbitmqctl delete_user "$old"
|
||||
# Прежний пароль немедленно перестаёт открывать соединения, а уже открытые соединения worker закрываются.
|
||||
docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 <<'SQL'
|
||||
ALTER ROLE worker NOLOGIN;
|
||||
SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE usename = 'worker';
|
||||
SQL
|
||||
scripts/pki.sh replace-worker
|
||||
python3 scripts/render-secrets.py rotate-worker
|
||||
scripts/db-credentials.sh worker
|
||||
docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 -c 'ALTER ROLE worker LOGIN'
|
||||
# Повторный import добавляет нового пользователя, старый уже удалён. Volumes остаются.
|
||||
docker compose up -d --force-recreate --wait s3 rabbitmq otel-collector collector
|
||||
python3 scripts/bao.py replace-worker
|
||||
docker compose up -d --force-recreate --no-deps worker
|
||||
echo 'Worker identity и credentials заменены'
|
||||
Executable
+14
@@ -0,0 +1,14 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
|
||||
# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера.
|
||||
# Восстановление после теста: docker compose start api
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
cd "$(dirname "$0")/.."
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
|
||||
esac
|
||||
ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true)
|
||||
[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
|
||||
docker stop -t 6 "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с)
|
||||
docker inspect -f "stopped {{.Name}} ($TARGET_INSTANCE_ID)" "$ids" | tee secrets/runtime/failover-target.txt
|
||||
Executable
+9
@@ -0,0 +1,9 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
scripts/init-secrets.sh
|
||||
docker compose up -d --wait --wait-timeout 240 postgres s3 openbao rabbitmq otel-collector collector prometheus loki tempo grafana
|
||||
docker compose run --rm --build migrate
|
||||
scripts/db-credentials.sh
|
||||
python3 scripts/bao.py init
|
||||
docker compose up -d --build --wait --wait-timeout 240
|
||||
+16
-15
@@ -1,19 +1,20 @@
|
||||
# Модель угроз — заполнить
|
||||
# Модель угроз
|
||||
|
||||
## Активы и акторы
|
||||
Активы — пароли и сессии пользователей, сообщения и вложения, задачи обработки, учётные данные сервисов, PKI и содержимое telemetry. Внешний клиент имеет доступ к ingress. Посторонний пользователь имеет собственный Bearer и может знать UUID чужих объектов. При компрометации worker атакующий читает его leaf и получает его рабочие credentials, может подключаться в backend и отправлять произвольные операции. Оператор контролирует Docker, CA и unseal. Компрометация оператора или хоста находится вне этой модели.
|
||||
|
||||
TODO: пользовательские credentials/сессии, сообщения/вложения, service identities, CA/secrets, telemetry. Акторы: участник чата, посторонний пользователь, внешний клиент, скомпрометированный сервис, оператор. Опишите доступ атакующего и границы учебного стенда.
|
||||
Границы проходят на внешнем ingress, между HAProxy и API, на каждом сетевом подключении к зависимости и при обращении за секретами. Порты, SAN и права указаны в [матрице доверия](../contracts/trust-matrix.md).
|
||||
|
||||
## Границы доверия
|
||||
| Угроза | Инвариант и контроль | Отрицательная проверка | Остаточный риск |
|
||||
| --- | --- | --- | --- |
|
||||
| Подмена TLS-сервера | Клиент сверяет CA и SAN; внешний API доступен только по TLS | `make test-security` и TLS-аудит | Утечка ключа service CA нарушает эту границу |
|
||||
| Подмена HAProxy клиентом с действительным leaf | API разрешает только SAN lb-client; peer certificate обязателен | Пробы без cert, с foreign CA и wrong leaf | Ключ LB даёт доступ к TLS-границе API, где продолжает действовать Bearer ACL |
|
||||
| Чтение чужого вложения по UUID, подделка X-User-Id | Сессия и членство проверяются при чтении и повторном использовании объекта | `auth_security.py` | Участник сохраняет доступ к выданным ему данным |
|
||||
| Повтор украденного токена после logout/expiry | Проверка `expires_at` и удаление хеша при logout | `auth_security.py` | Украденный действующий токен работает до отзыва |
|
||||
| Исчерпание CPU/RAM неверными логинами | Общий лимит PostgreSQL, максимум два параллельных хеширования на API, лимит тела | Нагрузочная часть `auth_security.py`, `argon2_bench.mjs` | Общий лимит можно занять, вызвав временные 429 для легитимных клиентов |
|
||||
| Worker читает пароли или сообщения, пишет в произвольный prefix или очередь | SQL grants, SeaweedFS prefix ACL, RabbitMQ EXTERNAL и права очереди | `worker_compromise.py` | Worker может менять состояния задач и байты разрешённых prefix |
|
||||
| Worker пытается читать ключи API и менять политики OpenBao | Leaf закреплён за ролью и получает только её KV read | `worker_compromise.py` | Секрет зависимости остаётся действительным до отзыва у этой зависимости |
|
||||
| Поддельные сигналы отправлены в Collector | mTLS, CN allowlist, CRL и ограничение методов/маршрутов | `tls-audit.sh`, проверка старого leaf в треке | Владелец разрешённого leaf может подделать свой сигнал |
|
||||
| Токены или payload попадают в историю наблюдаемости | Нет логирования заголовков/значений SQL, входные filename/cursor маскируются, запись исключений ограничена | `telemetry_check.py` | Сохраняются технические UUID; доступ к Grafana ограничен |
|
||||
| Worker остаётся подключён после ротации | Закрываются его DB connections, удаляется пользователь RabbitMQ, обновляются S3 credentials и CRL | `worker_compromise.py` проверяет новые подключения со старыми материалами | Ротация временно прерывает брокер и S3 на одиночном стенде |
|
||||
|
||||
TODO: схема и ссылка на заполненную contracts/trust-matrix.md; публичные/внутренние интерфейсы, процессы, секреты и их выдача.
|
||||
|
||||
| Угроза и конкретный путь | Нарушаемый инвариант | Контроль | Отрицательный тест | Остаточное ограничение |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO | TODO |
|
||||
|
||||
На 4 минимум 6 конкретных угроз. Не заменяйте сценарии словами «SQL injection», «безопасный Docker», «mTLS включён» без пути и проверки.
|
||||
|
||||
## Lifecycle и инциденты
|
||||
|
||||
TODO: bootstrap, expiry/renewal, revoke/rotation, компрометация identity, sealed OpenBao и восстановление. Указать владельца CA/unseal и способ защиты bootstrap credentials. Сопоставить scan findings с реальной применимостью и исправлением/остаточным риском.
|
||||
Локальный оператор выпускает leaf, хранит CA и Shamir в закрытом каталоге, выполняет unseal и обслуживает журнал аудита. При отзыве удаляется привязка leaf в OpenBao, у брокера удаляется CN, а ingress Collector читает новую CRL. Для рабочего процесса успешный re-auth проверяет секреты каждые 5 с. Если проверка не проходит, по истечении 45 с процесс завершает работу. Долговременное чтение старых секретов ограничивается дополнительно отзывом у PostgreSQL и S3.
|
||||
|
||||
+120
@@ -0,0 +1,120 @@
|
||||
// HTTP-приложение: таблица маршрутов, health-проверки и общая обработка каждого запроса.
|
||||
// Наблюдаемость (lab6): server span создаёт instrumentation-http, здесь ему задаётся шаблон маршрута
|
||||
// и X-Request-Id; после ответа пишется структурный access-лог с trace_id/span_id этого span.
|
||||
import { randomUUID } from 'node:crypto';
|
||||
import type { IncomingMessage, OutgoingHttpHeaders, ServerResponse } from 'node:http';
|
||||
import { Readable } from 'node:stream';
|
||||
import { pipeline } from 'node:stream/promises';
|
||||
import { context, trace } from '@opentelemetry/api';
|
||||
import type { Pool } from 'pg';
|
||||
import type { Config } from './config.ts';
|
||||
import type { Handler, Result } from './http/context.ts';
|
||||
import { notFound, toHttpError, unavailable } from './http/errors.ts';
|
||||
import { downloadAttachment, getAttachment, uploadAttachment } from './modules/attachments.ts';
|
||||
import { createChat, getChat, listChats } from './modules/chats.ts';
|
||||
import { listMessages, sendMessage } from './modules/messages.ts';
|
||||
import { createSession, deleteSession } from './modules/sessions.ts';
|
||||
import { createUser, me } from './modules/users.ts';
|
||||
import { log, setRoute } from './otel.ts';
|
||||
import type { Storage } from './storage/s3.ts';
|
||||
|
||||
function send(res: ServerResponse, status: number, body?: unknown, headers?: OutgoingHttpHeaders) {
|
||||
if (body instanceof Readable) {
|
||||
// Байты вложения потоком из S3. Обрыв с любой стороны закрывает соединение: клиент увидит
|
||||
// несовпадение с Content-Length, а не «успешно» обрезанный файл.
|
||||
res.writeHead(status, headers);
|
||||
pipeline(body, res).catch((err) => log('warn', 'http.stream_aborted', `передача вложения прервана: ${err.message}`));
|
||||
return;
|
||||
}
|
||||
if (body === undefined) {
|
||||
res.writeHead(status).end();
|
||||
return;
|
||||
}
|
||||
const data = JSON.stringify(body);
|
||||
res.writeHead(status, { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(data) }).end(data);
|
||||
}
|
||||
|
||||
export function createApp(db: Pool, s3: Storage, config: Config, relay: { kick(): void }) {
|
||||
// ready = false с момента SIGTERM: балансировщик по readiness выводит реплику из ротации.
|
||||
const state = { ready: true };
|
||||
|
||||
// Готовность: процесс не завершается и PostgreSQL отвечает. Это единственная критичная зависимость:
|
||||
// при недоступном S3 реплика остаётся в ротации, текстовые сообщения работают, вложения отвечают 503;
|
||||
// при недоступном брокере загрузки принимаются (задания ждут в outbox), worker не нужен для приёма.
|
||||
const readiness: Handler = async () => {
|
||||
if (!state.ready) throw unavailable('Реплика завершает работу');
|
||||
try {
|
||||
await db.query('SELECT 1');
|
||||
} catch {
|
||||
throw unavailable('База данных недоступна');
|
||||
}
|
||||
return [200, { status: 'ok' }];
|
||||
};
|
||||
|
||||
// Шаблон маршрута — и правило сопоставления, и label http.route метрик/имя span (без реальных UUID).
|
||||
const routes = ([
|
||||
['GET', '/health/live', async () => [200, { status: 'ok' }]],
|
||||
['GET', '/health/ready', readiness],
|
||||
['POST', '/api/v1/users', createUser],
|
||||
['GET', '/api/v1/users/me', me],
|
||||
['POST', '/api/v1/auth/sessions', createSession],
|
||||
['DELETE', '/api/v1/auth/sessions/current', deleteSession],
|
||||
['POST', '/api/v1/chats', createChat],
|
||||
['GET', '/api/v1/chats', listChats],
|
||||
['GET', '/api/v1/chats/{chat_id}', getChat],
|
||||
['POST', '/api/v1/chats/{chat_id}/messages', sendMessage],
|
||||
['GET', '/api/v1/chats/{chat_id}/messages', listMessages],
|
||||
['POST', '/api/v1/chats/{chat_id}/attachments', uploadAttachment],
|
||||
['GET', '/api/v1/attachments/{attachment_id}', getAttachment],
|
||||
['GET', '/api/v1/attachments/{attachment_id}/content', downloadAttachment],
|
||||
] as [string, string, Handler][]).map(([method, template, handler]) =>
|
||||
({ method, template, handler, pattern: new RegExp(`^${template.replace(/\{\w+\}/g, '([^/]+)')}$`) }));
|
||||
|
||||
async function dispatch(req: IncomingMessage, matched: { route?: string }): Promise<Result> {
|
||||
const url = new URL(req.url ?? '/', 'http://api');
|
||||
for (const { method, template, handler, pattern } of routes) {
|
||||
const m = pattern.exec(url.pathname);
|
||||
if (m && req.method === method) {
|
||||
matched.route = template;
|
||||
setRoute(template);
|
||||
return handler({ req, url, params: m.slice(1), db, s3, config, relay });
|
||||
}
|
||||
}
|
||||
throw notFound(); // неизвестный путь или метод — тоже JSON-ошибка контракта
|
||||
}
|
||||
|
||||
// Каждый ответ, включая ошибки и health, несёт X-Request-Id и X-Instance-Id.
|
||||
function handle(req: IncomingMessage, res: ServerResponse) {
|
||||
const requestId = randomUUID();
|
||||
const started = performance.now();
|
||||
const ctx = context.active(); // контекст server span этого запроса
|
||||
trace.getSpan(ctx)?.setAttribute('messenger.request_id', requestId);
|
||||
res.setHeader('X-Request-Id', requestId);
|
||||
res.setHeader('X-Instance-Id', config.instanceId);
|
||||
if (!state.ready) res.setHeader('Connection', 'close'); // при остановке LB не переиспользует соединение
|
||||
const matched: { route?: string } = {};
|
||||
// Access-лог одного запроса; health (проверки LB и Docker каждую секунду) не логируется.
|
||||
// 'close' приходит и после полного ответа, и при обрыве соединения клиентом.
|
||||
res.on('close', () => {
|
||||
if (matched.route?.startsWith('/health/')) return;
|
||||
const status = res.statusCode;
|
||||
context.with(ctx, () => log(status >= 500 ? 'error' : 'info', 'http.request', `${req.method} ${matched.route ?? 'unmatched'} → ${status}`, {
|
||||
request_id: requestId, 'http.request.method': req.method ?? '', 'http.route': matched.route ?? 'unmatched',
|
||||
'http.response.status_code': status, duration_ms: Math.round((performance.now() - started) * 10) / 10,
|
||||
...(!res.writableFinished && { aborted: true }),
|
||||
}));
|
||||
});
|
||||
dispatch(req, matched).then(([status, body, headers]) => send(res, status, body, headers), (err) => {
|
||||
const e = toHttpError(err, requestId);
|
||||
if (e.status >= 500) trace.getSpan(ctx)?.recordException(e);
|
||||
if (e.retryAfter) res.setHeader('Retry-After', e.retryAfter);
|
||||
if (e.status === 401) {
|
||||
// Basic только на входе, на остальных эндпоинтах — Bearer.
|
||||
res.setHeader('WWW-Authenticate', req.url === '/api/v1/auth/sessions' ? 'Basic realm="messenger", charset="UTF-8"' : 'Bearer realm="messenger"');
|
||||
}
|
||||
send(res, e.status, { error: { code: e.code, message: e.message, request_id: requestId } });
|
||||
});
|
||||
}
|
||||
|
||||
return { state, handle };
|
||||
}
|
||||
@@ -0,0 +1,91 @@
|
||||
// Конфигурация процесса из переменных окружения. Читается один раз при старте.
|
||||
import { readFileSync } from 'node:fs';
|
||||
import { hostname } from 'node:os';
|
||||
|
||||
export type S3Config = {
|
||||
endpoint: string;
|
||||
region: string;
|
||||
bucket: string;
|
||||
accessKeyId: string;
|
||||
secretAccessKey: string;
|
||||
};
|
||||
|
||||
export type Config = {
|
||||
host: string;
|
||||
port: number;
|
||||
databaseUrl: string;
|
||||
dbPoolMax: number;
|
||||
sessionTtlSeconds: number;
|
||||
shutdownDrainMs: number;
|
||||
instanceId: string;
|
||||
s3: S3Config;
|
||||
maxUploadBytes: number;
|
||||
maxImagePixels: number;
|
||||
jobs: JobsConfig;
|
||||
};
|
||||
|
||||
// Общие параметры заданий для API (relay, sweeper) и worker.
|
||||
export type JobsConfig = {
|
||||
pipelineVersion: number; // версия pipeline для новых загрузок
|
||||
maxAttempts: number; // попыток на job, затем failed retry_exhausted
|
||||
timeoutSeconds: number; // предел одной попытки; аренда = timeout + 15 с
|
||||
retryBaseMs: number; // backoff повтора: base × 2^(n−1), cap 60 с, jitter 50–100 %
|
||||
republishSeconds: number; // queued без живого сообщения дольше этого — опубликовать заново
|
||||
};
|
||||
|
||||
function env(name: string, def: string): string {
|
||||
return process.env[name] || def;
|
||||
}
|
||||
|
||||
export function envInt(name: string, def: number): number {
|
||||
const n = Number(env(name, String(def)));
|
||||
if (!Number.isInteger(n) || n <= 0) throw new Error(`${name} должен быть положительным целым`);
|
||||
return n;
|
||||
}
|
||||
|
||||
// Секрет берётся из файла NAME_FILE (Docker secret), иначе из NAME. Значение никогда не логируется.
|
||||
export function secret(name: string): string {
|
||||
const file = process.env[name + '_FILE'];
|
||||
const value = file ? readFileSync(file, 'utf8').trim() : process.env[name];
|
||||
if (!value) throw new Error(`нужна переменная ${name} или ${name}_FILE`);
|
||||
return value;
|
||||
}
|
||||
|
||||
// Ключи у каждого сервиса свои (api, reconciler, s3-init), compose монтирует их под одинаковыми именами.
|
||||
export function s3Config(): S3Config {
|
||||
return {
|
||||
endpoint: env('S3_ENDPOINT', 'https://s3:9000'),
|
||||
region: env('S3_REGION', 'us-east-1'),
|
||||
bucket: env('S3_BUCKET', 'messenger-attachments'),
|
||||
accessKeyId: secret('S3_ACCESS_KEY_ID'),
|
||||
secretAccessKey: secret('S3_SECRET_ACCESS_KEY'),
|
||||
};
|
||||
}
|
||||
|
||||
export function jobsConfig(): JobsConfig {
|
||||
return {
|
||||
pipelineVersion: envInt('PIPELINE_VERSION', 1),
|
||||
maxAttempts: envInt('JOB_MAX_ATTEMPTS', 5),
|
||||
timeoutSeconds: envInt('JOB_TIMEOUT_SECONDS', 60),
|
||||
retryBaseMs: envInt('JOB_RETRY_BASE_MS', 2000),
|
||||
republishSeconds: envInt('JOB_REPUBLISH_SECONDS', 600),
|
||||
};
|
||||
}
|
||||
|
||||
export function loadConfig(): Config {
|
||||
return {
|
||||
host: env('APP_HOST', '0.0.0.0'),
|
||||
port: envInt('APP_PORT', 8080),
|
||||
databaseUrl: secret('DATABASE_URL'),
|
||||
dbPoolMax: envInt('DB_POOL_MAX', 8),
|
||||
sessionTtlSeconds: envInt('SESSION_TTL_SECONDS', 3600),
|
||||
// Пауза между отказом readiness и закрытием сервера: должна быть больше времени обнаружения LB (fall × inter).
|
||||
shutdownDrainMs: envInt('SHUTDOWN_DRAIN_MS', 2500),
|
||||
// X-Instance-Id = hostname контейнера (12 символов ID), по нему scripts/stop-one.sh находит реплику.
|
||||
instanceId: env('INSTANCE_ID', hostname()),
|
||||
s3: s3Config(),
|
||||
maxUploadBytes: envInt('MAX_UPLOAD_BYTES', 10485760),
|
||||
maxImagePixels: envInt('MAX_IMAGE_PIXELS', 40000000),
|
||||
jobs: jobsConfig(),
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,52 @@
|
||||
// Доступ к PostgreSQL: пул соединений для API и однократный прогон миграций.
|
||||
import { readFileSync, readdirSync } from 'node:fs';
|
||||
import { context, ROOT_CONTEXT } from '@opentelemetry/api';
|
||||
import pg from 'pg';
|
||||
import { log } from './otel.ts';
|
||||
|
||||
const ssl = { ca: readFileSync(process.env.TLS_CA_FILE ?? '/run/tls/ca.crt'), rejectUnauthorized: true };
|
||||
|
||||
export function createPool(databaseUrl: string, max: number): pg.Pool {
|
||||
const { hostname, port, pathname } = new URL(databaseUrl);
|
||||
const pool = new pg.Pool({
|
||||
connectionString: databaseUrl, ssl,
|
||||
// Только для имени пула в метриках db.client.connection.* (postgres:5432/messenger); пароль туда не попадает.
|
||||
host: hostname, port: Number(port || 5432), database: pathname.slice(1),
|
||||
max,
|
||||
connectionTimeoutMillis: 2000, // пул исчерпан или БД недоступна → 503, а не зависший запрос
|
||||
statement_timeout: 5000,
|
||||
});
|
||||
// Ошибка простаивающего соединения (например, рестарт PostgreSQL) не должна ронять процесс.
|
||||
// ROOT_CONTEXT: иначе лог унаследовал бы trace_id запроса, который когда-то открыл это соединение.
|
||||
pool.on('error', context.bind(ROOT_CONTEXT, (err: Error) => log('error', 'db.connection_error', `ошибка соединения с БД: ${err.name}`)));
|
||||
return pool;
|
||||
}
|
||||
|
||||
// Применяет src/migrations/*.sql по порядку, каждую в своей транзакции и ровно один раз.
|
||||
// Advisory lock не даёт двум запускам выполнить DDL одновременно.
|
||||
export async function migrate(databaseUrl: string): Promise<void> {
|
||||
const client = new pg.Client({ connectionString: databaseUrl, ssl });
|
||||
await client.connect();
|
||||
try {
|
||||
await client.query('SELECT pg_advisory_lock(3003)');
|
||||
await client.query('CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())');
|
||||
const dir = new URL('./migrations/', import.meta.url);
|
||||
for (const file of readdirSync(dir).filter((f) => f.endsWith('.sql')).sort()) {
|
||||
const done = await client.query('SELECT 1 FROM schema_migrations WHERE version = $1', [file]);
|
||||
if (done.rowCount) continue;
|
||||
await client.query('BEGIN');
|
||||
try {
|
||||
await client.query(readFileSync(new URL(file, dir), 'utf8'));
|
||||
await client.query('INSERT INTO schema_migrations (version) VALUES ($1)', [file]);
|
||||
await client.query('COMMIT');
|
||||
} catch (err) {
|
||||
await client.query('ROLLBACK');
|
||||
throw err;
|
||||
}
|
||||
log('info', 'db.migration_applied', `применена миграция ${file}`, { migration: file });
|
||||
}
|
||||
log('info', 'db.schema_ready', 'схема актуальна');
|
||||
} finally {
|
||||
await client.end();
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
// Точки внедрения отказов для тестов (трек 2 и уровень 4). Выключены, пока FAILPOINTS не равно 1.
|
||||
// Срабатывает только для вложения с именем файла failpoint-<точка>[-<N>s].png и ровно один раз на вложение
|
||||
// (отметка в failpoint_hits), поэтому перезапущенный процесс доделывает работу, а не падает по кругу.
|
||||
// failpoint-<точка>.png — немедленный выход с кодом 137: ни finally, ни ack, ни ROLLBACK — соединения с БД
|
||||
// и брокером рвёт ядро, как при реальном падении. Не SIGKILL себе: node в контейнере —
|
||||
// PID 1, а сигналы без обработчика, посланные init изнутри его namespace, ядро игнорирует;
|
||||
// failpoint-<точка>-<N>s.png — пауза N секунд: процесс жив, но «завис» (проверка аренды и fencing).
|
||||
// Точки: api_after_staging, api_after_commit, relay_after_publish, worker_after_claim, worker_after_side_effect,
|
||||
// worker_after_commit.
|
||||
import { setTimeout as sleep } from 'node:timers/promises';
|
||||
import type { Pool } from 'pg';
|
||||
import { log } from './otel.ts';
|
||||
|
||||
const enabled = process.env.FAILPOINTS === '1';
|
||||
|
||||
export async function failpoint(db: Pool, name: string, attachmentId: string, filename: string): Promise<void> {
|
||||
const m = enabled ? /^failpoint-([a-z_]+)(?:-(\d+)s)?\.png$/.exec(filename) : null;
|
||||
if (!m || m[1] !== name) return;
|
||||
const hit = await db.query('INSERT INTO failpoint_hits (name, attachment_id) VALUES ($1, $2) ON CONFLICT DO NOTHING', [name, attachmentId]);
|
||||
if (!hit.rowCount) return;
|
||||
if (m[2]) {
|
||||
log('warn', 'failpoint.pause', `failpoint ${name}: пауза ${m[2]} с`, { 'failpoint.name': name });
|
||||
await sleep(Number(m[2]) * 1000);
|
||||
return;
|
||||
}
|
||||
log('error', 'failpoint.kill', `failpoint ${name}: аварийное завершение процесса`, { 'failpoint.name': name });
|
||||
process.exit(137); // как при падении: OTLP-буферы не сбрасываются, строка лога в stdout (pipe) пишется синхронно
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
// Общие типы обработчиков: контекст запроса и результат.
|
||||
import type { IncomingMessage, OutgoingHttpHeaders } from 'node:http';
|
||||
import type { Pool } from 'pg';
|
||||
import type { Config } from '../config.ts';
|
||||
import type { Storage } from '../storage/s3.ts';
|
||||
|
||||
export type Ctx = {
|
||||
req: IncomingMessage;
|
||||
url: URL;
|
||||
params: string[]; // группы из шаблона маршрута, например chat_id
|
||||
db: Pool;
|
||||
s3: Storage;
|
||||
config: Config;
|
||||
relay: { kick(): void }; // разбудить публикацию outbox сразу после COMMIT
|
||||
};
|
||||
|
||||
// [HTTP-статус, JSON-тело или поток байтов, заголовки потока]; без тела — ответ без содержимого (204).
|
||||
export type Result = [status: number, body?: unknown, headers?: OutgoingHttpHeaders];
|
||||
|
||||
export type Handler = (c: Ctx) => Promise<Result>;
|
||||
@@ -0,0 +1,36 @@
|
||||
// Ошибки API в формате контракта: {"error":{"code","message","request_id"}}.
|
||||
import { log } from '../otel.ts';
|
||||
|
||||
export class HttpError extends Error {
|
||||
status: number;
|
||||
code: string;
|
||||
readonly retryAfter?: number;
|
||||
constructor(status: number, code: string, message: string, retryAfter?: number) {
|
||||
super(message);
|
||||
this.status = status;
|
||||
this.code = code;
|
||||
this.retryAfter = retryAfter;
|
||||
}
|
||||
}
|
||||
|
||||
export const badRequest = (message: string) => new HttpError(400, 'invalid_request', message);
|
||||
export const unauthorized = () => new HttpError(401, 'unauthorized', 'Требуется действительная сессия');
|
||||
// 404 и для отсутствующего, и для чужого объекта: не раскрываем факт существования.
|
||||
export const notFound = () => new HttpError(404, 'not_found', 'Объект не найден');
|
||||
export const conflict = (message: string) => new HttpError(409, 'conflict', message);
|
||||
export const unavailable = (message: string) => new HttpError(503, 'unavailable', message);
|
||||
export const tooLarge = (message: string) => new HttpError(413, 'payload_too_large', message);
|
||||
export const unsupported = (message: string) => new HttpError(415, 'unsupported_media_type', message);
|
||||
|
||||
// Неизвестную ошибку переводим в ответ без внутренних деталей.
|
||||
// Ошибка SQL — наш баг (500). Потеря соединения, таймаут пула, рестарт или отмена в PostgreSQL —
|
||||
// временная недоступность зависимости (503): клиент может повторить запрос.
|
||||
export function toHttpError(err: unknown, requestId: string): HttpError {
|
||||
if (err instanceof HttpError) return err;
|
||||
const { code = '', message = '' } = err as { code?: string; message?: string };
|
||||
const transient = /^(08|53|57)/.test(code) || /^E[A-Z]+$/.test(code) || /connect|terminated|timeout/i.test(message);
|
||||
// request_id в логе связывает ответ клиенту (X-Request-Id) с trace_id этого запроса.
|
||||
log('error', transient ? 'http.dependency_unavailable' : 'http.internal_error', `запрос ${requestId}: ${code || "Error"}`,
|
||||
{ request_id: requestId, 'error.type': code || 'Error' });
|
||||
return transient ? unavailable('Сервис временно недоступен') : new HttpError(500, 'internal_error', 'Внутренняя ошибка');
|
||||
}
|
||||
@@ -0,0 +1,44 @@
|
||||
// Keyset-пагинация по (created_at, id) по возрастанию.
|
||||
// Cursor непрозрачен для клиента: base64url("вид|область|created_at|id").
|
||||
// Область привязывает cursor к конкретному чату (или пользователю для списка чатов): чужой cursor → 400.
|
||||
import { badRequest } from './errors.ts';
|
||||
import { UUID } from './request.ts';
|
||||
|
||||
const TIMESTAMP = /^\d{4}-\d\d-\d\dT\d\d:\d\d:\d\d\.\d{6}Z$/;
|
||||
|
||||
type Keyed = { created_at: string; id: string };
|
||||
|
||||
export function limitOf(url: URL): number {
|
||||
const q = url.searchParams.get('limit');
|
||||
if (q === null) return 50;
|
||||
const n = Number(q);
|
||||
if (!/^\d+$/.test(q) || n < 1 || n > 100) throw badRequest('limit должен быть целым 1–100');
|
||||
return n;
|
||||
}
|
||||
|
||||
// Позиция, после которой продолжать чтение. Без cursor — начало истории.
|
||||
export function afterCursor(url: URL, kind: string, scope: string): [createdAt: string, id: string] {
|
||||
const raw = url.searchParams.get('cursor');
|
||||
if (raw === null) return ['-infinity', '00000000-0000-0000-0000-000000000000'];
|
||||
const [k, s, ts, id, ...rest] = Buffer.from(raw, 'base64url').toString().split('|');
|
||||
if (k !== kind || s !== scope || !isTimestamp(ts) || !UUID.test(id ?? '') || rest.length) {
|
||||
throw badRequest('Некорректный cursor');
|
||||
}
|
||||
return [ts, id];
|
||||
}
|
||||
|
||||
// Форма RFC 3339 и реальная дата: 2026-13-01 или 2026-02-30 иначе дошли бы до PostgreSQL и дали 500.
|
||||
// Проверка круговым преобразованием: JS-дата без микросекунд должна совпасть с исходной строкой.
|
||||
function isTimestamp(ts: string | undefined): ts is string {
|
||||
if (!ts || !TIMESTAMP.test(ts)) return false;
|
||||
const ms = Date.parse(ts.slice(0, 23) + 'Z');
|
||||
return !Number.isNaN(ms) && new Date(ms).toISOString().slice(0, 23) === ts.slice(0, 23);
|
||||
}
|
||||
|
||||
// Запрос выбирает limit + 1 строк: лишняя строка означает, что следующая страница есть.
|
||||
export function page<T extends Keyed>(rows: T[], limit: number, kind: string, scope: string) {
|
||||
const items = rows.slice(0, limit);
|
||||
const last = items[limit - 1];
|
||||
const next = rows.length > limit ? Buffer.from([kind, scope, last.created_at, last.id].join('|')).toString('base64url') : null;
|
||||
return { items, next_cursor: next };
|
||||
}
|
||||
@@ -0,0 +1,60 @@
|
||||
// Разбор и проверка входных данных запроса.
|
||||
import type { IncomingMessage } from 'node:http';
|
||||
import { badRequest, tooLarge, unsupported } from './errors.ts';
|
||||
|
||||
const BODY_LIMIT = 1 << 20; // 1 MiB: с запасом для 4000 символов в худшем JSON-экранировании
|
||||
export const UUID = /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/i;
|
||||
|
||||
// Тело запроса как JSON: только application/json, строгий UTF-8, ограничение размера.
|
||||
export async function readJson(req: IncomingMessage): Promise<unknown> {
|
||||
if (mediaType(req) !== 'application/json') throw unsupported('Ожидается application/json');
|
||||
const chunks: Buffer[] = [];
|
||||
let size = 0;
|
||||
for await (const chunk of req) {
|
||||
size += chunk.length;
|
||||
if (size > BODY_LIMIT) throw tooLarge('Слишком большое тело запроса');
|
||||
chunks.push(chunk);
|
||||
}
|
||||
try {
|
||||
return JSON.parse(new TextDecoder('utf-8', { fatal: true }).decode(Buffer.concat(chunks)));
|
||||
} catch {
|
||||
throw badRequest('Некорректный JSON');
|
||||
}
|
||||
}
|
||||
|
||||
// Тип тела без параметров (charset и т.п.), в нижнем регистре.
|
||||
export function mediaType(req: IncomingMessage): string {
|
||||
return (req.headers['content-type'] ?? '').split(';')[0].trim().toLowerCase();
|
||||
}
|
||||
|
||||
// Для эндпоинтов без тела: любое непустое тело — 400, а не молча игнорируется.
|
||||
export async function requireEmptyBody(req: IncomingMessage): Promise<void> {
|
||||
let size = 0;
|
||||
for await (const chunk of req) {
|
||||
size += chunk.length;
|
||||
if (size > BODY_LIMIT) break;
|
||||
}
|
||||
if (size > 0) throw badRequest('Тело запроса не допускается');
|
||||
}
|
||||
|
||||
// JSON-объект только с разрешёнными ключами: лишние поля по контракту дают 400.
|
||||
export function jsonObject(value: unknown, keys: string[]): Record<string, unknown> {
|
||||
if (typeof value !== 'object' || value === null || Array.isArray(value) || Object.keys(value).some((k) => !keys.includes(k))) {
|
||||
throw badRequest('Ожидается JSON-объект без лишних полей');
|
||||
}
|
||||
return value as Record<string, unknown>;
|
||||
}
|
||||
|
||||
// Обязательная строка: не только пробелы, длина в Unicode code points (эмодзи = 1 символ).
|
||||
export function isText(v: unknown, min: number, max: number): v is string {
|
||||
if (typeof v !== 'string' || v.trim() === '') return false;
|
||||
const n = [...v].length;
|
||||
return n >= min && n <= max;
|
||||
}
|
||||
|
||||
// UUID из пути в каноническом нижнем регистре.
|
||||
export function uuidParam(c: { params: string[] }, name: string): string {
|
||||
const value = c.params[0];
|
||||
if (!UUID.test(value)) throw badRequest(`Некорректный ${name}`);
|
||||
return value.toLowerCase();
|
||||
}
|
||||
@@ -0,0 +1,88 @@
|
||||
// Операторские команды над заданиями (выполняются в контейнере api: docker compose exec api node src/main.ts …).
|
||||
// failed — реестр failed (аналог DLQ): job, вложение, код ошибки, попытки
|
||||
// replay <attachment_id> — failed → queued: новая попытка той же логической job с аудитом;
|
||||
// для done/queued/processing — отказ (повтор не дублирует успешную работу)
|
||||
// reprocess --version=N — поставить job версии N для ready-вложений с более старой версией (трек 5);
|
||||
// вложения в работе не затрагиваются — после разбора очереди команду повторяют
|
||||
// show <attachment_id> — вложение, его jobs, попытки в outbox (время следующей), replay-аудит, варианты
|
||||
import type { Pool } from 'pg';
|
||||
import { UUID } from '../http/request.ts';
|
||||
|
||||
export async function adminCommand(db: Pool, args: string[]): Promise<void> {
|
||||
const [cmd, arg] = args;
|
||||
if (cmd === 'failed') {
|
||||
const r = await db.query(`SELECT j.job_id, j.attachment_id, j.pipeline_version, j.attempts, j.error_code, rfc3339(j.updated_at) AS failed_at
|
||||
FROM jobs j WHERE j.state = 'failed' ORDER BY j.updated_at`);
|
||||
for (const row of r.rows) console.log(JSON.stringify(row));
|
||||
console.log(JSON.stringify({ failed: r.rowCount }));
|
||||
} else if (cmd === 'replay') {
|
||||
if (!UUID.test(arg ?? '')) throw new Error('replay <attachment_id>');
|
||||
console.log(JSON.stringify(await replay(db, arg.toLowerCase())));
|
||||
} else if (cmd === 'reprocess') {
|
||||
const version = Number(args.find((a) => a.startsWith('--version='))?.split('=')[1]);
|
||||
if (!Number.isInteger(version) || version < 1) throw new Error('reprocess --version=N');
|
||||
const r = await db.query(`WITH j AS (
|
||||
INSERT INTO jobs (job_id, attachment_id, pipeline_version)
|
||||
SELECT gen_random_uuid(), a.id, $1 FROM attachments a WHERE a.state = 'ready' AND a.pipeline_version < $1
|
||||
ON CONFLICT (attachment_id, pipeline_version) DO NOTHING RETURNING job_id)
|
||||
INSERT INTO outbox (job_id, attempt) SELECT job_id, 1 FROM j`, [version]);
|
||||
console.log(JSON.stringify({ reprocess_version: version, enqueued: r.rowCount }));
|
||||
} else if (cmd === 'show') {
|
||||
if (!UUID.test(arg ?? '')) throw new Error('show <attachment_id>');
|
||||
const q = async (sql: string) => (await db.query(sql, [arg.toLowerCase()])).rows;
|
||||
console.log(JSON.stringify({
|
||||
attachment: (await q(`SELECT id, state, pipeline_version, error_code, staging_key IS NOT NULL AS has_staging
|
||||
FROM attachments WHERE id = $1`))[0] ?? null,
|
||||
jobs: await q(`SELECT job_id, pipeline_version, state, attempts, error_code, rfc3339(lease_until) AS lease_until
|
||||
FROM jobs WHERE attachment_id = $1 ORDER BY pipeline_version`),
|
||||
outbox: await q(`SELECT j.pipeline_version, o.attempt, rfc3339(o.available_at) AS available_at, rfc3339(o.published_at) AS published_at
|
||||
FROM outbox o JOIN jobs j ON j.job_id = o.job_id WHERE j.attachment_id = $1 ORDER BY o.id`),
|
||||
replays: await q(`SELECT r.previous_error, r.previous_attempts, rfc3339(r.replayed_at) AS replayed_at
|
||||
FROM job_replays r JOIN jobs j ON j.job_id = r.job_id WHERE j.attachment_id = $1 ORDER BY r.replayed_at`),
|
||||
variants: await q(`SELECT pipeline_version, name, width, height, size_bytes, left(sha256, 12) AS sha256
|
||||
FROM attachment_variants WHERE attachment_id = $1 ORDER BY pipeline_version, name`),
|
||||
}));
|
||||
} else {
|
||||
throw new Error('jobs failed | replay <attachment_id> | reprocess --version=N | show <attachment_id>');
|
||||
}
|
||||
}
|
||||
|
||||
async function replay(db: Pool, attachmentId: string) {
|
||||
const client = await db.connect();
|
||||
try {
|
||||
await client.query('BEGIN');
|
||||
const j = (await client.query(`SELECT j.job_id, j.state, j.attempts, j.error_code, a.pipeline_version IS NULL AS initial
|
||||
FROM jobs j JOIN attachments a ON a.id = j.attachment_id
|
||||
WHERE j.attachment_id = $1 ORDER BY j.pipeline_version DESC LIMIT 1 FOR UPDATE OF j`, [attachmentId])).rows[0];
|
||||
if (!j) throw new Error('у вложения нет заданий');
|
||||
if (j.state !== 'failed') {
|
||||
await client.query('ROLLBACK');
|
||||
return { replayed: false, reason: `job в состоянии ${j.state}: повтор не нужен` };
|
||||
}
|
||||
// Staging failed-вложения хранится STAGING_RETENTION_SECONDS; после очистки повторять нечего.
|
||||
if (j.initial) {
|
||||
const s = await client.query(`SELECT 1 FROM attachments WHERE id = $1 AND staging_key IS NOT NULL`, [attachmentId]);
|
||||
if (!s.rowCount) throw new Error('исходник недоступен');
|
||||
}
|
||||
await client.query('INSERT INTO job_replays (job_id, previous_error, previous_attempts) VALUES ($1, $2, $3)', [j.job_id, j.error_code, j.attempts]);
|
||||
// Новая серия попыток той же логической job: прежний эффект защищён ключом (attachment_id, version, name).
|
||||
// created_at — момент повторного приёма: time-to-ready и возраст задания (lag alert) считаются от replay,
|
||||
// а не от исходной загрузки, уже учтённой в SLO как failed.
|
||||
await client.query(`UPDATE jobs SET state = 'queued', attempts = 0, error_code = NULL, created_at = clock_timestamp(),
|
||||
updated_at = clock_timestamp() WHERE job_id = $1`, [j.job_id]);
|
||||
// Trace context последней публикации: повтор оператора виден в том же trace, что и исходная загрузка.
|
||||
await client.query(`INSERT INTO outbox (job_id, attempt, traceparent, tracestate)
|
||||
SELECT $1, 1, l.traceparent, l.tracestate FROM (SELECT 1) one
|
||||
LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = $1 ORDER BY id DESC LIMIT 1) l ON true`, [j.job_id]);
|
||||
if (j.initial) {
|
||||
await client.query(`UPDATE attachments SET state = 'queued', error_code = NULL, updated_at = clock_timestamp() WHERE id = $1 AND state = 'failed'`, [attachmentId]);
|
||||
}
|
||||
await client.query('COMMIT');
|
||||
return { replayed: true, job_id: j.job_id, previous_error: j.error_code, previous_attempts: j.attempts };
|
||||
} catch (err) {
|
||||
await client.query('ROLLBACK').catch(() => {});
|
||||
throw err;
|
||||
} finally {
|
||||
client.release();
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,98 @@
|
||||
// RabbitMQ: формат сообщения job (contracts/jobs.schema.json), публикация с publisher confirm.
|
||||
// Топология (exchange attachments → quorum-очередь attachments.process) и пользователи создаются из
|
||||
// definitions при старте брокера (scripts/init-secrets.sh); у API право только писать в exchange.
|
||||
import amqp, { type ChannelModel, type ConfirmChannel } from 'amqplib';
|
||||
import { serviceTls } from '../security.ts';
|
||||
import { UUID } from '../http/request.ts';
|
||||
import { log } from '../otel.ts';
|
||||
|
||||
export const EXCHANGE = 'attachments';
|
||||
export const ROUTING_KEY = 'process';
|
||||
export const QUEUE = 'attachments.process';
|
||||
|
||||
// В сообщении только идентификаторы: ни байтов, ни ключей S3, ни credentials. Worker берёт данные из БД.
|
||||
export type Job = {
|
||||
schema_version: 1;
|
||||
job_id: string;
|
||||
type: 'attachment.process.v1';
|
||||
attachment_id: string;
|
||||
pipeline_version: number;
|
||||
attempt: number;
|
||||
created_at: string;
|
||||
traceparent?: string; // W3C trace context PRODUCER span (lab6), см. src/jobs/relay.ts
|
||||
tracestate?: string;
|
||||
};
|
||||
|
||||
const TRACEPARENT = /^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$/;
|
||||
|
||||
// Проверка входящего сообщения по jobs.schema.json; null — сообщение не по контракту.
|
||||
export function parseJob(content: Buffer): Job | null {
|
||||
let j: Record<string, unknown>;
|
||||
try {
|
||||
j = JSON.parse(content.toString('utf8'));
|
||||
} catch {
|
||||
return null;
|
||||
}
|
||||
const keys = ['schema_version', 'job_id', 'type', 'attachment_id', 'pipeline_version', 'attempt', 'created_at', 'traceparent', 'tracestate'];
|
||||
const ok = typeof j === 'object' && j !== null && Object.keys(j).every((k) => keys.includes(k))
|
||||
&& j.schema_version === 1 && j.type === 'attachment.process.v1'
|
||||
&& typeof j.job_id === 'string' && UUID.test(j.job_id) && typeof j.attachment_id === 'string' && UUID.test(j.attachment_id)
|
||||
&& Number.isInteger(j.pipeline_version) && (j.pipeline_version as number) >= 1
|
||||
&& Number.isInteger(j.attempt) && (j.attempt as number) >= 1
|
||||
&& typeof j.created_at === 'string' && !Number.isNaN(Date.parse(j.created_at))
|
||||
&& (j.traceparent === undefined || (typeof j.traceparent === 'string' && TRACEPARENT.test(j.traceparent)))
|
||||
&& (j.tracestate === undefined || (typeof j.tracestate === 'string' && j.tracestate.length <= 512));
|
||||
return ok ? (j as unknown as Job) : null;
|
||||
}
|
||||
|
||||
export function brokerConnect(timeout: number) {
|
||||
return amqp.connect('amqps://rabbitmq:5671/messenger?heartbeat=10', {
|
||||
...serviceTls(), timeout, credentials: amqp.credentials.external(),
|
||||
});
|
||||
}
|
||||
|
||||
export type Publisher = { publish(jobs: Job[]): Promise<void> };
|
||||
|
||||
// Ленивое соединение: брокер может быть недоступен — тогда publish бросает ошибку, а задания остаются в outbox.
|
||||
export function createPublisher(): Publisher {
|
||||
let channel: Promise<ConfirmChannel> | null = null;
|
||||
let conn: ChannelModel | null = null;
|
||||
const open = async () => {
|
||||
conn = await brokerConnect(2000);
|
||||
const reset = () => { channel = null; };
|
||||
conn.on('error', reset);
|
||||
conn.on('close', reset);
|
||||
const ch = await conn.createConfirmChannel();
|
||||
ch.on('error', reset);
|
||||
ch.on('close', reset);
|
||||
// mandatory + return: сообщение без маршрута (сломана топология) не исчезает молча.
|
||||
ch.on('return', (m) => log('error', 'broker.unroutable', `брокер вернул неотмаршрутизированное сообщение ${m.properties.messageId}`));
|
||||
return ch;
|
||||
};
|
||||
return {
|
||||
async publish(jobs) {
|
||||
channel ??= open().catch((err) => { channel = null; throw err; });
|
||||
const ch = await channel;
|
||||
for (const job of jobs) {
|
||||
ch.publish(EXCHANGE, ROUTING_KEY, Buffer.from(JSON.stringify(job)), {
|
||||
persistent: true, mandatory: true, contentType: 'application/json', messageId: `${job.job_id}:${job.attempt}`,
|
||||
});
|
||||
}
|
||||
// Publisher confirm: брокер записал сообщения в quorum-очередь (на диск). Только после этого outbox отмечается.
|
||||
// Зависший брокер не держит транзакцию relay вечно: через 5 с соединение закрывается, строки остаются в outbox.
|
||||
let timer: NodeJS.Timeout | undefined;
|
||||
const timeout = new Promise<never>((_, reject) => {
|
||||
timer = setTimeout(() => {
|
||||
channel = null;
|
||||
conn?.close().catch(() => {});
|
||||
reject(new Error('нет publisher confirm за 5 с'));
|
||||
}, 5000);
|
||||
});
|
||||
try {
|
||||
await Promise.race([ch.waitForConfirms(), timeout]);
|
||||
} finally {
|
||||
clearTimeout(timer);
|
||||
}
|
||||
},
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
// Метрики заданий (contracts/observability.md), общие для API (relay, sweeper) и worker.
|
||||
// Атрибуты только низкой кардинальности: тип job, исход, код ошибки; идентификаторы — в логах и spans.
|
||||
import { meter } from '../otel.ts';
|
||||
|
||||
export const JOB_TYPE = 'attachment.process.v1';
|
||||
|
||||
// Длительность одной обработки сообщения worker-ом; _count по outcome — счётчик обработанных/ошибочных jobs.
|
||||
// outcome: done | retry | failed | noop | discarded | error (сбой вне попытки, сообщение вернётся в очередь).
|
||||
export const jobDuration = meter.createHistogram('messenger.job.duration', {
|
||||
unit: 's',
|
||||
description: 'Processing time of one job delivery by the worker',
|
||||
advice: { explicitBucketBoundaries: [0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60] },
|
||||
});
|
||||
|
||||
// От durable acceptance (COMMIT задания при загрузке) до публикации ready (outcome=ready) или до терминальной
|
||||
// ошибки (outcome=failed, error.type = error_code). Время считает PostgreSQL одними часами для обеих точек.
|
||||
// Граница 30 с совпадает с порогом SLO time-to-ready (infra/prometheus/rules/slo.yml).
|
||||
export const timeToReady = meter.createHistogram('messenger.attachment.time_to_ready', {
|
||||
unit: 's',
|
||||
description: 'Time from durable upload acceptance to published ready (or terminal failure)',
|
||||
advice: { explicitBucketBoundaries: [0.5, 1, 2, 5, 10, 15, 30, 60, 120, 300, 600] },
|
||||
});
|
||||
@@ -0,0 +1,184 @@
|
||||
// Relay transactional outbox → RabbitMQ и восстановление зависшей работы. Работает в каждой реплике API.
|
||||
// publishDue: строки outbox, у которых наступил available_at, блокируются FOR UPDATE SKIP LOCKED (две реплики
|
||||
// не публикуют одну строку одновременно), публикуются с publisher confirm и только потом отмечаются.
|
||||
// Падение после confirm, но до отметки → повторная публикация → дубль, который worker распознаёт по job.
|
||||
// sweep: истёкшая аренда (worker умер/завис) → новая попытка или failed retry_exhausted; queued без живого
|
||||
// сообщения (потеряно брокером, отброшено delivery-limit) → публикуется снова. Источник истины — БД.
|
||||
// Lab6: каждое сообщение публикуется в PRODUCER span, дочернем к контексту строки outbox (запрос загрузки,
|
||||
// попытка worker-а или, у sweeper, предыдущая публикация той же job), и несёт traceparent/tracestate этого span
|
||||
// в теле (contracts/jobs.schema.json) — worker продолжает тот же trace. Здесь же метрики очереди по БД.
|
||||
import { ROOT_CONTEXT, SpanKind, SpanStatusCode, context, trace, type Span } from '@opentelemetry/api';
|
||||
import type { Pool, PoolClient, QueryConfig } from 'pg';
|
||||
import type { JobsConfig } from '../config.ts';
|
||||
import { failpoint } from '../failpoints.ts';
|
||||
import { contextFrom, log, meter, traceCarrier, tracer } from '../otel.ts';
|
||||
import { EXCHANGE, QUEUE, ROUTING_KEY, type Job, type Publisher } from './broker.ts';
|
||||
import { JOB_TYPE, timeToReady } from './metrics.ts';
|
||||
|
||||
const BATCH = 100;
|
||||
|
||||
export function startRelay(db: Pool, publisher: Publisher, cfg: JobsConfig) {
|
||||
let busy = false;
|
||||
let again = false;
|
||||
let failing = false; // лог ошибки брокера один раз на серию, а не каждые 500 мс
|
||||
|
||||
async function publishBatch(client: PoolClient): Promise<number> {
|
||||
const r = await client.query(`SELECT o.id, o.attempt, o.traceparent, o.tracestate, rfc3339(o.created_at) AS created_at,
|
||||
j.job_id, j.attachment_id, j.pipeline_version, a.filename
|
||||
FROM outbox o JOIN jobs j ON j.job_id = o.job_id JOIN attachments a ON a.id = j.attachment_id
|
||||
WHERE o.published_at IS NULL AND o.available_at <= clock_timestamp()
|
||||
ORDER BY o.id LIMIT ${BATCH} FOR UPDATE OF o SKIP LOCKED`);
|
||||
if (!r.rowCount) return 0;
|
||||
const spans: Span[] = [];
|
||||
const jobs: Job[] = r.rows.map((row) => {
|
||||
const parent = contextFrom(row);
|
||||
const span = tracer.startSpan(`publish ${EXCHANGE}`, {
|
||||
kind: SpanKind.PRODUCER,
|
||||
attributes: {
|
||||
'messaging.system': 'rabbitmq', 'messaging.operation.type': 'send', 'messaging.operation.name': 'publish',
|
||||
'messaging.destination.name': EXCHANGE, 'messaging.rabbitmq.destination.routing_key': ROUTING_KEY,
|
||||
'messaging.message.id': `${row.job_id}:${row.attempt}`, 'messenger.job.id': row.job_id,
|
||||
'messenger.job.attempt': row.attempt, 'messenger.attachment.id': row.attachment_id,
|
||||
},
|
||||
}, parent);
|
||||
spans.push(span);
|
||||
const { traceparent, tracestate } = traceCarrier(trace.setSpan(parent, span));
|
||||
return {
|
||||
schema_version: 1, job_id: row.job_id, type: JOB_TYPE, attachment_id: row.attachment_id,
|
||||
pipeline_version: row.pipeline_version, attempt: row.attempt, created_at: row.created_at,
|
||||
...(traceparent ? { traceparent } : {}), ...(tracestate ? { tracestate } : {}),
|
||||
};
|
||||
});
|
||||
try {
|
||||
await publisher.publish(jobs);
|
||||
} catch (err) {
|
||||
for (const span of spans) {
|
||||
span.recordException({ name: (err as Error).name, message: 'Ошибка публикации' });
|
||||
span.setStatus({ code: SpanStatusCode.ERROR, message: 'не опубликовано, строка остаётся в outbox' });
|
||||
span.end();
|
||||
}
|
||||
throw err;
|
||||
}
|
||||
spans.forEach((span, i) => {
|
||||
context.with(trace.setSpan(context.active(), span), () => log('info', 'job.published',
|
||||
`job опубликована в ${EXCHANGE}, попытка ${jobs[i].attempt}`,
|
||||
{ 'messenger.job.id': jobs[i].job_id, 'messenger.job.attempt': jobs[i].attempt, 'messenger.attachment.id': jobs[i].attachment_id }));
|
||||
span.end();
|
||||
});
|
||||
for (const row of r.rows) await failpoint(db, 'relay_after_publish', row.attachment_id, row.filename);
|
||||
await client.query('UPDATE outbox SET published_at = clock_timestamp() WHERE id = ANY($1::bigint[])', [r.rows.map((row) => row.id)]);
|
||||
return r.rows.length;
|
||||
}
|
||||
|
||||
async function publishDue(): Promise<void> {
|
||||
if (busy) {
|
||||
again = true;
|
||||
return;
|
||||
}
|
||||
busy = true;
|
||||
try {
|
||||
do {
|
||||
again = false;
|
||||
const client = await db.connect();
|
||||
try {
|
||||
await client.query('BEGIN');
|
||||
const n = await publishBatch(client);
|
||||
await client.query('COMMIT');
|
||||
if (failing) log('info', 'relay.publish_restored', 'relay: публикация восстановлена');
|
||||
failing = false;
|
||||
if (n === BATCH) again = true;
|
||||
} catch (err) {
|
||||
await client.query('ROLLBACK').catch(() => {});
|
||||
if (!failing) log('warn', 'relay.publish_deferred', `relay: публикация отложена, задания ждут в outbox: ${(err as Error).message}`);
|
||||
failing = true;
|
||||
again = false;
|
||||
} finally {
|
||||
client.release();
|
||||
}
|
||||
} while (again);
|
||||
} catch (err) {
|
||||
if (!failing) log('error', 'relay.db_unavailable', `relay: нет соединения с БД: ${(err as Error).message}`);
|
||||
failing = true;
|
||||
} finally {
|
||||
busy = false;
|
||||
}
|
||||
}
|
||||
|
||||
async function sweep(): Promise<void> {
|
||||
let client: PoolClient | undefined;
|
||||
let exhausted: { age: number }[] = [];
|
||||
try {
|
||||
client = await db.connect();
|
||||
await client.query('BEGIN');
|
||||
// Одна реплика за раз: остальные пропускают такт.
|
||||
if ((await client.query('SELECT pg_try_advisory_xact_lock(5005) AS ok')).rows[0].ok) {
|
||||
const r = await client.query(`WITH e AS (
|
||||
UPDATE jobs SET state = CASE WHEN attempts >= $1 THEN 'failed' ELSE 'queued' END,
|
||||
error_code = CASE WHEN attempts >= $1 THEN 'retry_exhausted' END,
|
||||
lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp()
|
||||
WHERE state = 'processing' AND lease_until < clock_timestamp()
|
||||
RETURNING job_id, attachment_id, state, attempts, error_code, extract(epoch FROM clock_timestamp() - created_at)::float8 AS age),
|
||||
s AS (UPDATE attachments a SET state = e.state, error_code = e.error_code, updated_at = clock_timestamp() FROM e
|
||||
WHERE a.id = e.attachment_id AND a.pipeline_version IS NULL AND a.state IN ('queued', 'processing') RETURNING a.id),
|
||||
o AS (INSERT INTO outbox (job_id, attempt, traceparent, tracestate)
|
||||
SELECT e.job_id, e.attempts + 1, l.traceparent, l.tracestate FROM e
|
||||
LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = e.job_id ORDER BY id DESC LIMIT 1) l ON true
|
||||
WHERE e.state = 'queued')
|
||||
SELECT e.state, e.age, s.id IS NOT NULL AS initial FROM e LEFT JOIN s ON s.id = e.attachment_id`, [cfg.maxAttempts]);
|
||||
// Повторная публикация продолжает trace предыдущей: контекст копируется из последней строки outbox job.
|
||||
const stale = await client.query(`INSERT INTO outbox (job_id, attempt, traceparent, tracestate)
|
||||
SELECT j.job_id, j.attempts + 1, l.traceparent, l.tracestate FROM jobs j
|
||||
LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = j.job_id ORDER BY id DESC LIMIT 1) l ON true
|
||||
WHERE j.state = 'queued' AND NOT EXISTS (SELECT 1 FROM outbox o WHERE o.job_id = j.job_id
|
||||
AND (o.published_at IS NULL OR o.published_at > clock_timestamp() - make_interval(secs => $1)))`, [cfg.republishSeconds]);
|
||||
const requeued = r.rows.filter((row) => row.state === 'queued').length;
|
||||
const failed = r.rows.filter((row) => row.state === 'failed');
|
||||
exhausted = failed.filter((row) => row.initial);
|
||||
if (requeued || failed.length || stale.rowCount) {
|
||||
log('warn', 'sweeper.recovered', `sweeper: аренда истекла — повтор ${requeued}, failed ${failed.length}; переопубликовано queued ${stale.rowCount}`,
|
||||
{ requeued, failed: failed.length, republished: stale.rowCount ?? 0 });
|
||||
}
|
||||
}
|
||||
await client.query('COMMIT');
|
||||
// Исчерпание попыток после смерти worker-ов — терминальная ошибка для SLO time-to-ready (после COMMIT).
|
||||
for (const row of exhausted) timeToReady.record(row.age, { 'job.type': JOB_TYPE, outcome: 'failed', 'error.type': 'retry_exhausted' });
|
||||
} catch (err) {
|
||||
await client?.query('ROLLBACK').catch(() => {});
|
||||
log('error', 'sweeper.error', `sweeper: ${(err as Error).message}`);
|
||||
} finally {
|
||||
client?.release();
|
||||
}
|
||||
if (!failing) void publishDue();
|
||||
}
|
||||
|
||||
// Очередь по источнику истины (БД): видна и при остановленном worker (растёт возраст), и при недоступном брокере
|
||||
// (копится outbox). Каждая реплика API сообщает одно и то же — в PromQL берётся max по репликам.
|
||||
const attrs = { queue: QUEUE };
|
||||
const backlog = meter.createObservableGauge('messenger.jobs.backlog', { unit: '{job}', description: 'Unfinished jobs by state' });
|
||||
const oldest = meter.createObservableGauge('messenger.jobs.oldest_age', { unit: 's', description: 'Age of the oldest unfinished job since durable acceptance' });
|
||||
const pending = meter.createObservableGauge('messenger.outbox.pending', { unit: '{message}', description: 'Outbox rows not yet confirmed by the broker' });
|
||||
meter.addBatchObservableCallback(async (result) => {
|
||||
try {
|
||||
// query_timeout — на клиенте: statement_timeout сервера не сработает, если PostgreSQL заморожен; зависший сбор
|
||||
// задержал бы экспорт всех метрик API и занял соединение пула. При ошибке пул закрывает это соединение.
|
||||
const q = (await db.query({ query_timeout: 2000, text: `SELECT count(*) FILTER (WHERE state = 'queued')::int AS queued,
|
||||
count(*) FILTER (WHERE state = 'processing')::int AS processing,
|
||||
COALESCE(extract(epoch FROM clock_timestamp() - min(created_at)), 0)::float8 AS oldest,
|
||||
(SELECT count(*)::int FROM outbox WHERE published_at IS NULL) AS pending
|
||||
FROM jobs WHERE state IN ('queued', 'processing')` } as QueryConfig)).rows[0]; // query_timeout нет в @types/pg QueryConfig
|
||||
result.observe(backlog, q.queued, { ...attrs, state: 'queued' });
|
||||
result.observe(backlog, q.processing, { ...attrs, state: 'processing' });
|
||||
result.observe(oldest, q.oldest, attrs);
|
||||
result.observe(pending, q.pending, attrs);
|
||||
} catch {
|
||||
// БД недоступна: точек нет, на графике разрыв; причину покажут ошибки API и readiness.
|
||||
}
|
||||
}, [backlog, oldest, pending]);
|
||||
|
||||
const timers = [setInterval(publishDue, 500), setInterval(sweep, 5000)];
|
||||
return {
|
||||
// Вне контекста запроса: пакет может содержать задания разных загрузок, его SQL не относится к этому trace.
|
||||
kick: () => context.with(ROOT_CONTEXT, () => void publishDue()),
|
||||
stop: () => timers.forEach(clearInterval),
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,84 @@
|
||||
// Варианты изображения (libvips через sharp). Параметры зависят от версии pipeline; результат версии N
|
||||
// всегда один и тот же набор: thumbnail, crop, optimized.
|
||||
// thumbnail — JPEG, вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом,
|
||||
// размеры округляются вниз (не меньше 1 px): 320×200 → 256×160;
|
||||
// crop — JPEG, центрированный квадрат 128×128 (маленький исходник увеличивается);
|
||||
// optimized — WebP, вписан в 1280×1280 без увеличения; метаданные (EXIF/XMP/ICC) не копируются — sharp
|
||||
// по умолчанию их отбрасывает, цвета приводятся к sRGB.
|
||||
// Ограничения: пиксели проверяются по заголовку до декодирования (limitInputPixels), время — timeout libvips,
|
||||
// память — один поток libvips на процесс, без кэша операций, и лимит памяти контейнера worker.
|
||||
import { createHash } from 'node:crypto';
|
||||
import sharp, { type Sharp } from 'sharp';
|
||||
|
||||
sharp.cache(false);
|
||||
sharp.concurrency(1);
|
||||
|
||||
export class PermanentError extends Error {
|
||||
code: string;
|
||||
constructor(code: string, message: string) {
|
||||
super(message);
|
||||
this.code = code;
|
||||
}
|
||||
}
|
||||
|
||||
// Версия 2 (трек 5): другое качество и лёгкая резкость — заметно иной результат той же логической работы.
|
||||
const PIPELINES: Record<number, { jpeg: number; webp: number; sharpen: boolean }> = {
|
||||
1: { jpeg: 82, webp: 80, sharpen: false },
|
||||
2: { jpeg: 90, webp: 85, sharpen: true },
|
||||
};
|
||||
export const SUPPORTED_VERSIONS = Object.keys(PIPELINES).map(Number);
|
||||
|
||||
export type Rendered = {
|
||||
name: 'thumbnail' | 'crop' | 'optimized';
|
||||
content_type: 'image/jpeg' | 'image/webp';
|
||||
ext: string;
|
||||
data: Buffer;
|
||||
width: number;
|
||||
height: number;
|
||||
size_bytes: number;
|
||||
sha256: string;
|
||||
};
|
||||
|
||||
export async function render(source: Buffer, version: number, maxPixels: number, timeoutSeconds: number): Promise<Rendered[]> {
|
||||
const p = PIPELINES[version];
|
||||
if (!p) throw new PermanentError('unsupported_pipeline', `pipeline v${version} не поддерживается`);
|
||||
const input = () => sharp(source, { limitInputPixels: maxPixels, sequentialRead: true }).timeout({ seconds: timeoutSeconds });
|
||||
try {
|
||||
const meta = await input().metadata();
|
||||
if (!meta.width || !meta.height || !['png', 'jpeg'].includes(meta.format ?? '')) throw new PermanentError('invalid_image', 'не PNG/JPEG');
|
||||
const turned = (meta.orientation ?? 1) >= 5; // EXIF 5–8: после поворота ширина и высота меняются местами
|
||||
const width = turned ? meta.height : meta.width;
|
||||
const height = turned ? meta.width : meta.height;
|
||||
const inside = (box: number) => {
|
||||
const k = Math.min(box / width, box / height, 1);
|
||||
return [Math.max(1, Math.floor(width * k)), Math.max(1, Math.floor(height * k))];
|
||||
};
|
||||
const [tw, th] = inside(256);
|
||||
const [ow, oh] = inside(1280);
|
||||
const oriented = () => {
|
||||
const img = input().autoOrient();
|
||||
return p.sharpen ? img.sharpen() : img;
|
||||
};
|
||||
return [
|
||||
await output('thumbnail', oriented().flatten({ background: '#ffffff' }).resize(tw, th, { fit: 'fill' }).jpeg({ quality: p.jpeg, mozjpeg: true })),
|
||||
await output('crop', oriented().flatten({ background: '#ffffff' }).resize(128, 128, { fit: 'cover', position: 'centre' }).jpeg({ quality: p.jpeg, mozjpeg: true })),
|
||||
await output('optimized', oriented().resize(ow, oh, { fit: 'fill' }).webp({ quality: p.webp, effort: 4 })),
|
||||
];
|
||||
} catch (err) {
|
||||
if (err instanceof PermanentError) throw err;
|
||||
const message = (err as Error).message ?? '';
|
||||
// Ошибки libvips — свойство входного файла: повтор не поможет.
|
||||
throw /timeout/i.test(message)
|
||||
? new PermanentError('processing_timeout', 'обработка дольше лимита')
|
||||
: new PermanentError('invalid_image', message.split('\n')[0].slice(0, 200));
|
||||
}
|
||||
}
|
||||
|
||||
async function output(name: Rendered['name'], img: Sharp): Promise<Rendered> {
|
||||
const { data, info } = await img.toBuffer({ resolveWithObject: true });
|
||||
const webp = info.format === 'webp';
|
||||
return {
|
||||
name, content_type: webp ? 'image/webp' : 'image/jpeg', ext: webp ? 'webp' : 'jpg', data,
|
||||
width: info.width, height: info.height, size_bytes: data.length, sha256: createHash('sha256').update(data).digest('hex'),
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,340 @@
|
||||
// Worker: отдельный процесс, читает quorum-очередь attachments.process (at least once, ручной ack).
|
||||
// Порядок одной попытки — каждое окно отказа безопасно:
|
||||
// 1. захват: jobs queued → processing, attempts+1, аренда с fencing-токеном (одна транзакция);
|
||||
// 2. исходник из S3 (ключ — из БД, не из сообщения), сверка размера и SHA-256 с метаданными;
|
||||
// 3. рендер вариантов; запись объектов под ключами с токеном попытки; копия оригинала staging → originals;
|
||||
// 4. фиксация (одна транзакция): job done только у владельца аренды, вложение ready только если более новая
|
||||
// версия ещё не опубликована, строки вариантов по ключу эффекта (attachment_id, pipeline_version, name);
|
||||
// 5. удаление staging, затем ack.
|
||||
// Падение до 4 — аренда истечёт, sweeper (relay) вернёт работу в очередь; чужие объекты попытки уберёт
|
||||
// reconciler. Падение после 4 — redelivery видит job done и подтверждает без повторной работы.
|
||||
// Lab6: сообщение обрабатывается в CONSUMER span, дочернем к PRODUCER span из traceparent сообщения (тот же trace,
|
||||
// что и загрузка); внутри — spans захвата, S3, рендера и фиксации. Повтор сохраняет контекст попытки в outbox,
|
||||
// поэтому следующие публикация и обработка продолжают этот trace.
|
||||
import { createHash, randomUUID } from 'node:crypto';
|
||||
import { setTimeout as sleep } from 'node:timers/promises';
|
||||
import { SpanKind, SpanStatusCode, context, trace } from '@opentelemetry/api';
|
||||
import type { ConsumeMessage } from 'amqplib';
|
||||
import type { Pool } from 'pg';
|
||||
import { envInt, jobsConfig, s3Config, secret } from '../config.ts';
|
||||
import { createPool } from '../db.ts';
|
||||
import { failpoint } from '../failpoints.ts';
|
||||
import { contextFrom, flushTelemetry, inSpan, log, meter, traceCarrier, tracer } from '../otel.ts';
|
||||
import { createStorage, type Storage } from '../storage/s3.ts';
|
||||
import { QUEUE, brokerConnect, parseJob, type Job } from './broker.ts';
|
||||
import { JOB_TYPE, jobDuration, timeToReady } from './metrics.ts';
|
||||
import { PermanentError, render } from './render.ts';
|
||||
|
||||
type Claim = {
|
||||
job: Job;
|
||||
token: string;
|
||||
attempts: number;
|
||||
version: number;
|
||||
initial: boolean; // первая обработка (вложение ещё не ready): публикуем оригинал, синхронизируем статус
|
||||
a: { id: string; filename: string; staging_key: string; object_key: string; size_bytes: number; sha256: string };
|
||||
};
|
||||
|
||||
// Исход обработки одного сообщения: атрибут span и метрики messenger.job.duration.
|
||||
type Outcome = 'done' | 'retry' | 'failed' | 'noop' | 'discarded' | 'invalid' | 'error';
|
||||
|
||||
// Технические идентификаторы для логов/spans: нужны, чтобы найти конкретную загрузку (данные синтетические).
|
||||
const ids = (c: Claim) => ({ 'messenger.job.id': c.job.job_id, 'messenger.job.attempt': c.attempts, 'messenger.attachment.id': c.a.id });
|
||||
|
||||
export async function runWorker(): Promise<void> {
|
||||
const cfg = jobsConfig();
|
||||
const concurrency = envInt('WORKER_CONCURRENCY', 2);
|
||||
const maxPixels = envInt('MAX_IMAGE_PIXELS', 40000000);
|
||||
const db = createPool(secret('DATABASE_URL'), concurrency + 2);
|
||||
const s3 = createStorage(s3Config());
|
||||
const conn = await connect();
|
||||
let stopping = false;
|
||||
// Потеря соединения или канала (в том числе consumer_timeout брокера) — выход; Docker перезапустит процесс,
|
||||
// неподтверждённые сообщения брокер отдаст снова.
|
||||
const lost = (what: string) => () => {
|
||||
if (stopping) return;
|
||||
log('error', 'worker.broker_lost', `${what} с брокером закрыт(о)`);
|
||||
void flushTelemetry().finally(() => process.exit(1));
|
||||
};
|
||||
conn.on('close', lost('соединение'));
|
||||
conn.on('error', (err) => log('error', 'worker.broker_error', `брокер: ${err.name}`));
|
||||
const ch = await conn.createChannel();
|
||||
ch.on('close', lost('канал'));
|
||||
ch.on('error', (err) => log('error', 'worker.channel_error', `канал: ${err.name}`));
|
||||
await ch.prefetch(concurrency); // не больше concurrency неподтверждённых сообщений на worker
|
||||
const leaseSeconds = cfg.timeoutSeconds + 15;
|
||||
let inflight = 0;
|
||||
// Насыщение worker-а: занятые слоты и ёмкость (= prefetch) каждой реплики.
|
||||
meter.createObservableGauge('messenger.worker.busy', { unit: '{job}', description: 'Jobs being processed now' })
|
||||
.addCallback((r) => r.observe(inflight));
|
||||
meter.createObservableGauge('messenger.worker.capacity', { unit: '{job}', description: 'Max concurrent jobs (prefetch)' })
|
||||
.addCallback((r) => r.observe(concurrency));
|
||||
|
||||
const opts = { cfg, maxPixels, leaseSeconds };
|
||||
const { consumerTag } = await ch.consume(QUEUE, (msg) => {
|
||||
if (!msg) return; // очередь удалена или consumer отменён брокером
|
||||
inflight++;
|
||||
consume(db, s3, msg, opts)
|
||||
.then(() => ch.ack(msg), async () => {
|
||||
// Сюда попадают только сбои БД/брокера вне попытки (например, БД недоступна при захвате): вернуть позже.
|
||||
await sleep(2000);
|
||||
ch.nack(msg, false, true);
|
||||
})
|
||||
.finally(() => { inflight--; });
|
||||
}, { noAck: false });
|
||||
log('info', 'worker.started', `worker: очередь ${QUEUE}, prefetch ${concurrency}, попыток ${cfg.maxAttempts}, таймаут ${cfg.timeoutSeconds} с`);
|
||||
|
||||
const stop = async () => {
|
||||
log('info', 'worker.stopping', 'SIGTERM: новые сообщения не принимаются, дожидаюсь текущих');
|
||||
await ch.cancel(consumerTag).catch(() => {});
|
||||
for (let i = 0; inflight && i < 100; i++) await sleep(100);
|
||||
stopping = true;
|
||||
await conn.close().catch(() => {});
|
||||
await flushTelemetry();
|
||||
process.exit(0);
|
||||
};
|
||||
process.on('SIGTERM', stop);
|
||||
process.on('SIGINT', stop);
|
||||
}
|
||||
|
||||
// Брокер недоступен при старте (рестарт брокера, worker поднят раньше) — ждать с backoff, а не падать в цикле.
|
||||
async function connect() {
|
||||
for (let delay = 1000; ; delay = Math.min(delay * 2, 15000)) {
|
||||
try {
|
||||
return await brokerConnect(5000);
|
||||
} catch (err) {
|
||||
log('warn', 'worker.broker_unavailable', `брокер недоступен (${(err as Error).name}), повтор через ${delay} мс`);
|
||||
await sleep(delay);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
type Opts = { cfg: ReturnType<typeof jobsConfig>; maxPixels: number; leaseSeconds: number };
|
||||
|
||||
// Одно сообщение — один CONSUMER span. Исключение (сбой вне попытки) пробрасывается: сообщение вернётся в очередь.
|
||||
async function consume(db: Pool, s3: Storage, msg: ConsumeMessage, o: Opts): Promise<void> {
|
||||
const job = parseJob(msg.content);
|
||||
const parent = contextFrom(job ?? {});
|
||||
const span = tracer.startSpan(`process ${QUEUE}`, {
|
||||
kind: SpanKind.CONSUMER,
|
||||
attributes: {
|
||||
'messaging.system': 'rabbitmq', 'messaging.operation.type': 'process', 'messaging.destination.name': QUEUE,
|
||||
'messaging.message.id': msg.properties.messageId ?? '', 'messenger.redelivered': msg.fields.redelivered,
|
||||
...(job ? { 'messenger.job.id': job.job_id, 'messenger.job.attempt': job.attempt, 'messenger.attachment.id': job.attachment_id } : {}),
|
||||
},
|
||||
}, parent);
|
||||
const ctx = trace.setSpan(parent, span);
|
||||
const started = performance.now();
|
||||
let outcome: Outcome = 'error';
|
||||
try {
|
||||
outcome = await context.with(ctx, () => handle(db, s3, job, o));
|
||||
} catch (err) {
|
||||
span.recordException({ name: (err as Error).name, message: 'Ошибка обработки' });
|
||||
context.with(ctx, () => log('error', 'job.requeued', `job не обработан, вернётся в очередь: ${(err as Error).name}`,
|
||||
{ 'messenger.job.id': job?.job_id ?? '' }));
|
||||
throw err;
|
||||
} finally {
|
||||
if (!['done', 'noop', 'discarded'].includes(outcome)) span.setStatus({ code: SpanStatusCode.ERROR });
|
||||
span.setAttribute('messenger.job.outcome', outcome);
|
||||
span.end();
|
||||
jobDuration.record((performance.now() - started) / 1000, { 'job.type': JOB_TYPE, outcome });
|
||||
}
|
||||
}
|
||||
|
||||
// Ошибка бизнес-уровня здесь не бросается: она переводит job в retry/failed, сообщение подтверждается.
|
||||
async function handle(db: Pool, s3: Storage, job: Job | null, o: Opts): Promise<Outcome> {
|
||||
if (!job) {
|
||||
log('error', 'job.invalid_message', 'сообщение не по jobs.schema.json отброшено');
|
||||
return 'invalid';
|
||||
}
|
||||
const claim = await inSpan('claim job', {}, () => claimJob(db, job, o.leaseSeconds));
|
||||
if (!claim) return 'noop';
|
||||
const written: string[] = [];
|
||||
let reason = 'storage_unavailable'; // безопасная причина временной ошибки (в jobs.error_code, без текста исключения)
|
||||
try {
|
||||
await failpoint(db, 'worker_after_claim', claim.a.id, claim.a.filename); // до любого side effect
|
||||
const source = await readSource(s3, claim);
|
||||
const variants = await inSpan('render variants', { 'messenger.pipeline.version': claim.version, 'messenger.source.bytes': claim.a.size_bytes },
|
||||
() => render(source, claim.version, o.maxPixels, o.cfg.timeoutSeconds));
|
||||
for (const v of variants) {
|
||||
// Токен попытки в ключе: проигравшая аренду попытка не перезапишет объекты победителя.
|
||||
const key = `variants/${claim.a.id}/v${claim.version}/${v.name}-${claim.token.slice(0, 8)}.${v.ext}`;
|
||||
await s3.putBuffer(key, v.data, v.content_type);
|
||||
written.push(key);
|
||||
}
|
||||
if (claim.initial) await s3.copy(claim.a.staging_key, claim.a.object_key); // тот же ключ при повторе
|
||||
await failpoint(db, 'worker_after_side_effect', claim.a.id, claim.a.filename);
|
||||
reason = 'database_unavailable';
|
||||
const age = await inSpan('commit result', {}, () => commit(db, claim, variants.map((v, i) => ({ ...v, key: written[i] }))));
|
||||
if (age === null) {
|
||||
await removeAll(s3, written);
|
||||
return 'discarded';
|
||||
}
|
||||
await failpoint(db, 'worker_after_commit', claim.a.id, claim.a.filename); // результат зафиксирован, ack ещё нет
|
||||
// Staging больше не нужен; если удаление не удалось, остаток уберёт reconciler.
|
||||
if (claim.initial) {
|
||||
await s3.remove(claim.a.staging_key).catch((err) => log('warn', 'job.staging_not_removed', `staging не удалён: ${err.name}`, ids(claim)));
|
||||
timeToReady.record(age, { 'job.type': JOB_TYPE, outcome: 'ready' });
|
||||
}
|
||||
log('info', 'job.ready', `job v${claim.version} попытка ${claim.attempts}: ready через ${age.toFixed(2)} с после приёма`,
|
||||
{ ...ids(claim), 'messenger.time_to_ready_s': Math.round(age * 1000) / 1000 });
|
||||
return 'done';
|
||||
} catch (err) {
|
||||
await removeAll(s3, written);
|
||||
return failOrRetry(db, claim, err, o.cfg, reason);
|
||||
}
|
||||
}
|
||||
|
||||
async function claimJob(db: Pool, job: Job, leaseSeconds: number): Promise<Claim | null> {
|
||||
const client = await db.connect();
|
||||
try {
|
||||
await client.query('BEGIN');
|
||||
const token = randomUUID();
|
||||
// Захват только ожидаемой попытки: сообщение старой попытки (redelivery после падения) — no-op,
|
||||
// живую аренду другого worker не трогаем — при его смерти работу вернёт sweeper.
|
||||
const r = await client.query(`UPDATE jobs SET state = 'processing', attempts = attempts + 1, lease_token = $2,
|
||||
lease_until = clock_timestamp() + make_interval(secs => $3), updated_at = clock_timestamp()
|
||||
WHERE job_id = $1 AND attempts + 1 = $4
|
||||
AND (state = 'queued' OR (state = 'processing' AND lease_until < clock_timestamp()))
|
||||
RETURNING attachment_id, pipeline_version, attempts`, [job.job_id, token, leaseSeconds, job.attempt]);
|
||||
if (!r.rowCount) {
|
||||
await client.query('COMMIT');
|
||||
const s = await db.query('SELECT state, attempts FROM jobs WHERE job_id = $1', [job.job_id]);
|
||||
log('info', 'job.noop', `job попытка ${job.attempt}: no-op (${s.rows[0] ? `${s.rows[0].state}, попыток ${s.rows[0].attempts}` : 'неизвестная job'})`,
|
||||
{ 'messenger.job.id': job.job_id, 'messenger.job.attempt': job.attempt });
|
||||
return null;
|
||||
}
|
||||
const { attachment_id, pipeline_version, attempts } = r.rows[0];
|
||||
const a = (await client.query(`SELECT id, filename, staging_key, object_key, size_bytes, sha256, state, pipeline_version
|
||||
FROM attachments WHERE id = $1 FOR UPDATE`, [attachment_id])).rows[0];
|
||||
// Результат этой или более новой версии уже опубликован: старая job не должна ничего перезаписать.
|
||||
if (a.pipeline_version !== null && a.pipeline_version >= pipeline_version) {
|
||||
await client.query(`UPDATE jobs SET state = 'superseded', lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp()
|
||||
WHERE job_id = $1`, [job.job_id]);
|
||||
await client.query('COMMIT');
|
||||
log('info', 'job.superseded', `job v${pipeline_version}: superseded (опубликована v${a.pipeline_version})`, { 'messenger.job.id': job.job_id });
|
||||
return null;
|
||||
}
|
||||
const initial = a.pipeline_version === null;
|
||||
if (initial) await client.query(`UPDATE attachments SET state = 'processing', updated_at = clock_timestamp() WHERE id = $1 AND state = 'queued'`, [a.id]);
|
||||
await client.query('COMMIT');
|
||||
return { job, token, attempts, version: pipeline_version, initial, a };
|
||||
} catch (err) {
|
||||
await client.query('ROLLBACK').catch(() => {});
|
||||
throw err;
|
||||
} finally {
|
||||
client.release();
|
||||
}
|
||||
}
|
||||
|
||||
// Исходник: при первой обработке — staging, при переобработке новой версией — опубликованный оригинал.
|
||||
// Читается не больше size_bytes + 1 байт и сверяется с доверенными метаданными из БД.
|
||||
async function readSource(s3: Storage, claim: Claim): Promise<Buffer> {
|
||||
const body = await s3.get(claim.initial ? claim.a.staging_key : claim.a.object_key);
|
||||
if (!body) throw new PermanentError('source_missing', 'исходник отсутствует в S3');
|
||||
const chunks: Buffer[] = [];
|
||||
let size = 0;
|
||||
for await (const chunk of body) {
|
||||
size += chunk.length;
|
||||
if (size > claim.a.size_bytes) {
|
||||
body.destroy();
|
||||
break;
|
||||
}
|
||||
chunks.push(chunk);
|
||||
}
|
||||
const data = Buffer.concat(chunks);
|
||||
if (size !== claim.a.size_bytes || createHash('sha256').update(data).digest('hex') !== claim.a.sha256) {
|
||||
throw new PermanentError('source_corrupted', 'исходник не совпадает с метаданными');
|
||||
}
|
||||
return data;
|
||||
}
|
||||
|
||||
type Stored = { name: string; content_type: string; size_bytes: number; width: number; height: number; sha256: string; key: string };
|
||||
|
||||
// Возвращает секунды от приёма загрузки (jobs.created_at) до публикации ready или null, если результат отброшен.
|
||||
async function commit(db: Pool, claim: Claim, variants: Stored[]): Promise<number | null> {
|
||||
const client = await db.connect();
|
||||
try {
|
||||
await client.query('BEGIN');
|
||||
// Fencing: если аренда истекла и работу забрал другой worker, токен уже не совпадает.
|
||||
const done = await client.query(`UPDATE jobs SET state = 'done', lease_token = NULL, lease_until = NULL, error_code = NULL,
|
||||
updated_at = clock_timestamp() WHERE job_id = $1 AND lease_token = $2 AND state = 'processing'
|
||||
RETURNING extract(epoch FROM clock_timestamp() - created_at)::float8 AS age`, [claim.job.job_id, claim.token]);
|
||||
if (!done.rowCount) {
|
||||
await client.query('ROLLBACK');
|
||||
log('warn', 'job.lease_lost', `job попытка ${claim.attempts}: аренда потеряна, результат отброшен`, ids(claim));
|
||||
return null;
|
||||
}
|
||||
const ready = await client.query(`UPDATE attachments SET state = 'ready', pipeline_version = $2, error_code = NULL, updated_at = clock_timestamp()
|
||||
WHERE id = $1 AND (pipeline_version IS NULL OR pipeline_version < $2)`, [claim.a.id, claim.version]);
|
||||
if (!ready.rowCount) {
|
||||
await client.query(`UPDATE jobs SET state = 'superseded' WHERE job_id = $1`, [claim.job.job_id]);
|
||||
await client.query('COMMIT');
|
||||
log('info', 'job.superseded', `job v${claim.version}: superseded при фиксации`, ids(claim));
|
||||
return null;
|
||||
}
|
||||
for (const v of variants) {
|
||||
await client.query(`INSERT INTO attachment_variants (attachment_id, pipeline_version, name, object_key, content_type, size_bytes, width, height, sha256)
|
||||
VALUES ($1, $2, $3, $4, $5, $6, $7, $8, $9)`, [claim.a.id, claim.version, v.name, v.key, v.content_type, v.size_bytes, v.width, v.height, v.sha256]);
|
||||
}
|
||||
await client.query('COMMIT');
|
||||
return done.rows[0].age;
|
||||
} catch (err) {
|
||||
await client.query('ROLLBACK').catch(() => {});
|
||||
throw err;
|
||||
} finally {
|
||||
client.release();
|
||||
}
|
||||
}
|
||||
|
||||
// Постоянная ошибка (свойство файла) → failed сразу. Временная → новая попытка через outbox с backoff и jitter,
|
||||
// пока attempts < JOB_MAX_ATTEMPTS, затем failed retry_exhausted. Всё — только у владельца аренды.
|
||||
// У job в error_code — последняя причина (и для queued), у вложения — только финальный код failed.
|
||||
// Lab6: новая строка outbox несёт контекст текущего CONSUMER span — повтор продолжит тот же trace.
|
||||
// Лог, исключение в span и метрика — только если UPDATE с fencing изменил job: проигравшая аренду попытка → discarded.
|
||||
async function failOrRetry(db: Pool, claim: Claim, err: unknown, cfg: Opts['cfg'], reason: string): Promise<'retry' | 'failed' | 'discarded'> {
|
||||
const permanent = err instanceof PermanentError ? err.code : null;
|
||||
const exhausted = !permanent && claim.attempts >= cfg.maxAttempts;
|
||||
const state = permanent || exhausted ? 'failed' : 'queued';
|
||||
const code = permanent ?? (exhausted ? 'retry_exhausted' : null);
|
||||
const delayMs = Math.min(60000, cfg.retryBaseMs * 2 ** (claim.attempts - 1)) * (0.5 + Math.random() / 2);
|
||||
const { traceparent, tracestate } = traceCarrier();
|
||||
const client = await db.connect();
|
||||
try {
|
||||
await client.query('BEGIN');
|
||||
const r = await client.query(`UPDATE jobs SET state = $3, error_code = $4, lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp()
|
||||
WHERE job_id = $1 AND lease_token = $2 RETURNING extract(epoch FROM clock_timestamp() - created_at)::float8 AS age`,
|
||||
[claim.job.job_id, claim.token, state, code ?? reason]);
|
||||
if (r.rowCount) {
|
||||
if (state === 'queued') {
|
||||
await client.query(`INSERT INTO outbox (job_id, attempt, available_at, traceparent, tracestate)
|
||||
VALUES ($1, $2, clock_timestamp() + make_interval(secs => $3), $4, $5)`, [claim.job.job_id, claim.attempts + 1, delayMs / 1000, traceparent, tracestate]);
|
||||
}
|
||||
if (claim.initial) {
|
||||
await client.query(`UPDATE attachments SET state = $2, error_code = $3, updated_at = clock_timestamp()
|
||||
WHERE id = $1 AND pipeline_version IS NULL AND state IN ('queued', 'processing')`, [claim.a.id, state, code]);
|
||||
}
|
||||
}
|
||||
await client.query('COMMIT');
|
||||
if (!r.rowCount) {
|
||||
log('warn', 'job.lease_lost', `job попытка ${claim.attempts}: аренда потеряна, ошибка попытки отброшена`, ids(claim));
|
||||
return 'discarded';
|
||||
}
|
||||
trace.getActiveSpan()?.recordException({ name: (err as Error).name, message: 'Ошибка задания' });
|
||||
log(state === 'failed' ? 'error' : 'warn', state === 'failed' ? 'job.failed' : 'job.retry',
|
||||
`job попытка ${claim.attempts}: ${(err as Error).name} → ${state}${code ? ` ${code}` : `, повтор через ${Math.round(delayMs)} мс`}`,
|
||||
{ ...ids(claim), 'error.type': code ?? reason });
|
||||
if (state === 'failed' && claim.initial) {
|
||||
timeToReady.record(r.rows[0].age, { 'job.type': JOB_TYPE, outcome: 'failed', 'error.type': code ?? reason });
|
||||
}
|
||||
return state === 'failed' ? 'failed' : 'retry';
|
||||
} catch (e) {
|
||||
await client.query('ROLLBACK').catch(() => {});
|
||||
throw e; // job останется processing: аренда истечёт и sweeper вернёт её
|
||||
} finally {
|
||||
client.release();
|
||||
}
|
||||
}
|
||||
|
||||
async function removeAll(s3: Storage, keys: string[]): Promise<void> {
|
||||
for (const key of keys) await s3.remove(key).catch(() => {}); // остаток уберёт reconciler
|
||||
}
|
||||
+106
@@ -0,0 +1,106 @@
|
||||
// Точка входа мессенджера (лабораторная 7).
|
||||
// Реплика не хранит состояния: пользователи, сессии, чаты, сообщения, ключи идемпотентности, метаданные
|
||||
// вложений и задания (jobs, outbox) — в PostgreSQL, байты — в S3, поэтому запрос может обслужить любая реплика.
|
||||
// node src/main.ts — HTTPS-сервер + relay outbox → RabbitMQ (src/jobs/relay.ts)
|
||||
// node src/main.ts worker — обработка изображений из очереди (src/jobs/worker.ts, сервис worker)
|
||||
// api и worker запускаются с --import ./src/telemetry.ts (OpenTelemetry SDK, см. Dockerfile и compose.yaml).
|
||||
// node src/main.ts jobs … — операторские команды: failed | replay <id> | reprocess --version=N
|
||||
// node src/main.ts migrate — однократный прогон миграций (сервис migrate)
|
||||
// node src/main.ts s3-init — идемпотентное создание приватного bucket ключом администратора (сервис s3-init)
|
||||
// node src/main.ts reconcile — сверка БД ↔ S3, параметры в src/reconcile.ts (сервис reconciler)
|
||||
import { createServer } from 'node:https';
|
||||
import { createServer as localServer } from 'node:http';
|
||||
import { setTimeout as sleep } from 'node:timers/promises';
|
||||
import { readFileSync } from 'node:fs';
|
||||
import { loadServiceSecrets, serviceTls } from './security.ts';
|
||||
import { createApp } from './app.ts';
|
||||
import { envInt, loadConfig, s3Config, secret } from './config.ts';
|
||||
import { createPool, migrate } from './db.ts';
|
||||
import { adminCommand } from './jobs/admin.ts';
|
||||
import { createPublisher } from './jobs/broker.ts';
|
||||
import { startRelay } from './jobs/relay.ts';
|
||||
import { runWorker } from './jobs/worker.ts';
|
||||
import { flushTelemetry, log } from './otel.ts';
|
||||
import { reconcileCommand } from './reconcile.ts';
|
||||
import { createStorage } from './storage/s3.ts';
|
||||
|
||||
async function serve(): Promise<void> {
|
||||
const config = loadConfig();
|
||||
const db = createPool(config.databaseUrl, config.dbPoolMax);
|
||||
const relay = startRelay(db, createPublisher(), config.jobs);
|
||||
const app = createApp(db, createStorage(config.s3), config, relay);
|
||||
const server = createServer({
|
||||
...serviceTls(), requestCert: true,
|
||||
crl: readFileSync('/run/pki/crl.pem'),
|
||||
}, app.handle);
|
||||
server.prependListener('secureConnection', (socket) => {
|
||||
if (socket.getPeerCertificate().subjectaltname !== 'DNS:lb-client') socket.destroy();
|
||||
});
|
||||
const health = localServer((_req, res) => res.writeHead(app.state.ready ? 204 : 503).end()).listen(8081, '127.0.0.1');
|
||||
server.headersTimeout = 5000;
|
||||
server.requestTimeout = 60000; // 10 MiB на медленном канале; grace reconciler-а (15 мин) заведомо больше
|
||||
server.keepAliveTimeout = 60000;
|
||||
server.listen(config.port, config.host, () =>
|
||||
log('info', 'server.started', `реплика ${config.instanceId} слушает :${config.port}, пул БД ${config.dbPoolMax}`));
|
||||
|
||||
// Graceful shutdown: сначала readiness → 503 и пауза drain, пока LB не исключит реплику (fall × inter),
|
||||
// при этом запросы ещё обслуживаются; затем перестаём принимать соединения и дожидаемся текущих запросов.
|
||||
const stop = (signal: string) => {
|
||||
if (!app.state.ready) return;
|
||||
log('info', 'server.draining', `${signal}: readiness=503, drain ${config.shutdownDrainMs} мс`);
|
||||
app.state.ready = false;
|
||||
relay.stop();
|
||||
health.close();
|
||||
setTimeout(() => {
|
||||
server.close(async () => {
|
||||
await db.end();
|
||||
log('info', 'server.stopped', 'остановлена');
|
||||
await flushTelemetry(); // последние spans/логи/метрики — до выхода процесса
|
||||
process.exit(0);
|
||||
});
|
||||
server.closeIdleConnections();
|
||||
setTimeout(() => process.exit(1), 10000).unref(); // страховка от зависшего запроса
|
||||
}, config.shutdownDrainMs);
|
||||
};
|
||||
process.on('SIGTERM', () => stop('SIGTERM'));
|
||||
process.on('SIGINT', () => stop('SIGINT'));
|
||||
}
|
||||
|
||||
// S3 может стартовать позже: повторяем до 30 с. Повторный запуск на готовом bucket ничего не меняет.
|
||||
async function s3Init(): Promise<void> {
|
||||
const storage = createStorage(s3Config());
|
||||
for (let attempt = 1; ; attempt++) {
|
||||
try {
|
||||
console.log(`bucket ${storage.bucket}: ${await storage.createBucket()}`); // вывод проверяет scripts/check-s3-security.sh
|
||||
return;
|
||||
} catch (err) {
|
||||
if (attempt >= 30) throw err;
|
||||
await sleep(1000);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
const command = process.argv[2];
|
||||
if (process.env.BAO_ROLE) {
|
||||
try {
|
||||
await loadServiceSecrets(process.env.BAO_ROLE);
|
||||
} catch {
|
||||
log('error', 'secrets.startup_denied', 'OpenBao не выдал credentials');
|
||||
process.exit(1);
|
||||
}
|
||||
}
|
||||
if (command === 'migrate') {
|
||||
await migrate(secret('DATABASE_URL'));
|
||||
} else if (command === 's3-init') {
|
||||
await s3Init();
|
||||
} else if (command === 'worker') {
|
||||
await runWorker();
|
||||
} else if (command === 'jobs') {
|
||||
const db = createPool(secret('DATABASE_URL'), 2);
|
||||
await adminCommand(db, process.argv.slice(3));
|
||||
await db.end();
|
||||
} else if (command === 'reconcile') {
|
||||
await reconcileCommand(process.argv.slice(3), envInt('RECONCILE_GRACE_SECONDS', 900), envInt('STAGING_RETENTION_SECONDS', 86400));
|
||||
} else {
|
||||
await serve();
|
||||
}
|
||||
@@ -0,0 +1,57 @@
|
||||
-- Начальная схема мессенджера. Источник истины для всех реплик API.
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
username text NOT NULL UNIQUE,
|
||||
display_name text NOT NULL,
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
|
||||
-- Хранится только sha256(токена): дамп БД не содержит рабочих Bearer-токенов.
|
||||
CREATE TABLE sessions (
|
||||
token_hash bytea PRIMARY KEY,
|
||||
user_id uuid NOT NULL REFERENCES users (id),
|
||||
expires_at timestamptz NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
|
||||
title text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
user_id uuid NOT NULL REFERENCES users (id),
|
||||
position int NOT NULL,
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id);
|
||||
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
sender_id uuid NOT NULL REFERENCES users (id),
|
||||
text text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id);
|
||||
|
||||
-- Ключи идемпотентности: область = пользователь + метод + путь + ключ.
|
||||
-- Строка вставляется тем же SQL-оператором, что и сообщение (атомарно).
|
||||
-- ponytail: ключи не удаляются (контракт требует >= 24 ч); при росте таблицы добавить периодический DELETE.
|
||||
CREATE TABLE idempotency_keys (
|
||||
user_id uuid NOT NULL,
|
||||
method text NOT NULL,
|
||||
path text NOT NULL,
|
||||
key text NOT NULL,
|
||||
request_hash bytea NOT NULL,
|
||||
message_id uuid NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
PRIMARY KEY (user_id, method, path, key)
|
||||
);
|
||||
|
||||
-- RFC 3339 UTC с микросекундами: формат ответа API и точная позиция keyset-cursor.
|
||||
CREATE FUNCTION rfc3339(timestamptz) RETURNS text LANGUAGE sql STABLE AS
|
||||
$$ SELECT to_char($1 AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS.US"Z"') $$;
|
||||
@@ -0,0 +1,38 @@
|
||||
-- Вложения (lab4). Только добавление схемы: версия lab3 продолжает работать на этой схеме.
|
||||
-- Метаданные — здесь, байты — в приватном S3-bucket под ключом object_key, который назначает сервер.
|
||||
-- pending — запись-намерение: создаётся ДО загрузки байтов, поэтому у любого объекта в S3 сначала есть строка;
|
||||
-- ready — объект загружен и проверен, метаданные описывают оригинал;
|
||||
-- lost — reconciler не нашёл объект или он не совпал по размеру/SHA-256: вложение скрыто из API (404),
|
||||
-- ссылки в сообщениях сохраняются, при возврате правильного объекта reconciler вернёт ready.
|
||||
CREATE TABLE attachments (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
owner_id uuid NOT NULL REFERENCES users (id),
|
||||
filename text NOT NULL,
|
||||
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
|
||||
-- Побайтовая сортировка совпадает с порядком ListObjectsV2: reconciler сливает два отсортированных потока.
|
||||
object_key text COLLATE "C" NOT NULL UNIQUE,
|
||||
state text NOT NULL DEFAULT 'pending' CHECK (state IN ('pending', 'ready', 'lost')),
|
||||
size_bytes integer CHECK (size_bytes > 0),
|
||||
sha256 text CHECK (sha256 ~ '^[0-9a-f]{64}$'),
|
||||
width integer,
|
||||
height integer,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
UNIQUE (chat_id, id), -- цель составного FK из message_attachments
|
||||
CHECK (state = 'pending' OR (size_bytes IS NOT NULL AND sha256 IS NOT NULL))
|
||||
);
|
||||
-- Поиск зависших загрузок reconciler-ом.
|
||||
CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE state = 'pending';
|
||||
|
||||
-- Вложения сообщения. FK (chat_id, attachment_id) → attachments (chat_id, id): БД не даст прикрепить вложение
|
||||
-- чужого чата и не даст удалить метаданные вложения, на которое ссылается сообщение (NO ACTION).
|
||||
CREATE TABLE message_attachments (
|
||||
message_id uuid NOT NULL REFERENCES messages (id),
|
||||
chat_id uuid NOT NULL,
|
||||
attachment_id uuid NOT NULL,
|
||||
position int NOT NULL,
|
||||
PRIMARY KEY (message_id, attachment_id),
|
||||
FOREIGN KEY (chat_id, attachment_id) REFERENCES attachments (chat_id, id)
|
||||
);
|
||||
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id, chat_id);
|
||||
@@ -0,0 +1,74 @@
|
||||
-- Фоновая обработка вложений (lab5). Только добавление: версия lab4 продолжает работать на этой схеме.
|
||||
-- Состояния вложения: pending (байты ещё принимаются) → queued (оригинал устойчиво в staging, задание
|
||||
-- сохранено) → processing → ready | failed; lost — карантин reconciler (объект пропал или повреждён).
|
||||
ALTER TABLE attachments DROP CONSTRAINT attachments_state_check;
|
||||
ALTER TABLE attachments ADD CONSTRAINT attachments_state_check
|
||||
CHECK (state IN ('pending', 'queued', 'processing', 'ready', 'failed', 'lost'));
|
||||
ALTER TABLE attachments
|
||||
ADD COLUMN staging_key text COLLATE "C" UNIQUE, -- staging/<id>: принятый оригинал до публикации worker-ом
|
||||
ADD COLUMN pipeline_version int, -- версия pipeline опубликованного результата (ready)
|
||||
ADD COLUMN error_code text; -- машинный код failed, без деталей
|
||||
|
||||
-- Логическая работа: одна на (вложение, версия pipeline). job_id не меняется при повторах и redelivery.
|
||||
CREATE TABLE jobs (
|
||||
job_id uuid PRIMARY KEY,
|
||||
attachment_id uuid NOT NULL REFERENCES attachments (id),
|
||||
pipeline_version int NOT NULL,
|
||||
state text NOT NULL DEFAULT 'queued'
|
||||
CHECK (state IN ('queued', 'processing', 'done', 'failed', 'superseded')),
|
||||
attempts int NOT NULL DEFAULT 0, -- начатые попытки (успешные захваты аренды)
|
||||
lease_token uuid, -- fencing: результат фиксирует только владелец аренды
|
||||
lease_until timestamptz,
|
||||
error_code text,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
UNIQUE (attachment_id, pipeline_version)
|
||||
);
|
||||
CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE state = 'processing';
|
||||
CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE state = 'queued';
|
||||
|
||||
-- Transactional outbox: строка пишется в одной транзакции с изменением состояния, relay публикует её
|
||||
-- в брокер после COMMIT и только после publisher confirm отмечает published_at.
|
||||
CREATE TABLE outbox (
|
||||
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
job_id uuid NOT NULL REFERENCES jobs (job_id),
|
||||
attempt int NOT NULL,
|
||||
available_at timestamptz NOT NULL DEFAULT clock_timestamp(), -- момент после backoff повтора
|
||||
published_at timestamptz,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE INDEX outbox_due_idx ON outbox (available_at) WHERE published_at IS NULL;
|
||||
CREATE INDEX outbox_job_idx ON outbox (job_id, created_at);
|
||||
|
||||
-- Результат обработки. Ключ эффекта (attachment_id, pipeline_version, name): повтор той же job
|
||||
-- не может создать второй набор вариантов.
|
||||
CREATE TABLE attachment_variants (
|
||||
attachment_id uuid NOT NULL REFERENCES attachments (id),
|
||||
pipeline_version int NOT NULL,
|
||||
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
|
||||
object_key text COLLATE "C" NOT NULL UNIQUE,
|
||||
content_type text NOT NULL,
|
||||
size_bytes int NOT NULL,
|
||||
width int NOT NULL,
|
||||
height int NOT NULL,
|
||||
sha256 text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
PRIMARY KEY (attachment_id, pipeline_version, name)
|
||||
);
|
||||
|
||||
-- Аудит операторского replay failed → queued.
|
||||
CREATE TABLE job_replays (
|
||||
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
job_id uuid NOT NULL REFERENCES jobs (job_id),
|
||||
previous_error text,
|
||||
previous_attempts int NOT NULL,
|
||||
replayed_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
|
||||
-- Учебный fault-injection (src/failpoints.ts): точка срабатывает один раз на вложение. Пусто, если FAILPOINTS выключены.
|
||||
CREATE TABLE failpoint_hits (
|
||||
name text NOT NULL,
|
||||
attachment_id uuid NOT NULL,
|
||||
hit_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
PRIMARY KEY (name, attachment_id)
|
||||
);
|
||||
@@ -0,0 +1,6 @@
|
||||
-- Lab6: W3C trace context задания. Строка outbox хранит контекст того, кто поставил попытку в очередь
|
||||
-- (upload, worker при повторе, sweeper — копия предыдущей), relay кладёт его в сообщение (traceparent/tracestate
|
||||
-- из contracts/jobs.schema.json). Только добавление nullable-столбцов: код lab5 продолжает работать на этой схеме.
|
||||
ALTER TABLE outbox
|
||||
ADD COLUMN traceparent text,
|
||||
ADD COLUMN tracestate text;
|
||||
@@ -0,0 +1,47 @@
|
||||
DO $$
|
||||
BEGIN
|
||||
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'api') THEN CREATE ROLE api LOGIN; END IF;
|
||||
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'worker') THEN CREATE ROLE worker LOGIN; END IF;
|
||||
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'reconciler') THEN CREATE ROLE reconciler LOGIN; END IF;
|
||||
END $$;
|
||||
|
||||
REVOKE CREATE ON SCHEMA public FROM PUBLIC;
|
||||
REVOKE TEMPORARY ON DATABASE messenger FROM PUBLIC;
|
||||
GRANT USAGE ON SCHEMA public TO api, worker, reconciler;
|
||||
GRANT SELECT, INSERT ON users TO api;
|
||||
GRANT UPDATE (password_hash) ON users TO api;
|
||||
GRANT SELECT, INSERT, DELETE ON sessions TO api;
|
||||
GRANT SELECT, INSERT ON chats, chat_members, messages, message_attachments TO api;
|
||||
GRANT SELECT, INSERT, UPDATE, DELETE ON idempotency_keys, attachments TO api;
|
||||
GRANT SELECT ON attachment_variants TO api;
|
||||
GRANT SELECT, INSERT ON failpoint_hits TO api;
|
||||
GRANT SELECT, INSERT, UPDATE ON jobs, outbox TO api;
|
||||
GRANT USAGE ON SEQUENCE outbox_id_seq TO api, worker;
|
||||
|
||||
GRANT SELECT ON jobs TO worker;
|
||||
GRANT UPDATE (state, attempts, lease_token, lease_until, error_code, updated_at) ON jobs TO worker;
|
||||
GRANT SELECT (id, filename, staging_key, object_key, size_bytes, sha256, state, pipeline_version) ON attachments TO worker;
|
||||
GRANT UPDATE (state, error_code, updated_at, pipeline_version) ON attachments TO worker;
|
||||
GRANT INSERT, UPDATE, SELECT ON attachment_variants TO worker;
|
||||
GRANT INSERT ON outbox, failpoint_hits TO worker;
|
||||
GRANT SELECT ON failpoint_hits TO worker;
|
||||
|
||||
GRANT SELECT ON attachments, attachment_variants TO reconciler;
|
||||
GRANT UPDATE (state, updated_at, staging_key), DELETE ON attachments TO reconciler;
|
||||
|
||||
CREATE TABLE login_rate (singleton boolean PRIMARY KEY CHECK (singleton), window_start timestamptz NOT NULL, attempts int NOT NULL);
|
||||
INSERT INTO login_rate VALUES (true, '-infinity', 0);
|
||||
CREATE FUNCTION login_budget() RETURNS int LANGUAGE plpgsql SECURITY DEFINER SET search_path = pg_catalog, public AS $$
|
||||
DECLARE
|
||||
tick timestamptz := date_bin('10 seconds', statement_timestamp(), '2000-01-01'::timestamptz);
|
||||
used int;
|
||||
BEGIN
|
||||
UPDATE public.login_rate
|
||||
SET attempts = CASE WHEN window_start < tick THEN 1 ELSE attempts + 1 END, window_start = tick
|
||||
WHERE singleton AND (window_start < tick OR attempts < 30)
|
||||
RETURNING attempts INTO used;
|
||||
IF FOUND THEN RETURN 0; END IF;
|
||||
RETURN greatest(1, ceil(extract(epoch FROM tick + interval '10 seconds' - clock_timestamp()))::int);
|
||||
END $$;
|
||||
REVOKE ALL ON FUNCTION login_budget() FROM PUBLIC;
|
||||
GRANT EXECUTE ON FUNCTION login_budget() TO api;
|
||||
@@ -0,0 +1,182 @@
|
||||
// Вложения: приём PNG/JPEG в устойчивый staging, фоновая обработка worker-ом, скачивание только через API.
|
||||
//
|
||||
// Приём (lab5): ответ 202 означает, что устойчиво сохранено всё, что нужно для завершения работы без клиента:
|
||||
// 1. INSERT строки pending (запись-намерение с ключами staging и оригинала) — COMMIT;
|
||||
// 2. поток байтов: клиент → проверка формата + SHA-256 → S3 staging/<id>;
|
||||
// 3. одна транзакция: pending → queued, job и строка outbox (transactional outbox) — COMMIT → 202.
|
||||
// Брокер в этот момент не нужен: relay (src/jobs/relay.ts) опубликует задание после COMMIT, даже если брокер
|
||||
// поднимется позже. Ошибка на шагах 2–3 → компенсация; падение процесса → pending-строку уберёт reconciler.
|
||||
// Lab6: строка outbox запоминает trace context запроса загрузки — publish и обработка worker-ом продолжат этот trace.
|
||||
import { createHash, randomUUID } from 'node:crypto';
|
||||
import { Transform } from 'node:stream';
|
||||
import { failpoint } from '../failpoints.ts';
|
||||
import type { Ctx, Result } from '../http/context.ts';
|
||||
import { badRequest, conflict, notFound, tooLarge, unavailable, unsupported } from '../http/errors.ts';
|
||||
import { isText, mediaType, uuidParam } from '../http/request.ts';
|
||||
import { log, traceCarrier } from '../otel.ts';
|
||||
import { requireMember } from './chats.ts';
|
||||
import { imageValidator, type Dimensions } from './images.ts';
|
||||
import type { User } from './model.ts';
|
||||
import { authenticate } from './sessions.ts';
|
||||
|
||||
const FORBIDDEN_IN_FILENAME = /[/\\\p{Cc}]/u; // разделители путей, NUL и управляющие символы C0/C1
|
||||
const VARIANTS = ['thumbnail', 'crop', 'optimized'];
|
||||
// Варианты — опубликованной версии pipeline; у queued/processing/failed их нет.
|
||||
const columns = `a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes, a.sha256, a.state AS status, a.error_code,
|
||||
rfc3339(a.created_at) AS created_at, rfc3339(a.updated_at) AS updated_at,
|
||||
COALESCE((SELECT json_agg(json_build_object('name', v.name, 'content_type', v.content_type, 'size_bytes', v.size_bytes,
|
||||
'width', v.width, 'height', v.height, 'sha256', v.sha256) ORDER BY v.name)
|
||||
FROM attachment_variants v WHERE v.attachment_id = a.id AND v.pipeline_version = a.pipeline_version), '[]') AS variants`;
|
||||
const VISIBLE = `('queued', 'processing', 'ready', 'failed')`; // pending ещё не принято, lost — в карантине
|
||||
|
||||
type Row = Record<string, unknown> & { object_key?: string; pipeline_version?: number | null };
|
||||
|
||||
// Ключи объектов и внутренняя версия pipeline наружу не отдаются.
|
||||
const view = ({ object_key: _, pipeline_version: __, ...row }: Row) => row;
|
||||
|
||||
// POST /api/v1/chats/{chat_id}/attachments?filename=… — сырые байты одного PNG/JPEG → 202 queued.
|
||||
// Все лимиты проверяются до чтения тела; тело не буферизуется целиком ни в памяти, ни на диске API.
|
||||
export async function uploadAttachment(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const chatId = await requireMember(c, user);
|
||||
const filename = c.url.searchParams.get('filename');
|
||||
if (!isText(filename, 1, 255) || FORBIDDEN_IN_FILENAME.test(filename)) {
|
||||
throw badRequest('filename: 1–255 символов, без / \\ и управляющих символов');
|
||||
}
|
||||
const type = mediaType(c.req);
|
||||
if (type !== 'image/png' && type !== 'image/jpeg') throw unsupported('Ожидается image/png или image/jpeg');
|
||||
const declared = c.req.headers['content-length'];
|
||||
if (declared === undefined || !/^\d+$/.test(declared)) throw badRequest('Нужен Content-Length: файл передаётся потоком в S3');
|
||||
const length = Number(declared);
|
||||
if (length > c.config.maxUploadBytes) throw tooLarge(`Файл больше ${c.config.maxUploadBytes} байт`);
|
||||
if (length === 0) throw unsupported('Пустое тело не является изображением');
|
||||
|
||||
const id = randomUUID();
|
||||
const staging = `staging/${id}`; // filename только для отображения и в ключи не попадает
|
||||
await c.db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, staging_key)
|
||||
VALUES ($1, $2, $3, $4, $5, $6, $7)`, [id, chatId, user.id, filename, type, `originals/${id}`, staging]);
|
||||
let row: Row;
|
||||
try {
|
||||
const dims = await store(c, staging, type, length);
|
||||
await failpoint(c.db, 'api_after_staging', id, filename); // байты в staging, задания ещё нет
|
||||
row = await accept(c, id, length, dims);
|
||||
} catch (err) {
|
||||
void discard(c, id, staging); // в фоне: при зависшем S3 клиент не ждёт ещё и DELETE
|
||||
throw err;
|
||||
}
|
||||
await failpoint(c.db, 'api_after_commit', id, filename); // задание в outbox, публикации ещё не было
|
||||
c.relay.kick();
|
||||
return [202, view(row)];
|
||||
}
|
||||
|
||||
// pending → queued + job + outbox одной транзакцией: после COMMIT работа не теряется при падении API.
|
||||
async function accept(c: Ctx, id: string, length: number, dims: { sha256: string; width: number; height: number }): Promise<Row> {
|
||||
const client = await c.db.connect();
|
||||
try {
|
||||
await client.query('BEGIN');
|
||||
const r = await client.query(`UPDATE attachments AS a SET state = 'queued', size_bytes = $2, sha256 = $3, width = $4, height = $5,
|
||||
updated_at = clock_timestamp() WHERE a.id = $1 AND a.state = 'pending' RETURNING ${columns}`, [id, length, dims.sha256, dims.width, dims.height]);
|
||||
if (!r.rowCount) throw unavailable('Загрузка не завершилась вовремя'); // строку уже убрал reconciler
|
||||
const { traceparent, tracestate } = traceCarrier();
|
||||
await client.query(`WITH j AS (INSERT INTO jobs (job_id, attachment_id, pipeline_version) VALUES (gen_random_uuid(), $1, $2) RETURNING job_id)
|
||||
INSERT INTO outbox (job_id, attempt, traceparent, tracestate) SELECT job_id, 1, $3, $4 FROM j`, [id, c.config.jobs.pipelineVersion, traceparent, tracestate]);
|
||||
await client.query('COMMIT');
|
||||
return r.rows[0];
|
||||
} catch (err) {
|
||||
await client.query('ROLLBACK').catch(() => {});
|
||||
throw err;
|
||||
} finally {
|
||||
client.release();
|
||||
}
|
||||
}
|
||||
|
||||
// Клиент → проверка + SHA-256 → S3. Обратное давление: пока S3 не принял кусок, следующий не читается из сокета,
|
||||
// поэтому память на загрузку не зависит от размера файла. Последний кусок уходит в S3 только после полной
|
||||
// проверки файла: S3 не получит все Content-Length байт невалидного изображения, и объект не создастся.
|
||||
async function store(c: Ctx, key: string, type: 'image/png' | 'image/jpeg', length: number) {
|
||||
const check = imageValidator(type, c.config.maxImagePixels);
|
||||
const hash = createHash('sha256');
|
||||
const abort = new AbortController();
|
||||
let received = 0;
|
||||
let dims: Dimensions | undefined;
|
||||
let failure: unknown;
|
||||
const fail = (err: unknown) => {
|
||||
failure ??= err;
|
||||
abort.abort();
|
||||
};
|
||||
const body = new Transform({
|
||||
transform(chunk: Buffer, _encoding, done) {
|
||||
received += chunk.length;
|
||||
hash.update(chunk);
|
||||
check.write(chunk)
|
||||
.then(async () => { if (received === length) dims = await check.end(); })
|
||||
.then(() => done(null, chunk), done);
|
||||
},
|
||||
});
|
||||
body.on('error', fail);
|
||||
c.req.on('close', () => { if (!c.req.complete) fail(badRequest('Загрузка прервана клиентом')); });
|
||||
c.req.pipe(body);
|
||||
try {
|
||||
await c.s3.put(key, body, length, type, abort.signal);
|
||||
if (failure) throw failure;
|
||||
if (!dims) throw new Error('S3 принял объект до конца проверки');
|
||||
return { sha256: hash.digest('hex'), ...dims };
|
||||
} catch (err) {
|
||||
// Остаток тела читаем и выбрасываем: иначе ответ с ошибкой не дойдёт до клиента, который ещё отправляет файл.
|
||||
c.req.unpipe(body);
|
||||
c.req.resume();
|
||||
body.destroy();
|
||||
check.close();
|
||||
throw failure ?? err;
|
||||
}
|
||||
}
|
||||
|
||||
// Компенсация неудачной загрузки. Объект удаляется, только если строка точно не стала queued: при
|
||||
// неоднозначной ошибке COMMIT (соединение оборвалось) строка могла зафиксироваться, и байты нужны worker-у.
|
||||
// Сбой здесь не теряет учёт: останется pending-строка с ключом staging, её подберёт reconciler.
|
||||
async function discard(c: Ctx, id: string, key: string): Promise<void> {
|
||||
try {
|
||||
const deleted = await c.db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'`, [id]);
|
||||
if (!deleted.rowCount && (await c.db.query('SELECT 1 FROM attachments WHERE id = $1', [id])).rowCount) return;
|
||||
await c.s3.remove(key);
|
||||
} catch (err) {
|
||||
log('warn', 'attachment.compensation_failed', `компенсация вложения не завершена, остаток уберёт reconciler: ${(err as Error).message}`, { 'attachment.id': id });
|
||||
}
|
||||
}
|
||||
|
||||
// Вложение доступно только участникам его чата; постороннему — тот же 404, что и для несуществующего.
|
||||
async function findVisible(c: Ctx, user: User): Promise<Row & { object_key: string }> {
|
||||
const r = await c.db.query(`SELECT ${columns}, a.object_key, a.pipeline_version FROM attachments a
|
||||
JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2
|
||||
WHERE a.id = $1 AND a.state IN ${VISIBLE}`, [uuidParam(c, 'attachment_id'), user.id]);
|
||||
if (!r.rowCount) throw notFound();
|
||||
return r.rows[0];
|
||||
}
|
||||
|
||||
// GET /api/v1/attachments/{attachment_id} — снимок статуса; клиент опрашивает до ready/failed.
|
||||
export async function getAttachment(c: Ctx): Promise<Result> {
|
||||
return [200, view(await findVisible(c, await authenticate(c)))];
|
||||
}
|
||||
|
||||
// GET /api/v1/attachments/{attachment_id}/content[?variant=original|thumbnail|crop|optimized] — байты потоком из S3.
|
||||
// queued/processing/failed — 409; отсутствующий вариант ready-объекта — 404; без redirect.
|
||||
export async function downloadAttachment(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const variant = c.url.searchParams.get('variant') ?? 'original';
|
||||
if (variant !== 'original' && !VARIANTS.includes(variant)) throw badRequest('Неизвестный variant');
|
||||
const row = await findVisible(c, user);
|
||||
if (row.status !== 'ready') throw conflict(row.status === 'failed' ? 'Обработка вложения завершилась ошибкой' : 'Вложение ещё обрабатывается');
|
||||
let target = { key: row.object_key, type: row.content_type as string, size: row.size_bytes as number };
|
||||
if (variant !== 'original') {
|
||||
const v = await c.db.query(`SELECT object_key, content_type, size_bytes FROM attachment_variants
|
||||
WHERE attachment_id = $1 AND pipeline_version = $2 AND name = $3`, [row.id, row.pipeline_version, variant]);
|
||||
if (!v.rowCount) throw notFound();
|
||||
target = { key: v.rows[0].object_key, type: v.rows[0].content_type, size: v.rows[0].size_bytes };
|
||||
}
|
||||
const body = await c.s3.get(target.key);
|
||||
if (!body) {
|
||||
log('error', 'attachment.object_missing', `объект ${variant} вложения отсутствует в S3`, { 'attachment.id': row.id as string }); // reconciler пометит оригинал lost
|
||||
throw notFound();
|
||||
}
|
||||
return [200, body, { 'Content-Type': target.type, 'Content-Length': target.size, 'X-Content-Type-Options': 'nosniff' }];
|
||||
}
|
||||
@@ -0,0 +1,68 @@
|
||||
// Чаты: создание, список чатов пользователя, один чат, проверка членства.
|
||||
import type { Ctx, Result } from '../http/context.ts';
|
||||
import { badRequest, notFound } from '../http/errors.ts';
|
||||
import { afterCursor, limitOf, page } from '../http/pagination.ts';
|
||||
import { UUID, isText, jsonObject, readJson, uuidParam } from '../http/request.ts';
|
||||
import { authenticate } from './sessions.ts';
|
||||
import type { User } from './model.ts';
|
||||
|
||||
// Чаты, где состоит пользователь $1; member_ids в порядке, заданном при создании.
|
||||
const chatSelect = `SELECT c.id, c.title, rfc3339(c.created_at) AS created_at,
|
||||
(SELECT array_agg(m.user_id::text ORDER BY m.position) FROM chat_members m WHERE m.chat_id = c.id) AS member_ids
|
||||
FROM chats c JOIN chat_members me ON me.chat_id = c.id AND me.user_id = $1 `;
|
||||
|
||||
// chat_id из пути, если пользователь — участник. Постороннему тот же 404, что и для несуществующего чата.
|
||||
export async function requireMember(c: Ctx, user: User): Promise<string> {
|
||||
const chatId = uuidParam(c, 'chat_id');
|
||||
const r = await c.db.query({
|
||||
name: 'member',
|
||||
text: 'SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2',
|
||||
values: [chatId, user.id],
|
||||
});
|
||||
if (!r.rowCount) throw notFound();
|
||||
return chatId;
|
||||
}
|
||||
|
||||
// POST /api/v1/chats: участники фиксируются при создании и обязательно включают создателя.
|
||||
export async function createChat(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const b = jsonObject(await readJson(c.req), ['title', 'member_ids']);
|
||||
const ids = b.member_ids;
|
||||
if (!isText(b.title, 1, 100) || !Array.isArray(ids) || ids.length < 1 || ids.length > 100
|
||||
|| !ids.every((id) => typeof id === 'string' && UUID.test(id))) {
|
||||
throw badRequest('Неверные title или member_ids');
|
||||
}
|
||||
const members = ids.map((id: string) => id.toLowerCase());
|
||||
if (new Set(members).size !== members.length || !members.includes(user.id)) {
|
||||
throw badRequest('member_ids должны быть уникальны и включать создателя');
|
||||
}
|
||||
try {
|
||||
// Один оператор = одна транзакция: при неизвестном участнике сработает FK и не создастся ничего.
|
||||
const r = await c.db.query(`WITH c AS (INSERT INTO chats (title) VALUES ($1) RETURNING id, title, created_at),
|
||||
m AS (INSERT INTO chat_members (chat_id, user_id, position)
|
||||
SELECT c.id, t.u::uuid, t.o FROM c, unnest($2::text[]) WITH ORDINALITY AS t(u, o))
|
||||
SELECT id, title, rfc3339(created_at) AS created_at FROM c`, [b.title, members]);
|
||||
return [201, { ...r.rows[0], member_ids: members }];
|
||||
} catch (err) {
|
||||
if ((err as { code?: string }).code === '23503') throw badRequest('Неизвестный участник'); // foreign_key_violation
|
||||
throw err;
|
||||
}
|
||||
}
|
||||
|
||||
// GET /api/v1/chats: только чаты текущего пользователя, cursor привязан к пользователю.
|
||||
export async function listChats(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const limit = limitOf(c.url);
|
||||
const [ts, id] = afterCursor(c.url, 'c', user.id);
|
||||
const r = await c.db.query(chatSelect + 'WHERE (c.created_at, c.id) > ($2, $3::uuid) ORDER BY c.created_at, c.id LIMIT $4',
|
||||
[user.id, ts, id, limit + 1]);
|
||||
return [200, page(r.rows, limit, 'c', user.id)];
|
||||
}
|
||||
|
||||
// GET /api/v1/chats/{chat_id}
|
||||
export async function getChat(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const r = await c.db.query(chatSelect + 'WHERE c.id = $2', [user.id, uuidParam(c, 'chat_id')]);
|
||||
if (!r.rowCount) throw notFound();
|
||||
return [200, r.rows[0]];
|
||||
}
|
||||
@@ -0,0 +1,411 @@
|
||||
// Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла.
|
||||
// Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу.
|
||||
// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, длина PLTE; поток zlib распаковывается с подсчётом байтов
|
||||
// (вывод выбрасывается, смотрится только байт фильтра 0–4 в начале каждой строки) и сверяется с объёмом,
|
||||
// который следует из размеров и формата пикселя.
|
||||
// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI и те же проверки заголовков, на которых
|
||||
// останавливается libjpeg-turbo (декодер Pillow и браузеров): 8 бит, 1/3/4 компонента, прореживание, таблицы
|
||||
// DQT/DHT для каждого скана, параметры SOS; скан не пустой. Энтропийные данные не декодируются — битый
|
||||
// Huffman-код libjpeg тоже считает лишь предупреждением.
|
||||
// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста
|
||||
// (у JPEG ещё сегмент заголовка, ≤ 64 KiB).
|
||||
import { finished } from 'node:stream/promises';
|
||||
import { createInflate, crc32 } from 'node:zlib';
|
||||
import { tooLarge, unsupported } from '../http/errors.ts';
|
||||
|
||||
export type Dimensions = { width: number; height: number };
|
||||
|
||||
export type ImageValidator = {
|
||||
write(chunk: Buffer): Promise<void>;
|
||||
end(): Promise<Dimensions>; // весь файл получен; бросает 415, если он обрезан
|
||||
close(): void; // освободить ресурсы при обрыве загрузки
|
||||
};
|
||||
|
||||
const broken = (why: string) => unsupported(`Содержимое не является корректным изображением: ${why}`);
|
||||
|
||||
export function imageValidator(type: 'image/png' | 'image/jpeg', maxPixels: number): ImageValidator {
|
||||
return type === 'image/png' ? png(maxPixels) : jpeg(maxPixels);
|
||||
}
|
||||
|
||||
function checkPixels(width: number, height: number, maxPixels: number): void {
|
||||
if (width * height > maxPixels) throw tooLarge(`Изображение больше ${maxPixels} пикселей`);
|
||||
}
|
||||
|
||||
const SIGNATURE = Buffer.from([0x89, 0x50, 0x4e, 0x47, 0x0d, 0x0a, 0x1a, 0x0a]);
|
||||
const CHANNELS: Record<number, number> = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 };
|
||||
const DEPTHS: Record<number, number[]> = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] };
|
||||
const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]];
|
||||
|
||||
// Строки распакованных данных PNG как [число строк, байт в строке]: байт фильтра + пиксели;
|
||||
// при interlace — по одной паре на каждый непустой проход Adam7.
|
||||
function rowLayout(width: number, height: number, bits: number, interlaced: boolean): [number, number][] {
|
||||
const row = (w: number) => 1 + Math.ceil((w * bits) / 8);
|
||||
if (!interlaced) return [[height, row(width)]];
|
||||
const passes: [number, number][] = [];
|
||||
for (const [x0, y0, dx, dy] of ADAM7) {
|
||||
const w = Math.ceil((width - x0) / dx);
|
||||
const h = Math.ceil((height - y0) / dy);
|
||||
if (w > 0 && h > 0) passes.push([h, row(w)]);
|
||||
}
|
||||
return passes;
|
||||
}
|
||||
|
||||
function png(maxPixels: number): ImageValidator {
|
||||
let carry = Buffer.alloc(0);
|
||||
let state: 'signature' | 'header' | 'data' | 'crc' | 'done' = 'signature';
|
||||
let type = '';
|
||||
let left = 0;
|
||||
let crc = 0;
|
||||
let ihdr = Buffer.alloc(0);
|
||||
let dims: Dimensions | null = null;
|
||||
let color = 0;
|
||||
let palette = false;
|
||||
let idat: 'none' | 'open' | 'closed' = 'none';
|
||||
let expected = 0;
|
||||
let inflated = 0;
|
||||
let rows: [number, number][] = [];
|
||||
let pass = 0; // текущий проход Adam7 (без interlace — единственный)
|
||||
let rowsLeft = 0; // строк до конца прохода
|
||||
let inRow = 0; // позиция внутри текущей строки
|
||||
let badFilter = false;
|
||||
|
||||
const inflate = createInflate();
|
||||
let zerr: Error | null = null;
|
||||
let wake: (() => void) | null = null;
|
||||
inflate.on('data', (d: Buffer) => {
|
||||
inflated += d.length;
|
||||
// Первый байт каждой строки — тип фильтра, допустимы только 0–4 (ISO/IEC 15948, 9.2).
|
||||
for (let i = 0; i < d.length && pass < rows.length;) {
|
||||
const len = rows[pass][1];
|
||||
if (inRow === 0 && d[i] > 4) badFilter = true;
|
||||
const step = Math.min(len - inRow, d.length - i);
|
||||
i += step;
|
||||
inRow += step;
|
||||
if (inRow === len) {
|
||||
inRow = 0;
|
||||
if (--rowsLeft === 0 && ++pass < rows.length) rowsLeft = rows[pass][0];
|
||||
}
|
||||
}
|
||||
});
|
||||
// При ошибке zlib callback write не вызывается: будим ожидающего вручную.
|
||||
inflate.on('error', (e) => { zerr = e; wake?.(); });
|
||||
const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise<void>((resolve) => {
|
||||
wake = resolve;
|
||||
inflate.write(data, () => resolve());
|
||||
});
|
||||
|
||||
function startChunk(len: number) {
|
||||
if (!/^[A-Za-z]{4}$/.test(type) || len > 0x7fffffff) throw broken('неверный заголовок chunk');
|
||||
if (!dims && type !== 'IHDR') throw broken('первым должен быть IHDR');
|
||||
if (dims && type === 'IHDR') throw broken('повторный IHDR');
|
||||
if (type === 'IHDR' && len !== 13) throw broken('неверная длина IHDR');
|
||||
// Неизвестный критический chunk (заглавная первая буква) декодер обязан отвергнуть.
|
||||
if (/^[A-Z]/.test(type) && !['IHDR', 'PLTE', 'IDAT', 'IEND'].includes(type)) throw broken(`неизвестный chunk ${type}`);
|
||||
if (type === 'IDAT') {
|
||||
if (idat === 'closed') throw broken('IDAT идут не подряд');
|
||||
if (color === 3 && !palette) throw broken('нет палитры PLTE');
|
||||
idat = 'open';
|
||||
} else if (idat === 'open') {
|
||||
idat = 'closed';
|
||||
}
|
||||
if (type === 'PLTE') {
|
||||
if (palette || !len || len > 256 * 3 || len % 3) throw broken('неверная палитра PLTE');
|
||||
palette = true;
|
||||
}
|
||||
if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND');
|
||||
}
|
||||
|
||||
function endChunk() {
|
||||
if (type === 'IHDR') {
|
||||
const width = ihdr.readUInt32BE(0);
|
||||
const height = ihdr.readUInt32BE(4);
|
||||
const depth = ihdr[8];
|
||||
color = ihdr[9];
|
||||
if (!width || !height || width > 0x7fffffff || height > 0x7fffffff) throw broken('неверные размеры');
|
||||
if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR');
|
||||
checkPixels(width, height, maxPixels); // до первого байта IDAT
|
||||
dims = { width, height };
|
||||
rows = rowLayout(width, height, CHANNELS[color] * depth, ihdr[12] === 1);
|
||||
expected = rows.reduce((sum, [h, len]) => sum + h * len, 0);
|
||||
rowsLeft = rows[0][0];
|
||||
}
|
||||
state = type === 'IEND' ? 'done' : 'header';
|
||||
}
|
||||
|
||||
async function write(chunk: Buffer) {
|
||||
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
|
||||
let pos = 0;
|
||||
while (pos < buf.length) {
|
||||
const avail = buf.length - pos;
|
||||
if (state === 'signature') {
|
||||
if (avail < 8) break;
|
||||
if (!buf.subarray(pos, pos + 8).equals(SIGNATURE)) throw broken('нет сигнатуры PNG');
|
||||
pos += 8;
|
||||
state = 'header';
|
||||
} else if (state === 'header') {
|
||||
if (avail < 8) break;
|
||||
left = buf.readUInt32BE(pos);
|
||||
type = buf.toString('latin1', pos + 4, pos + 8);
|
||||
startChunk(left);
|
||||
crc = crc32(buf.subarray(pos + 4, pos + 8));
|
||||
pos += 8;
|
||||
state = left ? 'data' : 'crc';
|
||||
} else if (state === 'data') {
|
||||
const part = buf.subarray(pos, pos + Math.min(left, avail));
|
||||
crc = crc32(part, crc);
|
||||
if (type === 'IHDR') ihdr = Buffer.concat([ihdr, part]);
|
||||
if (type === 'IDAT') {
|
||||
await feed(part);
|
||||
if (zerr) throw broken('повреждён поток zlib');
|
||||
if (badFilter) throw broken('неверный тип фильтра строки');
|
||||
if (inflated > expected) throw broken('данных больше, чем пикселей');
|
||||
}
|
||||
left -= part.length;
|
||||
pos += part.length;
|
||||
if (!left) state = 'crc';
|
||||
} else if (state === 'crc') {
|
||||
if (avail < 4) break;
|
||||
if (buf.readUInt32BE(pos) !== crc) throw broken(`неверная CRC chunk ${type}`);
|
||||
pos += 4;
|
||||
endChunk();
|
||||
} else {
|
||||
throw broken('данные после IEND');
|
||||
}
|
||||
}
|
||||
carry = Buffer.from(buf.subarray(pos));
|
||||
}
|
||||
|
||||
return {
|
||||
async write(chunk) {
|
||||
try {
|
||||
await write(chunk);
|
||||
} catch (err) {
|
||||
inflate.destroy();
|
||||
throw err;
|
||||
}
|
||||
},
|
||||
async end() {
|
||||
if (state !== 'done') throw broken('файл обрезан');
|
||||
inflate.end();
|
||||
try {
|
||||
await finished(inflate);
|
||||
} catch {
|
||||
throw broken('поток zlib не завершён');
|
||||
}
|
||||
if (badFilter) throw broken('неверный тип фильтра строки');
|
||||
if (inflated !== expected) throw broken('объём данных не совпадает с размерами');
|
||||
return dims!;
|
||||
},
|
||||
close: () => inflate.destroy(),
|
||||
};
|
||||
}
|
||||
|
||||
// SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра.
|
||||
const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]);
|
||||
// Принимается то, что декодирует libjpeg-turbo через обычный 8-битный API: baseline, extended, progressive
|
||||
// с Huffman- или arithmetic-кодированием. Lossless и hierarchical (C3, C5–C7, CB, CD–CF) отвергаются.
|
||||
const SUPPORTED_SOF = new Set([0xc0, 0xc1, 0xc2, 0xc9, 0xca]);
|
||||
const DHT = 0xc4;
|
||||
const SOS = 0xda;
|
||||
const DQT = 0xdb;
|
||||
const DRI = 0xdd;
|
||||
const PARSED = new Set([...SUPPORTED_SOF, DHT, SOS, DQT]);
|
||||
|
||||
type Component = { h: number; v: number; tq: number };
|
||||
|
||||
function jpeg(maxPixels: number): ImageValidator {
|
||||
let carry = Buffer.alloc(0);
|
||||
let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi';
|
||||
let marker = 0;
|
||||
let left = 0;
|
||||
let seg = Buffer.alloc(0); // payload разбираемого сегмента (SOF, DHT, DQT, SOS)
|
||||
let dims: Dimensions | null = null;
|
||||
let progressive = false;
|
||||
let arithmetic = false;
|
||||
let scanned = false;
|
||||
let scanData = 0; // байт энтропийных данных в текущем скане
|
||||
const components = new Map<number, Component>();
|
||||
const quant = new Set<number>(); // номера определённых таблиц DQT
|
||||
const huff = new Set<number>(); // таблицы DHT: класс << 2 | номер
|
||||
|
||||
function frame() {
|
||||
const [precision, n] = [seg[0], seg[5]];
|
||||
const height = seg.readUInt16BE(1);
|
||||
const width = seg.readUInt16BE(3);
|
||||
if (!width || !height) throw broken('нулевые размеры');
|
||||
if (precision !== 8) throw broken('поддерживается только 8 бит на канал');
|
||||
if (![1, 3, 4].includes(n) || seg.length !== 6 + 3 * n) throw broken('неверный SOF');
|
||||
for (let i = 6; i < seg.length; i += 3) {
|
||||
const [id, h, v, tq] = [seg[i], seg[i + 1] >> 4, seg[i + 1] & 15, seg[i + 2]];
|
||||
if (components.has(id) || h < 1 || h > 4 || v < 1 || v > 4 || tq > 3) throw broken('неверные компоненты SOF');
|
||||
components.set(id, { h, v, tq });
|
||||
}
|
||||
// libjpeg восстанавливает цвет только при целом отношении прореживания к максимальному.
|
||||
const all = [...components.values()];
|
||||
const [maxH, maxV] = [Math.max(...all.map((c) => c.h)), Math.max(...all.map((c) => c.v))];
|
||||
if (all.some((c) => maxH % c.h || maxV % c.v)) throw broken('неподдерживаемое прореживание цвета');
|
||||
checkPixels(width, height, maxPixels); // до энтропийных данных
|
||||
dims = { width, height };
|
||||
progressive = marker === 0xc2 || marker === 0xca;
|
||||
arithmetic = marker >= 0xc9;
|
||||
}
|
||||
|
||||
function quantTables() {
|
||||
for (let i = 0; i < seg.length;) {
|
||||
const [pq, tq] = [seg[i] >> 4, seg[i] & 15];
|
||||
const size = 1 + 64 * (pq + 1);
|
||||
if (pq > 1 || tq > 3 || i + size > seg.length) throw broken('неверная таблица DQT');
|
||||
quant.add(tq);
|
||||
i += size;
|
||||
}
|
||||
}
|
||||
|
||||
function huffmanTables() {
|
||||
for (let i = 0; i < seg.length;) {
|
||||
if (i + 17 > seg.length) throw broken('неверная таблица DHT');
|
||||
const [tc, th] = [seg[i] >> 4, seg[i] & 15];
|
||||
let total = 0;
|
||||
let code = 0;
|
||||
for (let len = 1; len <= 16; len++) {
|
||||
total += seg[i + len];
|
||||
code += seg[i + len];
|
||||
// Как jpeg_make_d_derived_tbl: коды длины len не должны занять всё пространство (код из одних 1 зарезервирован).
|
||||
if (code >= 1 << len) throw broken('неверная таблица DHT');
|
||||
code <<= 1;
|
||||
}
|
||||
const symbols = seg.subarray(i + 17, i + 17 + total);
|
||||
if (tc > 1 || th > 3 || total > 256 || symbols.length !== total) throw broken('неверная таблица DHT');
|
||||
if (tc === 0 && symbols.some((s) => s > 15)) throw broken('неверная таблица DHT');
|
||||
huff.add((tc << 2) | th);
|
||||
i += 17 + total;
|
||||
}
|
||||
}
|
||||
|
||||
function scan() {
|
||||
const n = seg[0];
|
||||
if (n < 1 || n > 4 || seg.length !== 4 + 2 * n) throw broken('неверный SOS');
|
||||
const [ss, se, ah, al] = [seg[1 + 2 * n], seg[2 + 2 * n], seg[3 + 2 * n] >> 4, seg[3 + 2 * n] & 15];
|
||||
if (progressive && (ss === 0 ? se !== 0 : ss > se || se > 63 || n !== 1)) throw broken('неверные параметры скана');
|
||||
if (progressive && ((ah && al !== ah - 1) || al > 13)) throw broken('неверные параметры скана');
|
||||
const seen = new Set<number>();
|
||||
let blocks = 0;
|
||||
for (let i = 1; i < 1 + 2 * n; i += 2) {
|
||||
const comp = components.get(seg[i]);
|
||||
if (!comp || seen.has(seg[i])) throw broken('SOS ссылается на неизвестный компонент');
|
||||
seen.add(seg[i]);
|
||||
blocks += comp.h * comp.v;
|
||||
if (!quant.has(comp.tq)) throw broken('нет таблицы квантования DQT');
|
||||
// Отсутствующие таблицы Хаффмана 0 и 1 libjpeg-turbo заменяет стандартными (Motion JPEG); 2 и 3 — нет.
|
||||
// У arithmetic-кодирования таблицы условий (DAC) необязательны, проверяется только номер.
|
||||
const [td, ta] = [seg[i + 1] >> 4, seg[i + 1] & 15];
|
||||
const missing = (cls: number, t: number) => t > 3 || (!arithmetic && t > 1 && !huff.has((cls << 2) | t));
|
||||
const needDC = !progressive || (ss === 0 && ah === 0);
|
||||
const needAC = !progressive || ss > 0;
|
||||
if ((needDC && missing(0, td)) || (needAC && missing(1, ta))) throw broken('нет таблицы энтропийного кодирования');
|
||||
}
|
||||
if (n > 1 && blocks > 10) throw broken('слишком большой MCU');
|
||||
scanned = true;
|
||||
scanData = 0;
|
||||
}
|
||||
|
||||
function write(chunk: Buffer) {
|
||||
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
|
||||
let pos = 0;
|
||||
loop: while (pos < buf.length) {
|
||||
const avail = buf.length - pos;
|
||||
switch (state) {
|
||||
case 'soi':
|
||||
if (avail < 2) break loop;
|
||||
if (buf[pos] !== 0xff || buf[pos + 1] !== 0xd8) throw broken('нет сигнатуры JPEG');
|
||||
pos += 2;
|
||||
state = 'marker';
|
||||
break;
|
||||
case 'marker': {
|
||||
if (avail < 2) break loop;
|
||||
if (buf[pos] !== 0xff) throw broken('ожидался маркер');
|
||||
const code = buf[pos + 1];
|
||||
if (code === 0xff) { // байты-заполнители 0xFF перед маркером
|
||||
pos += 1;
|
||||
break;
|
||||
}
|
||||
pos += 2;
|
||||
if (code === 0xd9) {
|
||||
if (!scanned) throw broken('EOI до данных изображения');
|
||||
state = 'done';
|
||||
} else if (code === 0x00 || code === 0xd8 || (code >= 0xd0 && code <= 0xd7)) {
|
||||
throw broken('неожиданный маркер');
|
||||
} else if (code !== 0x01) { // TEM не имеет длины
|
||||
marker = code;
|
||||
state = 'length';
|
||||
}
|
||||
break;
|
||||
}
|
||||
case 'length': {
|
||||
if (avail < 2) break loop;
|
||||
left = buf.readUInt16BE(pos) - 2;
|
||||
pos += 2;
|
||||
if (left < 0) throw broken('неверная длина сегмента');
|
||||
if (SOF.has(marker) && !SUPPORTED_SOF.has(marker)) throw broken('неподдерживаемый вид JPEG (lossless, hierarchical)');
|
||||
if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF');
|
||||
if (marker === SOS && !dims) throw broken('SOS до SOF');
|
||||
if (marker === DRI && left !== 2) throw broken('неверный DRI');
|
||||
seg = Buffer.alloc(0);
|
||||
state = 'payload';
|
||||
break;
|
||||
}
|
||||
case 'payload': {
|
||||
const n = Math.min(left, avail);
|
||||
if (PARSED.has(marker)) seg = Buffer.concat([seg, buf.subarray(pos, pos + n)]);
|
||||
pos += n;
|
||||
left -= n;
|
||||
if (left) break;
|
||||
if (SUPPORTED_SOF.has(marker)) frame();
|
||||
else if (marker === DQT) quantTables();
|
||||
else if (marker === DHT) huffmanTables();
|
||||
else if (marker === SOS) scan();
|
||||
state = marker === SOS ? 'scan' : 'marker';
|
||||
break;
|
||||
}
|
||||
case 'scan': {
|
||||
// Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер.
|
||||
const ff = buf.indexOf(0xff, pos);
|
||||
scanData += (ff < 0 ? buf.length : ff) - pos;
|
||||
if (ff < 0) {
|
||||
pos = buf.length;
|
||||
} else if (ff + 1 >= buf.length) {
|
||||
pos = ff;
|
||||
break loop;
|
||||
} else {
|
||||
const next = buf[ff + 1];
|
||||
if (next === 0x00) {
|
||||
pos = ff + 2;
|
||||
scanData += 1;
|
||||
} else if (next >= 0xd0 && next <= 0xd7) {
|
||||
pos = ff + 2;
|
||||
} else if (next === 0xff) {
|
||||
pos = ff + 1; // заполнитель перед маркером
|
||||
} else {
|
||||
if (!scanData) throw broken('скан без данных');
|
||||
pos = ff;
|
||||
state = 'marker';
|
||||
}
|
||||
}
|
||||
break;
|
||||
}
|
||||
case 'done': // данные после EOI (MPF, «живые» фото) — нормальная практика камер
|
||||
pos = buf.length;
|
||||
break;
|
||||
}
|
||||
}
|
||||
carry = Buffer.from(buf.subarray(pos));
|
||||
}
|
||||
|
||||
return {
|
||||
write: async (chunk) => write(chunk),
|
||||
async end() {
|
||||
if (state !== 'done') throw broken('нет EOI: файл обрезан');
|
||||
return dims!;
|
||||
},
|
||||
close: () => {},
|
||||
};
|
||||
}
|
||||
@@ -0,0 +1,104 @@
|
||||
// Сообщения: идемпотентная отправка и история чата.
|
||||
import type { Ctx, Result } from '../http/context.ts';
|
||||
import { badRequest, conflict, notFound } from '../http/errors.ts';
|
||||
import { afterCursor, limitOf, page } from '../http/pagination.ts';
|
||||
import { UUID, isText, jsonObject, readJson } from '../http/request.ts';
|
||||
import { requireMember } from './chats.ts';
|
||||
import { authenticate, sha256 } from './sessions.ts';
|
||||
|
||||
const IDEMPOTENCY_KEY = /^[A-Za-z0-9._:-]{1,128}$/;
|
||||
// attachment_ids в порядке, заданном отправителем; text[] драйвер pg возвращает как массив строк.
|
||||
const attachmentIds = (m: string) =>
|
||||
`ARRAY(SELECT ma.attachment_id::text FROM message_attachments ma WHERE ma.message_id = ${m}.id ORDER BY ma.position) AS attachment_ids`;
|
||||
const messageColumns = `id, chat_id, sender_id, text, rfc3339(created_at) AS created_at, ${attachmentIds('messages')}`;
|
||||
|
||||
// POST /api/v1/chats/{chat_id}/messages с обязательным Idempotency-Key.
|
||||
// Область ключа: пользователь + метод + путь чата + ключ.
|
||||
// Ключ и сообщение вставляются ОДНИМ оператором, поэтому фиксируются атомарно: при ошибке БД нет ни того,
|
||||
// ни другого, и клиент может безопасно повторить запрос с тем же ключом.
|
||||
// Одновременный дубль (с любой реплики) ждёт на первичном ключе idempotency_keys, пока первая транзакция
|
||||
// не зафиксируется, затем получает ON CONFLICT DO NOTHING и отдаёт сохранённый результат.
|
||||
export async function sendMessage(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const chatId = await requireMember(c, user); // повтор тоже заново проверяет сессию и доступ
|
||||
const key = c.req.headers['idempotency-key'];
|
||||
if (typeof key !== 'string' || !IDEMPOTENCY_KEY.test(key)) throw badRequest('Нужен Idempotency-Key [A-Za-z0-9._:-]{1,128}');
|
||||
// sender_id в теле не принимается: отправитель — из сессии.
|
||||
const b = jsonObject(await readJson(c.req), ['text', 'attachment_ids']);
|
||||
const ids = attachmentList(b.attachment_ids);
|
||||
const text = b.text;
|
||||
// С вложениями текст может быть пустым; без вложений — 1–4000 символов, не только пробелы.
|
||||
if (typeof text !== 'string' || [...text].length > 4000 || (!ids.length && !isText(text, 1, 4000))) {
|
||||
throw badRequest('text: до 4000 символов; пустой текст допустим только с вложениями');
|
||||
}
|
||||
if (ids.length) await requireAttachments(c, chatId, ids);
|
||||
|
||||
const path = `/api/v1/chats/${chatId}/messages`;
|
||||
// Каноническое тело: порядок ключей JSON не важен, отсутствующий attachment_ids = [].
|
||||
// Без вложений hash тот же, что в lab3 (32 байта); с вложениями 64 байта — с текстовым не совпадёт.
|
||||
const hash = ids.length ? Buffer.concat([sha256(text), sha256(ids.join(','))]) : sha256(text);
|
||||
let inserted;
|
||||
try {
|
||||
inserted = await c.db.query({
|
||||
name: 'send',
|
||||
text: `WITH k AS (
|
||||
INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id)
|
||||
VALUES ($1, 'POST', $2, $3, $4, gen_random_uuid()) ON CONFLICT DO NOTHING RETURNING message_id),
|
||||
m AS (INSERT INTO messages (id, chat_id, sender_id, text) SELECT message_id, $5, $1, $6 FROM k
|
||||
RETURNING id, chat_id, sender_id, text, rfc3339(created_at) AS created_at),
|
||||
a AS (INSERT INTO message_attachments (message_id, chat_id, attachment_id, position)
|
||||
SELECT m.id, m.chat_id, t.id, t.ord FROM m, unnest($7::uuid[]) WITH ORDINALITY AS t(id, ord))
|
||||
SELECT * FROM m`,
|
||||
values: [user.id, path, key, hash, chatId, text, ids],
|
||||
});
|
||||
} catch (err) {
|
||||
// Составной FK (chat_id, attachment_id): вложение другого чата не прикрепить даже в обход проверки выше.
|
||||
if ((err as { code?: string }).code === '23503') throw notFound();
|
||||
throw err;
|
||||
}
|
||||
if (inserted.rowCount) return [201, { ...inserted.rows[0], attachment_ids: ids }];
|
||||
|
||||
// Ключ уже использован: тот же body → тот же 201 и то же сообщение, другой body → 409.
|
||||
const stored = await c.db.query(`SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, rfc3339(m.created_at) AS created_at,
|
||||
${attachmentIds('m')}
|
||||
FROM idempotency_keys k JOIN messages m ON m.id = k.message_id
|
||||
WHERE k.user_id = $1 AND k.method = 'POST' AND k.path = $2 AND k.key = $3`, [user.id, path, key]);
|
||||
const { request_hash, ...message } = stored.rows[0];
|
||||
if (!hash.equals(request_hash)) throw conflict('Idempotency-Key уже использован с другим телом');
|
||||
return [201, message];
|
||||
}
|
||||
|
||||
// GET /api/v1/chats/{chat_id}/messages: история по возрастанию (created_at, id), limit 1–100.
|
||||
export async function listMessages(c: Ctx): Promise<Result> {
|
||||
const user = await authenticate(c);
|
||||
const chatId = await requireMember(c, user);
|
||||
const limit = limitOf(c.url);
|
||||
const [ts, id] = afterCursor(c.url, 'm', chatId);
|
||||
const r = await c.db.query({
|
||||
name: 'history',
|
||||
text: `SELECT ${messageColumns} FROM messages WHERE chat_id = $1 AND (created_at, id) > ($2, $3::uuid)
|
||||
ORDER BY created_at, id LIMIT $4`,
|
||||
values: [chatId, ts, id, limit + 1],
|
||||
});
|
||||
return [200, page(r.rows, limit, 'm', chatId)];
|
||||
}
|
||||
|
||||
// attachment_ids: 0–10 уникальных UUID (в нижнем регистре), по умолчанию [].
|
||||
function attachmentList(value: unknown): string[] {
|
||||
if (value === undefined) return [];
|
||||
if (!Array.isArray(value) || value.length > 10 || !value.every((id) => typeof id === 'string' && UUID.test(id))) {
|
||||
throw badRequest('attachment_ids: до 10 UUID');
|
||||
}
|
||||
const ids = value.map((id: string) => id.toLowerCase());
|
||||
if (new Set(ids).size !== ids.length) throw badRequest('attachment_ids должны быть уникальны');
|
||||
return ids;
|
||||
}
|
||||
|
||||
// Все вложения из этого чата и приняты (queued/processing/ready). Чужое или неизвестное — 404, как и чужой чат;
|
||||
// failed — 409: прикреплять нечего, но объект виден участнику.
|
||||
async function requireAttachments(c: Ctx, chatId: string, ids: string[]): Promise<void> {
|
||||
const r = await c.db.query(`SELECT count(*)::int AS visible, count(*) FILTER (WHERE state = 'failed')::int AS failed
|
||||
FROM attachments WHERE id = ANY($1::uuid[]) AND chat_id = $2 AND state IN ('queued', 'processing', 'ready', 'failed')`, [ids, chatId]);
|
||||
if (r.rows[0].visible !== ids.length) throw notFound();
|
||||
if (r.rows[0].failed) throw conflict('Вложение не обработано (failed), прикрепить нельзя');
|
||||
}
|
||||
@@ -0,0 +1,8 @@
|
||||
// Общая модель пользователя для модулей users и sessions.
|
||||
|
||||
export type User = { id: string; username: string; display_name: string; created_at: string };
|
||||
|
||||
export const USERNAME = /^[a-z0-9_]{3,32}$/;
|
||||
|
||||
// Время форматирует PostgreSQL: Date в JS потерял бы микросекунды, на которых держится cursor.
|
||||
export const userColumns = 'u.id, u.username, u.display_name, rfc3339(u.created_at) AS created_at';
|
||||
@@ -0,0 +1,56 @@
|
||||
import { argon2, randomBytes, scrypt, timingSafeEqual, type Argon2Parameters } from 'node:crypto';
|
||||
import { envInt } from '../config.ts';
|
||||
import { HttpError } from '../http/errors.ts';
|
||||
|
||||
const memory = envInt('ARGON2_MEMORY_KIB', 19456);
|
||||
const passes = envInt('ARGON2_ITERATIONS', 2);
|
||||
const lanes = envInt('ARGON2_PARALLELISM', 1);
|
||||
if (memory < 19456 || passes < 2 || lanes !== 1) throw new Error('Недопустимые параметры Argon2id');
|
||||
|
||||
export const currentPassword = (hash: string) => hash.startsWith(`$argon2id$v=19$m=${memory},t=${passes},p=${lanes}$`);
|
||||
let inFlight = 0;
|
||||
|
||||
function derive(password: string, nonce: Buffer, params: Pick<Argon2Parameters, 'memory' | 'passes' | 'parallelism'>): Promise<Buffer> {
|
||||
return new Promise((resolve, reject) => argon2('argon2id', { message: password, nonce, tagLength: 32, ...params },
|
||||
(err, key) => err ? reject(err) : resolve(key)));
|
||||
}
|
||||
|
||||
// Бюджет общий для регистрации и входа внутри реплики.
|
||||
export async function withPasswordSlot<T>(work: () => Promise<T>): Promise<T> {
|
||||
if (inFlight >= 2) throw new HttpError(429, 'rate_limited', 'Слишком много запросов входа или регистрации', 1);
|
||||
inFlight++;
|
||||
try { return await work(); } finally { inFlight--; }
|
||||
}
|
||||
|
||||
export async function hashPassword(password: string): Promise<string> {
|
||||
const salt = randomBytes(16);
|
||||
const hash = await derive(password, salt, { memory, passes, parallelism: lanes });
|
||||
return `$argon2id$v=19$m=${memory},t=${passes},p=${lanes}$${salt.toString('base64').replace(/=+$/, '')}$${hash.toString('base64').replace(/=+$/, '')}`;
|
||||
}
|
||||
|
||||
export async function checkPassword(password: string, encoded: string): Promise<boolean> {
|
||||
const phc = /^\$argon2id\$v=19\$m=(\d+),t=(\d+),p=(\d+)\$([^$]+)\$([^$]+)$/.exec(encoded);
|
||||
let got: Buffer;
|
||||
let expected: Buffer;
|
||||
if (phc) {
|
||||
const [, m, t, p, salt, hash] = phc;
|
||||
const params = { memory: Number(m), passes: Number(t), parallelism: Number(p) };
|
||||
const nonce = Buffer.from(salt, 'base64');
|
||||
expected = Buffer.from(hash, 'base64');
|
||||
if (params.memory < 19456 || params.memory > Math.max(65536, memory) ||
|
||||
params.passes < 2 || params.passes > Math.max(6, passes) || params.parallelism !== 1 ||
|
||||
nonce.length !== 16 || expected.length !== 32) return false;
|
||||
got = await derive(password, nonce, params);
|
||||
} else {
|
||||
const legacy = /^scrypt\$16384\$8\$1\$([^$]+)\$([^$]+)$/.exec(encoded);
|
||||
if (!legacy) return false;
|
||||
expected = Buffer.from(legacy[2], 'base64');
|
||||
if (expected.length !== 32) return false;
|
||||
got = await new Promise<Buffer>((resolve, reject) =>
|
||||
scrypt(password, Buffer.from(legacy[1], 'base64'), 32, { N: 16384, r: 8, p: 1, maxmem: 64 << 20 },
|
||||
(err, key) => err ? reject(err) : resolve(key)));
|
||||
}
|
||||
return timingSafeEqual(got, expected);
|
||||
}
|
||||
|
||||
export const dummyHash = hashPassword('dummy-password-for-timing');
|
||||
@@ -0,0 +1,72 @@
|
||||
// Сессии: вход по Basic, выход, проверка Bearer-токена.
|
||||
// В БД хранится только sha256(токена): дамп базы не даёт рабочих токенов.
|
||||
import { createHash, randomBytes } from 'node:crypto';
|
||||
import type { Ctx, Result } from '../http/context.ts';
|
||||
import { HttpError, unauthorized } from '../http/errors.ts';
|
||||
import { isText, requireEmptyBody } from '../http/request.ts';
|
||||
import { checkPassword, currentPassword, dummyHash, hashPassword, withPasswordSlot } from './passwords.ts';
|
||||
import { USERNAME, userColumns, type User } from './model.ts';
|
||||
|
||||
export const sha256 = (s: string) => createHash('sha256').update(s).digest();
|
||||
|
||||
function bearerToken(c: Ctx): string | null {
|
||||
return /^Bearer +(\S+)$/i.exec(c.req.headers.authorization ?? '')?.[1] ?? null;
|
||||
}
|
||||
|
||||
// Текущий пользователь по Bearer-сессии. Basic и X-User-Id на бизнес-эндпоинтах не аутентифицируют.
|
||||
// Запрос именованный: pg готовит его один раз на соединение (улучшение из трека 1).
|
||||
export async function authenticate(c: Ctx): Promise<User> {
|
||||
const token = bearerToken(c);
|
||||
if (!token) throw unauthorized();
|
||||
const r = await c.db.query<User>({
|
||||
name: 'auth',
|
||||
text: `SELECT ${userColumns} FROM sessions s JOIN users u ON u.id = s.user_id
|
||||
WHERE s.token_hash = $1 AND s.expires_at > now()`,
|
||||
values: [sha256(token)],
|
||||
});
|
||||
if (!r.rowCount) throw unauthorized();
|
||||
return r.rows[0];
|
||||
}
|
||||
|
||||
// POST /api/v1/auth/sessions: Basic username:password → новый Bearer-токен.
|
||||
export async function createSession(c: Ctx): Promise<Result> {
|
||||
await requireEmptyBody(c.req); // контракт: только заголовок Basic, без JSON-тела
|
||||
const deny = new HttpError(401, 'unauthorized', 'Неверные учётные данные'); // одинаковый ответ на любую ошибку входа
|
||||
const budget = await c.db.query<{ retry_after: number }>('SELECT login_budget() AS retry_after');
|
||||
const wait = budget.rows[0].retry_after;
|
||||
if (wait) throw new HttpError(429, 'rate_limited', 'Лимит попыток входа', wait);
|
||||
const m = /^Basic +([A-Za-z0-9+/]+=*)$/i.exec(c.req.headers.authorization ?? '');
|
||||
if (!m) throw deny;
|
||||
const decoded = Buffer.from(m[1], 'base64').toString('utf8');
|
||||
const colon = decoded.indexOf(':'); // в username двоеточия нет, в пароле может быть
|
||||
const username = decoded.slice(0, colon);
|
||||
const password = decoded.slice(colon + 1);
|
||||
if (colon < 0 || !USERNAME.test(username) || !isText(password, 12, 128)) throw deny;
|
||||
|
||||
const r = await c.db.query<User & { password_hash: string }>(
|
||||
`SELECT ${userColumns}, u.password_hash FROM users u WHERE u.username = $1`, [username]);
|
||||
const row = r.rows[0];
|
||||
await withPasswordSlot(async () => {
|
||||
const valid = await checkPassword(password, row?.password_hash ?? await dummyHash);
|
||||
if (!row || !valid) throw deny;
|
||||
if (!currentPassword(row.password_hash)) {
|
||||
await c.db.query('UPDATE users SET password_hash = $1 WHERE id = $2 AND password_hash = $3',
|
||||
[await hashPassword(password), row.id, row.password_hash]);
|
||||
}
|
||||
});
|
||||
if (!row) throw deny;
|
||||
|
||||
const token = randomBytes(32).toString('base64url'); // 256 бит энтропии
|
||||
const s = await c.db.query(
|
||||
`INSERT INTO sessions (token_hash, user_id, expires_at) VALUES ($1, $2, now() + make_interval(secs => $3))
|
||||
RETURNING rfc3339(expires_at) AS expires_at`, [sha256(token), row.id, c.config.sessionTtlSeconds]);
|
||||
const { password_hash: _, ...user } = row;
|
||||
return [201, { token, token_type: 'Bearer', expires_at: s.rows[0].expires_at, user }];
|
||||
}
|
||||
|
||||
// DELETE /api/v1/auth/sessions/current: отзыв текущего токена.
|
||||
export async function deleteSession(c: Ctx): Promise<Result> {
|
||||
await authenticate(c);
|
||||
await c.db.query('DELETE FROM sessions WHERE token_hash = $1', [sha256(bearerToken(c)!)]);
|
||||
return [204];
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
// Пользователи: регистрация и профиль текущего пользователя.
|
||||
import type { Ctx, Result } from '../http/context.ts';
|
||||
import { badRequest, conflict } from '../http/errors.ts';
|
||||
import { isText, jsonObject, readJson } from '../http/request.ts';
|
||||
import { hashPassword, withPasswordSlot } from './passwords.ts';
|
||||
import { USERNAME, userColumns, type User } from './model.ts';
|
||||
import { authenticate } from './sessions.ts';
|
||||
|
||||
// POST /api/v1/users: публичная регистрация. Пароль и его хеш в ответ не попадают.
|
||||
export async function createUser(c: Ctx): Promise<Result> {
|
||||
const b = jsonObject(await readJson(c.req), ['username', 'display_name', 'password']);
|
||||
if (typeof b.username !== 'string' || !USERNAME.test(b.username) || !isText(b.display_name, 1, 100) || !isText(b.password, 12, 128)) {
|
||||
throw badRequest('Неверные username, display_name или password');
|
||||
}
|
||||
try {
|
||||
const r = await c.db.query<User>(
|
||||
`INSERT INTO users AS u (username, display_name, password_hash) VALUES ($1, $2, $3) RETURNING ${userColumns}`,
|
||||
[b.username, b.display_name, await withPasswordSlot(() => hashPassword(b.password as string))]);
|
||||
return [201, r.rows[0]];
|
||||
} catch (err) {
|
||||
if ((err as { code?: string }).code === '23505') throw conflict('Username уже занят'); // unique_violation
|
||||
throw err;
|
||||
}
|
||||
}
|
||||
|
||||
// GET /api/v1/users/me
|
||||
export async function me(c: Ctx): Promise<Result> {
|
||||
return [200, await authenticate(c)];
|
||||
}
|
||||
+73
@@ -0,0 +1,73 @@
|
||||
// Наблюдаемость на уровне API OpenTelemetry: tracer, meter, структурный лог, перенос W3C trace context.
|
||||
// SDK подключает src/telemetry.ts (node --import, только api и worker); без него всё здесь — no-op,
|
||||
// а лог пишется только в stdout. Модуль не зависит от SDK, поэтому его импортируют и утилиты (migrate, reconcile).
|
||||
import { setTimeout as sleep } from 'node:timers/promises';
|
||||
import { context, metrics, propagation, ROOT_CONTEXT, SpanStatusCode, trace, type Attributes, type Context } from '@opentelemetry/api';
|
||||
import { logs, SeverityNumber } from '@opentelemetry/api-logs';
|
||||
import { getRPCMetadata, RPCType } from '@opentelemetry/core';
|
||||
|
||||
export const tracer = trace.getTracer('messenger');
|
||||
export const meter = metrics.getMeter('messenger');
|
||||
const logger = logs.getLogger('messenger');
|
||||
const service = process.env.OTEL_SERVICE_NAME || 'messenger';
|
||||
|
||||
type Level = 'info' | 'warn' | 'error';
|
||||
const SEVERITY = { info: SeverityNumber.INFO, warn: SeverityNumber.WARN, error: SeverityNumber.ERROR };
|
||||
|
||||
// Структурный лог: JSON-строка в stdout/stderr (docker logs) и запись OTLP (Loki) с trace_id/span_id активного span.
|
||||
// event — стабильный машинный ключ события, message — текст для человека. В attrs только технические поля:
|
||||
// без паролей, токенов, Authorization, текста сообщений, имён файлов и байтов изображений.
|
||||
export function log(level: Level, event: string, message: string, attrs: Attributes = {}): void {
|
||||
const span = trace.getActiveSpan()?.spanContext();
|
||||
const line = { time: new Date().toISOString(), level, service, event, message, ...attrs, trace_id: span?.traceId, span_id: span?.spanId };
|
||||
(level === 'info' ? process.stdout : process.stderr).write(JSON.stringify(line) + '\n');
|
||||
logger.emit({ severityNumber: SEVERITY[level], severityText: level.toUpperCase(), body: message, attributes: { event, ...attrs } });
|
||||
}
|
||||
|
||||
// Дочерний span вокруг шага (захват job, рендер, фиксация): группирует его SQL/S3-spans; ошибка помечает span.
|
||||
export function inSpan<T>(name: string, attributes: Attributes, fn: () => Promise<T>): Promise<T> {
|
||||
return tracer.startActiveSpan(name, { attributes }, async (span) => {
|
||||
try {
|
||||
return await fn();
|
||||
} catch (err) {
|
||||
span.recordException({ name: (err as Error).name, message: 'Операция завершилась ошибкой' });
|
||||
span.setStatus({ code: SpanStatusCode.ERROR });
|
||||
throw err;
|
||||
} finally {
|
||||
span.end();
|
||||
}
|
||||
});
|
||||
}
|
||||
|
||||
export type TraceCarrier = { traceparent: string | null; tracestate: string | null };
|
||||
|
||||
// Trace context для переноса через outbox и брокер: поля traceparent/tracestate из contracts/jobs.schema.json.
|
||||
// tracestate длиннее 512 символов (предел схемы) не переносится.
|
||||
export function traceCarrier(ctx: Context = context.active()): TraceCarrier {
|
||||
const c: Record<string, string> = {};
|
||||
propagation.inject(ctx, c);
|
||||
return { traceparent: c.traceparent ?? null, tracestate: c.tracestate && c.tracestate.length <= 512 ? c.tracestate : null };
|
||||
}
|
||||
|
||||
// Обратное преобразование; пустой carrier (строки до lab6, сообщение без полей) — корневой контекст, новый trace.
|
||||
export function contextFrom(carrier: Partial<TraceCarrier>): Context {
|
||||
return propagation.extract(ROOT_CONTEXT, carrier);
|
||||
}
|
||||
|
||||
// Шаблон маршрута (/api/v1/chats/{chat_id}/messages) для имени server span и метрики http.server.request.duration:
|
||||
// реальный путь с UUID в label метрики попасть не должен.
|
||||
export function setRoute(template: string): void {
|
||||
const rpc = getRPCMetadata(context.active());
|
||||
if (rpc?.type === RPCType.HTTP) rpc.route = template;
|
||||
}
|
||||
|
||||
let flushHook: () => Promise<void> = async () => {};
|
||||
export function onFlush(f: () => Promise<void>): void {
|
||||
flushHook = f;
|
||||
}
|
||||
|
||||
// Перед выходом процесса: отправить накопленные spans, логи и метрики, но не дольше timeoutMs —
|
||||
// недоступный Collector не должен задерживать остановку.
|
||||
export async function flushTelemetry(timeoutMs = 3000): Promise<void> {
|
||||
await Promise.race([flushHook().catch(() => {}), sleep(timeoutMs)]);
|
||||
}
|
||||
@@ -0,0 +1,260 @@
|
||||
// Сверка PostgreSQL ↔ S3: очистка после сбоев загрузки (уровень 4) и исправление расхождений (трек 2).
|
||||
// node src/main.ts reconcile — dry-run: только отчёт, ничего не меняет
|
||||
// ... reconcile --apply — выполнить исправления
|
||||
// --verify дополнительно скачать ready-объекты и сверить SHA-256 (читает все байты bucket)
|
||||
// --grace=N pending-строки и объекты без строки моложе N секунд не трогаются (RECONCILE_GRACE_SECONDS, 900)
|
||||
// --retention=N staging failed-вложений хранится N секунд для replay (STAGING_RETENTION_SECONDS, 86400)
|
||||
// --every=N повторять каждые N секунд (так работает сервис reconciler)
|
||||
//
|
||||
// Правила. Строки ready/lost не удаляются никогда, используемые сообщениями дополнительно защищены FK.
|
||||
// stale_pending pending старше grace: запрос загрузки давно завершён (таймаут API 60 с ≪ grace)
|
||||
// → удалить строку, затем объект (если упадём между ними — останется orphan_object)
|
||||
// orphan_object объект без строки старше grace → удалить объект. Строка создаётся раньше объекта,
|
||||
// ключ случайный, поэтому строка для такого объекта уже не появится
|
||||
// missing_object ready без объекта (повторно проверено HEAD) → lost: скрыть из API, ссылки сохранить
|
||||
// size_mismatch ready, размер объекта ≠ size_bytes → lost
|
||||
// checksum_mismatch ready, SHA-256 объекта ≠ sha256 (только --verify) → lost
|
||||
// restored lost, объект на месте и SHA-256 совпал → снова ready (карантин обратим)
|
||||
// Lab5, префиксы staging/ и variants/ (объект нужен, пока на него ссылается БД):
|
||||
// orphan_staging staging без строки старше grace → удалить
|
||||
// published_staging staging ready-вложения старше grace (worker не успел удалить после фиксации) → удалить
|
||||
// expired_staging staging failed-вложения старше STAGING_RETENTION_SECONDS → удалить (replay после этого невозможен)
|
||||
// orphan_variant объект варианта без строки attachment_variants старше grace (попытка проиграла аренду
|
||||
// или упала до фиксации; grace ≫ JOB_TIMEOUT_SECONDS) → удалить
|
||||
//
|
||||
// Обход: ListObjectsV2 и строки БД, оба отсортированы по ключу побайтово, сливаются как два потока
|
||||
// (merge join) — память O(страница), запросов O(N / 1000). Конкурентные загрузки: строки, изменённые после
|
||||
// начала обхода (updated_at ≥ t0), не проверяются; их объекты моложе grace и тоже не трогаются.
|
||||
import { createHash } from 'node:crypto';
|
||||
import type { Readable } from 'node:stream';
|
||||
import { setTimeout as sleep } from 'node:timers/promises';
|
||||
import type pg from 'pg';
|
||||
import { s3Config, secret } from './config.ts';
|
||||
import { createPool } from './db.ts';
|
||||
import { createStorage, type Storage } from './storage/s3.ts';
|
||||
|
||||
const PREFIX = 'originals/';
|
||||
const PAGE = 1000;
|
||||
const PRINT_LIMIT = 20; // находки сверх лимита только считаются
|
||||
|
||||
type Options = { apply: boolean; verify: boolean; grace: number; retention: number };
|
||||
type Obj = { key: string; size: number; modified: Date };
|
||||
type Row = { id: string; object_key: string; state: string; size_bytes: number | null; sha256: string | null; settled: boolean };
|
||||
|
||||
export async function reconcileCommand(args: string[], defaultGrace: number, defaultRetention: number): Promise<void> {
|
||||
const flag = (name: string) => args.find((a) => a.startsWith(`--${name}=`))?.split('=')[1];
|
||||
const opts: Options = { apply: args.includes('--apply'), verify: args.includes('--verify'), grace: Number(flag('grace') ?? defaultGrace),
|
||||
retention: Number(flag('retention') ?? defaultRetention) };
|
||||
const every = Number(flag('every') ?? 0);
|
||||
if (!Number.isInteger(opts.grace) || opts.grace < 0 || !Number.isInteger(every) || every < 0) throw new Error('--grace/--every: целые секунды');
|
||||
const db = createPool(secret('DATABASE_URL'), 2);
|
||||
const s3 = createStorage(s3Config());
|
||||
process.on('SIGTERM', () => process.exit(0)); // прерванный обход безопасен: каждое действие атомарно
|
||||
for (;;) {
|
||||
try {
|
||||
console.log(JSON.stringify(await reconcile(db, s3, opts)));
|
||||
} catch (err) {
|
||||
console.error(`сверка не выполнена: ${(err as Error).message}`);
|
||||
if (!every) process.exitCode = 1;
|
||||
}
|
||||
if (!every) break;
|
||||
await sleep(every * 1000);
|
||||
}
|
||||
await db.end();
|
||||
}
|
||||
|
||||
export async function reconcile(db: pg.Pool, s3: Storage, opts: Options) {
|
||||
const started = performance.now();
|
||||
const lock = await db.connect();
|
||||
try {
|
||||
// Два reconciler-а одновременно не работают: второй сразу выходит.
|
||||
if (!(await lock.query('SELECT pg_try_advisory_lock(4004) AS ok')).rows[0].ok) return { skipped: 'другая сверка уже идёт' };
|
||||
try {
|
||||
return await run(db, s3, opts, started);
|
||||
} finally {
|
||||
await lock.query('SELECT pg_advisory_unlock(4004)');
|
||||
}
|
||||
} finally {
|
||||
lock.release();
|
||||
}
|
||||
}
|
||||
|
||||
async function run(db: pg.Pool, s3: Storage, { apply, verify, grace, retention }: Options, started: number) {
|
||||
const stats = { mode: apply ? 'apply' : 'dry-run', verify, grace_seconds: grace, objects: 0, rows: 0, fresh_skipped: 0,
|
||||
s3_list: 0, s3_head: 0, s3_get_bytes: 0, db_queries: 0, findings: {} as Record<string, number>, applied: 0 };
|
||||
const t0: Date = (await db.query('SELECT now() AS t0')).rows[0].t0;
|
||||
stats.db_queries++;
|
||||
const cutoff = t0.getTime() - grace * 1000;
|
||||
|
||||
const found = async (kind: string, detail: Record<string, unknown>, fix: () => Promise<boolean>) => {
|
||||
const n = stats.findings[kind] = (stats.findings[kind] ?? 0) + 1;
|
||||
const done = apply && await fix();
|
||||
if (done) stats.applied++;
|
||||
if (n <= PRINT_LIMIT) console.log(JSON.stringify({ finding: kind, ...detail, action: apply ? (done ? 'fixed' : 'changed meanwhile, skipped') : 'would fix' }));
|
||||
};
|
||||
const setState = async (id: string, from: string, to: string) => {
|
||||
stats.db_queries++;
|
||||
return Boolean((await db.query('UPDATE attachments SET state = $3, updated_at = clock_timestamp() WHERE id = $1 AND state = $2',
|
||||
[id, from, to])).rowCount);
|
||||
};
|
||||
const sha256Of = async (key: string) => {
|
||||
const body = await s3.get(key);
|
||||
if (!body) return null;
|
||||
const hash = createHash('sha256');
|
||||
for await (const chunk of body as Readable) {
|
||||
hash.update(chunk);
|
||||
stats.s3_get_bytes += chunk.length;
|
||||
}
|
||||
return hash.digest('hex');
|
||||
};
|
||||
|
||||
// 1. Зависшие загрузки. Условие повторяется в DELETE: если строка успела измениться, её не трогаем.
|
||||
const stale = await db.query(`SELECT id, COALESCE(staging_key, object_key) AS object_key FROM attachments
|
||||
WHERE state = 'pending' AND created_at < $1::timestamptz - make_interval(secs => $2)`, [t0, grace]);
|
||||
stats.db_queries++;
|
||||
for (const r of stale.rows) {
|
||||
await found('stale_pending', { id: r.id, key: r.object_key }, async () => {
|
||||
stats.db_queries++;
|
||||
const d = await db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'
|
||||
AND created_at < $2::timestamptz - make_interval(secs => $3)`, [r.id, t0, grace]);
|
||||
if (!d.rowCount) return false;
|
||||
await s3.remove(r.object_key);
|
||||
return true;
|
||||
});
|
||||
}
|
||||
|
||||
// 2. Слияние отсортированных потоков объектов и строк.
|
||||
const onlyObject = async (o: Obj) => {
|
||||
if (o.modified.getTime() > cutoff) {
|
||||
stats.fresh_skipped++;
|
||||
return;
|
||||
}
|
||||
await found('orphan_object', { key: o.key, size: o.size, modified: o.modified }, async () => {
|
||||
await s3.remove(o.key);
|
||||
return true;
|
||||
});
|
||||
};
|
||||
const onlyRow = async (r: Row) => {
|
||||
// pending — этап 1; lost — уже в карантине; не settled — строка изменилась после начала обхода.
|
||||
if (r.state !== 'ready' || !r.settled) return;
|
||||
stats.s3_head++;
|
||||
if (await s3.exists(r.object_key)) return; // объект не попал в листинг, но существует — не трогаем
|
||||
await found('missing_object', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost'));
|
||||
};
|
||||
const both = async (o: Obj, r: Row) => {
|
||||
// Оригинал до фиксации ready (processing/queued) может уже лежать в originals/: его не проверяем.
|
||||
if ((r.state !== 'ready' && r.state !== 'lost') || !r.settled) return;
|
||||
if (o.size !== r.size_bytes) {
|
||||
if (r.state === 'ready') await found('size_mismatch', { id: r.id, key: r.object_key, expected: r.size_bytes, actual: o.size }, () => setState(r.id, 'ready', 'lost'));
|
||||
return;
|
||||
}
|
||||
if (r.state === 'ready' && !verify) return;
|
||||
const actual = await sha256Of(o.key);
|
||||
if (r.state === 'ready' && actual !== r.sha256) {
|
||||
await found('checksum_mismatch', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost'));
|
||||
} else if (r.state === 'lost' && actual === r.sha256) {
|
||||
await found('restored', { id: r.id, key: r.object_key }, () => setState(r.id, 'lost', 'ready'));
|
||||
}
|
||||
};
|
||||
|
||||
const objs = objects(s3, stats);
|
||||
const rows = dbRows(db, t0, stats);
|
||||
let o = (await objs.next()).value;
|
||||
let r = (await rows.next()).value;
|
||||
while (o || r) {
|
||||
if (o && (!r || o.key < r.object_key)) {
|
||||
stats.objects++;
|
||||
await onlyObject(o);
|
||||
o = (await objs.next()).value;
|
||||
} else if (r && (!o || r.object_key < o.key)) {
|
||||
stats.rows++;
|
||||
await onlyRow(r);
|
||||
r = (await rows.next()).value;
|
||||
} else {
|
||||
stats.objects++;
|
||||
stats.rows++;
|
||||
await both(o!, r!);
|
||||
o = (await objs.next()).value;
|
||||
r = (await rows.next()).value;
|
||||
}
|
||||
}
|
||||
|
||||
// 3. staging/ и variants/: постраничный поиск ключей в БД.
|
||||
const remove = (key: string) => async () => {
|
||||
await s3.remove(key);
|
||||
return true;
|
||||
};
|
||||
for await (const page of pages(s3, 'staging/', stats)) {
|
||||
const r = await db.query(`SELECT staging_key AS key, state, updated_at < $2::timestamptz - make_interval(secs => $3) AS expired
|
||||
FROM attachments WHERE staging_key = ANY($1)`, [page.map((o) => o.key), t0, retention]);
|
||||
stats.db_queries++;
|
||||
const rows = new Map(r.rows.map((row) => [row.key, row]));
|
||||
for (const o of page) {
|
||||
stats.objects++;
|
||||
const row = rows.get(o.key);
|
||||
const old = o.modified.getTime() <= cutoff;
|
||||
if (!row && !old) stats.fresh_skipped++;
|
||||
else if (!row) await found('orphan_staging', { key: o.key }, remove(o.key));
|
||||
else if (row.state === 'ready' && old) await found('published_staging', { key: o.key }, remove(o.key));
|
||||
else if (row.state === 'failed' && row.expired) {
|
||||
await found('expired_staging', { key: o.key }, async () => {
|
||||
await s3.remove(o.key);
|
||||
await db.query(`UPDATE attachments SET staging_key = NULL WHERE staging_key = $1 AND state = 'failed'`, [o.key]);
|
||||
return true;
|
||||
});
|
||||
}
|
||||
}
|
||||
}
|
||||
for await (const page of pages(s3, 'variants/', stats)) {
|
||||
const r = await db.query('SELECT object_key FROM attachment_variants WHERE object_key = ANY($1)', [page.map((o) => o.key)]);
|
||||
stats.db_queries++;
|
||||
const known = new Set(r.rows.map((row) => row.object_key));
|
||||
for (const o of page) {
|
||||
stats.objects++;
|
||||
if (known.has(o.key)) continue;
|
||||
if (o.modified.getTime() > cutoff) stats.fresh_skipped++;
|
||||
else await found('orphan_variant', { key: o.key }, remove(o.key));
|
||||
}
|
||||
}
|
||||
return { ...stats, duration_ms: Math.round(performance.now() - started), max_rss_mb: Math.round(process.resourceUsage().maxRSS / 1024) };
|
||||
}
|
||||
|
||||
async function* pages(s3: Storage, prefix: string, stats: { s3_list: number }): AsyncGenerator<Obj[], undefined> {
|
||||
let token: string | undefined;
|
||||
do {
|
||||
const page = await s3.list(prefix, token);
|
||||
stats.s3_list++;
|
||||
yield (page.Contents ?? []).map((item) => ({ key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! }));
|
||||
token = page.IsTruncated ? page.NextContinuationToken : undefined;
|
||||
} while (token);
|
||||
return undefined;
|
||||
}
|
||||
|
||||
async function* objects(s3: Storage, stats: { s3_list: number }): AsyncGenerator<Obj, undefined> {
|
||||
let token: string | undefined;
|
||||
let last = '';
|
||||
do {
|
||||
const page = await s3.list(PREFIX, token);
|
||||
stats.s3_list++;
|
||||
for (const item of page.Contents ?? []) {
|
||||
// Слияние корректно только на отсортированных потоках: иначе остановиться, а не удалить лишнее.
|
||||
if (item.Key! <= last) throw new Error('S3 вернул ключи не по порядку');
|
||||
last = item.Key!;
|
||||
yield { key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! };
|
||||
}
|
||||
token = page.IsTruncated ? page.NextContinuationToken : undefined;
|
||||
} while (token);
|
||||
return undefined;
|
||||
}
|
||||
|
||||
async function* dbRows(db: pg.Pool, t0: Date, stats: { db_queries: number }): AsyncGenerator<Row, undefined> {
|
||||
let last = '';
|
||||
for (;;) {
|
||||
const r = await db.query<Row>(`SELECT id, object_key, state, size_bytes, sha256, updated_at < $2 AS settled
|
||||
FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT ${PAGE}`, [last, t0]);
|
||||
stats.db_queries++;
|
||||
yield* r.rows;
|
||||
if (r.rows.length < PAGE) return undefined;
|
||||
last = r.rows[r.rows.length - 1].object_key;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,99 @@
|
||||
import { X509Certificate } from 'node:crypto';
|
||||
import { readFileSync } from 'node:fs';
|
||||
import { Agent, request } from 'node:https';
|
||||
import { setTimeout as sleep } from 'node:timers/promises';
|
||||
|
||||
export function serviceTls() {
|
||||
return {
|
||||
ca: readFileSync(process.env.TLS_CA_FILE ?? '/run/tls/ca.crt'),
|
||||
cert: readFileSync('/run/identity/tls.crt'),
|
||||
key: readFileSync('/run/identity/tls.key'),
|
||||
minVersion: 'TLSv1.2' as const,
|
||||
rejectUnauthorized: true,
|
||||
};
|
||||
}
|
||||
|
||||
const keys = ['DATABASE_URL', 'S3_ACCESS_KEY_ID', 'S3_SECRET_ACCESS_KEY'] as const;
|
||||
type Credentials = Record<(typeof keys)[number], string>;
|
||||
|
||||
let baoAgent: Agent | undefined;
|
||||
|
||||
export async function baoRequest(path: string, data?: object, token?: string): Promise<any> {
|
||||
const url = new URL(path, process.env.BAO_ADDR ?? 'https://openbao:8200');
|
||||
if (url.protocol !== 'https:') throw new Error('OpenBao требует HTTPS');
|
||||
return new Promise((resolve, reject) => {
|
||||
const body = data === undefined ? undefined : JSON.stringify(data);
|
||||
const req = request(url, {
|
||||
agent: baoAgent ??= new Agent({ ...serviceTls(), keepAlive: true, maxSockets: 1 }), method: body === undefined ? 'GET' : 'POST',
|
||||
headers: {
|
||||
...(body && { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(body) }),
|
||||
...(token && { 'X-Vault-Token': token }),
|
||||
},
|
||||
signal: AbortSignal.timeout(8000),
|
||||
}, (res) => {
|
||||
let content = '';
|
||||
res.setEncoding('utf8');
|
||||
res.on('data', (part: string) => {
|
||||
content += part;
|
||||
if (content.length > 65536) req.destroy(new Error('OpenBao: ответ превышает лимит'));
|
||||
});
|
||||
res.on('error', reject);
|
||||
res.on('end', () => {
|
||||
if (res.statusCode !== 200 && res.statusCode !== 204) return reject(new Error(`OpenBao HTTP ${res.statusCode}`));
|
||||
try { resolve(content ? JSON.parse(content) : null); } catch { reject(new Error('OpenBao: неверный JSON')); }
|
||||
});
|
||||
});
|
||||
req.on('error', reject);
|
||||
req.end(body);
|
||||
});
|
||||
}
|
||||
|
||||
export function serviceSecretName(role: string): string {
|
||||
if (role !== 'worker') return role;
|
||||
const name = new X509Certificate(serviceTls().cert).subject;
|
||||
if (!/^CN=worker-[0-9a-f]{8}$/.test(name)) throw new Error('Неверная identity worker');
|
||||
return name.slice(3);
|
||||
}
|
||||
|
||||
export async function loadServiceSecrets(role: string) {
|
||||
const path = serviceSecretName(role);
|
||||
async function acquire(): Promise<{ values: Credentials; ttl: number }> {
|
||||
const { auth } = await baoRequest('/v1/auth/cert/login', { name: role });
|
||||
const { data } = await baoRequest(`/v1/messenger/data/${path}`, undefined, auth.client_token);
|
||||
if (!keys.every((key) => typeof data.data[key] === 'string' && data.data[key])) throw new Error('OpenBao: неполный secret');
|
||||
if (!Number.isFinite(auth.lease_duration) || auth.lease_duration < 10 || auth.lease_duration > 300) {
|
||||
throw new Error('OpenBao: неверный TTL');
|
||||
}
|
||||
const values = Object.fromEntries(keys.map((key) => [key, data.data[key]])) as Credentials;
|
||||
return { values, ttl: auth.lease_duration };
|
||||
}
|
||||
|
||||
const { log } = await import('./otel.ts');
|
||||
const initial = await acquire();
|
||||
Object.assign(process.env, initial.values);
|
||||
// Re-auth вместо продления токена: замена/отзыв leaf проверяются при каждом цикле.
|
||||
let expiresAt = performance.now() + initial.ttl * 1000;
|
||||
const expire = () => {
|
||||
log('error', 'secrets.expired', 'OpenBao недоступен или identity отозвана; срок использования credentials истёк');
|
||||
process.exit(1);
|
||||
};
|
||||
let deadline = setTimeout(expire, initial.ttl * 1000).unref();
|
||||
void (async () => {
|
||||
for (;;) {
|
||||
await sleep(5000, undefined, { ref: false });
|
||||
try {
|
||||
const next = await acquire();
|
||||
if (keys.some((key) => next.values[key] !== initial.values[key])) {
|
||||
log('info', 'secrets.rotated', 'Получены новые credentials; процесс перезапускается');
|
||||
process.kill(process.pid, 'SIGTERM');
|
||||
return;
|
||||
}
|
||||
expiresAt = performance.now() + next.ttl * 1000;
|
||||
clearTimeout(deadline);
|
||||
deadline = setTimeout(expire, next.ttl * 1000).unref();
|
||||
} catch {
|
||||
if (performance.now() >= expiresAt) expire();
|
||||
}
|
||||
}
|
||||
})();
|
||||
}
|
||||
@@ -0,0 +1,100 @@
|
||||
// S3-совместимое хранилище байтов вложений (SeaweedFS). Один приватный bucket, ключи объектов назначает сервер.
|
||||
// Ошибки переводятся в ответы контракта: недоступность хранилища — 503, ошибка конфигурации/прав — 500.
|
||||
import {
|
||||
CopyObjectCommand,
|
||||
CreateBucketCommand,
|
||||
DeleteObjectCommand,
|
||||
GetObjectCommand,
|
||||
HeadObjectCommand,
|
||||
ListObjectsV2Command,
|
||||
PutObjectCommand,
|
||||
S3Client,
|
||||
} from '@aws-sdk/client-s3';
|
||||
import type { Readable } from 'node:stream';
|
||||
import type { S3Config } from '../config.ts';
|
||||
import { HttpError, unavailable } from '../http/errors.ts';
|
||||
import { log } from '../otel.ts';
|
||||
|
||||
export type Storage = ReturnType<typeof createStorage>;
|
||||
|
||||
export function createStorage(cfg: S3Config) {
|
||||
const client = new S3Client({
|
||||
endpoint: cfg.endpoint,
|
||||
region: cfg.region,
|
||||
forcePathStyle: true,
|
||||
credentials: { accessKeyId: cfg.accessKeyId, secretAccessKey: cfg.secretAccessKey },
|
||||
// Тело PUT уходит как есть с Content-Length, без aws-chunked/trailer: SHA-256 считает сам API.
|
||||
requestChecksumCalculation: 'WHEN_REQUIRED',
|
||||
responseChecksumValidation: 'WHEN_REQUIRED',
|
||||
// Потоковое тело PUT нельзя отправить повторно; повтор — решение клиента API (он получит 503).
|
||||
maxAttempts: 1,
|
||||
// Недоступный S3 — быстрый отказ (1 с); requestTimeout — простой сокета, а не длительность всей загрузки.
|
||||
// requestTimeout < timeout server HAProxy (10 с): при зависшем S3 ответит API (503), а не LB (504).
|
||||
requestHandler: { connectionTimeout: 1000, requestTimeout: 8000, throwOnRequestTimeout: true },
|
||||
});
|
||||
const Bucket = cfg.bucket;
|
||||
const send = async <T>(p: Promise<T>): Promise<T> => {
|
||||
try {
|
||||
return await p;
|
||||
} catch (err) {
|
||||
throw storageError(err);
|
||||
}
|
||||
};
|
||||
|
||||
return {
|
||||
bucket: Bucket,
|
||||
put: (key: string, body: Readable, length: number, type: string, signal: AbortSignal) =>
|
||||
send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentLength: length, ContentType: type }), { abortSignal: signal })),
|
||||
putBuffer: (key: string, body: Buffer, type: string) =>
|
||||
send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentType: type }))),
|
||||
// Копия на стороне S3 (байты не идут через процесс): публикация оригинала из staging в конечный prefix.
|
||||
copy: (from: string, to: string) =>
|
||||
send(client.send(new CopyObjectCommand({ Bucket, CopySource: `${Bucket}/${from}`, Key: to }))),
|
||||
// null — объекта нет.
|
||||
async get(key: string): Promise<Readable | null> {
|
||||
try {
|
||||
return (await client.send(new GetObjectCommand({ Bucket, Key: key }))).Body as Readable;
|
||||
} catch (err) {
|
||||
if (isMissing(err)) return null;
|
||||
throw storageError(err);
|
||||
}
|
||||
},
|
||||
async exists(key: string): Promise<boolean> {
|
||||
try {
|
||||
await client.send(new HeadObjectCommand({ Bucket, Key: key }));
|
||||
return true;
|
||||
} catch (err) {
|
||||
if (isMissing(err)) return false;
|
||||
throw storageError(err);
|
||||
}
|
||||
},
|
||||
remove: (key: string) => send(client.send(new DeleteObjectCommand({ Bucket, Key: key }))),
|
||||
list: (prefix: string, token?: string) =>
|
||||
send(client.send(new ListObjectsV2Command({ Bucket, Prefix: prefix, ContinuationToken: token, MaxKeys: 1000 }))),
|
||||
// Идемпотентный bootstrap: существующий bucket этого владельца — не ошибка.
|
||||
async createBucket(): Promise<'created' | 'exists'> {
|
||||
try {
|
||||
await client.send(new CreateBucketCommand({ Bucket }));
|
||||
return 'created';
|
||||
} catch (err) {
|
||||
if ((err as Error).name === 'BucketAlreadyOwnedByYou') return 'exists';
|
||||
throw err;
|
||||
}
|
||||
},
|
||||
};
|
||||
}
|
||||
|
||||
function isMissing(err: unknown): boolean {
|
||||
const e = err as { name?: string; $metadata?: { httpStatusCode?: number } };
|
||||
return e.name === 'NoSuchKey' || e.name === 'NotFound' || e.$metadata?.httpStatusCode === 404;
|
||||
}
|
||||
|
||||
// 4xx от S3 (AccessDenied, неверный bucket) — ошибка конфигурации: 500. Сеть, таймаут, 5xx — 503, клиент может повторить.
|
||||
function storageError(err: unknown): Error {
|
||||
if (err instanceof HttpError) return err;
|
||||
const e = err as { name?: string; message?: string; $metadata?: { httpStatusCode?: number } };
|
||||
if (e.name === 'AbortError') return err as Error; // загрузку прервал сам API, причину знает вызывающий
|
||||
log('error', 's3.error', `S3: ${e.name}`, { 'error.type': e.name ?? 'Error' });
|
||||
const status = e.$metadata?.httpStatusCode ?? 0;
|
||||
return status >= 400 && status < 500 ? new HttpError(500, 'internal_error', 'Внутренняя ошибка') : unavailable('Хранилище файлов недоступно');
|
||||
}
|
||||
@@ -0,0 +1,70 @@
|
||||
// OpenTelemetry SDK для api и worker: node --import ./src/telemetry.ts src/main.ts [worker].
|
||||
// Загружается до приложения, чтобы инструментации успели перехватить http, pg и AWS SDK (ESM — через
|
||||
// import-in-the-middle). Экспорт traces/metrics/logs — OTLP/HTTP в Collector; адрес, протокол, service.name,
|
||||
// интервалы и OTEL_SDK_DISABLED задаются переменными OTEL_* (compose.yaml). Недоступный Collector не влияет на
|
||||
// обработку запросов: очереди SDK ограничены (BSP/BLRP 2048 записей), при переполнении данные отбрасываются.
|
||||
import { readFileSync } from 'node:fs';
|
||||
import { register } from 'node:module';
|
||||
import { OTLPTraceExporter } from '@opentelemetry/exporter-trace-otlp-proto';
|
||||
import { OTLPMetricExporter } from '@opentelemetry/exporter-metrics-otlp-proto';
|
||||
import { OTLPLogExporter } from '@opentelemetry/exporter-logs-otlp-proto';
|
||||
import { PeriodicExportingMetricReader } from '@opentelemetry/sdk-metrics';
|
||||
import { BatchLogRecordProcessor } from '@opentelemetry/sdk-logs';
|
||||
import { serviceTls } from './security.ts';
|
||||
import { hostname } from 'node:os';
|
||||
import { AwsInstrumentation } from '@opentelemetry/instrumentation-aws-sdk';
|
||||
import { HttpInstrumentation } from '@opentelemetry/instrumentation-http';
|
||||
import { PgInstrumentation } from '@opentelemetry/instrumentation-pg';
|
||||
import { RuntimeNodeInstrumentation } from '@opentelemetry/instrumentation-runtime-node';
|
||||
import { NodeSDK, resources } from '@opentelemetry/sdk-node';
|
||||
|
||||
// OTEL_SDK_DISABLED=true — ни ESM-hook, ни патчей модулей instrumentations: чистая база для сравнения.
|
||||
if (process.env.OTEL_SDK_DISABLED !== 'true') {
|
||||
register('@opentelemetry/instrumentation/hook.mjs', import.meta.url);
|
||||
|
||||
const { version } = JSON.parse(readFileSync(new URL('../package.json', import.meta.url), 'utf8'));
|
||||
|
||||
const httpAgentOptions = { ...serviceTls(), keepAlive: true };
|
||||
const sdk = new NodeSDK({
|
||||
traceExporter: new OTLPTraceExporter({ httpAgentOptions }),
|
||||
metricReaders: [new PeriodicExportingMetricReader({
|
||||
exporter: new OTLPMetricExporter({ httpAgentOptions }),
|
||||
exportIntervalMillis: Number(process.env.OTEL_METRIC_EXPORT_INTERVAL ?? 10000),
|
||||
})],
|
||||
logRecordProcessors: [new BatchLogRecordProcessor({ exporter: new OTLPLogExporter({ httpAgentOptions }) })],
|
||||
// Только явные атрибуты и OTEL_SERVICE_NAME/OTEL_RESOURCE_ATTRIBUTES: host/process detectors добавили бы
|
||||
// аргументы командной строки и пр. в каждую запись. service.instance.id = hostname = X-Instance-Id.
|
||||
resourceDetectors: [resources.envDetector],
|
||||
resource: resources.resourceFromAttributes({ 'service.version': version, 'service.instance.id': hostname() }),
|
||||
instrumentations: [
|
||||
new HttpInstrumentation({
|
||||
// Health-проверки HAProxy и Docker (каждую секунду) — не бизнес-трафик: без spans и без метрик.
|
||||
ignoreOutgoingRequestHook: ({ hostname }) => hostname === 'openbao',
|
||||
ignoreIncomingRequestHook: (req) => req.url?.startsWith('/health/') ?? false,
|
||||
// filename (пользовательский текст) и cursor не попадают в url.query server span.
|
||||
redactedQueryParamsServer: ['filename', 'cursor'],
|
||||
}),
|
||||
// requireParentSpan: фоновые опросы outbox/sweeper (каждые 0.5–5 с) не создают отдельных trace.
|
||||
// enhancedDatabaseReporting выключен: значения параметров SQL (текст сообщений, хеши) не записываются.
|
||||
new PgInstrumentation({ requireParentSpan: true, enhancedDatabaseReporting: false }),
|
||||
// Span на операцию S3 (PutObject, GetObject …) вместо дублирующего HTTP-клиентского span.
|
||||
new AwsInstrumentation({ suppressInternalInstrumentation: true }),
|
||||
new RuntimeNodeInstrumentation(),
|
||||
],
|
||||
});
|
||||
sdk.start();
|
||||
|
||||
// otel.ts загружается только после start(): metrics.getMeter() до регистрации провайдера вернул бы no-op meter.
|
||||
const { meter, onFlush } = await import('./otel.ts');
|
||||
onFlush(() => sdk.shutdown());
|
||||
|
||||
// CPU и RSS процесса (в контейнере один процесс, поэтому это и нагрузка контейнера).
|
||||
meter.createObservableCounter('process.cpu.time', { unit: 's', description: 'CPU time of the process' })
|
||||
.addCallback((r) => {
|
||||
const { user, system } = process.cpuUsage();
|
||||
r.observe(user / 1e6, { 'cpu.mode': 'user' });
|
||||
r.observe(system / 1e6, { 'cpu.mode': 'system' });
|
||||
});
|
||||
meter.createObservableGauge('process.memory.usage', { unit: 'By', description: 'Resident set size of the process' })
|
||||
.addCallback((r) => r.observe(process.memoryUsage.rss()));
|
||||
}
|
||||
@@ -0,0 +1,64 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Проверка второй реплики, если публичный сценарий повторно выбирает тот же target."""
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from uuid import uuid4
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, Failure, ROOT, arguments, check, run
|
||||
from resilience import history
|
||||
from worker_compromise import cmd
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Отказ выбранной API-реплики', lambda p: p.add_argument('--replica', choices=('1', '2'), required=True))
|
||||
c = Client(args.base_url, args.ca_file or ROOT / 'secrets/tls/service-ca/ca.crt', timeout=2)
|
||||
container = cmd('docker', 'compose', 'ps', '-q', 'api', capture=True).splitlines()
|
||||
target, = (cid[:12] for cid in container if cmd('docker', 'inspect', '-f',
|
||||
'{{index .Config.Labels "com.docker.compose.container-number"}}', cid, capture=True) == args.replica)
|
||||
alice, bob, _, chat = c.bootstrap()
|
||||
initial = c.message(alice, chat, 'Подтверждено до отказа')['json']
|
||||
attachment, image = c.attachment(alice, chat)
|
||||
c.wait_ready(alice, attachment)
|
||||
seen = {c.call('GET', '/api/v1/users/me', actor=alice)['headers']['X-Instance-Id'] for _ in range(10)}
|
||||
check(len(seen) == 2 and target in seen, 'Две реплики не обнаружены')
|
||||
|
||||
started = time.monotonic()
|
||||
proc = subprocess.Popen([str(ROOT / 'scripts/stop-one.sh')], cwd=ROOT,
|
||||
env={**os.environ, 'TARGET_INSTANCE_ID': target})
|
||||
results, failures, recovered = [], 0, None
|
||||
key = uuid4().hex
|
||||
try:
|
||||
while time.monotonic() < started + 15:
|
||||
try:
|
||||
response = c.message(alice, chat, key, key=key)
|
||||
except Failure:
|
||||
failures += 1
|
||||
else:
|
||||
results.append(response['json'])
|
||||
if proc.poll() == 0:
|
||||
check(response['headers']['X-Instance-Id'] != target, 'Остановленная реплика ответила')
|
||||
if recovered is None:
|
||||
recovered = time.monotonic() - started
|
||||
key = uuid4().hex
|
||||
time.sleep(0.1)
|
||||
check(proc.wait(timeout=2) == 0 and recovered is not None and recovered <= 10, 'Долгое восстановление')
|
||||
check(len(results) >= 5, 'Мало успешных записей')
|
||||
messages = history(c, bob, chat)
|
||||
check(all(row in messages for row in [initial, *results]), 'Подтверждённое сообщение потеряно')
|
||||
check(len({row['text'] for row in messages}) == len(messages), 'Дубли сообщений')
|
||||
result = c.call('GET', '/api/v1/attachments/' + attachment['id'] + '/content', actor=bob)
|
||||
check(result['bytes'] == image, 'Оригинал изменился')
|
||||
print(f'PASS api-{args.replica}: {len(results)} successful writes, {failures} failures, recovery {recovered:.3f}s')
|
||||
finally:
|
||||
if proc.poll() is None:
|
||||
proc.terminate()
|
||||
proc.wait()
|
||||
cmd('docker', 'compose', 'start', 'api')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,31 @@
|
||||
import assert from 'node:assert/strict';
|
||||
import { hashPassword, checkPassword } from '../src/modules/passwords.ts';
|
||||
|
||||
const sample = 'synthetic-benchmark-password';
|
||||
const hash = await hashPassword(sample);
|
||||
assert.match(hash, /^\$argon2id\$v=19\$m=19456,t=2,p=1\$/);
|
||||
assert.notEqual(await hashPassword(sample), hash);
|
||||
assert.equal(await checkPassword(sample, hash), true);
|
||||
assert.equal(await checkPassword('different-password', hash), false);
|
||||
|
||||
for (const concurrency of [1, 2]) {
|
||||
const elapsed = [];
|
||||
const cpu = process.cpuUsage();
|
||||
const start = performance.now();
|
||||
await Promise.all(Array.from({ length: concurrency }, async () => {
|
||||
for (let i = 0; i < 25; i++) {
|
||||
const at = performance.now();
|
||||
assert.equal(await checkPassword(sample, hash), true);
|
||||
elapsed.push(performance.now() - at);
|
||||
}
|
||||
}));
|
||||
elapsed.sort((a, b) => a - b);
|
||||
const used = process.cpuUsage(cpu);
|
||||
console.log(JSON.stringify({
|
||||
concurrency, runs: elapsed.length, p50_ms: Math.round(elapsed[Math.ceil(elapsed.length * .5) - 1]),
|
||||
p95_ms: Math.round(elapsed[Math.ceil(elapsed.length * .95) - 1]),
|
||||
p99_ms: Math.round(elapsed[Math.ceil(elapsed.length * .99) - 1]),
|
||||
elapsed_ms: Math.round(performance.now() - start), cpu_ms: Math.round((used.user + used.system) / 1000),
|
||||
max_rss_mib: Math.round(process.resourceUsage().maxRSS / 1024),
|
||||
}));
|
||||
}
|
||||
@@ -0,0 +1,220 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Негативные и граничные сценарии вложений (уровень 4) через LB: ни один из них не должен дать 500.
|
||||
Lab5: принятый файл — 202 queued, байты и варианты доступны после ready (worker).
|
||||
Изображения генерируются кодом (PNG — zlib/struct), JPEG — синтетический fixtures/sample.jpg (sips из sample.png).
|
||||
Запуск: python3 student-tests/attachments.py --base-url http://localhost:8080"""
|
||||
import hashlib
|
||||
import http.client
|
||||
import os
|
||||
from pathlib import Path
|
||||
import struct
|
||||
import sys
|
||||
import time
|
||||
import urllib.parse
|
||||
import uuid
|
||||
import zlib
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, ROOT, arguments, check, run # noqa: E402
|
||||
|
||||
MiB = 1024 * 1024
|
||||
SAMPLE_PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
SAMPLE_JPG = (Path(__file__).parent / 'fixtures/sample.jpg').read_bytes()
|
||||
|
||||
|
||||
def chunk(kind, data):
|
||||
return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data))
|
||||
|
||||
|
||||
def png(width, height, raw, depth=8, color=2, level=1):
|
||||
"""PNG из готовых распакованных строк raw (байт фильтра + пиксели)."""
|
||||
ihdr = struct.pack('>IIBBBBB', width, height, depth, color, 0, 0, 0)
|
||||
return b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level)) + chunk(b'IEND', b'')
|
||||
|
||||
|
||||
def noise_png(side):
|
||||
"""RGB-шум не сжимается: размер файла ≈ side² × 3 байт."""
|
||||
row = 1 + side * 3
|
||||
return png(side, side, b''.join(b'\0' + os.urandom(row - 1) for _ in range(side)))
|
||||
|
||||
|
||||
def gray1(width, height):
|
||||
"""1-битный серый PNG из нулей: 40 Мпикс занимают несколько килобайт файла."""
|
||||
return png(width, height, bytes(height * (1 + (width + 7) // 8)), depth=1, color=0, level=9)
|
||||
|
||||
|
||||
def jpeg_with_size(data, width, height):
|
||||
"""Подменить размеры в SOF0 существующего JPEG."""
|
||||
i = data.index(b'\xff\xc0')
|
||||
return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:]
|
||||
|
||||
|
||||
def jpeg_without(data, marker):
|
||||
"""Вырезать из JPEG все сегменты с маркером marker, стоящие до SOS."""
|
||||
out, i = data[:2], 2
|
||||
while data[i + 1] != 0xda:
|
||||
size = 2 + struct.unpack('>H', data[i + 2:i + 4])[0]
|
||||
if data[i + 1] != marker:
|
||||
out += data[i:i + size]
|
||||
i += size
|
||||
return out + data[i:]
|
||||
|
||||
|
||||
def bare_jpeg():
|
||||
"""27 байт: SOI, SOF0 1x1, SOS, EOI — без таблиц DQT/DHT и без данных скана."""
|
||||
return (b'\xff\xd8' + b'\xff\xc0' + struct.pack('>HBHHB', 11, 8, 1, 1, 1) + b'\x01\x11\x00'
|
||||
+ b'\xff\xda' + struct.pack('>HB', 8, 1) + b'\x01\x00\x00\x3f\x00' + b'\xff\xd9')
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Attachment negative suite')
|
||||
c = Client(args.base_url, args.ca_file, timeout=30)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
other = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'Другой чат', 'member_ids': [alice['id']]}, schema='Chat')['json']
|
||||
results = []
|
||||
|
||||
def upload(data, expected, ctype='image/png', name='file.png', actor=alice, target=chat, label=None):
|
||||
path = '/api/v1/chats/' + target['id'] + '/attachments?filename=' + urllib.parse.quote(name, safe='')
|
||||
r = c.call('POST', path, expected, actor=actor, raw=data, headers={'Content-Type': ctype}, schema='Attachment' if expected == 202 else None)
|
||||
results.append((label or name, r['status'], (r['json'] or {}).get('error', {}).get('code', ''), round(r['elapsed'] * 1000)))
|
||||
if expected == 202:
|
||||
att = r['json']
|
||||
check(att['sha256'] == hashlib.sha256(data).hexdigest() and att['size_bytes'] == len(data), label + ': checksum/size')
|
||||
check(att['content_type'] == ctype and att['filename'] == name, label + ': metadata')
|
||||
check(att['status'] == 'queued' and att['variants'] == [] and att['error_code'] is None, label + ': 202 snapshot')
|
||||
return att
|
||||
return r['json']
|
||||
|
||||
def download(att, actor=bob, expect=None):
|
||||
att = c.wait_ready(actor, att, 120)
|
||||
r = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=actor)
|
||||
check(r['bytes'] == expect and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'download differs')
|
||||
check(r['headers'].get_content_type() == att['content_type'], 'download content type')
|
||||
check(r['headers'].get('X-Content-Type-Options') == 'nosniff', 'missing nosniff')
|
||||
check(not r['headers'].get('Location'), 'download must not redirect')
|
||||
|
||||
# Принимаются реальные PNG/JPEG, граница по размеру и по пикселям.
|
||||
jpg = upload(SAMPLE_JPG, 202, 'image/jpeg', 'фото 📷 2026.jpg', label='real JPEG + unicode filename')
|
||||
download(jpg, expect=SAMPLE_JPG)
|
||||
big = noise_png(1860)
|
||||
check(9 * MiB < len(big) <= 10 * MiB, 'big fixture size %d' % len(big))
|
||||
big_att = upload(big, 202, label='PNG %.2f MiB (noise 1860x1860)' % (len(big) / MiB))
|
||||
download(big_att, expect=big)
|
||||
huge = upload(gray1(6400, 6250), 202, label='PNG ровно 40 000 000 px')
|
||||
huge = c.wait_ready(bob, huge, 120) # worker обрабатывает предельный по пикселям файл в своих лимитах
|
||||
dims = {v['name']: (v['width'], v['height']) for v in huge['variants']}
|
||||
check(dims == {'thumbnail': (256, 250), 'crop': (128, 128), 'optimized': (1280, 1250)}, 'variants of 6400x6250: %s' % dims)
|
||||
|
||||
# Лимиты: до чтения тела (Content-Length) и по заголовку изображения до распаковки.
|
||||
upload(noise_png(1900), 413, label='PNG 10.33 MiB > 10 MiB')
|
||||
upload(os.urandom(10 * MiB + 1), 413, label='10 MiB + 1 байт')
|
||||
upload(gray1(6400, 6251), 413, label='PNG 40 006 400 px')
|
||||
bomb = gray1(30000, 30000)
|
||||
upload(bomb, 413, label='pixel-bomb 30000x30000, файл %d КБ' % (len(bomb) // 1024))
|
||||
upload(jpeg_with_size(SAMPLE_JPG, 10000, 10000), 413, 'image/jpeg', 'bomb.jpg', label='JPEG SOF 10000x10000')
|
||||
# IHDR обещает 100x100, а IDAT распаковывается в 64 МБ нулей: распаковка останавливается на лишних данных.
|
||||
upload(png(100, 100, bytes(64 * MiB), level=9), 415, label='zip-bomb в IDAT (64 МБ при 100x100)')
|
||||
|
||||
# Повреждённые файлы и подмена типа.
|
||||
bad_crc = bytearray(SAMPLE_PNG)
|
||||
bad_crc[1000] ^= 0xFF
|
||||
upload(bytes(bad_crc), 415, label='PNG: байт IDAT испорчен (CRC)')
|
||||
upload(png(320, 200, os.urandom(1000)), 415, label='PNG: корректные CRC, мусор в zlib')
|
||||
upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей')
|
||||
upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан')
|
||||
upload(SAMPLE_PNG + b'<html>', 415, label='PNG + данные после IEND')
|
||||
upload(png(1, 1, b'\x05\0\0\0'), 415, label='PNG 1x1: фильтр строки 5 (допустимы 0–4)')
|
||||
upload(bare_jpeg(), 415, 'image/jpeg', 'bare.jpg', label='JPEG 27 байт: без DQT/DHT и скана')
|
||||
upload(jpeg_without(SAMPLE_JPG, 0xdb), 415, 'image/jpeg', 'nodqt.jpg', label='JPEG без таблиц квантования DQT')
|
||||
upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)')
|
||||
upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg')
|
||||
upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png')
|
||||
upload(b'GIF89a' + os.urandom(100), 415, label='GIF под видом image/png')
|
||||
upload(b'<svg xmlns="http://www.w3.org/2000/svg"/>', 415, label='SVG под видом image/png')
|
||||
upload(SAMPLE_PNG, 415, 'image/gif', 'x.gif', label='Content-Type image/gif')
|
||||
upload(SAMPLE_PNG, 415, 'application/octet-stream', 'x.png', label='Content-Type octet-stream')
|
||||
upload(b'', 415, label='пустое тело')
|
||||
|
||||
# Опасные и некорректные filename: 400 до чтения тела.
|
||||
for name in ['../etc/passwd', 'a/b.png', 'a\\b.png', 'nul\x00.png', 'tab\t.png', 'line\n.png', 'c1\x85.png', '', ' ', 'x' * 256]:
|
||||
upload(SAMPLE_PNG, 400, name=name, label='filename %r' % name[:20])
|
||||
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments', 400, actor=alice, raw=SAMPLE_PNG, headers={'Content-Type': 'image/png'})
|
||||
results.append(('без filename', r['status'], r['json']['error']['code'], round(r['elapsed'] * 1000)))
|
||||
results.append(('chunked без Content-Length',) + chunked_upload(c, alice, chat))
|
||||
|
||||
# Доступ: без сессии, посторонний, чужое вложение.
|
||||
upload(SAMPLE_PNG, 401, actor={'id': '', 'token': 'bad'}, label='без действительной сессии')
|
||||
upload(SAMPLE_PNG, 404, actor=eve, label='посторонний грузит в чужой чат')
|
||||
upload(SAMPLE_PNG, 404, target={'id': str(uuid.uuid4())}, label='несуществующий чат')
|
||||
upload(SAMPLE_PNG, 400, target={'id': 'not-a-uuid'}, label='chat_id не UUID')
|
||||
own = upload(SAMPLE_PNG, 202, label='обычный PNG')
|
||||
foreign = upload(SAMPLE_PNG, 202, target=other, label='PNG в другом чате')
|
||||
for suffix in ('', '/content'):
|
||||
c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 404, actor=eve)
|
||||
c.call('GET', '/api/v1/attachments/' + foreign['id'] + suffix, 404, actor=bob)
|
||||
c.call('GET', '/api/v1/attachments/' + str(uuid.uuid4()) + suffix, 404, actor=bob)
|
||||
c.call('GET', '/api/v1/attachments/xyz' + suffix, 400, actor=bob)
|
||||
c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 401)
|
||||
content = '/api/v1/attachments/' + own['id'] + '/content'
|
||||
c.wait_ready(bob, own)
|
||||
check(c.call('GET', content + '?variant=thumbnail', actor=bob)['headers'].get_content_type() == 'image/jpeg', 'thumbnail type')
|
||||
check(c.call('GET', content + '?variant=optimized', actor=bob)['headers'].get_content_type() == 'image/webp', 'optimized type')
|
||||
c.call('GET', content + '?variant=bogus', 400, actor=bob)
|
||||
check(c.call('GET', content + '?variant=original', actor=bob)['bytes'] == SAMPLE_PNG, 'variant=original')
|
||||
|
||||
# Привязка к сообщению: только вложения этого чата, 0–10 уникальных UUID.
|
||||
send = '/api/v1/chats/' + chat['id'] + '/messages'
|
||||
|
||||
def post(body, expected, key=None):
|
||||
return c.call('POST', send, expected, actor=alice, body=body, headers={'Idempotency-Key': key or uuid.uuid4().hex},
|
||||
schema='Message' if expected == 201 else None)['json']
|
||||
|
||||
post({'text': 'чужое', 'attachment_ids': [foreign['id']]}, 404)
|
||||
post({'text': 'смесь', 'attachment_ids': [own['id'], foreign['id']]}, 404)
|
||||
post({'text': 'нет такого', 'attachment_ids': [str(uuid.uuid4())]}, 404)
|
||||
post({'text': 'дубль', 'attachment_ids': [own['id'], own['id'].upper()]}, 400)
|
||||
post({'text': 'много', 'attachment_ids': [str(uuid.uuid4()) for _ in range(11)]}, 400)
|
||||
post({'text': 'не uuid', 'attachment_ids': ['x']}, 400)
|
||||
post({'text': 'не массив', 'attachment_ids': own['id']}, 400)
|
||||
post({'text': ' '}, 400)
|
||||
post({'text': '', 'attachment_ids': []}, 400)
|
||||
c.call('POST', '/api/v1/chats/' + other['id'] + '/messages', 404, actor=bob, body={'text': 'x', 'attachment_ids': [foreign['id']]},
|
||||
headers={'Idempotency-Key': uuid.uuid4().hex})
|
||||
key = uuid.uuid4().hex
|
||||
m = post({'text': '', 'attachment_ids': [own['id'], jpg['id']]}, 201, key)
|
||||
check(m['attachment_ids'] == [own['id'], jpg['id']] and m['text'] == '', 'attachment order/text')
|
||||
check(post({'attachment_ids': [own['id'], jpg['id']], 'text': ''}, 201, key) == m, 'replay with attachments differs')
|
||||
post({'text': '', 'attachment_ids': [jpg['id'], own['id']]}, 409, key)
|
||||
post({'text': '', 'attachment_ids': [own['id']]}, 409, key)
|
||||
key = uuid.uuid4().hex
|
||||
t = post({'text': 'без вложений'}, 201, key)
|
||||
check(post({'text': 'без вложений', 'attachment_ids': []}, 201, key) == t and t['attachment_ids'] == [], 'missing attachment_ids != []')
|
||||
history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
|
||||
check([x for x in history if x['id'] == m['id']] == [m], 'history lost attachment_ids')
|
||||
|
||||
width = max(len(r[0]) for r in results)
|
||||
for label, status, code, ms in results:
|
||||
print('%-*s %d %-24s %5d ms' % (width, label, status, code, ms))
|
||||
check(all(status < 500 for _, status, _, _ in results), 'server error in negative suite')
|
||||
print('PASS: %d upload cases, ACL and message linking; no 5xx' % len(results))
|
||||
|
||||
|
||||
def chunked_upload(c, actor, chat):
|
||||
"""Тело без Content-Length (Transfer-Encoding: chunked): потоковая запись в S3 требует длину — 400."""
|
||||
url = urllib.parse.urlsplit(c.base)
|
||||
conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10)
|
||||
conn.putrequest('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=c.png')
|
||||
conn.putheader('Authorization', 'Bearer ' + actor['token'])
|
||||
conn.putheader('Content-Type', 'image/png')
|
||||
conn.putheader('Transfer-Encoding', 'chunked')
|
||||
conn.endheaders()
|
||||
start = time.monotonic()
|
||||
conn.send(b'%x\r\n%s\r\n0\r\n\r\n' % (len(SAMPLE_PNG), SAMPLE_PNG))
|
||||
r = conn.getresponse()
|
||||
body = r.read()
|
||||
check(r.status == 400 and b'invalid_request' in body, 'chunked upload: %d' % r.status)
|
||||
return r.status, 'invalid_request', round((time.monotonic() - start) * 1000)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,87 @@
|
||||
#!/usr/bin/env python3
|
||||
import base64
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import hashlib
|
||||
import json
|
||||
from pathlib import Path
|
||||
import ssl
|
||||
import socket
|
||||
from urllib.parse import urlsplit
|
||||
import sys
|
||||
import time
|
||||
from collections import Counter
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, ROOT, arguments, check, run
|
||||
from worker_compromise import sql
|
||||
|
||||
CA = ROOT / 'secrets/tls/service-ca/ca.crt'
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('TLS, ACL, Argon2id и сессии')
|
||||
c = Client(args.base_url, args.ca_file or CA)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
att, _ = c.attachment(alice, chat)
|
||||
c.wait_ready(alice, att)
|
||||
path = '/api/v1/attachments/' + att['id']
|
||||
for suffix in ('', '/content'):
|
||||
c.call('GET', path + suffix, 404, actor=eve, headers={'X-User-Id': alice['id']})
|
||||
own = c.call('POST', '/api/v1/chats', 201, actor=eve, body={'title': 'ACL', 'member_ids': [eve['id'], bob['id']]}, schema='Chat')['json']
|
||||
c.call('POST', '/api/v1/chats/' + own['id'] + '/messages', 404, actor=eve,
|
||||
body={'text': 'blocked', 'attachment_ids': [att['id']]}, headers={'Idempotency-Key': 'acl-test-' + att['id']})
|
||||
print('PASS outsider: metadata, bytes and reuse of foreign attachment denied')
|
||||
|
||||
session_hash = hashlib.sha256(alice['token'].encode()).hexdigest()
|
||||
sql(f"UPDATE sessions SET expires_at = now() - interval '1 second' WHERE token_hash = decode('{session_hash}', 'hex')")
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=alice)
|
||||
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=bob)
|
||||
c.call('GET', '/api/v1/users/me', 401, actor=bob)
|
||||
print('PASS expired and logged-out sessions rejected')
|
||||
|
||||
registration = alice['registration']
|
||||
salt = bytes(range(16))
|
||||
legacy = 'scrypt$16384$8$1$' + base64.b64encode(salt).decode() + '$' + base64.b64encode(
|
||||
hashlib.scrypt(registration['password'].encode(), salt=salt, n=16384, r=8, p=1, dklen=32, maxmem=64 << 20)
|
||||
).decode()
|
||||
sql(f"UPDATE users SET password_hash = '{legacy}' WHERE id = '{alice['id']}'")
|
||||
auth = base64.b64encode((registration['username'] + ':' + registration['password']).encode()).decode()
|
||||
c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + auth})
|
||||
check(sql(f"SELECT password_hash LIKE '$argon2id$v=19$%' FROM users WHERE id = '{alice['id']}'") == 't', 'rehash missing')
|
||||
print('PASS successful scrypt login rehashes to Argon2id')
|
||||
|
||||
endpoint = urlsplit(c.base)
|
||||
ctx = ssl.create_default_context(cafile=CA)
|
||||
try:
|
||||
with socket.create_connection((endpoint.hostname, endpoint.port or 443), timeout=5) as raw:
|
||||
with ctx.wrap_socket(raw, server_hostname='invalid.lab'):
|
||||
raise AssertionError('wrong hostname accepted')
|
||||
except ssl.SSLCertVerificationError as exc:
|
||||
check(exc.verify_code == 62, 'expected hostname mismatch')
|
||||
print('PASS ingress rejects an incorrect hostname')
|
||||
|
||||
# Exercise password work with a known user and valid-length wrong password.
|
||||
sql("UPDATE login_rate SET window_start='-infinity', attempts=0")
|
||||
invalid = base64.b64encode((registration['username'] + ':wrong-password-for-lab').encode()).decode()
|
||||
start = time.monotonic()
|
||||
with ThreadPoolExecutor(max_workers=4) as pool:
|
||||
samples = list(pool.map(lambda _: c.call('POST', '/api/v1/auth/sessions', [401, 429],
|
||||
headers={'Authorization': 'Basic ' + invalid}), range(64)))
|
||||
counts = Counter(r['status'] for r in samples)
|
||||
for item in samples:
|
||||
if item['status'] == 429:
|
||||
check(int(item['headers']['Retry-After']) >= 1, 'Retry-After missing')
|
||||
check(401 in counts and 429 in counts, 'rate limit test did not see both status codes')
|
||||
check(len({item['headers']['X-Instance-Id'] for item in samples if item['status'] == 429}) >= 2,
|
||||
'429 was not observed on both API replicas')
|
||||
elapsed = sorted(r['elapsed'] for r in samples if r['status'] == 401)
|
||||
print('PASS shared login budget ' + json.dumps({
|
||||
'codes': counts, 'requests': 64, 'concurrency': 4, 'seconds': round(time.monotonic() - start, 2),
|
||||
'401_p50_ms': round(elapsed[len(elapsed) // 2] * 1000, 1),
|
||||
'401_p95_ms': round(elapsed[int((len(elapsed) - 1) * .95)] * 1000, 1),
|
||||
}))
|
||||
sql("UPDATE login_rate SET window_start='-infinity', attempts=0")
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,71 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Проверяет sealed OpenBao, границу TTL и восстановление API без удаления данных."""
|
||||
import datetime
|
||||
from pathlib import Path
|
||||
import ssl
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, Failure, ROOT, arguments, check, run
|
||||
from worker_compromise import cmd
|
||||
|
||||
|
||||
def instances(c):
|
||||
return {c.call('GET', '/health/ready')['headers']['X-Instance-Id'] for _ in range(8)}
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('OpenBao sealed / credential expiry')
|
||||
ca = args.ca_file or ROOT / 'secrets/tls/service-ca/ca.crt'
|
||||
c = Client(args.base_url, ca, timeout=5)
|
||||
deadline = time.monotonic() + 90
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
if len(instances(c)) == 2:
|
||||
break
|
||||
except Failure:
|
||||
pass
|
||||
time.sleep(1)
|
||||
else:
|
||||
raise AssertionError('Before sealing, both API replicas must respond')
|
||||
|
||||
started = time.monotonic()
|
||||
since = datetime.datetime.now(datetime.timezone.utc).isoformat()
|
||||
ctx = ssl.create_default_context(cafile=ca)
|
||||
cmd('python3', 'scripts/bao.py', 'seal')
|
||||
try:
|
||||
c.call('GET', '/health/live')
|
||||
expired = set()
|
||||
while time.monotonic() < started + 80:
|
||||
logs = cmd('docker', 'compose', 'logs', '--since', since, '--no-color', 'api', capture=True)
|
||||
expired.update(line.split('|', 1)[0].strip() for line in logs.splitlines() if 'secrets.expired' in line)
|
||||
if len(expired) == 2:
|
||||
break
|
||||
time.sleep(1)
|
||||
check(len(expired) == 2, 'Both replicas must record credential expiry')
|
||||
try:
|
||||
urllib.request.urlopen(c.base + '/health/ready', context=ctx, timeout=5).close()
|
||||
except urllib.error.HTTPError as exc:
|
||||
check(exc.code == 503, 'Expected HTTP 503 from ingress')
|
||||
else:
|
||||
raise AssertionError('Ingress still routes after both API credentials expired')
|
||||
print(f'PASS sealed OpenBao, both replicas expired and ingress returned 503 after {time.monotonic() - started:.1f}s')
|
||||
finally:
|
||||
cmd('python3', 'scripts/bao.py', 'unseal')
|
||||
deadline = time.monotonic() + 90
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
if len(instances(c)) == 2:
|
||||
print(f'PASS both replicas recovered after {time.monotonic() - started:.1f}s from seal')
|
||||
return
|
||||
except Failure:
|
||||
pass
|
||||
time.sleep(1)
|
||||
raise AssertionError('API failed to recover after unseal')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,139 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Отказы вокруг S3 и перезапуск всего стенда (уровни 3–4). Управляет Docker Compose этого каталога:
|
||||
1. S3 остановлен: upload/download → 503 быстро, метаданные и текст работают, readiness = 200;
|
||||
2. S3 «завис» (docker pause): ответ 503 по таймауту API раньше таймаута LB;
|
||||
3. после возврата S3 всё работает; неудачные загрузки не оставили строк (lab5: компенсация сначала удаляет строку),
|
||||
«воскресший» после pause объект staging убирает reconciler (orphan_staging);
|
||||
4. docker compose down (без -v) + up: метаданные, оригинал и прежний токен сохранены.
|
||||
Запуск: python3 student-tests/failures.py --base-url http://localhost:8080"""
|
||||
import hashlib
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, ROOT, arguments, check, run # noqa: E402
|
||||
|
||||
PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||
|
||||
|
||||
def compose(*args, capture=False):
|
||||
r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True)
|
||||
check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:]))
|
||||
return r.stdout if capture else None
|
||||
|
||||
|
||||
def sql(query):
|
||||
return compose('exec', '-T', '-u', 'postgres', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', query, capture=True).strip()
|
||||
|
||||
|
||||
def reconcile(*flags):
|
||||
out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags, capture=True)
|
||||
return json.loads(out.strip().splitlines()[-1])
|
||||
|
||||
|
||||
def wait_ready(c, seconds=90):
|
||||
deadline = time.monotonic() + seconds
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
if c.call('GET', '/health/ready', [200, 503])['status'] == 200:
|
||||
return
|
||||
except AssertionError:
|
||||
pass
|
||||
time.sleep(1)
|
||||
raise AssertionError('stand not ready')
|
||||
|
||||
|
||||
def recover(c, path, actor, seconds=60):
|
||||
"""Время до первого успешного скачивания после возврата S3."""
|
||||
start = time.monotonic()
|
||||
while c.call('GET', path, [200, 503], actor=actor)['status'] != 200:
|
||||
check(time.monotonic() - start < seconds, 'S3 path did not recover')
|
||||
time.sleep(0.5)
|
||||
return time.monotonic() - start
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('S3 outage, S3 hang and full stand restart')
|
||||
c = Client(args.base_url, args.ca_file, timeout=30)
|
||||
alice, bob, _, chat = c.bootstrap()
|
||||
up = '/api/v1/chats/' + chat['id'] + '/attachments?filename=outage.png'
|
||||
send = '/api/v1/chats/' + chat['id'] + '/messages'
|
||||
hdr = {'Content-Type': 'image/png'}
|
||||
att = c.call('POST', up, 202, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json']
|
||||
att = c.wait_ready(bob, att) # lab5: байты доступны после обработки worker
|
||||
content = '/api/v1/attachments/' + att['id'] + '/content'
|
||||
pending_before = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'"))
|
||||
log = []
|
||||
|
||||
def step(name, r):
|
||||
log.append('%-52s %d %5d ms' % (name, r['status'], r['elapsed'] * 1000))
|
||||
|
||||
# 1. S3 остановлен.
|
||||
compose('stop', 's3')
|
||||
try:
|
||||
step('S3 stopped: /health/ready (S3 не критичен)', c.call('GET', '/health/ready', 200))
|
||||
for i in range(3):
|
||||
step('S3 stopped: upload #%d' % (i + 1), c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr))
|
||||
step('S3 stopped: download', c.call('GET', content, 503, actor=bob))
|
||||
step('S3 stopped: metadata (только БД)', c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment'))
|
||||
step('S3 stopped: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 недоступен'},
|
||||
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
|
||||
step('S3 stopped: message with ready attachment', c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]},
|
||||
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
|
||||
finally:
|
||||
compose('start', 's3')
|
||||
# Компенсация сначала удаляет pending-строку (БД доступна), объектов при остановленном S3 не появилось.
|
||||
leftover = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) - pending_before
|
||||
log.append('pending-строк после 3 неудачных загрузок: %d' % leftover)
|
||||
check(leftover == 0, 'failed uploads left pending rows')
|
||||
|
||||
log.append('S3 started: download снова 200 через %.1f s' % recover(c, content, bob))
|
||||
|
||||
# 2. S3 завис: TCP-соединения не отвечают.
|
||||
c.call('GET', content, 200, actor=bob) # прогреть keep-alive соединения API → S3
|
||||
compose('pause', 's3')
|
||||
try:
|
||||
step('S3 paused: download (таймаут сокета S3 8 с)', c.call('GET', content, 503, actor=bob))
|
||||
step('S3 paused: upload', c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr))
|
||||
step('S3 paused: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 завис'},
|
||||
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
|
||||
finally:
|
||||
compose('unpause', 's3')
|
||||
|
||||
# 3. S3 вернулся.
|
||||
log.append('S3 unpaused: download снова 200 через %.1f s' % recover(c, content, bob))
|
||||
r = c.call('POST', up, 202, actor=alice, raw=PNG, headers=hdr, schema='Attachment')
|
||||
step('S3 back: upload', r)
|
||||
c.wait_ready(bob, r['json']) # reconcile --grace=0 ниже не должен застать работу в процессе
|
||||
r = c.call('GET', content, 200, actor=bob)
|
||||
check(r['bytes'] == PNG, 'original changed')
|
||||
step('S3 back: download old attachment', r)
|
||||
# Возможен orphan_staging — PUT, который S3 буферизовал во время pause и выполнил после того, как API сдался
|
||||
# и компенсационный DELETE уже прошёл (объект «воскрес»). Других расхождений быть не должно.
|
||||
dry = reconcile('--grace=0')
|
||||
log.append('reconcile dry-run --grace=0: %s' % json.dumps(dry['findings'], ensure_ascii=False))
|
||||
check(set(dry['findings']) <= {'orphan_staging'}, 'unexpected findings')
|
||||
fixed = reconcile('--grace=0', '--apply')
|
||||
again = reconcile('--grace=0')
|
||||
log.append('reconcile --apply: applied=%d; повтор: %s' % (fixed['applied'], json.dumps(again['findings'])))
|
||||
check(not again['findings'], 'reconciler left inconsistencies')
|
||||
|
||||
# 4. Полный перезапуск стенда с сохранением volumes: down удаляет контейнеры и сети, не volumes.
|
||||
compose('down')
|
||||
compose('up', '-d', '--wait')
|
||||
wait_ready(c)
|
||||
r = c.call('GET', content, 200, actor=bob) # прежний токен
|
||||
check(r['bytes'] == PNG and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'original lost after down/up')
|
||||
step('down + up -d: download with old token', r)
|
||||
meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json']
|
||||
check(meta == att, 'metadata changed after restart')
|
||||
print('\n'.join(log))
|
||||
print('PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data')
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user