ЛР 7 - БПИ2303 - Морару - на 5 #12

Closed
s.s.moraru wants to merge 2 commits from s.s.moraru/mtusi2026lab7:solution/bpi2303-moraru into main
114 changed files with 11919 additions and 128 deletions
+9 -37
View File
@@ -1,41 +1,13 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
# Настройки локального стенда. Секреты генерирует scripts/init-secrets.sh.
LB_PORT=8443
BAO_PORT=8200
GRAFANA_PORT=3000
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=https://s3:9000
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
BROKER_URL_FILE=/run/secrets/broker_url
WORKER_CONCURRENCY=2
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
STAGING_RETENTION_SECONDS=86400
OTEL_SERVICE_NAME=messenger-api
# Worker must set a distinct service.name.
OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
# TLS and OpenBao: actual paths/ports depend on your implemented trust matrix.
PUBLIC_BASE_URL=https://localhost:8443
TLS_CA_FILE=/run/secrets/ca.crt
TLS_CERT_FILE=/run/secrets/service.crt
TLS_KEY_FILE=/run/secrets/service.key
BAO_ADDR=https://openbao:8200
BAO_CACERT=/run/secrets/bao-ca.crt
# No root token here. Bootstrap operator -> short-lived service auth -> scoped token.
WORKER_REPLICAS=2
SESSION_TTL_SECONDS=3600
ARGON2_MEMORY_KIB=19456
ARGON2_ITERATIONS=2
ARGON2_PARALLELISM=1
WORKER_CONCURRENCY=2
JOB_TIMEOUT_SECONDS=60
FAILPOINTS=0
+21 -14
View File
@@ -1,18 +1,25 @@
## Лабораторная 7
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Морару Сергей Сергеевич, БПИ2303
Целевая оценка: 5
Трек: «Компрометация worker»
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
На основе ЛР № 6 перенесены API мессенджера, обработка вложений, outbox, RabbitMQ и OpenTelemetry. Добавлены HTTPS и mTLS, Argon2id с миграцией scrypt, общий лимит входа, сервисный cert auth OpenBao, ограниченные роли БД, ACL по prefix S3 и отзыв identity worker.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск из чистого clone:
```sh
scripts/up.sh
make check
make test test-security CA_FILE=secrets/tls/service-ca/ca.crt
```
После ротации все 6 заданий обработались с первой попытки, созданы 18 вариантов, SHA-256 всех оригиналов совпал. Отозванные credentials отклонены.
Методика, команды, результаты и ограничения собраны в [REPORT.md](../REPORT.md). Покрытие TLS описано в [матрице доверия](../contracts/trust-matrix.md). Использование Codex и первичные источники указаны в отчёте.
- [x] Контракт и публичные тесты сохранены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов и трек 1 подтверждены артефактами.
- [x] Приватные ключи и credentials исключены из Git и Docker build context.
- [x] README задания сохранён, REPORT.md содержит инструкцию решения.
+13 -2
View File
@@ -12,5 +12,16 @@ jobs:
python-version: '3.12'
- run: python -m pip install -r requirements-dev.txt
- run: make check validate PYTHON=python
# This job validates the skeleton, not a student solution.
# Add build, readiness and make test in a separate application job.
https-smoke:
runs-on: ubuntu-latest
timeout-minutes: 20
steps:
- uses: actions/checkout@v4
- name: Generate local trust and start Compose
run: scripts/up.sh
- name: Run HTTPS smoke and reject foreign trust
run: make test test-security CA_FILE=secrets/tls/service-ca/ca.crt
- name: Stop Compose
if: always()
run: docker compose down
+2
View File
@@ -30,3 +30,5 @@ coverage/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
/compose.local.yaml
+15
View File
@@ -0,0 +1,15 @@
FROM node:24.22.2-alpine3.24@sha256:8a32c8cf649a49915a66e81e7a609223c708d0adabf288ee3f4077d765542f85 AS dependencies
WORKDIR /app
COPY package.json package-lock.json ./
RUN npm ci --omit=dev
FROM node:24.22.2-alpine3.24@sha256:8a32c8cf649a49915a66e81e7a609223c708d0adabf288ee3f4077d765542f85
RUN rm -rf /usr/local/lib/node_modules /opt/yarn-* /usr/local/bin/npm /usr/local/bin/npx /usr/local/bin/yarn /usr/local/bin/yarnpkg
WORKDIR /app
ENV NODE_ENV=production
COPY --from=dependencies /app/node_modules ./node_modules
COPY package.json ./
COPY src ./src
USER node
EXPOSE 8080
CMD ["node", "--import", "./src/telemetry.ts", "src/main.ts"]
+61 -23
View File
@@ -1,37 +1,75 @@
# Отчёт — лабораторная 7
# Отчёт - лабораторная 7
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор - Морару Сергей Сергеевич, БПИ2303.
- Целевая оценка - 5. Трек 1 «Компрометация worker».
- Ветка - `solution/bpi2303-moraru` от `mtusi2026/mtusi2026lab7:main`.
- База реализации - [ЛР № 6, PR № 6](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6/pulls/6), ветка студента на коммите `66367ca`.
- Источники - [OpenBao cert auth](https://openbao.org/docs/auth/cert/), [RabbitMQ TLS](https://www.rabbitmq.com/docs/ssl), [SeaweedFS S3 credentials](https://github.com/seaweedfs/seaweedfs/wiki/S3-Credentials), [Prometheus exporter toolkit](https://github.com/prometheus/exporter-toolkit/blob/master/docs/web-configuration.md), [Tempo TLS](https://grafana.com/docs/tempo/latest/configuration/network/tls/), [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html). Codex использовался для переноса, реализации защиты и тестов, диагностики Compose и подготовки отчёта.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker Engine с Compose v2+, Python 3.9+, OpenSSL 3+ и свободное место под контейнеры, образы и volumes. Для полного стенда выделите Docker около 8 ГиБ RAM. Node 24 и версии сервисов закреплены в Dockerfile и Compose. Порты 8443, 8200 и 3000 должны быть свободны на loopback.
## Архитектура и решения
```sh
scripts/up.sh
curl --fail --cacert secrets/tls/service-ca/ca.crt https://localhost:8443/health/ready
make check
make test test-security CA_FILE=secrets/tls/service-ca/ca.crt
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
`scripts/up.sh` создаёт локальную конфигурацию, запускает зависимости, применяет миграции, настраивает SCRAM, инициализирует и распечатывает OpenBao, записывает scoped policies и запускает приложение. Файл `.env` управляет портами, числом реплик, TTL сессий и лимитами. Сертификаты и материалы оператора находятся в `secrets/` с закрытым родительским каталогом. Они исключены из Git и Docker build context. После отдельного перезапуска OpenBao выполните `python3 scripts/bao.py unseal`. При исчерпанном пуле адресов Docker можно задать свободные непересекающиеся подсети для `frontend`, `backend` и `telemetry` в локальном `compose.local.yaml`, подключив его через `COMPOSE_FILE=compose.yaml:compose.local.yaml` в `.env`.
## Доказательства критериев
`docker compose down` останавливает стенд с сохранением volumes. `docker compose down -v` намеренно удаляет данные стенда, включая OpenBao. Для нового учебного bootstrap после удаления volumes уберите старый локальный каталог `secrets/` с учётом правил хранения ключей.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
## Архитектура
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Две stateless API-реплики обслуживают контракт ЛР № 6. HAProxy проверяет readiness через mTLS. PostgreSQL хранит пользователей, сессии, чаты, сообщения, метаданные, задания и outbox. Вложения попадают в устойчивый staging. После завершения upload одна транзакция обновляет статус и создаёт job и outbox. Relay отмечает публикацию после подтверждения quorum-очереди. Worker использует ручной ack и fencing в PostgreSQL. SeaweedFS хранит оригиналы и варианты. Reconciler сверяет PostgreSQL и S3. Collector принимает трассы, метрики и логи. Grafana загружает dashboard, источники, SLO и алерты из конфигурации. Схемы бизнес-API и публичные тесты сохранены. Основной эксперимент выполнен на Mac15,6, macOS 14.8.4, Docker Engine 29.8.2 в OrbStack arm64 (11 vCPU, 9 ГБ RAM для VM). Из-за заполнения VM на этом хосте локальный override также поднял порог записи Loki до 99,9%; в Compose из Git действует штатный порог Loki.
## Эксперименты и отказы
Пути доверия описаны в [матрице](contracts/trust-matrix.md), атаки и отрицательные проверки - в [модели угроз](security/THREAT_MODEL.md). API, worker и reconciler получают credentials только после cert auth. Операторские bootstrap и replay используют отдельные credentials. API и worker выполняются с UID 1000, read-only rootfs, tmpfs, dropped capabilities и запретом эскалации. У worker 1 CPU, 768 МиБ и таймаут попытки 60 с. Stateful-сервисы пишут в volumes. PostgreSQL, RabbitMQ и SeaweedFS оставляют штатную инициализацию прав на data directory.
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
## Проверки
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Критерий | Команда | Доказательство |
| --- | --- | --- |
| Контракт | `make check`, `make validate PYTHON=.venv/bin/python` | [contract.txt](evidence/checks/contract.txt) |
| HTTPS API и вложения | `make test CA_FILE=secrets/tls/service-ca/ca.crt` | [smoke.txt](evidence/checks/smoke.txt) |
| Недоверенный CA | `make test-security CA_FILE=secrets/tls/service-ca/ca.crt` | [public-tls.txt](evidence/checks/public-tls.txt) |
| ACL, logout, expiry, rehash, общий login rate limit | `python3 student-tests/auth_security.py` | [auth.txt](evidence/checks/auth.txt) |
| Внутреннее TLS/mTLS, чужая identity | `student-tests/tls-audit.sh` | [internal-mtls.txt](evidence/checks/internal-mtls.txt) |
| Сохранность и отказ реплик | `make test-persistence ACTION_SCRIPT=scripts/restart.sh CA_FILE=secrets/tls/service-ca/ca.crt`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh CA_FILE=secrets/tls/service-ca/ca.crt`, `python3 student-tests/alternate_failover.py --replica 1` | [persistence.txt](evidence/checks/persistence.txt), [failover-api-1.txt](evidence/checks/failover-api-1.txt), [failover-api-2.txt](evidence/checks/failover-api-2.txt) |
| Ограничение доступа и смена ключей | `python3 student-tests/worker_compromise.py --output evidence/checks/worker-track.json` | [worker-track.txt](evidence/checks/worker-track.txt) |
| Истечение доступа при sealed OpenBao | `python3 student-tests/bao_expiry.py` | [bao-expiry.txt](evidence/checks/bao-expiry.txt) |
| Три сигнала, отсутствие утечек | `python3 student-tests/telemetry_check.py --ca-file secrets/tls/service-ca/ca.crt` | [telemetry.txt](evidence/checks/telemetry.txt) |
| Контейнеры API/worker | `student-tests/hardening.sh` | [hardening.txt](evidence/checks/hardening.txt) |
## Ограничения и следующие шаги
При последовательной проверке двух реплик запись восстановилась через 3.17 с для API-1 и 3.28 с для API-2. В каждом прогоне подтверждено 122 записи без ошибок и дублей. После общего перезапуска проверены прежний токен, история и байты вложения. При seal обе реплики зафиксировали истечение credentials, через 44.7 с ingress вернул 503. После unseal обе реплики снова отвечали через 48.7 с от начала сценария.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
### Бюджет Argon2id
Параметры `m=19456 КиБ, t=2, p=1`, случайная соль 16 байт. Для каждой реплики одновременно считаются до двух хешей. Общий PostgreSQL-лимит допускает до 30 запросов входа в 10-секундное окно на весь стенд. При отказе выдаётся 429 с Retry-After. Успешный вход переводит scrypt из ЛР № 6 в Argon2id условным UPDATE. Старые сессии остаются действительны до истечения TTL или logout.
`node student-tests/argon2_bench.mjs` на macOS arm64, Node 25.8.2, один прогрев, 25 операций на поток. В сохранённом прогоне при 1 потоке p50/p95/p99 составили 91/110/208 мс, CPU 1.82 с за 25 хешей. При 2 потоках p50/p95/p99 91/136/152 мс, CPU 3.54 с за 50 хешей, peak RSS процесса 111 МиБ. CPU одного хеша около 71-73 мс. [Сводка](evidence/checks/argon2.jsonl). Бюджет памяти двух параллельных Argon2id - 38 МиБ плюс память Node и зависимостей. Время ответа на этой загруженной машине включает планирование CPU; эксперимент не оценивает пропускную способность всего API.
В серии из 64 входов с неверным паролем при concurrency 4 получены 26 ответов 401 и 38 ответов 429 с Retry-After. Отказы наблюдались у обеих API-реплик. p50/p95 ответов 401 составили 101/171 мс. [Вывод](evidence/checks/auth.txt).
### Трек 1 - компрометация worker
Гипотеза. Украденные права worker позволяют читать staging, создавать варианты, потреблять очередь и менять состояние заданий. Они не дают читать пароли или сообщения, писать в произвольный prefix, публиковать задания или менять топологию. Ротация должна перекрыть старый доступ и сохранить все задания, которые API успел подтвердить.
Методика. Синтетический стенд, два worker, concurrency 2 на worker. Скрипт запускает пробу в backend с leaf и credentials worker. Проверяет операции по трём зависимостям и OpenBao. Останавливает worker, загружает 6 PNG и ждёт, пока outbox отметит публикацию. Оператор убирает прежний leaf из OpenBao, отзывает сертификат и пользователя AMQP, завершает DB connections, меняет пароль и S3 key, затем поднимает worker и открывает новые соединения со старыми материалами. Проверяются SHA-256 каждого оригинала, ровно шесть done и восемнадцать строк вариантов. Время считается от начала ротации до проверки каждого оригинала. Эксперимент покрывает очередь без активных lease на момент отключения.
Результат прогона. Старый leaf получил отказ на OpenBao, RabbitMQ и Collector. Прежние пароль БД и ключ S3 также отклонены. Все 6 заданий обработаны с первой попытки, записаны 18 вариантов, SHA-256 всех 6 оригиналов совпал. Первое подтверждение получено через 84.48 с от начала ротации, последнее через 84.74 с. [Вывод проверок](evidence/checks/worker-track.txt) · [Измерения](evidence/checks/worker-track.json).
До разграничения в ЛР № 6 worker подключался к PostgreSQL как владелец схемы, имел Read/Write на весь bucket, брокер уже разделял публикацию и потребление. Здесь даже действующий worker видит только рабочие prefix и таблицы pipeline, а его брокерный credential связан с leaf. Внутри своих разрешений worker может повредить рабочие данные или задержать обработку. Время восстановления зависит от рестартов одиночного RabbitMQ и SeaweedFS, поэтому это проверка сохранности, а не высокой доступности этих зависимостей.
### Сканирование
`npm audit --omit=dev` вернул 0 известных уязвимостей зависимостей npm. Trivy 0.76.2 в исходном однослойном образе обнаружил zlib CVE-2026-4738 и уязвимости пакетов, поставленных вместе с npm, включая brace-expansion и undici. Исходники сервиса не используют npm CLI в runtime. Финальный образ исключает глобальный npm и Yarn, сохраняя production dependencies приложения. В финальном скане Trivy оставил одну запись CVE-2026-4738 для системного zlib. Описание NVD указывает путь GDAL `frmts/zlib/contrib/infback9`. GDAL отсутствует в runtime, поэтому путь из advisory не входит в поверхность стенда. При обновлении базового образа следует повторить скан. [Вывод Trivy и npm audit](evidence/checks/scan.txt).
## Ограничения стенда
OpenBao, PostgreSQL, S3, RabbitMQ и telemetry backends работают в одном экземпляре. OpenBao требует ручного unseal после своего рестарта. Локальная ротация worker переинициализирует слушатели с новыми сертификатами и ACL, сохраняя volumes. Окно fail-closed составляет до 45 с после последнего успешного получения credentials. Это учебный стенд с локальным CA и синтетическими данными.
## Публикация
В Gitea создайте fork `mtusi2026/mtusi2026lab7` в аккаунте `s.s.moraru`. Из этой ветки выполните `git push -u fork solution/bpi2303-moraru`. В новом PR выберите base `mtusi2026/mtusi2026lab7:main` и head `s.s.moraru/mtusi2026lab7:solution/bpi2303-moraru`. Заголовок - **ЛР 7 - БПИ2303 - Морару - на 5**. Описание подготовлено в [шаблоне PR](.github/pull_request_template.md).
+433
View File
@@ -0,0 +1,433 @@
name: messenger-lab7
x-app: &app
build: .
image: messenger-lab7-app:dev # уникальное имя: на общем Docker-host не перепутать с чужими стендами
networks: [backend]
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
tmpfs: ["/tmp:size=64m,mode=1777"]
ulimits:
core: { soft: 0, hard: 0 }
volumes: [./secrets/tls/service-ca:/run/tls:ro]
logging: &logging
driver: json-file
options: { max-size: "10m", max-file: "3" } # stdout-логи ограничены; история логов — в Loki
# OpenTelemetry SDK api и worker (src/telemetry.ts). service.name задаётся у каждого сервиса отдельно.
# OTEL_SDK_DISABLED=true — приложение без telemetry (сравнение, отладка).
x-otel-env: &otel-env
OTEL_EXPORTER_OTLP_ENDPOINT: https://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL: ${OTEL_EXPORTER_OTLP_PROTOCOL:-http/protobuf}
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_PROPAGATORS: tracecontext # W3C traceparent/tracestate; baggage клиентов не принимается
OTEL_METRIC_EXPORT_INTERVAL: "10000" # мс; окна rate() от 1 минуты
OTEL_BSP_SCHEDULE_DELAY: "1000"
OTEL_BLRP_SCHEDULE_DELAY: "1000"
OTEL_NODE_EXPERIMENTAL_SDK_METRICS: "true" # otel.sdk.*: сколько spans/логов SDK обработал и отбросил
x-s3-env: &s3-env
S3_ENDPOINT: https://s3:9000
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: messenger-attachments
NODE_EXTRA_CA_CERTS: /run/tls/ca.crt
x-jobs-env: &jobs-env
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
PIPELINE_VERSION: ${PIPELINE_VERSION:-1}
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
JOB_RETRY_BASE_MS: ${JOB_RETRY_BASE_MS:-2000}
JOB_REPUBLISH_SECONDS: ${JOB_REPUBLISH_SECONDS:-600}
FAILPOINTS: ${FAILPOINTS:-0} # 1 только на тестовом стенде: файл failpoint-<точка>.png один раз роняет процесс
services:
postgres:
image: postgres:18.6-alpine@sha256:10a5c69a83035ab5239f5620d708520e8b28f5aa1f2b20143e6024532edadfb5
entrypoint: ["/bin/sh", "/etc/lab/entrypoint.sh"]
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes:
- pgdata:/var/lib/postgresql
- ./infra/postgres:/etc/lab:ro
- ./secrets/tls/postgres:/run/identity:ro
healthcheck:
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
interval: 2s
timeout: 2s
retries: 20
deploy:
resources:
limits: { cpus: "2", memory: 1g }
stop_grace_period: 30s
restart: unless-stopped
security_opt: [no-new-privileges:true]
networks: [backend]
openbao:
image: openbao/openbao:2.5.4@sha256:436eaf9778cad75507ff70ea26ace30dcbe15606e619ac3823495663d7f7c115
user: "100:1000"
entrypoint: ["/bin/bao"]
command: ["server", "-config=/etc/lab/server.hcl"]
volumes:
- ./infra/openbao/server.hcl:/etc/lab/server.hcl:ro
- ./secrets/tls/openbao:/run/identity:ro
- bao-data:/openbao/file
- bao-audit:/openbao/logs
networks: [frontend, backend]
ports: ["127.0.0.1:${BAO_PORT:-8200}:8200"]
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
tmpfs: ["/tmp:size=16m,mode=1777"]
mem_limit: 256m
cpus: 0.5
restart: unless-stopped
# Filer, master и volume на loopback в том же контейнере. Наружу слушает только TLS S3.
s3:
image: chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1", "-filer", "-s3",
"-master.volumeSizeLimitMB=128", "-volume.minFreeSpace=64MiB", "-s3.ip.bind=0.0.0.0", "-s3.port=9000",
"-s3.config=/run/s3/identities.json", "-s3.cert.file=/run/identity/tls.crt", "-s3.key.file=/run/identity/tls.key",
"-s3.iam=false", "-s3.port.iceberg=0", "-s3.port.lance=0", "-s3.autoCreateBucket=false",
"-s3.concurrentUploadLimitMB=256"]
volumes:
- s3data:/data
- ./secrets/runtime/s3:/run/s3:ro
- ./secrets/tls/s3:/run/identity:ro
- ./secrets/tls/service-ca:/run/tls:ro
healthcheck:
test: ["CMD-SHELL", "SSL_CERT_FILE=/run/tls/ca.crt wget -qO /dev/null https://s3:9000/healthz"]
interval: 2s
timeout: 2s
retries: 30
mem_limit: 768m
cpus: 1
restart: unless-stopped
security_opt: [no-new-privileges:true]
networks: [backend]
# Одноразовые сервисы до старта реплик: схема БД (advisory lock) и bucket (повторный запуск ничего не меняет).
migrate:
<<: *app
command: ["node", "src/main.ts", "migrate"]
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
restart: "no"
deploy:
resources:
limits: { cpus: "0.5", memory: 128m }
depends_on:
postgres: { condition: service_healthy }
s3-init:
<<: *app
command: ["node", "src/main.ts", "s3-init"]
environment:
<<: *s3-env
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
secrets:
- { source: s3_admin_access_key_id, target: s3_access_key_id }
- { source: s3_admin_secret_access_key, target: s3_secret_access_key }
restart: "no"
deploy:
resources:
limits: { cpus: "0.5", memory: 128m }
depends_on:
s3: { condition: service_healthy }
# Брокер: RabbitMQ, quorum-очередь на диске (volume rabbitmq-data), publisher confirms, ручной ack.
# hostname фиксирует имя узла rabbit@rabbitmq: данные в volume привязаны к нему и переживают пересоздание.
rabbitmq:
image: rabbitmq:4.3.6-alpine@sha256:6931816af1a943f471c038b278835d36692d55dec769232739296bb91b7de0f5
hostname: rabbitmq
volumes:
- rabbitmq-data:/var/lib/rabbitmq
- ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/90-messenger.conf:ro
- ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro
- ./secrets/tls/rabbitmq:/run/identity:ro
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
secrets: [rabbitmq_definitions]
healthcheck:
test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
interval: 5s
timeout: 10s
retries: 30
start_period: 20s
deploy:
resources:
limits: { cpus: "1", memory: 512m }
stop_grace_period: 30s
restart: unless-stopped
networks: [backend]
api:
<<: *app
environment:
<<: [*s3-env, *jobs-env, *otel-env]
OTEL_SERVICE_NAME: messenger-api
BAO_ROLE: api
ARGON2_MEMORY_KIB: ${ARGON2_MEMORY_KIB:-19456}
ARGON2_ITERATIONS: ${ARGON2_ITERATIONS:-2}
ARGON2_PARALLELISM: ${ARGON2_PARALLELISM:-1}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DB_POOL_MAX: ${DB_POOL_MAX:-8}
SHUTDOWN_DRAIN_MS: ${SHUTDOWN_DRAIN_MS:-2500}
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
volumes:
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/api:/run/identity:ro
- ./secrets/pki:/run/pki:ro
depends_on:
migrate: { condition: service_completed_successfully }
s3-init: { condition: service_completed_successfully }
healthcheck:
test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8081/"]
interval: 2s
timeout: 2s
retries: 3
# Lab6: старт с OpenTelemetry SDK (загрузка instrumentations через ESM-hook) на занятом хосте — до ~25 с.
# Успешная проверка сразу делает контейнер healthy; start_period только прощает неудачи при старте.
start_period: 120s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits: { cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-256m}" }
stop_grace_period: 15s
restart: unless-stopped # упавшая реплика поднимается сама; после `docker stop` остаётся остановленной
# Worker: отдельный процесс без HTTP, конкурирующие consumers одной очереди. WORKER_CONCURRENCY = prefetch =
# одновременных заданий на реплику; память ограничена контейнером, libvips — один поток, без кэша.
worker:
<<: *app
command: ["node", "--import", "./src/telemetry.ts", "src/main.ts", "worker"]
environment:
<<: [*s3-env, *jobs-env, *otel-env]
OTEL_SERVICE_NAME: messenger-worker
BAO_ROLE: worker
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
volumes:
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/worker:/run/identity:ro
depends_on:
migrate: { condition: service_completed_successfully }
s3-init: { condition: service_completed_successfully }
rabbitmq: { condition: service_healthy }
deploy:
replicas: ${WORKER_REPLICAS:-2}
resources:
limits: { cpus: "${WORKER_CPUS:-1}", memory: "${WORKER_MEMORY:-768m}" }
stop_grace_period: 15s # SIGTERM: consumer отменяется, текущие задания до 10 с, затем выход
restart: unless-stopped
# Периодическая сверка БД ↔ S3 с grace period (src/reconcile.ts). Свои S3-ключи: объекты + листинг bucket.
reconciler:
<<: *app
command: ["node", "src/main.ts", "reconcile", "--apply", "--every=${RECONCILE_INTERVAL_SECONDS:-300}"]
environment:
<<: *s3-env
BAO_ROLE: reconciler
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-900}
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
volumes:
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/reconciler:/run/identity:ro
depends_on:
migrate: { condition: service_completed_successfully }
s3-init: { condition: service_completed_successfully }
deploy:
resources:
limits: { cpus: "0.5", memory: 128m }
restart: unless-stopped
lb:
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
- ./secrets/tls/ingress:/run/public:ro
- ./secrets/tls/lb-client:/run/client:ro
- ./secrets/tls/lb:/run/identity:ro
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
ports: ["127.0.0.1:${LB_PORT:-8443}:8443"]
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
depends_on:
api: { condition: service_healthy }
deploy:
resources:
limits: { cpus: "${LB_CPUS:-1}", memory: 128m }
restart: unless-stopped
networks: [frontend, backend]
# HAProxy проверяет CN и CRL перед передачей OTLP по loopback в общем network namespace.
otel-collector:
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
volumes:
- ./infra/otel/ingress.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
- ./secrets/tls/otel-collector:/run/identity:ro
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/pki:/run/pki:ro
networks: [backend, telemetry]
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 128m
cpus: 0.5
restart: unless-stopped
logging: *logging
collector:
image: otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6748110ffb6a59bc0df448bccbf501cdb667d610ede4c61d3863d5849
network_mode: "service:otel-collector"
volumes:
- ./infra/otel/collector.yaml:/etc/otelcol-contrib/config.yaml:ro
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/collector:/run/client:ro
environment:
GOMEMLIMIT: 180MiB
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 256m
cpus: 1
restart: unless-stopped
logging: *logging
prometheus:
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=15d
- --storage.tsdb.retention.size=1GB
- --web.enable-otlp-receiver
- --web.config.file=/etc/prometheus/web.yml
- --enable-feature=created-timestamp-zero-ingestion # новая серия счётчика начинается с 0: rate() видит первые ошибки
- --query.lookback-delta=1m # данные остановленной реплики перестают учитываться через минуту, а не через 5
volumes:
- ./infra/prometheus:/etc/prometheus:ro
- ./secrets/tls/prometheus:/run/identity:ro
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/prometheus-scrape:/run/client:ro
- prometheus-data:/prometheus
deploy:
resources:
limits: { cpus: "1", memory: 512m }
stop_grace_period: 30s
restart: unless-stopped
logging: *logging
networks: [telemetry]
loki:
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
command: ["-config.file=/etc/loki/loki.yaml"]
volumes:
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
- ./secrets/tls/loki:/run/identity:ro
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
- loki-data:/loki
deploy:
resources:
limits: { cpus: "1", memory: 384m }
stop_grace_period: 30s
restart: unless-stopped
logging: *logging
networks: [telemetry]
tempo:
image: grafana/tempo:2.10.10@sha256:12b0820f13ffa10ce956b6e9acc3b03f3cffded99109be6cc09d106fe56e5d38
command: ["-config.file=/etc/tempo/tempo.yaml"]
volumes:
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
- ./secrets/tls/tempo:/run/identity:ro
- ./secrets/tls/telemetry-ca:/run/telemetry:ro
- ./secrets/tls/collector-ca:/run/collector-ca:ro
- tempo-data:/var/tempo
deploy:
resources:
limits: { cpus: "1", memory: 512m }
stop_grace_period: 30s
restart: unless-stopped
logging: *logging
networks: [telemetry]
# Grafana: интерфейс и запросы к хранилищам; datasources и dashboard импортируются из Git (provisioning).
grafana:
image: grafana/grafana:13.2.5@sha256:9f7aa1e1e3246aade5792d35a738049f7f32f89cd51d1956cf426a4e86268a84
entrypoint:
- /bin/sh
- -ec
- |
export DS_CA="$$(cat /run/tls/ca.crt)" DS_CERT="$$(cat /run/client/tls.crt)" DS_KEY="$$(cat /run/client/tls.key)"
exec /run.sh
environment:
GF_SERVER_PROTOCOL: https
GF_SERVER_CERT_FILE: /run/identity/tls.crt
GF_SERVER_CERT_KEY: /run/identity/tls.key
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
GF_USERS_ALLOW_SIGN_UP: "false"
GF_AUTH_ANONYMOUS_ENABLED: "false"
GF_SERVER_ROOT_URL: https://localhost:${GRAFANA_PORT:-3000}
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
GF_PLUGINS_PREINSTALL_DISABLED: "true"
GF_NEWS_NEWS_FEED_ENABLED: "false"
secrets: [grafana_admin_password]
volumes:
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
- ./secrets/tls/grafana:/run/identity:ro
- ./secrets/tls/service-ca:/run/tls:ro
- ./secrets/tls/grafana-query:/run/client:ro
- grafana-data:/var/lib/grafana
ports:
- "127.0.0.1:${GRAFANA_PORT:-3000}:3000"
healthcheck:
test: ["CMD-SHELL", "SSL_CERT_FILE=/run/tls/ca.crt wget -qO /dev/null https://localhost:3000/api/health"]
interval: 5s
timeout: 3s
retries: 30
deploy:
resources:
limits: { cpus: "0.5", memory: 256m }
restart: unless-stopped
logging: *logging
networks: [frontend, telemetry]
networks:
frontend: {}
backend: { internal: true } # api, worker, postgres, rabbitmq и s3-шлюз недоступны с хоста и не имеют выхода наружу
telemetry: { internal: true } # collector → prometheus/loki/tempo ← grafana; приложение сюда не подключено
volumes:
bao-data: {}
bao-audit: {}
pgdata: {}
s3data: {}
rabbitmq-data: {}
prometheus-data: {}
loki-data: {}
tempo-data: {}
grafana-data: {}
secrets:
database_url: { file: ./secrets/runtime/database_url }
postgres_password: { file: ./secrets/runtime/postgres_password }
s3_admin_access_key_id: { file: ./secrets/runtime/s3_admin_access_key_id }
s3_admin_secret_access_key: { file: ./secrets/runtime/s3_admin_secret_access_key }
rabbitmq_definitions: { file: ./secrets/runtime/rabbitmq_definitions.json }
grafana_admin_password: { file: ./secrets/runtime/grafana_admin_password }
+16 -33
View File
@@ -1,37 +1,20 @@
# Матрица доверия — заполнить в решении lab7
# Матрица доверия
Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
Service CA подписывает серверы и клиентские leaf приложения. Отдельные CA telemetry и collector ограничивают доступ к хранилищам сигналов. Bootstrap выпускает leaf на 7 суток и CA на 365 суток. Имена серверов из таблицы проверяются по DNS SAN, кроме локальных HTTPS URL, для которых выданы также localhost и 127.0.0.1.
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
| Связь | Endpoint и проверка сервера | Клиент и ACL | Проверка |
| --- | --- | --- | --- |
| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO |
| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO |
| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO |
| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO |
| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO |
| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO |
| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO |
| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO |
| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO |
| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO |
| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO |
| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO |
| Клиент → ingress | `https://localhost:8443`, service CA | Bearer, SHA-256 в БД, TTL 3600 с, ACL чата | `make test test-security CA_FILE=secrets/tls/service-ca/ca.crt`, `student-tests/auth_security.py` |
| LB → обе API | `https://api:8080`, service CA, SNI/verifyhost api | leaf `DNS:lb-client`, CRL, обязательный client cert | `student-tests/tls-audit.sh`, положительные и отрицательные подключения |
| API/worker/reconciler → PostgreSQL | `postgres:5432`, service CA, SSL с проверкой имени | раздельные SCRAM-роли и SQL grants; API имеет доступ к пользовательским данным, worker ограничен pipeline | `student-tests/worker_compromise.py`, `pg_stat_ssl`, SQLSTATE 42501/28P01 |
| API/worker/reconciler → S3 | `https://s3:9000`, service CA | SigV4 с отдельными ключами, prefix ACL, List только у reconciler и оператора | `student-tests/worker_compromise.py`, staged read / private deny / старый ключ 403 |
| API/worker → RabbitMQ | `amqps://rabbitmq:5671/messenger`, service CA | EXTERNAL по CN, `api` публикует в attachments, текущий `worker-*` читает attachments.process; declare запрещён | `student-tests/tls-audit.sh`, `student-tests/worker_compromise.py` |
| API/worker → Collector | `https://otel-collector:4318`, service CA | HAProxy требует client cert и CN `api` или выданный `worker-*`, проверяет CRL, разрешает только OTLP POST | `student-tests/tls-audit.sh`, `student-tests/worker_compromise.py` |
| Collector → хранилища | `prometheus:9090`, `loki:3100` по HTTPS, `tempo:4317` по OTLP gRPC/TLS, service CA | клиентский cert от collector CA; Tempo ingest доверяет только collector CA | `student-tests/telemetry_check.py`, `student-tests/tls-audit.sh` |
| Grafana → источники | HTTPS `prometheus:9090`, `loki:3100`, `tempo:3200`, service CA | `grafana-query` от telemetry CA, доступ в UI аутентифицирован | provisioning, `student-tests/telemetry_check.py`, `student-tests/tls-audit.sh` |
| Сервисы → OpenBao | `https://openbao:8200`, service CA | cert auth с pinned leaf, API/worker/reconciler читают каждый свой KV; TTL 45 с, re-auth 5 с | `student-tests/worker_compromise.py`, `student-tests/bao_expiry.py` |
| Оператор | `https://localhost:8200`, `https://localhost:3000`; S3 через внутреннюю сеть | OpenBao root и Shamir у оператора, Grafana Basic, отдельный S3 admin для bootstrap | `scripts/bao.py`, HTTPS Grafana и bootstrap bucket |
| Redis/Valkey | Н/П | Сессии в PostgreSQL | HTTPS persistence |
| Replication | Н/П | Две независимые API-реплики; брокер и хранилища в одном экземпляре | HTTPS failover обеих API-реплик |
Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход.
## Обязательные отрицательные проверки
1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен».
2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех.
3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity.
4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity.
5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3.
6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить.
## Bootstrap и эксплуатация
В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу.
OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии.
Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap.
Collector скрейпит `https://lb:8404` и `https://rabbitmq:15691` с client cert от collector CA. Prometheus проверяет серверные сертификаты источников и использует отдельный cert `prometheus-scrape`. Локальные HTTP hop находятся в закрытом namespace: процесс OTel слушает `127.0.0.1:14318`, доступны только его ingress и self-scrape, а внутренние master/filer/volume SeaweedFS находятся на loopback одного контейнера. API имеет отдельный HTTP socket на `127.0.0.1:8081`, отдающий только состояние процесса. Bootstrap БД использует Unix socket с peer map для пользователя postgres. Сеть и порты видны через `docker compose config`.
+2
View File
@@ -0,0 +1,2 @@
{"concurrency":1,"runs":25,"p50_ms":91,"p95_ms":110,"p99_ms":208,"elapsed_ms":2404,"cpu_ms":1817,"max_rss_mib":111}
{"concurrency":2,"runs":50,"p50_ms":91,"p95_ms":136,"p99_ms":152,"elapsed_ms":2504,"cpu_ms":3543,"max_rss_mib":111}
+5
View File
@@ -0,0 +1,5 @@
PASS outsider: metadata, bytes and reuse of foreign attachment denied
PASS expired and logged-out sessions rejected
PASS successful scrypt login rehashes to Argon2id
PASS ingress rejects an incorrect hostname
PASS shared login budget {"codes": {"401": 26, "429": 38}, "requests": 64, "concurrency": 4, "seconds": 0.93, "401_p50_ms": 101.2, "401_p95_ms": 170.7}
+5
View File
@@ -0,0 +1,5 @@
OpenBao: seal OK
PASS sealed OpenBao, both replicas expired and ingress returned 503 after 44.7s
OpenBao unsealed
OpenBao: unseal OK
PASS both replicas recovered after 48.7s from seal
+4
View File
@@ -0,0 +1,4 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+3
View File
@@ -0,0 +1,3 @@
python3 student-tests/alternate_failover.py --replica 1
stopped /messenger-lab7-api-1 (5bdde5a69ba7)
PASS api-1: 122 successful writes, 0 failures, recovery 3.171s
+5
View File
@@ -0,0 +1,5 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 3.275}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
stopped /messenger-lab7-api-2 (789f75a2d4d6)
+4
View File
@@ -0,0 +1,4 @@
PASS /messenger-lab7-api-1 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
PASS /messenger-lab7-api-2 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
PASS /messenger-lab7-worker-1 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
PASS /messenger-lab7-worker-2 non-root, read-only, tmpfs, no capabilities, CPU/RAM limits, no published ports
+20
View File
@@ -0,0 +1,20 @@
PASS api allow
PASS api deny
PASS api tls-deny
PASS api tls-deny
PASS api tls-deny
PASS rabbitmq allow
PASS rabbitmq deny
PASS rabbitmq tls-deny
PASS rabbitmq tls-deny
PASS otel-collector allow
PASS otel-collector deny
PASS otel-collector tls-deny
PASS otel-collector tls-deny
PASS otel-collector tls-deny
PASS prometheus allow
PASS prometheus tls-deny
PASS loki allow
PASS loki tls-deny
PASS tempo allow
PASS tempo tls-deny
+20
View File
@@ -0,0 +1,20 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
Container StartedAt before → after (volumes preserved)
lb 2026-11-13T01:15:11.257385463Z -> 2026-11-13T01:20:10.547301092Z
api 2026-11-13T01:15:50.908917222Z -> 2026-11-13T01:20:04.090599786Z
api 2026-11-13T01:15:57.172061993Z -> 2026-11-13T01:20:04.636345266Z
worker 2026-11-13T01:18:50.289037895Z -> 2026-11-13T01:20:04.088323125Z
worker 2026-11-13T01:18:50.641455405Z -> 2026-11-13T01:20:04.571768822Z
reconciler 2026-11-13T01:15:50.899418247Z -> 2026-11-13T01:20:04.079800985Z
postgres 2026-11-13T00:55:15.413332805Z -> 2026-11-13T01:19:36.476215277Z
s3 2026-11-13T01:17:38.625759439Z -> 2026-11-13T01:19:41.274651051Z
rabbitmq 2026-11-13T01:17:38.618089156Z -> 2026-11-13T01:19:37.531654708Z
otel-collector 2026-11-13T01:17:38.608424136Z -> 2026-11-13T01:19:36.638172339Z
collector 2026-11-13T01:17:40.256329957Z -> 2026-11-13T01:19:42.679961375Z
prometheus 2026-11-13T00:55:15.184395701Z -> 2026-11-13T01:19:36.261421478Z
loki 2026-11-13T01:16:17.793235632Z -> 2026-11-13T01:19:36.783945489Z
tempo 2026-11-13T00:55:13.64505991Z -> 2026-11-13T01:19:36.429086463Z
grafana 2026-11-13T00:59:58.501910653Z -> 2026-11-13T01:19:42.904075477Z
openbao 2026-11-13T00:57:09.723084442Z -> 2026-11-13T01:19:37.422278275Z
+2
View File
@@ -0,0 +1,2 @@
promtool test rules /etc/prometheus/tests/alerts.test.yml
SUCCESS
+2
View File
@@ -0,0 +1,2 @@
python3 tests/security.py --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening.
+5
View File
@@ -0,0 +1,5 @@
Trivy 0.76.2, messenger-lab7-app:dev, linux/arm64, 2026-11-13
npm audit --omit=dev: 0 vulnerabilities
messenger-lab7-app:dev (alpine 3.24.3): 1 findings
CVE-2026-4738 zlib MEDIUM 1.3.2-r1 1.4-r0
Node.js: 0 findings
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "https://localhost:8443" --ca-file "secrets/tls/service-ca/ca.crt"
PASS: lab7 public API scenario; infrastructure and grading evidence remain separate.
+8
View File
@@ -0,0 +1,8 @@
PASS 1 trace 39bd5ebcd3c5fb3c8289d0fd05f0d332: server span POST /api/v1/chats/{chat_id}/messages (3 SQL), лог request_id=3f633f88-ab37-44df-ad6a-18616b504fb6
PASS 2 404 request_id=33b40a88-0173-4364-828c-18d8d3810b53 → лог → trace 01e968716000024fe5e64908a92f9059
PASS 3 trace f68deeca64cc65ace6a2821019036d0b: upload → publish → process (39 spans), лог job.ready в том же trace
PASS 4 trace d172c7ac2a5c5b7b8f9b8a3970d1b8d4: publish#1 → process#1 (retry, S3 timeout) → publish#2 → process#2 (ready)
PASS 5 метрики: 14 обязательных есть; 119 labels без id/URL; 10 шаблонов http_route
PASS 6 секреты/контент не найдены в 8 ответах Tempo/Loki и во всём Loki за 30 мин
PASS 7 dashboard «Messenger lab6»: 35 панелей, 57/60 запросов с данными (пусто: ['Потери telemetry (элементов/с)'])
PASS: сигналы lab6 (traces, logs, metrics, связь через очередь, retry, отсутствие секретов, dashboard)
+16
View File
@@ -0,0 +1,16 @@
{
"queued": 6,
"done": 6,
"variants": 18,
"attempts": 6,
"lost": 0,
"sha256_verified": 6,
"seconds_from_rotation_to_verification": [
84.48,
84.6,
84.64,
84.67,
84.7,
84.74
]
}
+12
View File
@@ -0,0 +1,12 @@
PASS operator seeds staging/private and reads private
PASS OpenBao own read; cross-role read, write and policy update denied; TTL 45s
PASS PostgreSQL TLS; job select/update allowed; users, messages, delete and DDL denied
PASS S3 staging read; variants/originals write; private read/write/copy and bucket list denied
PASS RabbitMQ worker consumes attachments.process; publish and queue creation denied
PASS 6 заданий queued и подтверждены брокером до ротации
OpenBao: revoke-worker OK
PostgreSQL: SCRAM credentials настроены
OpenBao: replace-worker OK
Worker identity и credentials заменены
PASS old leaf denied by OpenBao, AMQP and OTLP; old DB password and S3 key denied
PASS {"queued": 6, "done": 6, "variants": 18, "attempts": 6, "lost": 0, "sha256_verified": 6, "seconds_from_rotation_to_verification": [84.48, 84.6, 84.64, 84.67, 84.7, 84.74]}
+210
View File
@@ -0,0 +1,210 @@
#!/usr/bin/env python3
"""Генератор infra/grafana/dashboards/messenger.json (импортируется provisioning-ом).
JSON в Git — результат этого скрипта; правьте скрипт и пересоберите: python3 infra/grafana/build_dashboard.py
Каждая панель: запрос PromQL/LogQL/TraceQL и единица измерения (fieldConfig.unit). Квантили — histogram_quantile
по сумме buckets всех реплик (sum by le), не среднее и не усреднение p99 реплик."""
import json
from pathlib import Path
PROM = {'type': 'prometheus', 'uid': 'prometheus'}
LOKI = {'type': 'loki', 'uid': 'loki'}
TEMPO = {'type': 'tempo', 'uid': 'tempo'}
RATE = '$__rate_interval'
panels, y = [], 0
def row(title):
global y
panels.append({'type': 'row', 'title': title, 'collapsed': False, 'panels': [],
'gridPos': {'x': 0, 'y': y, 'w': 24, 'h': 1}, 'id': len(panels) + 1})
y += 1
def place(items, h=8):
"""Панели одной строки делят ширину 24 поровну."""
global y
w = 24 // len(items)
for i, p in enumerate(items):
p['gridPos'] = {'x': i * w, 'y': y, 'w': w, 'h': h}
p['id'] = len(panels) + 1
panels.append(p)
y += h
def ts(title, unit, targets, desc='', thresholds=None, stack=False, minimum=None):
defaults = {'unit': unit, 'custom': {'lineWidth': 1, 'fillOpacity': 10, 'showPoints': 'never',
'stacking': {'mode': 'normal' if stack else 'none'}}}
if minimum is not None:
defaults['min'] = minimum
if thresholds:
defaults['thresholds'] = {'mode': 'absolute', 'steps': [{'color': 'green', 'value': None}] +
[{'color': 'red', 'value': thresholds}]}
defaults['custom']['thresholdsStyle'] = {'mode': 'line+area'}
return {'type': 'timeseries', 'title': title, 'description': desc, 'datasource': PROM,
'fieldConfig': {'defaults': defaults, 'overrides': []},
'options': {'legend': {'displayMode': 'list', 'placement': 'bottom'}, 'tooltip': {'mode': 'multi', 'sort': 'desc'}},
'targets': [{'refId': chr(65 + i), 'datasource': PROM, 'expr': e, 'legendFormat': l} for i, (e, l) in enumerate(targets)]}
def stat(title, unit, expr, desc='', red_below=None, red_above=None, decimals=None):
steps = [{'color': 'green', 'value': None}]
if red_below is not None:
steps = [{'color': 'red', 'value': None}, {'color': 'green', 'value': red_below}]
if red_above is not None:
steps.append({'color': 'red', 'value': red_above})
defaults = {'unit': unit, 'thresholds': {'mode': 'absolute', 'steps': steps}}
if decimals is not None:
defaults['decimals'] = decimals
return {'type': 'stat', 'title': title, 'description': desc, 'datasource': PROM,
'fieldConfig': {'defaults': defaults, 'overrides': []},
'options': {'reduceOptions': {'calcs': ['lastNotNull'], 'fields': '', 'values': False},
'colorMode': 'background', 'graphMode': 'area', 'textMode': 'value'},
'targets': [{'refId': 'A', 'datasource': PROM, 'expr': expr, 'instant': False}]}
def quantiles(metric, selector, by=''):
grp = f'le{", " + by if by else ""}'
return [(f'histogram_quantile({q}, sum by ({grp}) (rate({metric}_bucket{{{selector}}}[{RATE}])))',
f'p{int(q * 100)}{" {{" + by + "}}" if by else ""}') for q in (0.5, 0.95, 0.99)]
API = 'job="messenger-api"'
row('SLO и alerts (трек 2)')
place([
stat('Доступность API у клиентов, 1 ч', 'percentunit', '1 - slo:api_error_ratio:rate1h',
'SLI = 1 − 5xx/все ответы HAProxy (frontend public) за 1 ч: включает 503/504 самого LB, которых не видит API. '
'SLO 99.5 % за 30 дней.', red_below=0.995, decimals=2),
stat('Остаток бюджета API (30 д)', 'percentunit', '1 - slo:api_error_ratio:rate30d / 0.005',
'Доля неизрасходованного бюджета ошибок 0.5 % за 30 дней (на стенде — за доступную историю).', red_below=0, decimals=1),
stat('Ready ≤ 30 с, 1 ч', 'percentunit', '1 - slo:ready_bad_ratio:rate1h',
'SLI time-to-ready: доля вложений, ставших ready не позже 30 с от приёма. SLO 99 %.', red_below=0.99, decimals=2),
stat('Остаток бюджета time-to-ready (30 д)', 'percentunit', '1 - slo:ready_bad_ratio:rate30d / 0.01',
'Бюджет 1 % «медленных» или failed вложений за 30 дней.', red_below=0, decimals=1),
stat('Alerts firing', 'none', 'count(ALERTS{alertstate="firing"}) or vector(0)', 'Сейчас активных alerts.', red_above=1),
], h=5)
place([
ts('Burn rate API (×бюджет)', 'none', [
('slo:api_error_ratio:rate5m / 0.005', '5m'), ('slo:api_error_ratio:rate30m / 0.005', '30m'),
('slo:api_error_ratio:rate1h / 0.005', '1h'), ('slo:api_error_ratio:rate6h / 0.005', '6h')],
'Расход бюджета относительно равномерного. Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.', thresholds=6),
ts('Burn rate time-to-ready (×бюджет)', 'none', [
('slo:ready_bad_ratio:rate5m / 0.01', '5m'), ('slo:ready_bad_ratio:rate30m / 0.01', '30m'),
('slo:ready_bad_ratio:rate1h / 0.01', '1h'), ('slo:ready_bad_ratio:rate6h / 0.01', '6h')],
'Fast burn: 1h и 5m > 14.4; slow burn: 6h и 30m > 6.', thresholds=6),
{'type': 'state-timeline', 'title': 'Alerts (pending / firing)', 'datasource': PROM,
'description': 'Серия ALERTS: состояние правил Prometheus. Отсутствие полосы — alert неактивен (resolved).',
'fieldConfig': {'defaults': {'color': {'mode': 'thresholds'}, 'thresholds': {'mode': 'absolute', 'steps': [
{'color': 'transparent', 'value': None}, {'color': 'orange', 'value': 1}, {'color': 'red', 'value': 2}]}},
'overrides': []},
'options': {'showValue': 'never', 'mergeValues': True, 'rowHeight': 0.8, 'legend': {'showLegend': False}},
'targets': [{'refId': 'A', 'datasource': PROM, 'legendFormat': '{{alertname}}',
'expr': 'max by (alertname) ((ALERTS{alertstate="pending"} * 1) or (ALERTS{alertstate="firing"} * 2))'}]},
])
row('API: запросы, ошибки, задержка')
place([
ts('RPS по маршрутам', 'reqps', [(f'sum by (http_route, http_request_method) (rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]))',
'{{http_request_method}} {{http_route}}')],
'http.server.request.duration (_count) — счётчик запросов; label http_route — шаблон маршрута.', stack=True),
ts('RPS по классу статуса', 'reqps', [(
f'sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]), '
'"status_class", "${1}xx", "http_response_status_code", "([0-9]).."))', '{{status_class}}')], stack=True),
ts('Доля 5xx', 'percentunit', [
(f'(sum(rate(http_server_request_duration_seconds_count{{{API},http_response_status_code=~"5.."}}[{RATE}])) or vector(0))'
f' / sum(rate(http_server_request_duration_seconds_count{{{API}}}[{RATE}]))', 'в метриках API'),
('slo:api_error_ratio:rate5m', 'у клиентов (HAProxy), 5m — SLI, alert > 5 %')],
'5xx / все ответы; 4xx — не ошибка сервиса. Линия API ниже линии HAProxy, когда LB отвечает сам: 503 без готовых '
'реплик (БД недоступна → readiness), 504 по таймауту.', thresholds=0.05, minimum=0),
])
place([
ts('Задержка API p50/p95/p99', 's', quantiles('http_server_request_duration_seconds', API),
'Квантили из buckets histogram всех реплик (sum by le).'),
ts('p99 по маршрутам', 's', [(f'histogram_quantile(0.99, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{{{API}}}[{RATE}])))',
'{{http_route}}')]),
ts('p99 запросов к PostgreSQL', 's', [(f'histogram_quantile(0.99, sum by (le, job) (rate(db_client_operation_duration_seconds_bucket[{RATE}])))', '{{job}}')],
'db.client.operation.duration (instrumentation-pg). Медленная БД — растёт здесь; медленный handler — нет.'),
])
row('Worker и задания')
place([
ts('Jobs/с по исходу', 'ops', [(f'sum by (outcome) (rate(messenger_job_duration_seconds_count[{RATE}]))', '{{outcome}}')],
'done — ready; retry — временная ошибка, повтор; failed — терминально; noop/discarded — дубль/потерянная аренда.', stack=True),
ts('Длительность обработки job (done) p50/p95/p99', 's', quantiles('messenger_job_duration_seconds', 'outcome="done"')),
ts('Время до ready p50/p95/p99', 's', quantiles('messenger_attachment_time_to_ready_seconds', 'outcome="ready"'),
'От durable acceptance (COMMIT задания) до публикации ready. Порог SLO — 30 с.', thresholds=30),
])
place([
ts('Насыщение worker (busy / capacity)', 'percentunit', [
('sum(messenger_worker_busy) / sum(messenger_worker_capacity)', 'все worker'),
('messenger_worker_busy / messenger_worker_capacity', '{{instance}}')], minimum=0),
ts('Очередь: backlog', 'none', [
('max by (state) (messenger_jobs_backlog)', 'jobs {{state}} (БД)'),
('max(messenger_outbox_pending)', 'outbox без confirm'),
('sum(rabbitmq_detailed_queue_messages_ready{queue="attachments.process"})', 'RabbitMQ ready'),
('sum(rabbitmq_detailed_queue_messages_unacked{queue="attachments.process"})', 'RabbitMQ unacked')],
'Количество работы (backlog). БД — источник истины; одинаково видна со всех реплик API, берётся max.'),
ts('Возраст старейшего задания', 's', [('max by (queue) (messenger_jobs_oldest_age_seconds)', '{{queue}}'),
('sum(rabbitmq_detailed_queue_consumers{queue="attachments.process"})', 'consumers')],
'Секунды с приёма старейшего незавершённого задания (lag). Alert JobQueueLagGrowing — > 60 с в течение 1 мин.', thresholds=60),
])
row('Насыщение: пул БД, CPU, память, event loop')
place([
ts('Пул соединений PostgreSQL', 'none', [
('sum by (job, db_client_connection_state) (db_client_connection_count)', '{{job}} {{db_client_connection_state}}'),
('sum by (job) (db_client_connection_pending_requests)', '{{job}} ждут соединения'),
('sum by (job) (db_client_connection_max)', '{{job}} max')]),
ts('CPU процессов (доля ядра)', 'percentunit', [(f'sum by (job, instance) (rate(process_cpu_time_seconds_total[{RATE}]))', '{{job}} {{instance}}')],
'process.cpu.time; 100 % = одно ядро. Лимит контейнера api/worker — 1 CPU.'),
ts('Память процессов (RSS)', 'bytes', [('process_memory_usage_bytes', '{{job}} {{instance}}'),
('otelcol_process_memory_rss', 'collector')]),
ts('Event loop: задержка p99', 's', [('nodejs_eventloop_delay_p99_seconds', '{{job}} {{instance}}')],
'Блокировка event loop Node.js (CPU-bound handler) — растёт здесь, а не в p99 PostgreSQL.'),
])
row('Telemetry pipeline (OpenTelemetry Collector)')
place([
ts('Принято / отправлено (элементов/с)', 'ops', [
(f'sum(rate(otelcol_receiver_accepted_spans_total[{RATE}]))', 'spans принято'),
(f'sum(rate(otelcol_exporter_sent_spans_total[{RATE}]))', 'spans отправлено'),
(f'sum(rate(otelcol_receiver_accepted_log_records_total[{RATE}]))', 'logs принято'),
(f'sum(rate(otelcol_exporter_sent_log_records_total[{RATE}]))', 'logs отправлено'),
(f'sum(rate(otelcol_receiver_accepted_metric_points_total[{RATE}]))', 'metric points принято'),
(f'sum(rate(otelcol_exporter_sent_metric_points_total[{RATE}]))', 'metric points отправлено')]),
ts('Потери telemetry (элементов/с)', 'ops', [
(f'sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[{RATE}]))', 'send failed spans {{exporter}}'),
(f'sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[{RATE}]))', 'send failed logs {{exporter}}'),
(f'sum by (exporter) (rate(otelcol_exporter_enqueue_failed_spans_total[{RATE}]))', 'очередь полна, spans {{exporter}}'),
(f'sum by (exporter) (rate(otelcol_exporter_enqueue_failed_log_records_total[{RATE}]))', 'очередь полна, logs {{exporter}}'),
(f'sum(rate(otelcol_receiver_refused_spans_total[{RATE}]))', 'отказ приёма spans (memory_limiter)')],
'Отброшенное Collector-ом: после 60 с повторов (send failed) или при полной очереди (enqueue failed).'),
ts('Очередь экспортёров', 'none', [('otelcol_exporter_queue_size', '{{exporter}}'),
('max(otelcol_exporter_queue_capacity)', 'ёмкость')],
'Ограниченная очередь в памяти: при недоступном backend растёт до ёмкости, не дальше.'),
])
row('Логи и трассы')
place([
{'type': 'logs', 'title': 'Ошибки и предупреждения (Loki)', 'datasource': LOKI,
'description': 'Структурные логи api и worker; поле trace_id ведёт в Tempo.',
'options': {'showTime': True, 'wrapLogMessage': True, 'sortOrder': 'Descending', 'enableLogDetails': True},
'targets': [{'refId': 'A', 'datasource': LOKI,
'expr': '{service_name=~"messenger-.+"} | severity_text=~"ERROR|WARN"'}]},
{'type': 'table', 'title': 'Трассы с ошибками (Tempo)', 'datasource': TEMPO,
'description': 'TraceQL { status = error }: ошибки HTTP 5xx, повторы и отказы обработки заданий.',
'targets': [{'refId': 'A', 'datasource': TEMPO, 'queryType': 'traceql', 'query': '{ status = error }',
'limit': 20, 'tableType': 'traces'}]},
], h=10)
dashboard = {
'uid': 'messenger-lab6', 'title': 'Messenger lab6', 'tags': ['messenger', 'lab6', 'slo'],
'description': 'API, worker, очередь, насыщение, SLO/burn rate, telemetry pipeline. Морару С. С., БПИ2303.',
'timezone': 'browser', 'refresh': '10s', 'schemaVersion': 41, 'version': 1, 'editable': False,
'time': {'from': 'now-1h', 'to': 'now'}, 'templating': {'list': []}, 'annotations': {'list': []},
'panels': panels,
}
out = Path(__file__).with_name('dashboards') / 'messenger.json'
out.write_text(json.dumps(dashboard, ensure_ascii=False, indent=2) + '\n')
print(f'{out}: {sum(p["type"] != "row" for p in panels)} panels')
File diff suppressed because it is too large Load Diff
@@ -0,0 +1,12 @@
# Dashboards из Git (infra/grafana/dashboards/*.json) — импортируются без ручного набора, правка в UI не сохраняется.
apiVersion: 1
providers:
- name: messenger
folder: Messenger
type: file
disableDeletion: true
allowUiUpdates: false
updateIntervalSeconds: 30
options:
path: /var/lib/grafana/dashboards
@@ -0,0 +1,75 @@
# Источники данных Grafana (импортируются при старте, правка в UI запрещена). Grafana сама ничего не хранит:
# метрики — Prometheus, логи — Loki, трассы — Tempo. Связи: trace → логи этого trace (Tempo → Loki по trace_id),
# лог → trace (derived field trace_id из structured metadata Loki), alerts — правила Prometheus.
apiVersion: 1
datasources:
- name: Prometheus
uid: prometheus
type: prometheus
access: proxy
url: https://prometheus:9090
isDefault: true
editable: false
secureJsonData: &tls_material
tlsCACert: $DS_CA
tlsClientCert: $DS_CERT
tlsClientKey: $DS_KEY
jsonData:
tlsAuth: true
tlsAuthWithCACert: true
timeInterval: 10s
httpMethod: POST
manageAlerts: true # правила Prometheus видны в Grafana Alerting (только чтение)
- name: Loki
uid: loki
type: loki
access: proxy
url: https://loki:3100
editable: false
secureJsonData: *tls_material
jsonData:
tlsAuth: true
tlsAuthWithCACert: true
maxLines: 1000
derivedFields:
- name: trace_id
matcherType: label
matcherRegex: trace_id
datasourceUid: tempo
url: '$${__value.raw}'
urlDisplayLabel: Открыть trace
- name: Tempo
uid: tempo
type: tempo
access: proxy
url: https://tempo:3200
editable: false
secureJsonData: *tls_material
jsonData:
tlsAuth: true
tlsAuthWithCACert: true
nodeGraph:
enabled: true
search:
hide: false
lokiSearch:
datasourceUid: loki
tracesToLogsV2:
datasourceUid: loki
spanStartTimeShift: -5m
spanEndTimeShift: 5m
customQuery: true
query: '{service_name=~"messenger-.+"} | trace_id="$${__trace.traceId}"'
tracesToMetrics:
datasourceUid: prometheus
spanStartTimeShift: -5m
spanEndTimeShift: 5m
tags:
- key: service.name
value: job
queries:
- name: p99 HTTP API
query: histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{$$__tags}[5m])))
+60
View File
@@ -0,0 +1,60 @@
# Единственная публичная точка входа. Реплики находятся через Docker DNS (имя сервиса "api"),
# поэтому `docker compose up --scale api=N` не требует правки конфига (до 8 реплик).
global
log stdout format raw local0 info
nbthread 2
maxconn 4096
ssl-default-bind-options ssl-min-ver TLSv1.2
ssl-default-server-options ssl-min-ver TLSv1.2
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 2
timeout resolve 3s
timeout retry 500ms
hold valid 3s
hold other 1s
hold refused 1s
hold nx 1s
hold timeout 1s
hold obsolete 10s
defaults
mode http
log global
option httplog
option dontlog-normal # логируем только ошибки и смену состояния реплик
timeout connect 3s
timeout client 30s
timeout server 10s
timeout http-request 10s
timeout http-keep-alive 10s
timeout check 3s
# Повторяется только запрос, не дошедший до реплики (отказ или таймаут соединения), последняя попытка —
# на другой реплике. Уже отправленные запросы НЕ повторяются: POST /users и /chats не идемпотентны.
retries 2
retry-on conn-failure
option redispatch 1
frontend public
bind :8443 ssl crt /run/public/tls.pem
default_backend api
backend api
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready
http-check expect status 200
# Активная проверка раз в 1 с (0.5 с при смене состояния): 2 неудачи → DOWN, 2 успеха → UP.
# Отказ соединения на живом трафике сразу помечает реплику DOWN (observe layer4).
default-server check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker init-addr none
server-template api 8 api:8080 ssl crt /run/client/tls.pem ca-file /run/tls/ca.crt verify required verifyhost api sni str(api) check-sni api
# Для оператора (compose публикует только на 127.0.0.1): /stats и Prometheus /metrics.
frontend stats
bind :8404 ssl crt /run/identity/tls.pem ca-file /run/telemetry/ca.crt verify required
http-request deny unless { ssl_c_s_dn(CN) -m str collector }
http-request use-service prometheus-exporter if { path /metrics }
stats enable
stats uri /stats
stats refresh 2s
+65
View File
@@ -0,0 +1,65 @@
# Loki 3.7.9 — хранилище логов (монолит, файловая система в volume loki-data, WAL переживает перезапуск).
# Логи приходят от Collector по OTLP (/otlp/v1/logs). Index labels — только ресурсные атрибуты низкой
# кардинальности (service_name, service_instance_id, deployment_environment_name); event, request_id, trace_id,
# span_id, severity и прочие атрибуты записи — structured metadata, по ним фильтруют: | trace_id="…".
auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_address: 127.0.0.1
grpc_listen_port: 9095
log_level: warn
http_tls_config:
cert_file: /run/identity/tls.crt
key_file: /run/identity/tls.key
client_auth_type: RequireAndVerifyClientCert
client_ca_file: /run/telemetry/ca.crt
common:
instance_addr: 127.0.0.1
path_prefix: /loki
replication_factor: 1
ring:
kvstore:
store: inmemory
storage:
filesystem:
chunks_directory: /loki/chunks
rules_directory: /loki/rules
schema_config:
configs:
- from: "2026-01-01"
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
ingester:
wal:
dir: /loki/wal
limits_config:
retention_period: 168h # 7 дней истории логов
allow_structured_metadata: true
volume_enabled: true
compactor:
working_directory: /loki/compactor
retention_enabled: true
delete_request_store: filesystem
query_range:
results_cache:
cache:
embedded_cache:
enabled: true
max_size_mb: 32 # контейнер 384m
pattern_ingester:
enabled: false
analytics:
reporting_enabled: false
+4 -4
View File
@@ -1,7 +1,7 @@
# OpenBao — реализовать конфигурацию и политики
# OpenBao
Добавьте non-dev конфигурацию listener/storage/TLS, API/worker policies, bootstrap и rotation scripts. Credentials и unseal material создаются локально; здесь нет готового root token или private key.
Сервис OpenBao слушает TLS 8200 и использует volume `bao-data`. Аудит включается декларативно в `server.hcl` и пишет в `bao-audit`; OpenBao HMAC-ит значения. Для долговременной эксплуатации оператор должен следить за объёмом файла.
Решение должно показать реальную сервисную аутентификацию и получение нужного secret по ограниченной policy; просто работающий контейнер OpenBao не засчитывается. На 3 статический KV secret допустим. На 4 покажите expiry/renewal/rotation и allow/deny. Путь KV v2 data/metadata и ACL должен соответствовать фактическому mount; не копируйте широкое `path "*"` для приложения.
`scripts/up.sh` запускает зависимости, применяет миграции и выполняет `python3 scripts/bao.py init`. Операторский скрипт пишет 3 доли Shamir и root token в `secrets/operator/bao-init.json` (0600), две доли нужны для unseal. Этот файл и CA private keys доступны только оператору на учебном хосте. Для рабочего окружения доли хранят отдельно у операторов. После перезапуска OpenBao выполните `python3 scripts/bao.py unseal`.
Документируйте шаги оператора init/unseal и восстановление после restart. Скрипт не должен печатать tokens/shares или хранить их в Git. См. contracts/trust-matrix.md и REPORT.md.
Политики `api.hcl`, `worker.hcl` и `reconciler.hcl` разрешают чтение своего KV v2 path. Привязка к leaf настраивается через cert auth. Приложение получает 45-секундный batch token, читает секрет и повторяет аутентификацию через 5 с. Если проверка доступа просрочена, приложение завершается. Ротация worker выполняется через `scripts/rotate-worker.sh` и закрывает действующие подключения перед изменением прав.
+3
View File
@@ -0,0 +1,3 @@
path "messenger/data/api" {
capabilities = ["read"]
}
+3
View File
@@ -0,0 +1,3 @@
path "messenger/data/reconciler" {
capabilities = ["read"]
}
+19
View File
@@ -0,0 +1,19 @@
ui = false
api_addr = "https://openbao:8200"
default_lease_ttl = "45s"
max_lease_ttl = "90s"
storage "file" {
path = "/openbao/file"
}
listener "tcp" {
address = "0.0.0.0:8200"
tls_cert_file = "/run/identity/tls.crt"
tls_key_file = "/run/identity/tls.key"
tls_min_version = "tls12"
}
audit "file" "lab" {
options {
file_path = "/openbao/logs/audit.json"
}
}
+3
View File
@@ -0,0 +1,3 @@
path "messenger/data/worker" {
capabilities = ["read"]
}
+124
View File
@@ -0,0 +1,124 @@
# OpenTelemetry Collector (contrib 0.163.2) — получатель, обработчик и экспортёр, не хранилище.
# receivers: otlp (loopback HTTP :14318 за mTLS ingress :4318) от api и worker; prometheus — скрейп метрик RabbitMQ (очередь), HAProxy и самого
# Collector (otelcol_*: принятые/отправленные/потерянные данные, очередь экспортёров, RSS).
# processors: memory_limiter (первым: при 200 MiB отказывает в приёме, а не растёт до OOM), redaction
# (страховка: маскирует значения, похожие на секреты), batch.
# exporters: traces → Tempo (OTLP gRPC), logs → Loki (OTLP HTTP /otlp), metrics → Prometheus (OTLP receiver).
# Недоступный backend: данные ждут в ограниченной очереди в памяти (20 000 элементов на экспортёр), повтор с
# backoff до 60 с, затем отбрасываются и считаются (otelcol_exporter_send_failed_*, otelcol_exporter_enqueue_failed_*).
# Приложение от Collector не зависит: SDK отбрасывает данные при недоступности, запросы не ждут.
extensions:
health_check:
endpoint: 127.0.0.1:13133
receivers:
otlp:
protocols:
http:
endpoint: 127.0.0.1:14318
prometheus:
config:
global:
scrape_interval: 10s
scrape_timeout: 5s
scrape_configs:
# Очередь attachments.process: messages_ready/unacked и число consumers (per-object метрики vhost messenger).
- job_name: rabbitmq
scheme: https
tls_config: &scrape_tls
ca_file: /run/tls/ca.crt
cert_file: /run/client/tls.crt
key_file: /run/client/tls.key
metrics_path: /metrics/detailed
params:
family: [queue_coarse_metrics, queue_consumer_count]
vhost: [messenger]
static_configs:
- targets: [rabbitmq:15691]
- job_name: haproxy
scheme: https
tls_config: *scrape_tls
static_configs:
- targets: [lb:8404]
- job_name: otelcol
static_configs:
- targets: [127.0.0.1:8888]
processors:
memory_limiter:
check_interval: 1s
limit_mib: 200 # контейнер 256m, GOMEMLIMIT 180MiB
spike_limit_mib: 40
redaction:
allow_all_keys: true
blocked_key_patterns: ['(?i).*(authorization|password|passwd|secret|token|cookie).*']
blocked_values:
- '(?i)bearer\s+[a-z0-9._~+/=-]{8,}'
- '(?i)basic\s+[a-z0-9+/=]{8,}'
summary: silent
batch:
send_batch_size: 1024
send_batch_max_size: 2048
timeout: 2s
exporters:
otlp_grpc/tempo:
endpoint: tempo:4317
tls:
ca_file: /run/tls/ca.crt
cert_file: /run/client/tls.crt
key_file: /run/client/tls.key
sending_queue: &queue
enabled: true
sizer: items
queue_size: 20000
num_consumers: 2
retry_on_failure: &retry
enabled: true
initial_interval: 1s
max_interval: 10s
max_elapsed_time: 60s
otlp_http/loki:
endpoint: https://loki:3100/otlp
tls: &backend_tls
ca_file: /run/tls/ca.crt
cert_file: /run/client/tls.crt
key_file: /run/client/tls.key
sending_queue: *queue
retry_on_failure: *retry
otlp_http/prometheus:
endpoint: https://prometheus:9090/api/v1/otlp
tls: *backend_tls
sending_queue: *queue
retry_on_failure: *retry
service:
extensions: [health_check]
telemetry:
# Постоянные job/instance для otelcol_* (по умолчанию instance — новый UUID при каждом старте).
resource:
service.name: otel-collector
service.instance.id: otel-collector
logs:
level: info
metrics:
level: normal
readers:
- pull:
exporter:
prometheus:
host: 127.0.0.1 # только для собственного скрейпа (job otelcol выше)
port: 8888
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, redaction, batch]
exporters: [otlp_grpc/tempo]
logs:
receivers: [otlp]
processors: [memory_limiter, redaction, batch]
exporters: [otlp_http/loki]
metrics:
receivers: [otlp, prometheus]
processors: [memory_limiter, batch]
exporters: [otlp_http/prometheus]
+19
View File
@@ -0,0 +1,19 @@
global
nbthread 2
log stdout format raw local0 notice
ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets
defaults
mode http
timeout connect 1s
timeout client 10s
timeout server 10s
frontend otlp
bind :4318 ssl crt /run/identity/tls.pem ca-file /run/tls/ca.crt crl-file /run/pki/crl.pem verify required
http-request deny unless { ssl_c_s_dn(CN) -m reg ^(api|worker-[0-9a-f]{8})$ }
http-request deny unless { method POST } { path -m str /v1/traces /v1/metrics /v1/logs }
default_backend collector
backend collector
server local 127.0.0.1:14318
+8
View File
@@ -0,0 +1,8 @@
#!/bin/sh
set -eu
install -o postgres -g postgres -m 600 /run/identity/tls.key /tmp/pg.key
exec docker-entrypoint.sh postgres \
-c ssl=on -c ssl_min_protocol_version=TLSv1.2 \
-c ssl_cert_file=/run/identity/tls.crt -c ssl_key_file=/tmp/pg.key \
-c hba_file=/etc/lab/pg_hba.conf -c ident_file=/etc/lab/pg_ident.conf \
-c password_encryption=scram-sha-256 -c max_connections=100 -c shared_buffers=128MB
+3
View File
@@ -0,0 +1,3 @@
local all messenger peer map=operator
hostssl messenger all 0.0.0.0/0 scram-sha-256
hostssl messenger all ::/0 scram-sha-256
+1
View File
@@ -0,0 +1 @@
operator postgres messenger
+39
View File
@@ -0,0 +1,39 @@
# Prometheus v3.15.1 — хранилище метрик (TSDB в volume prometheus-data) и вычисление правил/alerts.
# Метрики api, worker, RabbitMQ, HAProxy и Collector приходят от Collector по OTLP (--web.enable-otlp-receiver,
# /api/v1/otlp/v1/metrics); сам Prometheus скрейпит только соседей по сети telemetry.
# Имена OTLP → Prometheus: точки → «_», суффикс единицы и _total (http.server.request.duration →
# http_server_request_duration_seconds_bucket); service.name → job, service.instance.id → instance.
global:
scrape_interval: 10s
evaluation_interval: 10s
rule_files:
- /etc/prometheus/rules/*.yml
otlp:
translation_strategy: UnderscoreEscapingWithSuffixes
storage:
tsdb:
# Пакеты OTLP от разных реплик приходят с задержкой Collector (batch 2 с, повтор до 60 с).
out_of_order_time_window: 10m
scrape_configs:
- job_name: prometheus
scheme: https
tls_config: &scrape_tls
ca_file: /run/tls/ca.crt
cert_file: /run/client/tls.crt
key_file: /run/client/tls.key
static_configs:
- targets: [prometheus:9090]
- job_name: loki
scheme: https
tls_config: *scrape_tls
static_configs:
- targets: [loki:3100]
- job_name: tempo
scheme: https
tls_config: *scrape_tls
static_configs:
- targets: [tempo:3200]
+60
View File
@@ -0,0 +1,60 @@
# Alerts уровня 4 (contracts/observability.md): высокий error rate, растущий queue lag, насыщение пула БД,
# сбой экспорта telemetry. Доставка наружу не настроена: состояние pending/firing и снятие видны в Prometheus
# (/alerts, серия ALERTS) и на dashboard «Messenger lab6». Runbook: infra/runbooks.md.
groups:
- name: messenger-alerts
rules:
# Простой порог по 5-минутному окну того же SLI (5xx у клиентов, HAProxy). Ловит и короткий всплеск, который
# почти не тратит месячный бюджет, — поэтому severity warning; страницу дают burn-rate alerts из slo.yml
# (сравнение — трек 2 в REPORT.md).
- alert: ApiHighErrorRate
expr: slo:api_error_ratio:rate5m > 0.05
for: 2m
labels:
severity: warning
annotations:
summary: "Более 5 % ответов API — 5xx (окно 5 минут, держится 2 минуты)"
description: "Доля 5xx в ответах клиентам (HAProxy): {{ $value | humanizePercentage }}."
runbook_url: "infra/runbooks.md#api-high-error-rate"
# Возраст старейшего незавершённого задания (от durable acceptance). В норме — секунды; при остановленном
# или перегруженном worker растёт линейно со временем. Backlog (количество) — отдельная панель.
- alert: JobQueueLagGrowing
expr: max by (queue) (messenger_jobs_oldest_age_seconds) > 60
for: 1m
labels:
severity: page
annotations:
summary: "Задания очереди {{ $labels.queue }} ждут дольше минуты"
description: "Старейшее незавершённое задание принято {{ $value | humanizeDuration }} назад."
runbook_url: "infra/runbooks.md#job-queue-lag"
# Пул соединений PostgreSQL исчерпан: запросы ждут соединения (затем 503 через 2 с). Признак медленной или
# недоступной БД — в отличие от медленного обработчика HTTP, при котором ожидающих соединений нет.
- alert: DbPoolSaturated
expr: max by (job, instance) (db_client_connection_pending_requests) > 0
for: 1m
labels:
severity: warning
annotations:
summary: "{{ $labels.job }} {{ $labels.instance }}: запросы ждут соединения с PostgreSQL"
description: "В очереди пула {{ $value }} запросов дольше минуты."
runbook_url: "infra/runbooks.md#db-pool-saturated"
# Collector не может отдать данные в Tempo/Loki/Prometheus: очередь экспортёра растёт, после 60 с повторов
# данные отбрасываются. Сообщения при этом работают — теряется только telemetry.
- alert: TelemetryExportFailing
expr: |
(
sum by (exporter) (rate(otelcol_exporter_send_failed_spans_total[5m]))
or sum by (exporter) (rate(otelcol_exporter_send_failed_log_records_total[5m]))
or sum by (exporter) (rate(otelcol_exporter_send_failed_metric_points_total[5m]))
) > 0
or max by (exporter) (otelcol_exporter_queue_size) > 1000
for: 1m
labels:
severity: warning
annotations:
summary: "Collector не экспортирует telemetry через {{ $labels.exporter }}"
description: "Отбрасывается или копится в очереди {{ $value }} (элементов/с или элементов в очереди)."
runbook_url: "infra/runbooks.md#telemetry-export-failing"
+131
View File
@@ -0,0 +1,131 @@
# SLO и multiwindow multi-burn-rate alerts (трек 2). Обоснование и runbook — REPORT.md, infra/runbooks.md.
#
# SLO-1 «доступность API»: 99.5 % запросов клиентов за 30 дней без 5xx. SLI = 1 − 5xx / все ответы, измеренные на
# HAProxy (frontend public) — там, где их получает клиент. Метрики самого API (http.server.request.duration) этого
# не видят: при недоступной БД реплики выходят из ротации по readiness, и HAProxy отвечает 503 «нет готовых реплик»
# сам, а при зависании отвечает 504 по timeout server — запрос до API не доходит или его исход API пишет позже.
# Проверено: PostgreSQL на 0.05 CPU — 101 ответ 5xx в метриках API против 190 у клиентов. Проверки здоровья HAProxy
# идут напрямую к репликам и в трафик frontend не входят; 4xx — ошибка клиента, не сервиса.
# Бюджет ошибок 0.5 % = 216 минут полного отказа за 30 дней.
# SLO-2 «время до ready»: 99 % принятых вложений публикуются ready не позже 30 с от durable acceptance (30 дней).
# Плохое событие — ready позже 30 с или терминальный failed по вине системы (retry_exhausted, source_*,
# processing_timeout); invalid_image/unsupported_pipeline — свойство входного файла, в SLI не входят.
# Новые серии OTLP-счётчиков (первое событие после старта worker) начинаются с нулевой точки
# (--enable-feature=created-timestamp-zero-ingestion) — первое событие не теряется в rate().
#
# Burn rate = доля ошибок / бюджет. Окна и пороги — SRE Workbook, гл. 5: alert, если за длинное окно израсходовано
# столько бюджета, а короткое окно (1/12 длинного) подтверждает, что расход продолжается (быстрый resolve):
# fast: 1h и 5m, burn > 14.4 → 2 % месячного бюджета за час (page);
# slow: 6h и 30m, burn > 6 → 5 % месячного бюджета за 6 часов (ticket).
groups:
- name: slo-api-availability
rules:
- record: slo:api_requests:rate5m
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[5m]))
- record: slo:api_errors:rate5m
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[5m]))
- record: slo:api_error_ratio:rate5m
expr: slo:api_errors:rate5m / slo:api_requests:rate5m
- record: slo:api_requests:rate30m
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[30m]))
- record: slo:api_errors:rate30m
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[30m]))
- record: slo:api_error_ratio:rate30m
expr: slo:api_errors:rate30m / slo:api_requests:rate30m
- record: slo:api_requests:rate1h
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[1h]))
- record: slo:api_errors:rate1h
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[1h]))
- record: slo:api_error_ratio:rate1h
expr: slo:api_errors:rate1h / slo:api_requests:rate1h
- record: slo:api_requests:rate6h
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public"}[6h]))
- record: slo:api_errors:rate6h
expr: sum(rate(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[6h]))
- record: slo:api_error_ratio:rate6h
expr: slo:api_errors:rate6h / slo:api_requests:rate6h
- name: slo-ready-latency
rules:
- record: slo:ready_events:rate5m
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[5m]))
- record: slo:ready_good:rate5m
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[5m])) or vector(0)
- record: slo:ready_bad_ratio:rate5m
expr: 1 - slo:ready_good:rate5m / slo:ready_events:rate5m
- record: slo:ready_events:rate30m
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[30m]))
- record: slo:ready_good:rate30m
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[30m])) or vector(0)
- record: slo:ready_bad_ratio:rate30m
expr: 1 - slo:ready_good:rate30m / slo:ready_events:rate30m
- record: slo:ready_events:rate1h
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[1h]))
- record: slo:ready_good:rate1h
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[1h])) or vector(0)
- record: slo:ready_bad_ratio:rate1h
expr: 1 - slo:ready_good:rate1h / slo:ready_events:rate1h
- record: slo:ready_events:rate6h
expr: sum(rate(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[6h]))
- record: slo:ready_good:rate6h
expr: sum(rate(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[6h])) or vector(0)
- record: slo:ready_bad_ratio:rate6h
expr: 1 - slo:ready_good:rate6h / slo:ready_events:rate6h
# Остаток бюджета за 30 дней для dashboard (на стенде — за всю доступную историю). Тяжёлое окно — раз в 5 минут.
- name: slo-budget
interval: 5m
rules:
- record: slo:api_error_ratio:rate30d
expr: |
sum(increase(haproxy_frontend_http_responses_total{proxy="public",code="5xx"}[30d]))
/ sum(increase(haproxy_frontend_http_responses_total{proxy="public"}[30d]))
- record: slo:ready_bad_ratio:rate30d
expr: |
1 - (sum(increase(messenger_attachment_time_to_ready_seconds_bucket{outcome="ready",le="30"}[30d])) or vector(0))
/ sum(increase(messenger_attachment_time_to_ready_seconds_count{error_type!~"invalid_image|unsupported_pipeline"}[30d]))
- name: slo-burn-rate-alerts
rules:
- alert: ApiAvailabilityFastBurn
expr: slo:api_error_ratio:rate1h > (14.4 * 0.005) and slo:api_error_ratio:rate5m > (14.4 * 0.005)
labels:
severity: page
slo: api-availability
annotations:
summary: "API быстро сжигает бюджет ошибок (burn rate > 14.4 за 1h и 5m)"
description: "Доля 5xx у клиентов (HAProxy) за 1 ч {{ $value | humanizePercentage }} при SLO 99.5 %: 2 % месячного бюджета уходит за час."
runbook_url: "infra/runbooks.md#api-availability-burn"
- alert: ApiAvailabilitySlowBurn
expr: slo:api_error_ratio:rate6h > (6 * 0.005) and slo:api_error_ratio:rate30m > (6 * 0.005)
labels:
severity: ticket
slo: api-availability
annotations:
summary: "API медленно сжигает бюджет ошибок (burn rate > 6 за 6h и 30m)"
description: "Доля 5xx за 6 ч {{ $value | humanizePercentage }}: 5 % месячного бюджета за 6 часов."
runbook_url: "infra/runbooks.md#api-availability-burn"
- alert: ReadyLatencyFastBurn
expr: slo:ready_bad_ratio:rate1h > (14.4 * 0.01) and slo:ready_bad_ratio:rate5m > (14.4 * 0.01)
labels:
severity: page
slo: ready-latency
annotations:
summary: "Вложения не успевают стать ready за 30 с (burn rate > 14.4 за 1h и 5m)"
description: "Доля вложений позже 30 с или failed за 1 ч {{ $value | humanizePercentage }} при SLO 99 %."
runbook_url: "infra/runbooks.md#ready-latency-burn"
- alert: ReadyLatencySlowBurn
expr: slo:ready_bad_ratio:rate6h > (6 * 0.01) and slo:ready_bad_ratio:rate30m > (6 * 0.01)
labels:
severity: ticket
slo: ready-latency
annotations:
summary: "Медленный расход бюджета SLO time-to-ready (burn rate > 6 за 6h и 30m)"
description: "Доля вложений позже 30 с или failed за 6 ч {{ $value | humanizePercentage }}."
runbook_url: "infra/runbooks.md#ready-latency-burn"
+143
View File
@@ -0,0 +1,143 @@
# Unit-тесты правил (трек 2): синтетические счётчики → когда alert переходит в firing и когда снимается.
# Запуск: docker run --rm -v "$PWD/infra/prometheus:/etc/prometheus:ro" --entrypoint promtool \
# prom/prometheus:v3.15.1 test rules /etc/prometheus/tests/alerts.test.yml
# Трафик API (ответы HAProxy frontend public) 10 запросов/с (600 в минуту). Перед каждым инцидентом 6 часов нормальной истории (t = 0…360 мин), чтобы
# 6-часовое окно slow burn видело реальный знаменатель. Ожидаемые моменты посчитаны в комментариях.
rule_files:
- ../rules/slo.yml
- ../rules/messenger.yml
evaluation_interval: 1m
tests:
# 1. Краткий всплеск: 1 минута 100 % 5xx (≈ 0.03 % месячного бюджета). Простой порог даёт срабатывание,
# burn-rate alerts молчат: за час доля 5xx 600/36000 = 1.7 % < 7.2 % (14.4 × 0.5 %).
- name: short spike — only the naive threshold fires
interval: 1m
input_series:
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}'
values: '0+600x360 216000 216600+600x60'
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}'
values: '0x360 600x62'
promql_expr_test:
- expr: ALERTS{alertname="ApiHighErrorRate",alertstate="firing"}
eval_time: 364m # pending с 361, firing с 363 (for 2m)
exp_samples:
- labels: 'ALERTS{alertname="ApiHighErrorRate",alertstate="firing",severity="warning"}'
value: 1
- expr: ALERTS{alertname=~"ApiAvailability.*",alertstate="firing"}
eval_time: 364m
exp_samples: []
- expr: ALERTS{alertstate="firing"}
eval_time: 370m # всплеск вышел из 5-минутного окна — снято
exp_samples: []
# 2. Длительная деградация: 30 % 5xx в течение часа (t = 360…420).
# fast: доля за 1h = (t−360)/200 > 0.072 → firing на 15-й минуте (t = 375); снимается, когда 5m-окно < 7.2 % (t = 424).
# slow: доля за 6h = (t−360)/1200 > 0.03 → firing на 37-й минуте (t = 397); снимается по 30m-окну (t = 448).
- name: long degradation — fast then slow burn, short windows resolve them
interval: 1m
input_series:
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}'
values: '0+600x360 216420+420x59 241800+600x119'
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}'
values: '0x360 180+180x59 10800x120'
promql_expr_test:
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
eval_time: 374m
exp_samples: []
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
eval_time: 376m
exp_samples:
- labels: 'ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing",severity="page",slo="api-availability"}'
value: 1
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
eval_time: 395m
exp_samples: []
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
eval_time: 398m
exp_samples:
- labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}'
value: 1
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
eval_time: 422m # ошибки кончились в 420, но 5m-окно ещё выше порога
exp_samples:
- labels: 'ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing",severity="page",slo="api-availability"}'
value: 1
- expr: ALERTS{alertname="ApiAvailabilityFastBurn",alertstate="firing"}
eval_time: 426m # доля за 1h ещё 27 %, но короткое окно сняло alert
exp_samples: []
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
eval_time: 446m
exp_samples:
- labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}'
value: 1
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
eval_time: 449m
exp_samples: []
# 3. Медленное тление: 5 % 5xx шесть часов. Быстрый alert не срабатывает никогда (5 % < 7.2 %),
# медленный — когда доля за 6h превысит 3 %: 30(t−360)/216000 > 0.03 → t = 577 (через 3 ч 37 мин).
- name: slow burn only
interval: 1m
input_series:
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="2xx"}'
values: '0+600x360 216570+570x359'
- series: 'haproxy_frontend_http_responses_total{job="haproxy",instance="lb:8404",proxy="public",code="5xx"}'
values: '0x360 30+30x359'
promql_expr_test:
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
eval_time: 575m
exp_samples: []
- expr: ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing"}
eval_time: 578m
exp_samples:
- labels: 'ALERTS{alertname="ApiAvailabilitySlowBurn",alertstate="firing",severity="ticket",slo="api-availability"}'
value: 1
- expr: ALERTS{alertname="ApiAvailabilityFastBurn"}
eval_time: 600m
exp_samples: []
# 4. SLO time-to-ready: 60 загрузок в минуту; 30 минут половина вложений готова позже 30 с.
# fast: доля плохих за 1h = (t−360)/120 > 0.144 → t = 378; slow: за 6h максимум 30/720 = 4.2 % < 6 % — нет.
- name: ready latency fast burn
interval: 1m
input_series:
- series: 'messenger_attachment_time_to_ready_seconds_count{job="messenger-worker",instance="w",job_type="attachment.process.v1",outcome="ready"}'
values: '0+60x450'
- series: 'messenger_attachment_time_to_ready_seconds_bucket{job="messenger-worker",instance="w",job_type="attachment.process.v1",outcome="ready",le="30"}'
values: '0+60x360 21630+30x29 22560+60x60'
promql_expr_test:
- expr: ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing"}
eval_time: 376m
exp_samples: []
- expr: ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing"}
eval_time: 379m
exp_samples:
- labels: 'ALERTS{alertname="ReadyLatencyFastBurn",alertstate="firing",severity="page",slo="ready-latency"}'
value: 1
- expr: ALERTS{alertname="ReadyLatencySlowBurn"}
eval_time: 390m
exp_samples: []
# 5. Worker остановлен на 10 минут: возраст старейшего задания растёт на 60 с в минуту.
# > 60 с с t = 12 (pending), firing с t = 13 (for 1m); после запуска worker (t = 22) — снято.
- name: queue lag
interval: 1m
input_series:
- series: 'messenger_jobs_oldest_age_seconds{job="messenger-api",instance="a",queue="attachments.process"}'
values: '1x10 60+60x10 1x10'
- series: 'messenger_jobs_oldest_age_seconds{job="messenger-api",instance="b",queue="attachments.process"}'
values: '1x10 60+60x10 1x10'
promql_expr_test:
- expr: ALERTS{alertname="JobQueueLagGrowing",alertstate="firing"}
eval_time: 12m
exp_samples: []
- expr: ALERTS{alertname="JobQueueLagGrowing",alertstate="firing"}
eval_time: 13m
exp_samples:
- labels: 'ALERTS{alertname="JobQueueLagGrowing",alertstate="firing",queue="attachments.process",severity="page"}'
value: 1
- expr: ALERTS{alertname="JobQueueLagGrowing"}
eval_time: 23m
exp_samples: []
+7
View File
@@ -0,0 +1,7 @@
tls_server_config:
cert_file: /run/identity/tls.crt
key_file: /run/identity/tls.key
client_auth_type: RequireAndVerifyClientCert
client_ca_file: /run/telemetry/ca.crt
client_allowed_sans: [collector, grafana-query, prometheus-scrape]
min_version: TLS12
+1
View File
@@ -0,0 +1 @@
[rabbitmq_prometheus,rabbitmq_auth_mechanism_ssl].
+30
View File
@@ -0,0 +1,30 @@
# Монтируется в /etc/rabbitmq/conf.d/90-messenger.conf: файлы conf.d читаются по алфавиту, этот — последним.
# Пользователи, vhost messenger, exchange, quorum-очередь и binding — из definitions (scripts/init-secrets.sh),
# импорт при каждом старте узла. При импорте definitions пользователь guest не создаётся.
load_definitions = /run/secrets/rabbitmq_definitions
# Образ разрешает guest из сети (10-defaults.conf); возвращаем безопасное значение на случай его появления.
loopback_users.guest = true
# Сообщение без ack дольше 5 минут: брокер закрывает канал consumer и отдаёт сообщение снова.
# Это страховка брокера; зависшую попытку раньше (JOB_TIMEOUT_SECONDS + 15 с) обнаруживает аренда в БД.
consumer_timeout = 300000
# При нехватке диска брокер блокирует публикацию — API продолжает принимать файлы, задания ждут в outbox.
disk_free_limit.absolute = 256MB
log.console.level = info
listeners.tcp = none
listeners.ssl.default = 5671
ssl_options.cacertfile = /run/tls/ca.crt
ssl_options.certfile = /run/identity/tls.crt
ssl_options.keyfile = /run/identity/tls.key
ssl_options.verify = verify_peer
ssl_options.fail_if_no_peer_cert = true
ssl_options.reuse_sessions = false
auth_mechanisms.1 = EXTERNAL
ssl_cert_login_from = common_name
prometheus.tcp.listener = none
prometheus.ssl.port = 15691
prometheus.ssl.cacertfile = /run/telemetry/ca.crt
prometheus.ssl.certfile = /run/identity/tls.crt
prometheus.ssl.keyfile = /run/identity/tls.key
prometheus.ssl.verify = verify_peer
prometheus.ssl.fail_if_no_peer_cert = true
+173
View File
@@ -0,0 +1,173 @@
# Runbooks lab6
Локальные runbook для alert rules из `infra/prometheus/rules/` (ссылка — аннотация `runbook_url` каждого alert).
Заголовки разделов — якоря этих ссылок. Автор: Морару С. С., БПИ2303.
## Как начать
- Grafana: `http://127.0.0.1:${GRAFANA_PORT}` (в `.env` стенда — 3096), пользователь `admin`, пароль — файл
`secrets/grafana_admin_password` (не копируйте его в чат/отчёт). Prometheus, Loki и Tempo на хост не опубликованы:
запросы — через Grafana → Explore.
- Dashboard «Messenger lab6» (папка Messenger). Состояние alerts: панель «Alerts (pending / firing)» и
Grafana → Alerting → Alert rules (правила источника Prometheus); серия `ALERTS` в Explore.
- Все команды — из корня репозитория; они касаются только проекта `messenger-lab6`.
Общий путь от симптома к причине: **метрика** говорит «что и насколько» (какой маршрут, какой статус, какая очередь),
**trace** — «где тратится время или возникает ошибка» (какая зависимость), **лог** — «что именно случилось»
(событие, `error.type`, `request_id`). Переход: лог → trace по `trace_id` (кнопка Tempo у строки лога),
trace → логи по кнопке «Logs for this span», ответ клиента → лог по `X-Request-Id` (`| request_id="…"`).
Где тратится время в trace запроса API:
| Что длинное или с ошибкой | Причина | Дальше |
| --- | --- | --- |
| `pg-pool.connect` | нет свободного соединения в пуле: БД медленная/недоступна или пул мал | сначала «Event loop: задержка p99» этой реплики (см. ниже), затем [db-pool-saturated](#db-pool-saturated) |
| `pg.query:*` | сам запрос в PostgreSQL: блокировка, нагрузка на CPU БД, недоступность | так же |
| `S3.*` | SeaweedFS (s3 gateway) завис или недоступен | `docker compose ps s3` |
| SERVER span длинный, дочерние короткие, между ними «дыры» | синхронная работа в обработчике (event loop занят) | панели «Event loop: задержка p99», «CPU процессов» |
| span без дочерних, статус 5xx | ошибка в коде (`http.internal_error`) | событие `exception` в span, лог по `trace_id` |
**Ловушка (проверено в кампании трека 2, фаза handler-slow).** Если процессу API не хватает CPU, длинными выглядят
именно `pg-pool.connect` и `pg.query:*`: время span — до вызова callback, а callback ждёт свободный event loop. Trace
такого запроса неотличим от медленной БД (медиана 19 медленных trace: 898 мс, из них SQL 600 мс, «своё» время 4 мс). Поэтому до
вывода «виновата БД» сравните реплику из trace (`service.instance.id`) с остальными: задержка event loop в секундах
и CPU у лимита контейнера у одной реплики — это процесс, а не БД.
## api-availability-burn
**Alerts:** `ApiAvailabilityFastBurn` (severity page), `ApiAvailabilitySlowBurn` (severity ticket).
SLO: 99.5 % запросов клиентов без 5xx за 30 дней; бюджет — 0.5 % ответов. SLI считается на HAProxy (frontend
`public`, метрика `haproxy_frontend_http_responses_total`): так в него попадают и ответы самого LB — 503, когда
ни одна реплика не готова (readiness зависит от PostgreSQL), и 504 по таймауту. Burn rate — во сколько раз доля
5xx выше бюджета. Fast: за 1 ч **и** за 5 мин доля 5xx > 14.4 × 0.5 % = 7.2 % — за час
сгорает 2 % месячного бюджета, при таком темпе весь бюджет кончится за 2 дня. Slow: за 6 ч **и** за 30 мин
доля > 6 × 0.5 % = 3 % (5 % бюджета за 6 ч). Короткое окно снимает alert вскоре после восстановления.
1. Dashboard, ряд «API»: панели «Доля 5xx» и «RPS по классу статуса». Если линия «у клиентов (HAProxy)» заметно выше
линии «в метриках API» — отвечает сам LB: реплики вне ротации (readiness → БД, см. db-pool-saturated) или
зависают дольше 10 с (504). Проверка: `docker compose ps api lb`, скрейп HAProxy через Collector
(`http://127.0.0.1:${LB_STATS_PORT}/stats`) — состояние UP/DOWN реплик.
2. Какой маршрут и какой код (Explore → Prometheus):
`sum by (http_route, http_response_status_code) (rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m]))`.
503 — недоступна зависимость, 500 — ошибка кода.
3. Логи (Explore → Loki): `{service_name="messenger-api"} | severity_text="ERROR"`. Событие
`http.dependency_unavailable` (503) — поле `error.type` (код PostgreSQL/Node, например `57014` — statement
timeout, `ECONNREFUSED`, `Error` — таймаут ожидания пула); `http.internal_error` (500) — баг.
4. Из строки лога — trace (`trace_id`) и таблица выше: какая зависимость. Поиск таких trace сразу в Tempo:
`{ resource.service.name = "messenger-api" && kind = server && status = error }`.
5. Ветки: PostgreSQL → [db-pool-saturated](#db-pool-saturated); S3 — `docker compose ps s3`,
`docker compose logs --tail 50 s3`; баг — стек в событии `exception` span.
Восстановление: после устранения причины доля 5xx за 5 мин падает ниже 7.2 % — fast снимается через ~5 мин;
slow — когда доля за 30 мин < 3 %. Остаток бюджета — панель «Остаток бюджета API (30 д)».
## ready-latency-burn
**Alerts:** `ReadyLatencyFastBurn` (page), `ReadyLatencySlowBurn` (ticket).
SLO: 99 % вложений становятся `ready` не позже 30 с после durable acceptance (коммит upload в БД). SLI —
гистограмма `messenger_attachment_time_to_ready_seconds` (хорошие — `outcome="ready"`, `le="30"`; плохие — ready
позже 30 с и `failed` из-за временных сбоев; постоянные `invalid_image`/`unsupported_pipeline` — свойство файла,
в SLI не входят). Пороги: fast — 1 ч и 5 мин > 14.4 %, slow — 6 ч и 30 мин > 6 % плохих.
1. Ряд «Worker и задания»: «Возраст старейшего задания» (линия «consumers» — подписчики очереди) и «Очередь: backlog».
Consumers = 0 или возраст растёт линейно → [job-queue-lag](#job-queue-lag).
2. «Насыщение worker (busy / capacity)» около 100 % и растущий backlog → не хватает мощности: «Длительность
обработки job (done)» p95, «CPU процессов» worker. Обработка медленнее поступления — масштабировать
`WORKER_REPLICAS` (`docker compose up -d --scale worker=3`).
3. «Jobs/с по исходу»: доля `retry`/`failed`. Логи: `{service_name="messenger-worker"} | event=~"job.retry|job.failed"` —
`error.type` (`storage_unavailable` — S3, `database_unavailable` — PostgreSQL). Каждый retry добавляет backoff
2–4–8… с к времени до ready.
4. Линия «outbox без confirm» на панели «Очередь: backlog» растёт при пустой очереди RabbitMQ → задания не публикуются: брокер недоступен (`docker compose ps rabbitmq`,
логи API `| event=~"relay.*"`).
5. Конкретное медленное вложение: в Tempo `{ resource.service.name = "messenger-worker" && kind = consumer && duration > 10s }`
или `{ span.messenger.attachment.id = "<uuid>" }` — в одном trace видны upload, все публикации и попытки.
Восстановление — как в [api-availability-burn](#api-availability-burn): короткое окно (5 мин / 30 мин) снимает alert.
## api-high-error-rate
**Alert:** `ApiHighErrorRate` (warning): доля 5xx за 5 мин > 5 % держится 2 мин.
Простой порог без учёта бюджета: срабатывает и на короткий всплеск, который почти не тратит месячный бюджет
(сравнение с burn-rate — REPORT.md, трек 2). Если одновременно горит `ApiAvailabilityFastBurn` — действуйте по
[api-availability-burn](#api-availability-burn). Если горит только он — короткий инцидент: найдите причину теми же
шагами 1–4 (окно 15 мин вокруг всплеска) и проверьте, что он закончился (доля 5xx вернулась к нулю).
## job-queue-lag
**Alert:** `JobQueueLagGrowing` (page): старейшее незавершённое задание принято больше 60 с назад, держится 1 мин.
Метрика `messenger_jobs_oldest_age_seconds` (из таблицы `jobs`, считает API) растёт на 1 с за секунду, если задания
не обрабатываются.
1. Подписчики очереди — линия «consumers» на панели «Возраст старейшего задания»
(`sum(rabbitmq_detailed_queue_consumers{queue="attachments.process"})`).
`0` → worker не работает: `docker compose ps -a worker`; причина остановки —
`docker compose logs --tail 50 worker`, `docker inspect -f '{{.State.OOMKilled}} {{.State.ExitCode}}' messenger-lab7-worker-1`.
2. Consumers > 0, «Насыщение worker» ≈ 100 % → перегрузка (см. ready-latency-burn, шаг 2).
3. Consumers > 0, насыщение низкое, `messages_ready` ≈ 0, а возраст растёт → задания не доходят до очереди:
линия «outbox без confirm» и логи `relay.*` в API (брокер), либо задания зависли в `processing` — sweeper вернёт их после
истечения аренды (лог `sweeper.recovered`).
4. Проверка по БД:
`docker compose exec -T -u postgres postgres psql -U messenger -d messenger -c "SELECT state, count(*), round(extract(epoch FROM max(clock_timestamp() - created_at))) AS oldest_s FROM jobs WHERE state IN ('queued','processing') GROUP BY state"`.
Восстановление: `docker compose up -d --no-deps worker` (или устранить причину); backlog уходит, возраст падает
ниже 60 с — alert снимается на следующей оценке правил (интервал 10 с).
## db-pool-saturated
**Alert:** `DbPoolSaturated` (warning): у реплики (`job`, `instance`) запросы ждут соединения из пула дольше 1 мин
(`db_client_connection_pending_requests > 0`). Пул — 8 соединений на процесс; ожидание дольше 2 с → 503.
Как отличить медленную БД от медленного обработчика HTTP:
Значения в скобках — из кампании ЛР № 6: PostgreSQL заморожен (`docker compose pause`) и api-1 на 0.1 CPU.
| Сигнал | Медленная/недоступная БД | Медленный handler (CPU API) |
| --- | --- | --- |
| «Event loop: задержка p99» API | норма у всех реплик (0.02–0.03 с) | секунды у одной реплики (api-1 7.3 с, api-2 0.07 с) — **главный признак** |
| «CPU процессов» API | норма (0.05) | у лимита контейнера (0.09 при лимите 0.1) |
| Ответы клиентам | 5xx: 503 API после 2 с ожидания пула, но в основном 503/504 самого HAProxy — реплики выходят из ротации по readiness (1113 из 1177) | медленные 2xx (p99 api-1 5 с), 5xx < 0.5 % |
| «Пул соединений PostgreSQL» | при замороженной БД pending ≈ 0: запросы до API не доходят; при медленной — used = max, pending > 0 у всех реплик | pending до 7 и used = 8 из 8 у одной реплики |
| «p99 запросов к PostgreSQL» | у замороженных запросов нет завершения — histogram молчит до восстановления | растёт у медленной реплики (0.6 с) — это ожидание event loop |
| Trace запроса | `pg-pool.connect` ≈ 2 с и статус 503 | тоже длинные `pg-pool.connect`/`pg.query:*` (ловушка выше) |
| Логи | `http.dependency_unavailable`, `error.type=Error` (таймаут пула), `sweeper.error`, `relay.db_unavailable` | почти пусто |
| Затронуты | все реплики, API и worker | одна реплика (18 из 19 медленных trace) |
`DbPoolSaturated` не помогает отличить: при замороженной БД он молчит (нет нагрузки на пул), при нехватке CPU
pending у реплики скачет и может дойти до firing.
1. Процесс или БД: «Event loop: задержка p99» и «CPU процессов» по репликам. Выброс у одной реплики → её CPU:
`docker stats --no-stream messenger-lab7-api-1 messenger-lab7-api-2`, лимит —
`docker inspect -f '{{.HostConfig.NanoCpus}}' messenger-lab7-api-1` (1e9 = 1 CPU); дальше профиль/нагрузка
этой реплики, БД ни при чём. У всех реплик норма → шаг 2.
2. Состояние PostgreSQL: `docker compose ps postgres` (paused/restarting?), `docker stats --no-stream messenger-lab7-postgres-1`.
3. Что делают соединения:
`docker compose exec -T -u postgres postgres psql -U messenger -d messenger -c "SELECT pid, wait_event_type, state, round(extract(epoch FROM now() - query_start)) AS s, left(query, 60) FROM pg_stat_activity WHERE datname = 'messenger' AND state <> 'idle' ORDER BY s DESC"`
— долгие транзакции и блокировки (`wait_event_type = Lock`).
4. Логи `{service_name=~"messenger-.+"} | event=~"http.dependency_unavailable|relay.db_unavailable|job.retry"`.
Восстановление: снять блокировку/нагрузку или вернуть БД; pending падает до 0, p99 SQL возвращается к норме.
## telemetry-export-failing
**Alert:** `TelemetryExportFailing` (warning): Collector не отправляет данные в backend (`send_failed` > 0 за 5 мин)
или очередь экспортёра > 1000 элементов, держится 1 мин.
Сообщения и загрузки при этом работают: SDK и Collector отправляют асинхронно. Теряется только telemetry:
очередь экспортёра — 20 000 элементов в памяти, повтор с backoff до 60 с, затем данные отбрасываются и считаются
(`otelcol_exporter_send_failed_*`, при полной очереди — `otelcol_exporter_enqueue_failed_*`).
1. Панели «Потери telemetry» и «Очередь экспортёров»: какой экспортёр (`otlp_grpc/tempo`, `otlp_http/loki`,
`otlp_http/prometheus`).
2. `docker compose ps tempo loki prometheus otel-collector`; ошибки экспорта — `docker compose logs --tail 30 collector otel-collector`.
3. Память Collector: панель «Память процессов (RSS)», линия collector; отказ приёма memory_limiter —
`otelcol_receiver_refused_*` (контейнер ограничен 256 MiB, лимит memory_limiter 200 MiB).
Ограничение: правило вычисляет Prometheus. Если недоступен сам Prometheus, alert не сработает — это видно по ошибке
источника на dashboard и в `docker compose ps`. Если остановлен Collector, SDK приложений отбрасывают данные
после заполнения своих буферов (2048 spans / log records); работа API не зависит от этого.
Восстановление: запустить backend (`docker compose start tempo`) — очередь опустеет, `send_failed` перестанет
расти, alert снимется, когда 5-минутное окно rate станет нулевым.
+43
View File
@@ -0,0 +1,43 @@
# Tempo 2.10.10 — хранилище трасс (монолит, локальный диск в volume tempo-data; WAL переживает перезапуск).
# Spans приходят от Collector по OTLP gRPC :4317 (сеть telemetry); Grafana читает через HTTP :3200 (TraceQL).
stream_over_http_enabled: true
server:
http_listen_port: 3200
grpc_listen_address: 127.0.0.1
grpc_listen_port: 9095
log_level: warn
http_tls_config:
cert_file: /run/identity/tls.crt
key_file: /run/identity/tls.key
client_auth_type: RequireAndVerifyClientCert
client_ca_file: /run/telemetry/ca.crt
distributor:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
tls:
cert_file: /run/identity/tls.crt
key_file: /run/identity/tls.key
client_ca_file: /run/collector-ca/ca.crt
ingester:
max_block_duration: 5m
compactor:
compaction:
block_retention: 168h # 7 дней истории трасс
storage:
trace:
backend: local
wal:
path: /var/tempo/wal
local:
path: /var/tempo/blocks
usage_report:
reporting_enabled: false
+2643
View File
File diff suppressed because it is too large Load Diff
+38
View File
@@ -0,0 +1,38 @@
{
"name": "messenger-lab7",
"private": true,
"version": "7.0.0",
"type": "module",
"engines": {
"node": ">=24"
},
"scripts": {
"start": "node src/main.ts",
"migrate": "node src/main.ts migrate",
"typecheck": "tsc"
},
"dependencies": {
"@aws-sdk/client-s3": "3.1152.0",
"@opentelemetry/api": "1.9.1",
"@opentelemetry/api-logs": "0.223.0",
"@opentelemetry/core": "2.12.0",
"@opentelemetry/exporter-logs-otlp-proto": "0.223.0",
"@opentelemetry/exporter-metrics-otlp-proto": "0.223.0",
"@opentelemetry/exporter-trace-otlp-proto": "0.223.0",
"@opentelemetry/instrumentation-aws-sdk": "0.78.0",
"@opentelemetry/instrumentation-http": "0.223.0",
"@opentelemetry/instrumentation-pg": "0.76.0",
"@opentelemetry/instrumentation-runtime-node": "0.36.1",
"@opentelemetry/sdk-logs": "0.223.0",
"@opentelemetry/sdk-metrics": "2.12.0",
"@opentelemetry/sdk-node": "0.223.0",
"amqplib": "2.2.0",
"pg": "8.23.1",
"sharp": "0.35.5"
},
"devDependencies": {
"@types/node": "24.19.2",
"@types/pg": "8.23.1",
"typescript": "7.0.2"
}
}
+108
View File
@@ -0,0 +1,108 @@
#!/usr/bin/env python3
"""Оператор OpenBao. Материалы Shamir и root остаются в secrets/operator (0600)."""
import argparse
import json
import os
import ssl
import subprocess
import urllib.error
import urllib.request
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
OPERATOR = ROOT / "secrets/operator"
STATE = OPERATOR / "bao-init.json"
ROLES = ("api", "worker", "reconciler")
class Bao:
def __init__(self, base):
self.base = base
self.ssl = ssl.create_default_context(cafile=ROOT / "secrets/tls/service-ca/ca.crt")
self.token = None
def request(self, path, data=None, method=None):
body = json.dumps(data).encode() if data is not None else None
headers = {"Content-Type": "application/json"}
if self.token:
headers["X-Vault-Token"] = self.token
req = urllib.request.Request(self.base + "/v1/" + path, data=body, headers=headers, method=method)
try:
with urllib.request.urlopen(req, context=self.ssl, timeout=12) as res:
content = res.read()
except urllib.error.HTTPError as error:
raise SystemExit(f"OpenBao {path}: HTTP {error.code}") from None
return json.loads(content) if content else None
def state(self, init=False):
if not self.request("sys/init")["initialized"]:
if not init or STATE.exists():
raise SystemExit("OpenBao не инициализирован. Проверьте volume перед init.")
initialized = self.request("sys/init", {"secret_shares": 3, "secret_threshold": 2})
with STATE.open("x") as file:
json.dump(initialized, file)
return json.loads(STATE.read_text())
def unseal(self, state):
if self.request("sys/seal-status")["sealed"]:
for key in state["keys_base64"][:2]:
self.request("sys/unseal", {"key": key})
print("OpenBao unsealed")
def configure(self):
if "messenger/" not in self.request("sys/mounts"):
self.request("sys/mounts/messenger", {"type": "kv", "options": {"version": "2"}})
if "cert/" not in self.request("sys/auth"):
self.request("sys/auth/cert", {"type": "cert"})
for role in ROLES:
self.configure_role(role)
@staticmethod
def identity(role):
if role != "worker":
return role
return subprocess.check_output(["openssl", "x509", "-in",
str(ROOT / "secrets/tls/worker/tls.crt"), "-noout", "-subject",
"-nameopt", "RFC2253"], text=True).strip().removeprefix("subject=CN=")
def configure_role(self, role):
identity = self.identity(role)
policy = (ROOT / "infra/openbao" / f"{role}.hcl").read_text().replace("data/worker", f"data/{identity}")
self.request(f"sys/policies/acl/{identity}", {"policy": policy})
certificate = (ROOT / "secrets/tls" / role / "tls.crt").read_text()
self.request(f"auth/cert/certs/{role}", {
"certificate": certificate, "token_policies": [identity], "token_no_default_policy": True,
"token_type": "batch", "token_ttl": "45s", "token_max_ttl": "45s",
})
self.request(f"messenger/data/{identity}", json.loads((OPERATOR / f"kv_{role}.json").read_text()))
def main():
parser = argparse.ArgumentParser()
parser.add_argument("action", choices=("init", "unseal", "seal", "revoke-worker", "replace-worker"))
args = parser.parse_args()
os.umask(0o077)
port = next((line.split("=", 1)[1] for line in (ROOT / ".env").read_text().splitlines()
if line.startswith("BAO_PORT=")), "8200")
bao = Bao(f"https://localhost:{port}")
state = bao.state(init=args.action == "init")
if args.action in ("init", "unseal"):
bao.unseal(state)
bao.token = state["root_token"]
if args.action == "init":
bao.configure()
elif args.action == "seal":
bao.request("sys/seal", {})
elif args.action == "revoke-worker":
identity = bao.identity("worker")
bao.request("auth/cert/certs/worker", method="DELETE")
bao.request(f"sys/policies/acl/{identity}", method="DELETE")
bao.request(f"messenger/metadata/{identity}", method="DELETE")
elif args.action == "replace-worker":
bao.request("auth/cert/crls/worker", {"crl": (ROOT / "secrets/pki/crl.pem").read_text()})
bao.configure_role("worker")
print(f"OpenBao: {args.action} OK")
if __name__ == "__main__":
main()
+16
View File
@@ -0,0 +1,16 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
case ${1:-all} in
all) roles='api worker reconciler' ;;
worker) roles=worker ;;
*) exit 2 ;;
esac
for role in $roles; do
password=$(cat "secrets/operator/db_$role")
case "$password" in *[!a-f0-9]*|'') exit 2 ;; esac
# Передача по stdin, аутентификация оператора через Unix socket и peer map.
printf "ALTER ROLE %s PASSWORD '%s';\n" "$role" "$password" |
docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 >/dev/null
done
echo 'PostgreSQL: SCRAM credentials настроены'
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
umask 077
mkdir -p secrets
chmod 700 secrets
[ -f .env ] || cp .env.example .env
scripts/pki.sh
python3 scripts/render-secrets.py
echo "Локальные сертификаты и credentials готовы."
Executable
+97
View File
@@ -0,0 +1,97 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
umask 077
tls=secrets/tls
pki=secrets/operator/pki
mkdir -p "$pki"
chmod 700 secrets secrets/operator "$pki"
ca() {
dir=$pki/$1
[ -s "$dir/ca.crt" ] && return
mkdir -p "$dir"
touch "$dir/index"
printf '1000\n' > "$dir/serial"
printf '1000\n' > "$dir/crlnumber"
cat > "$dir/ca.cnf" <<CONFIG
[ca]
default_ca = lab
[lab]
database = $dir/index
serial = $dir/serial
crlnumber = $dir/crlnumber
new_certs_dir = $dir
certificate = $dir/ca.crt
private_key = $dir/ca.key
default_md = sha256
default_days = 7
default_crl_days = 365
policy = names
unique_subject = no
[names]
commonName = supplied
CONFIG
openssl req -x509 -newkey rsa:3072 -noenc -days 365 -sha256 -subj "/CN=Lab7 $1 CA" \
-addext 'basicConstraints=critical,CA:TRUE,pathlen:0' -addext 'keyUsage=critical,keyCertSign,cRLSign' \
-keyout "$dir/ca.key" -out "$dir/ca.crt" 2>/dev/null
}
leaf() {
issuer=$1 name=$2 cn=$3 san=$4 usage=$5
out=$tls/$name
[ -s "$out/tls.pem" ] && return
mkdir -p "$out"
chmod 755 "$out"
openssl req -new -newkey rsa:2048 -noenc -subj "/CN=$cn" -keyout "$out/tls.key" -out "$pki/request" 2>/dev/null
cat > "$pki/leaf.ext" <<CONFIG
basicConstraints=critical,CA:FALSE
keyUsage=critical,digitalSignature,keyEncipherment
subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid:always
extendedKeyUsage=$usage
subjectAltName=$san
CONFIG
openssl ca -batch -notext -config "$pki/$issuer/ca.cnf" -extfile "$pki/leaf.ext" \
-in "$pki/request" -out "$out/tls.crt" 2>/dev/null
cat "$out/tls.crt" "$out/tls.key" > "$out/tls.pem"
chmod 644 "$out"/tls.*
}
crl() {
openssl ca -gencrl -config "$pki/service/ca.cnf" -out secrets/pki/crl.new 2>/dev/null
chmod 644 secrets/pki/crl.new
mv secrets/pki/crl.new secrets/pki/crl.pem
}
case ${1:-init} in
init)
mkdir -p secrets/pki "$tls/service-ca" "$tls/telemetry-ca" "$tls/collector-ca" "$tls/foreign-ca"
chmod 755 "$tls" secrets/pki "$tls/"*-ca
for issuer in service telemetry collector foreign; do ca "$issuer"; done
for issuer in service collector foreign; do cp "$pki/$issuer/ca.crt" "$tls/$issuer-ca/ca.crt"; done
cat "$pki/collector/ca.crt" "$pki/telemetry/ca.crt" > "$tls/telemetry-ca/ca.crt"
chmod 644 "$tls/"*-ca/ca.crt
for name in postgres s3 rabbitmq lb otel-collector prometheus loki tempo; do
leaf service "$name" "$name" "DNS:$name" serverAuth
done
leaf service openbao openbao 'DNS:openbao,DNS:localhost,IP:127.0.0.1' serverAuth
leaf service ingress localhost 'DNS:localhost,IP:127.0.0.1' serverAuth
leaf service grafana grafana 'DNS:grafana,DNS:localhost,IP:127.0.0.1' serverAuth
leaf service api api 'DNS:api' serverAuth,clientAuth
leaf service worker "worker-$(openssl rand -hex 4)" 'DNS:worker' clientAuth
leaf service lb-client lb-client 'DNS:lb-client' clientAuth
leaf service reconciler reconciler 'DNS:reconciler' clientAuth
leaf service wrong wrong 'DNS:wrong' clientAuth
leaf foreign foreign foreign 'DNS:foreign' clientAuth
leaf collector collector collector 'DNS:collector' clientAuth
leaf telemetry grafana-query grafana-query 'DNS:grafana-query' clientAuth
leaf telemetry prometheus-scrape prometheus-scrape 'DNS:prometheus-scrape' clientAuth
crl
;;
replace-worker)
name=worker
openssl ca -config "$pki/service/ca.cnf" -revoke "$tls/$name/tls.crt" 2>/dev/null
mv "$tls/$name" "$pki/revoked-$(date +%s)"
leaf service worker "worker-$(openssl rand -hex 4)" 'DNS:worker' clientAuth
crl
;;
*) exit 2 ;;
esac
+91
View File
@@ -0,0 +1,91 @@
#!/usr/bin/env python3
"""Собирает локальные credentials сервисов. Значения не выводятся."""
import json
import re
import secrets
import subprocess
import sys
from pathlib import Path
root = Path("secrets")
operator = root / "operator"
runtime = root / "runtime"
for folder in (operator, runtime, runtime / "s3"):
folder.mkdir(exist_ok=True, mode=0o755 if folder != operator else 0o700)
bucket = "messenger-attachments"
def write(path, value, mode=0o600):
temp = path.with_suffix(".new")
temp.write_text(value)
temp.chmod(mode)
temp.replace(path)
def value(path):
if not path.exists():
write(path, secrets.token_hex(24), 0o644 if path.parent == runtime else 0o600)
return path.read_text()
def worker_cn():
return subprocess.check_output(
["openssl", "x509", "-in", "secrets/tls/worker/tls.crt", "-noout", "-subject", "-nameopt", "RFC2253"],
text=True,
).strip().removeprefix("subject=CN=")
def render():
db_root = value(runtime / "postgres_password")
value(runtime / "grafana_admin_password")
write(runtime / "database_url", f"postgres://messenger:{db_root}@postgres:5432/messenger", 0o644)
identities = []
for role in ("admin", "api", "worker", "reconciler"):
access = role + value(operator / f"s3_id_{role}")[:20]
key = value(operator / f"s3_key_{role}")
if role == "admin":
write(runtime / "s3_admin_access_key_id", access, 0o644)
write(runtime / "s3_admin_secret_access_key", key, 0o644)
actions = ["Admin", "Read", "Write", "List"]
else:
scopes = {
"api": ["Write:staging", "Read:originals", "Read:variants"],
"worker": ["Read:staging", "Write:staging", "Read:originals", "Write:originals", "Write:variants"],
"reconciler": [f"{verb}:{prefix}" for verb in ("Read", "Write") for prefix in ("staging", "originals", "variants")],
}[role]
actions = [f"{verb}:{bucket}/{prefix}/*" for verb, prefix in (scope.split(":") for scope in scopes)]
if role == "reconciler":
actions += [f"List:{bucket}"]
password = value(operator / f"db_{role}")
write(operator / f"kv_{role}.json", json.dumps({"data": {
"DATABASE_URL": f"postgres://{role}:{password}@postgres:5432/messenger",
"S3_ACCESS_KEY_ID": access, "S3_SECRET_ACCESS_KEY": key,
}}))
identities.append({"name": role, "credentials": [{"accessKey": access, "secretKey": key}], "actions": actions})
write(runtime / "s3" / "identities.json", json.dumps({"identities": identities}), 0o644)
worker = worker_cn()
if not re.fullmatch(r"worker-[0-9a-f]{8}", worker):
raise SystemExit("unexpected worker identity")
vhost = "messenger"
write(runtime / "rabbitmq_definitions.json", json.dumps({
"users": [{"name": role, "password_hash": "", "tags": []} for role in ("api", worker)],
"vhosts": [{"name": vhost}],
"permissions": [
{"user": "api", "vhost": vhost, "configure": "^$", "write": "^attachments$", "read": "^$"},
{"user": worker, "vhost": vhost, "configure": "^$", "write": "^$", "read": r"^attachments\.process$"},
],
"exchanges": [{"name": "attachments", "vhost": vhost, "type": "direct",
"durable": True, "auto_delete": False, "internal": False, "arguments": {}}],
"queues": [{"name": "attachments.process", "vhost": vhost, "durable": True, "auto_delete": False,
"arguments": {"x-queue-type": "quorum", "x-delivery-limit": 20}}],
"bindings": [{"source": "attachments", "vhost": vhost, "destination": "attachments.process",
"destination_type": "queue", "routing_key": "process", "arguments": {}}],
}), 0o644)
if __name__ == "__main__":
if sys.argv[1:] == ["rotate-worker"]:
for key in ("s3_id_worker", "s3_key_worker", "db_worker"):
write(operator / key, secrets.token_hex(24))
render()
+17
View File
@@ -0,0 +1,17 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
services='lb api worker reconciler postgres s3 rabbitmq otel-collector collector prometheus loki tempo grafana openbao'
started() {
for service in $services; do
for id in $(docker compose ps -aq "$service"); do
docker inspect -f "$service {{.State.StartedAt}}" "$id"
done
done
}
started > secrets/runtime/restart-before.txt
docker compose stop -t 6 lb api worker reconciler
docker compose restart -t 5 postgres s3 rabbitmq otel-collector collector prometheus loki tempo grafana openbao
python3 scripts/bao.py unseal
docker compose start api worker reconciler lb
started > secrets/runtime/restart-after.txt
+23
View File
@@ -0,0 +1,23 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
old=$(openssl x509 -in secrets/tls/worker/tls.crt -noout -subject -nameopt RFC2253)
old=${old#subject=CN=}
case "$old" in worker-????????) ;; *) exit 2 ;; esac
docker compose stop worker
python3 scripts/bao.py revoke-worker
docker compose exec -T rabbitmq rabbitmqctl delete_user "$old"
# Прежний пароль немедленно перестаёт открывать соединения, а уже открытые соединения worker закрываются.
docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 <<'SQL'
ALTER ROLE worker NOLOGIN;
SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE usename = 'worker';
SQL
scripts/pki.sh replace-worker
python3 scripts/render-secrets.py rotate-worker
scripts/db-credentials.sh worker
docker compose exec -T -u postgres postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 -c 'ALTER ROLE worker LOGIN'
# Повторный import добавляет нового пользователя, старый уже удалён. Volumes остаются.
docker compose up -d --force-recreate --wait s3 rabbitmq otel-collector collector
python3 scripts/bao.py replace-worker
docker compose up -d --force-recreate --no-deps worker
echo 'Worker identity и credentials заменены'
+14
View File
@@ -0,0 +1,14 @@
#!/bin/sh
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера.
# Восстановление после теста: docker compose start api
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
cd "$(dirname "$0")/.."
case "$TARGET_INSTANCE_ID" in
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
esac
ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true)
[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
docker stop -t 6 "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с)
docker inspect -f "stopped {{.Name}} ($TARGET_INSTANCE_ID)" "$ids" | tee secrets/runtime/failover-target.txt
Executable
+9
View File
@@ -0,0 +1,9 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
scripts/init-secrets.sh
docker compose up -d --wait --wait-timeout 240 postgres s3 openbao rabbitmq otel-collector collector prometheus loki tempo grafana
docker compose run --rm --build migrate
scripts/db-credentials.sh
python3 scripts/bao.py init
docker compose up -d --build --wait --wait-timeout 240
+16 -15
View File
@@ -1,19 +1,20 @@
# Модель угроз — заполнить
# Модель угроз
## Активы и акторы
Активы — пароли и сессии пользователей, сообщения и вложения, задачи обработки, учётные данные сервисов, PKI и содержимое telemetry. Внешний клиент имеет доступ к ingress. Посторонний пользователь имеет собственный Bearer и может знать UUID чужих объектов. При компрометации worker атакующий читает его leaf и получает его рабочие credentials, может подключаться в backend и отправлять произвольные операции. Оператор контролирует Docker, CA и unseal. Компрометация оператора или хоста находится вне этой модели.
TODO: пользовательские credentials/сессии, сообщения/вложения, service identities, CA/secrets, telemetry. Акторы: участник чата, посторонний пользователь, внешний клиент, скомпрометированный сервис, оператор. Опишите доступ атакующего и границы учебного стенда.
Границы проходят на внешнем ingress, между HAProxy и API, на каждом сетевом подключении к зависимости и при обращении за секретами. Порты, SAN и права указаны в [матрице доверия](../contracts/trust-matrix.md).
## Границы доверия
| Угроза | Инвариант и контроль | Отрицательная проверка | Остаточный риск |
| --- | --- | --- | --- |
| Подмена TLS-сервера | Клиент сверяет CA и SAN; внешний API доступен только по TLS | `make test-security` и TLS-аудит | Утечка ключа service CA нарушает эту границу |
| Подмена HAProxy клиентом с действительным leaf | API разрешает только SAN lb-client; peer certificate обязателен | Пробы без cert, с foreign CA и wrong leaf | Ключ LB даёт доступ к TLS-границе API, где продолжает действовать Bearer ACL |
| Чтение чужого вложения по UUID, подделка X-User-Id | Сессия и членство проверяются при чтении и повторном использовании объекта | `auth_security.py` | Участник сохраняет доступ к выданным ему данным |
| Повтор украденного токена после logout/expiry | Проверка `expires_at` и удаление хеша при logout | `auth_security.py` | Украденный действующий токен работает до отзыва |
| Исчерпание CPU/RAM неверными логинами | Общий лимит PostgreSQL, максимум два параллельных хеширования на API, лимит тела | Нагрузочная часть `auth_security.py`, `argon2_bench.mjs` | Общий лимит можно занять, вызвав временные 429 для легитимных клиентов |
| Worker читает пароли или сообщения, пишет в произвольный prefix или очередь | SQL grants, SeaweedFS prefix ACL, RabbitMQ EXTERNAL и права очереди | `worker_compromise.py` | Worker может менять состояния задач и байты разрешённых prefix |
| Worker пытается читать ключи API и менять политики OpenBao | Leaf закреплён за ролью и получает только её KV read | `worker_compromise.py` | Секрет зависимости остаётся действительным до отзыва у этой зависимости |
| Поддельные сигналы отправлены в Collector | mTLS, CN allowlist, CRL и ограничение методов/маршрутов | `tls-audit.sh`, проверка старого leaf в треке | Владелец разрешённого leaf может подделать свой сигнал |
| Токены или payload попадают в историю наблюдаемости | Нет логирования заголовков/значений SQL, входные filename/cursor маскируются, запись исключений ограничена | `telemetry_check.py` | Сохраняются технические UUID; доступ к Grafana ограничен |
| Worker остаётся подключён после ротации | Закрываются его DB connections, удаляется пользователь RabbitMQ, обновляются S3 credentials и CRL | `worker_compromise.py` проверяет новые подключения со старыми материалами | Ротация временно прерывает брокер и S3 на одиночном стенде |
TODO: схема и ссылка на заполненную contracts/trust-matrix.md; публичные/внутренние интерфейсы, процессы, секреты и их выдача.
| Угроза и конкретный путь | Нарушаемый инвариант | Контроль | Отрицательный тест | Остаточное ограничение |
| --- | --- | --- | --- | --- |
| TODO | TODO | TODO | TODO | TODO |
На 4 минимум 6 конкретных угроз. Не заменяйте сценарии словами «SQL injection», «безопасный Docker», «mTLS включён» без пути и проверки.
## Lifecycle и инциденты
TODO: bootstrap, expiry/renewal, revoke/rotation, компрометация identity, sealed OpenBao и восстановление. Указать владельца CA/unseal и способ защиты bootstrap credentials. Сопоставить scan findings с реальной применимостью и исправлением/остаточным риском.
Локальный оператор выпускает leaf, хранит CA и Shamir в закрытом каталоге, выполняет unseal и обслуживает журнал аудита. При отзыве удаляется привязка leaf в OpenBao, у брокера удаляется CN, а ingress Collector читает новую CRL. Для рабочего процесса успешный re-auth проверяет секреты каждые 5 с. Если проверка не проходит, по истечении 45 с процесс завершает работу. Долговременное чтение старых секретов ограничивается дополнительно отзывом у PostgreSQL и S3.
+120
View File
@@ -0,0 +1,120 @@
// HTTP-приложение: таблица маршрутов, health-проверки и общая обработка каждого запроса.
// Наблюдаемость (lab6): server span создаёт instrumentation-http, здесь ему задаётся шаблон маршрута
// и X-Request-Id; после ответа пишется структурный access-лог с trace_id/span_id этого span.
import { randomUUID } from 'node:crypto';
import type { IncomingMessage, OutgoingHttpHeaders, ServerResponse } from 'node:http';
import { Readable } from 'node:stream';
import { pipeline } from 'node:stream/promises';
import { context, trace } from '@opentelemetry/api';
import type { Pool } from 'pg';
import type { Config } from './config.ts';
import type { Handler, Result } from './http/context.ts';
import { notFound, toHttpError, unavailable } from './http/errors.ts';
import { downloadAttachment, getAttachment, uploadAttachment } from './modules/attachments.ts';
import { createChat, getChat, listChats } from './modules/chats.ts';
import { listMessages, sendMessage } from './modules/messages.ts';
import { createSession, deleteSession } from './modules/sessions.ts';
import { createUser, me } from './modules/users.ts';
import { log, setRoute } from './otel.ts';
import type { Storage } from './storage/s3.ts';
function send(res: ServerResponse, status: number, body?: unknown, headers?: OutgoingHttpHeaders) {
if (body instanceof Readable) {
// Байты вложения потоком из S3. Обрыв с любой стороны закрывает соединение: клиент увидит
// несовпадение с Content-Length, а не «успешно» обрезанный файл.
res.writeHead(status, headers);
pipeline(body, res).catch((err) => log('warn', 'http.stream_aborted', `передача вложения прервана: ${err.message}`));
return;
}
if (body === undefined) {
res.writeHead(status).end();
return;
}
const data = JSON.stringify(body);
res.writeHead(status, { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(data) }).end(data);
}
export function createApp(db: Pool, s3: Storage, config: Config, relay: { kick(): void }) {
// ready = false с момента SIGTERM: балансировщик по readiness выводит реплику из ротации.
const state = { ready: true };
// Готовность: процесс не завершается и PostgreSQL отвечает. Это единственная критичная зависимость:
// при недоступном S3 реплика остаётся в ротации, текстовые сообщения работают, вложения отвечают 503;
// при недоступном брокере загрузки принимаются (задания ждут в outbox), worker не нужен для приёма.
const readiness: Handler = async () => {
if (!state.ready) throw unavailable('Реплика завершает работу');
try {
await db.query('SELECT 1');
} catch {
throw unavailable('База данных недоступна');
}
return [200, { status: 'ok' }];
};
// Шаблон маршрута — и правило сопоставления, и label http.route метрик/имя span (без реальных UUID).
const routes = ([
['GET', '/health/live', async () => [200, { status: 'ok' }]],
['GET', '/health/ready', readiness],
['POST', '/api/v1/users', createUser],
['GET', '/api/v1/users/me', me],
['POST', '/api/v1/auth/sessions', createSession],
['DELETE', '/api/v1/auth/sessions/current', deleteSession],
['POST', '/api/v1/chats', createChat],
['GET', '/api/v1/chats', listChats],
['GET', '/api/v1/chats/{chat_id}', getChat],
['POST', '/api/v1/chats/{chat_id}/messages', sendMessage],
['GET', '/api/v1/chats/{chat_id}/messages', listMessages],
['POST', '/api/v1/chats/{chat_id}/attachments', uploadAttachment],
['GET', '/api/v1/attachments/{attachment_id}', getAttachment],
['GET', '/api/v1/attachments/{attachment_id}/content', downloadAttachment],
] as [string, string, Handler][]).map(([method, template, handler]) =>
({ method, template, handler, pattern: new RegExp(`^${template.replace(/\{\w+\}/g, '([^/]+)')}$`) }));
async function dispatch(req: IncomingMessage, matched: { route?: string }): Promise<Result> {
const url = new URL(req.url ?? '/', 'http://api');
for (const { method, template, handler, pattern } of routes) {
const m = pattern.exec(url.pathname);
if (m && req.method === method) {
matched.route = template;
setRoute(template);
return handler({ req, url, params: m.slice(1), db, s3, config, relay });
}
}
throw notFound(); // неизвестный путь или метод — тоже JSON-ошибка контракта
}
// Каждый ответ, включая ошибки и health, несёт X-Request-Id и X-Instance-Id.
function handle(req: IncomingMessage, res: ServerResponse) {
const requestId = randomUUID();
const started = performance.now();
const ctx = context.active(); // контекст server span этого запроса
trace.getSpan(ctx)?.setAttribute('messenger.request_id', requestId);
res.setHeader('X-Request-Id', requestId);
res.setHeader('X-Instance-Id', config.instanceId);
if (!state.ready) res.setHeader('Connection', 'close'); // при остановке LB не переиспользует соединение
const matched: { route?: string } = {};
// Access-лог одного запроса; health (проверки LB и Docker каждую секунду) не логируется.
// 'close' приходит и после полного ответа, и при обрыве соединения клиентом.
res.on('close', () => {
if (matched.route?.startsWith('/health/')) return;
const status = res.statusCode;
context.with(ctx, () => log(status >= 500 ? 'error' : 'info', 'http.request', `${req.method} ${matched.route ?? 'unmatched'} → ${status}`, {
request_id: requestId, 'http.request.method': req.method ?? '', 'http.route': matched.route ?? 'unmatched',
'http.response.status_code': status, duration_ms: Math.round((performance.now() - started) * 10) / 10,
...(!res.writableFinished && { aborted: true }),
}));
});
dispatch(req, matched).then(([status, body, headers]) => send(res, status, body, headers), (err) => {
const e = toHttpError(err, requestId);
if (e.status >= 500) trace.getSpan(ctx)?.recordException(e);
if (e.retryAfter) res.setHeader('Retry-After', e.retryAfter);
if (e.status === 401) {
// Basic только на входе, на остальных эндпоинтах — Bearer.
res.setHeader('WWW-Authenticate', req.url === '/api/v1/auth/sessions' ? 'Basic realm="messenger", charset="UTF-8"' : 'Bearer realm="messenger"');
}
send(res, e.status, { error: { code: e.code, message: e.message, request_id: requestId } });
});
}
return { state, handle };
}
+91
View File
@@ -0,0 +1,91 @@
// Конфигурация процесса из переменных окружения. Читается один раз при старте.
import { readFileSync } from 'node:fs';
import { hostname } from 'node:os';
export type S3Config = {
endpoint: string;
region: string;
bucket: string;
accessKeyId: string;
secretAccessKey: string;
};
export type Config = {
host: string;
port: number;
databaseUrl: string;
dbPoolMax: number;
sessionTtlSeconds: number;
shutdownDrainMs: number;
instanceId: string;
s3: S3Config;
maxUploadBytes: number;
maxImagePixels: number;
jobs: JobsConfig;
};
// Общие параметры заданий для API (relay, sweeper) и worker.
export type JobsConfig = {
pipelineVersion: number; // версия pipeline для новых загрузок
maxAttempts: number; // попыток на job, затем failed retry_exhausted
timeoutSeconds: number; // предел одной попытки; аренда = timeout + 15 с
retryBaseMs: number; // backoff повтора: base × 2^(n−1), cap 60 с, jitter 50–100 %
republishSeconds: number; // queued без живого сообщения дольше этого — опубликовать заново
};
function env(name: string, def: string): string {
return process.env[name] || def;
}
export function envInt(name: string, def: number): number {
const n = Number(env(name, String(def)));
if (!Number.isInteger(n) || n <= 0) throw new Error(`${name} должен быть положительным целым`);
return n;
}
// Секрет берётся из файла NAME_FILE (Docker secret), иначе из NAME. Значение никогда не логируется.
export function secret(name: string): string {
const file = process.env[name + '_FILE'];
const value = file ? readFileSync(file, 'utf8').trim() : process.env[name];
if (!value) throw new Error(`нужна переменная ${name} или ${name}_FILE`);
return value;
}
// Ключи у каждого сервиса свои (api, reconciler, s3-init), compose монтирует их под одинаковыми именами.
export function s3Config(): S3Config {
return {
endpoint: env('S3_ENDPOINT', 'https://s3:9000'),
region: env('S3_REGION', 'us-east-1'),
bucket: env('S3_BUCKET', 'messenger-attachments'),
accessKeyId: secret('S3_ACCESS_KEY_ID'),
secretAccessKey: secret('S3_SECRET_ACCESS_KEY'),
};
}
export function jobsConfig(): JobsConfig {
return {
pipelineVersion: envInt('PIPELINE_VERSION', 1),
maxAttempts: envInt('JOB_MAX_ATTEMPTS', 5),
timeoutSeconds: envInt('JOB_TIMEOUT_SECONDS', 60),
retryBaseMs: envInt('JOB_RETRY_BASE_MS', 2000),
republishSeconds: envInt('JOB_REPUBLISH_SECONDS', 600),
};
}
export function loadConfig(): Config {
return {
host: env('APP_HOST', '0.0.0.0'),
port: envInt('APP_PORT', 8080),
databaseUrl: secret('DATABASE_URL'),
dbPoolMax: envInt('DB_POOL_MAX', 8),
sessionTtlSeconds: envInt('SESSION_TTL_SECONDS', 3600),
// Пауза между отказом readiness и закрытием сервера: должна быть больше времени обнаружения LB (fall × inter).
shutdownDrainMs: envInt('SHUTDOWN_DRAIN_MS', 2500),
// X-Instance-Id = hostname контейнера (12 символов ID), по нему scripts/stop-one.sh находит реплику.
instanceId: env('INSTANCE_ID', hostname()),
s3: s3Config(),
maxUploadBytes: envInt('MAX_UPLOAD_BYTES', 10485760),
maxImagePixels: envInt('MAX_IMAGE_PIXELS', 40000000),
jobs: jobsConfig(),
};
}
+52
View File
@@ -0,0 +1,52 @@
// Доступ к PostgreSQL: пул соединений для API и однократный прогон миграций.
import { readFileSync, readdirSync } from 'node:fs';
import { context, ROOT_CONTEXT } from '@opentelemetry/api';
import pg from 'pg';
import { log } from './otel.ts';
const ssl = { ca: readFileSync(process.env.TLS_CA_FILE ?? '/run/tls/ca.crt'), rejectUnauthorized: true };
export function createPool(databaseUrl: string, max: number): pg.Pool {
const { hostname, port, pathname } = new URL(databaseUrl);
const pool = new pg.Pool({
connectionString: databaseUrl, ssl,
// Только для имени пула в метриках db.client.connection.* (postgres:5432/messenger); пароль туда не попадает.
host: hostname, port: Number(port || 5432), database: pathname.slice(1),
max,
connectionTimeoutMillis: 2000, // пул исчерпан или БД недоступна → 503, а не зависший запрос
statement_timeout: 5000,
});
// Ошибка простаивающего соединения (например, рестарт PostgreSQL) не должна ронять процесс.
// ROOT_CONTEXT: иначе лог унаследовал бы trace_id запроса, который когда-то открыл это соединение.
pool.on('error', context.bind(ROOT_CONTEXT, (err: Error) => log('error', 'db.connection_error', `ошибка соединения с БД: ${err.name}`)));
return pool;
}
// Применяет src/migrations/*.sql по порядку, каждую в своей транзакции и ровно один раз.
// Advisory lock не даёт двум запускам выполнить DDL одновременно.
export async function migrate(databaseUrl: string): Promise<void> {
const client = new pg.Client({ connectionString: databaseUrl, ssl });
await client.connect();
try {
await client.query('SELECT pg_advisory_lock(3003)');
await client.query('CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())');
const dir = new URL('./migrations/', import.meta.url);
for (const file of readdirSync(dir).filter((f) => f.endsWith('.sql')).sort()) {
const done = await client.query('SELECT 1 FROM schema_migrations WHERE version = $1', [file]);
if (done.rowCount) continue;
await client.query('BEGIN');
try {
await client.query(readFileSync(new URL(file, dir), 'utf8'));
await client.query('INSERT INTO schema_migrations (version) VALUES ($1)', [file]);
await client.query('COMMIT');
} catch (err) {
await client.query('ROLLBACK');
throw err;
}
log('info', 'db.migration_applied', `применена миграция ${file}`, { migration: file });
}
log('info', 'db.schema_ready', 'схема актуальна');
} finally {
await client.end();
}
}
+28
View File
@@ -0,0 +1,28 @@
// Точки внедрения отказов для тестов (трек 2 и уровень 4). Выключены, пока FAILPOINTS не равно 1.
// Срабатывает только для вложения с именем файла failpoint-<точка>[-<N>s].png и ровно один раз на вложение
// (отметка в failpoint_hits), поэтому перезапущенный процесс доделывает работу, а не падает по кругу.
// failpoint-<точка>.png — немедленный выход с кодом 137: ни finally, ни ack, ни ROLLBACK — соединения с БД
// и брокером рвёт ядро, как при реальном падении. Не SIGKILL себе: node в контейнере —
// PID 1, а сигналы без обработчика, посланные init изнутри его namespace, ядро игнорирует;
// failpoint-<точка>-<N>s.png — пауза N секунд: процесс жив, но «завис» (проверка аренды и fencing).
// Точки: api_after_staging, api_after_commit, relay_after_publish, worker_after_claim, worker_after_side_effect,
// worker_after_commit.
import { setTimeout as sleep } from 'node:timers/promises';
import type { Pool } from 'pg';
import { log } from './otel.ts';
const enabled = process.env.FAILPOINTS === '1';
export async function failpoint(db: Pool, name: string, attachmentId: string, filename: string): Promise<void> {
const m = enabled ? /^failpoint-([a-z_]+)(?:-(\d+)s)?\.png$/.exec(filename) : null;
if (!m || m[1] !== name) return;
const hit = await db.query('INSERT INTO failpoint_hits (name, attachment_id) VALUES ($1, $2) ON CONFLICT DO NOTHING', [name, attachmentId]);
if (!hit.rowCount) return;
if (m[2]) {
log('warn', 'failpoint.pause', `failpoint ${name}: пауза ${m[2]} с`, { 'failpoint.name': name });
await sleep(Number(m[2]) * 1000);
return;
}
log('error', 'failpoint.kill', `failpoint ${name}: аварийное завершение процесса`, { 'failpoint.name': name });
process.exit(137); // как при падении: OTLP-буферы не сбрасываются, строка лога в stdout (pipe) пишется синхронно
}
+20
View File
@@ -0,0 +1,20 @@
// Общие типы обработчиков: контекст запроса и результат.
import type { IncomingMessage, OutgoingHttpHeaders } from 'node:http';
import type { Pool } from 'pg';
import type { Config } from '../config.ts';
import type { Storage } from '../storage/s3.ts';
export type Ctx = {
req: IncomingMessage;
url: URL;
params: string[]; // группы из шаблона маршрута, например chat_id
db: Pool;
s3: Storage;
config: Config;
relay: { kick(): void }; // разбудить публикацию outbox сразу после COMMIT
};
// [HTTP-статус, JSON-тело или поток байтов, заголовки потока]; без тела — ответ без содержимого (204).
export type Result = [status: number, body?: unknown, headers?: OutgoingHttpHeaders];
export type Handler = (c: Ctx) => Promise<Result>;
+36
View File
@@ -0,0 +1,36 @@
// Ошибки API в формате контракта: {"error":{"code","message","request_id"}}.
import { log } from '../otel.ts';
export class HttpError extends Error {
status: number;
code: string;
readonly retryAfter?: number;
constructor(status: number, code: string, message: string, retryAfter?: number) {
super(message);
this.status = status;
this.code = code;
this.retryAfter = retryAfter;
}
}
export const badRequest = (message: string) => new HttpError(400, 'invalid_request', message);
export const unauthorized = () => new HttpError(401, 'unauthorized', 'Требуется действительная сессия');
// 404 и для отсутствующего, и для чужого объекта: не раскрываем факт существования.
export const notFound = () => new HttpError(404, 'not_found', 'Объект не найден');
export const conflict = (message: string) => new HttpError(409, 'conflict', message);
export const unavailable = (message: string) => new HttpError(503, 'unavailable', message);
export const tooLarge = (message: string) => new HttpError(413, 'payload_too_large', message);
export const unsupported = (message: string) => new HttpError(415, 'unsupported_media_type', message);
// Неизвестную ошибку переводим в ответ без внутренних деталей.
// Ошибка SQL — наш баг (500). Потеря соединения, таймаут пула, рестарт или отмена в PostgreSQL —
// временная недоступность зависимости (503): клиент может повторить запрос.
export function toHttpError(err: unknown, requestId: string): HttpError {
if (err instanceof HttpError) return err;
const { code = '', message = '' } = err as { code?: string; message?: string };
const transient = /^(08|53|57)/.test(code) || /^E[A-Z]+$/.test(code) || /connect|terminated|timeout/i.test(message);
// request_id в логе связывает ответ клиенту (X-Request-Id) с trace_id этого запроса.
log('error', transient ? 'http.dependency_unavailable' : 'http.internal_error', `запрос ${requestId}: ${code || "Error"}`,
{ request_id: requestId, 'error.type': code || 'Error' });
return transient ? unavailable('Сервис временно недоступен') : new HttpError(500, 'internal_error', 'Внутренняя ошибка');
}
+44
View File
@@ -0,0 +1,44 @@
// Keyset-пагинация по (created_at, id) по возрастанию.
// Cursor непрозрачен для клиента: base64url("вид|область|created_at|id").
// Область привязывает cursor к конкретному чату (или пользователю для списка чатов): чужой cursor → 400.
import { badRequest } from './errors.ts';
import { UUID } from './request.ts';
const TIMESTAMP = /^\d{4}-\d\d-\d\dT\d\d:\d\d:\d\d\.\d{6}Z$/;
type Keyed = { created_at: string; id: string };
export function limitOf(url: URL): number {
const q = url.searchParams.get('limit');
if (q === null) return 50;
const n = Number(q);
if (!/^\d+$/.test(q) || n < 1 || n > 100) throw badRequest('limit должен быть целым 1–100');
return n;
}
// Позиция, после которой продолжать чтение. Без cursor — начало истории.
export function afterCursor(url: URL, kind: string, scope: string): [createdAt: string, id: string] {
const raw = url.searchParams.get('cursor');
if (raw === null) return ['-infinity', '00000000-0000-0000-0000-000000000000'];
const [k, s, ts, id, ...rest] = Buffer.from(raw, 'base64url').toString().split('|');
if (k !== kind || s !== scope || !isTimestamp(ts) || !UUID.test(id ?? '') || rest.length) {
throw badRequest('Некорректный cursor');
}
return [ts, id];
}
// Форма RFC 3339 и реальная дата: 2026-13-01 или 2026-02-30 иначе дошли бы до PostgreSQL и дали 500.
// Проверка круговым преобразованием: JS-дата без микросекунд должна совпасть с исходной строкой.
function isTimestamp(ts: string | undefined): ts is string {
if (!ts || !TIMESTAMP.test(ts)) return false;
const ms = Date.parse(ts.slice(0, 23) + 'Z');
return !Number.isNaN(ms) && new Date(ms).toISOString().slice(0, 23) === ts.slice(0, 23);
}
// Запрос выбирает limit + 1 строк: лишняя строка означает, что следующая страница есть.
export function page<T extends Keyed>(rows: T[], limit: number, kind: string, scope: string) {
const items = rows.slice(0, limit);
const last = items[limit - 1];
const next = rows.length > limit ? Buffer.from([kind, scope, last.created_at, last.id].join('|')).toString('base64url') : null;
return { items, next_cursor: next };
}
+60
View File
@@ -0,0 +1,60 @@
// Разбор и проверка входных данных запроса.
import type { IncomingMessage } from 'node:http';
import { badRequest, tooLarge, unsupported } from './errors.ts';
const BODY_LIMIT = 1 << 20; // 1 MiB: с запасом для 4000 символов в худшем JSON-экранировании
export const UUID = /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/i;
// Тело запроса как JSON: только application/json, строгий UTF-8, ограничение размера.
export async function readJson(req: IncomingMessage): Promise<unknown> {
if (mediaType(req) !== 'application/json') throw unsupported('Ожидается application/json');
const chunks: Buffer[] = [];
let size = 0;
for await (const chunk of req) {
size += chunk.length;
if (size > BODY_LIMIT) throw tooLarge('Слишком большое тело запроса');
chunks.push(chunk);
}
try {
return JSON.parse(new TextDecoder('utf-8', { fatal: true }).decode(Buffer.concat(chunks)));
} catch {
throw badRequest('Некорректный JSON');
}
}
// Тип тела без параметров (charset и т.п.), в нижнем регистре.
export function mediaType(req: IncomingMessage): string {
return (req.headers['content-type'] ?? '').split(';')[0].trim().toLowerCase();
}
// Для эндпоинтов без тела: любое непустое тело — 400, а не молча игнорируется.
export async function requireEmptyBody(req: IncomingMessage): Promise<void> {
let size = 0;
for await (const chunk of req) {
size += chunk.length;
if (size > BODY_LIMIT) break;
}
if (size > 0) throw badRequest('Тело запроса не допускается');
}
// JSON-объект только с разрешёнными ключами: лишние поля по контракту дают 400.
export function jsonObject(value: unknown, keys: string[]): Record<string, unknown> {
if (typeof value !== 'object' || value === null || Array.isArray(value) || Object.keys(value).some((k) => !keys.includes(k))) {
throw badRequest('Ожидается JSON-объект без лишних полей');
}
return value as Record<string, unknown>;
}
// Обязательная строка: не только пробелы, длина в Unicode code points (эмодзи = 1 символ).
export function isText(v: unknown, min: number, max: number): v is string {
if (typeof v !== 'string' || v.trim() === '') return false;
const n = [...v].length;
return n >= min && n <= max;
}
// UUID из пути в каноническом нижнем регистре.
export function uuidParam(c: { params: string[] }, name: string): string {
const value = c.params[0];
if (!UUID.test(value)) throw badRequest(`Некорректный ${name}`);
return value.toLowerCase();
}
+88
View File
@@ -0,0 +1,88 @@
// Операторские команды над заданиями (выполняются в контейнере api: docker compose exec api node src/main.ts …).
// failed — реестр failed (аналог DLQ): job, вложение, код ошибки, попытки
// replay <attachment_id> — failed → queued: новая попытка той же логической job с аудитом;
// для done/queued/processing — отказ (повтор не дублирует успешную работу)
// reprocess --version=N — поставить job версии N для ready-вложений с более старой версией (трек 5);
// вложения в работе не затрагиваются — после разбора очереди команду повторяют
// show <attachment_id> — вложение, его jobs, попытки в outbox (время следующей), replay-аудит, варианты
import type { Pool } from 'pg';
import { UUID } from '../http/request.ts';
export async function adminCommand(db: Pool, args: string[]): Promise<void> {
const [cmd, arg] = args;
if (cmd === 'failed') {
const r = await db.query(`SELECT j.job_id, j.attachment_id, j.pipeline_version, j.attempts, j.error_code, rfc3339(j.updated_at) AS failed_at
FROM jobs j WHERE j.state = 'failed' ORDER BY j.updated_at`);
for (const row of r.rows) console.log(JSON.stringify(row));
console.log(JSON.stringify({ failed: r.rowCount }));
} else if (cmd === 'replay') {
if (!UUID.test(arg ?? '')) throw new Error('replay <attachment_id>');
console.log(JSON.stringify(await replay(db, arg.toLowerCase())));
} else if (cmd === 'reprocess') {
const version = Number(args.find((a) => a.startsWith('--version='))?.split('=')[1]);
if (!Number.isInteger(version) || version < 1) throw new Error('reprocess --version=N');
const r = await db.query(`WITH j AS (
INSERT INTO jobs (job_id, attachment_id, pipeline_version)
SELECT gen_random_uuid(), a.id, $1 FROM attachments a WHERE a.state = 'ready' AND a.pipeline_version < $1
ON CONFLICT (attachment_id, pipeline_version) DO NOTHING RETURNING job_id)
INSERT INTO outbox (job_id, attempt) SELECT job_id, 1 FROM j`, [version]);
console.log(JSON.stringify({ reprocess_version: version, enqueued: r.rowCount }));
} else if (cmd === 'show') {
if (!UUID.test(arg ?? '')) throw new Error('show <attachment_id>');
const q = async (sql: string) => (await db.query(sql, [arg.toLowerCase()])).rows;
console.log(JSON.stringify({
attachment: (await q(`SELECT id, state, pipeline_version, error_code, staging_key IS NOT NULL AS has_staging
FROM attachments WHERE id = $1`))[0] ?? null,
jobs: await q(`SELECT job_id, pipeline_version, state, attempts, error_code, rfc3339(lease_until) AS lease_until
FROM jobs WHERE attachment_id = $1 ORDER BY pipeline_version`),
outbox: await q(`SELECT j.pipeline_version, o.attempt, rfc3339(o.available_at) AS available_at, rfc3339(o.published_at) AS published_at
FROM outbox o JOIN jobs j ON j.job_id = o.job_id WHERE j.attachment_id = $1 ORDER BY o.id`),
replays: await q(`SELECT r.previous_error, r.previous_attempts, rfc3339(r.replayed_at) AS replayed_at
FROM job_replays r JOIN jobs j ON j.job_id = r.job_id WHERE j.attachment_id = $1 ORDER BY r.replayed_at`),
variants: await q(`SELECT pipeline_version, name, width, height, size_bytes, left(sha256, 12) AS sha256
FROM attachment_variants WHERE attachment_id = $1 ORDER BY pipeline_version, name`),
}));
} else {
throw new Error('jobs failed | replay <attachment_id> | reprocess --version=N | show <attachment_id>');
}
}
async function replay(db: Pool, attachmentId: string) {
const client = await db.connect();
try {
await client.query('BEGIN');
const j = (await client.query(`SELECT j.job_id, j.state, j.attempts, j.error_code, a.pipeline_version IS NULL AS initial
FROM jobs j JOIN attachments a ON a.id = j.attachment_id
WHERE j.attachment_id = $1 ORDER BY j.pipeline_version DESC LIMIT 1 FOR UPDATE OF j`, [attachmentId])).rows[0];
if (!j) throw new Error('у вложения нет заданий');
if (j.state !== 'failed') {
await client.query('ROLLBACK');
return { replayed: false, reason: `job в состоянии ${j.state}: повтор не нужен` };
}
// Staging failed-вложения хранится STAGING_RETENTION_SECONDS; после очистки повторять нечего.
if (j.initial) {
const s = await client.query(`SELECT 1 FROM attachments WHERE id = $1 AND staging_key IS NOT NULL`, [attachmentId]);
if (!s.rowCount) throw new Error('исходник недоступен');
}
await client.query('INSERT INTO job_replays (job_id, previous_error, previous_attempts) VALUES ($1, $2, $3)', [j.job_id, j.error_code, j.attempts]);
// Новая серия попыток той же логической job: прежний эффект защищён ключом (attachment_id, version, name).
// created_at — момент повторного приёма: time-to-ready и возраст задания (lag alert) считаются от replay,
// а не от исходной загрузки, уже учтённой в SLO как failed.
await client.query(`UPDATE jobs SET state = 'queued', attempts = 0, error_code = NULL, created_at = clock_timestamp(),
updated_at = clock_timestamp() WHERE job_id = $1`, [j.job_id]);
// Trace context последней публикации: повтор оператора виден в том же trace, что и исходная загрузка.
await client.query(`INSERT INTO outbox (job_id, attempt, traceparent, tracestate)
SELECT $1, 1, l.traceparent, l.tracestate FROM (SELECT 1) one
LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = $1 ORDER BY id DESC LIMIT 1) l ON true`, [j.job_id]);
if (j.initial) {
await client.query(`UPDATE attachments SET state = 'queued', error_code = NULL, updated_at = clock_timestamp() WHERE id = $1 AND state = 'failed'`, [attachmentId]);
}
await client.query('COMMIT');
return { replayed: true, job_id: j.job_id, previous_error: j.error_code, previous_attempts: j.attempts };
} catch (err) {
await client.query('ROLLBACK').catch(() => {});
throw err;
} finally {
client.release();
}
}
+98
View File
@@ -0,0 +1,98 @@
// RabbitMQ: формат сообщения job (contracts/jobs.schema.json), публикация с publisher confirm.
// Топология (exchange attachments → quorum-очередь attachments.process) и пользователи создаются из
// definitions при старте брокера (scripts/init-secrets.sh); у API право только писать в exchange.
import amqp, { type ChannelModel, type ConfirmChannel } from 'amqplib';
import { serviceTls } from '../security.ts';
import { UUID } from '../http/request.ts';
import { log } from '../otel.ts';
export const EXCHANGE = 'attachments';
export const ROUTING_KEY = 'process';
export const QUEUE = 'attachments.process';
// В сообщении только идентификаторы: ни байтов, ни ключей S3, ни credentials. Worker берёт данные из БД.
export type Job = {
schema_version: 1;
job_id: string;
type: 'attachment.process.v1';
attachment_id: string;
pipeline_version: number;
attempt: number;
created_at: string;
traceparent?: string; // W3C trace context PRODUCER span (lab6), см. src/jobs/relay.ts
tracestate?: string;
};
const TRACEPARENT = /^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$/;
// Проверка входящего сообщения по jobs.schema.json; null — сообщение не по контракту.
export function parseJob(content: Buffer): Job | null {
let j: Record<string, unknown>;
try {
j = JSON.parse(content.toString('utf8'));
} catch {
return null;
}
const keys = ['schema_version', 'job_id', 'type', 'attachment_id', 'pipeline_version', 'attempt', 'created_at', 'traceparent', 'tracestate'];
const ok = typeof j === 'object' && j !== null && Object.keys(j).every((k) => keys.includes(k))
&& j.schema_version === 1 && j.type === 'attachment.process.v1'
&& typeof j.job_id === 'string' && UUID.test(j.job_id) && typeof j.attachment_id === 'string' && UUID.test(j.attachment_id)
&& Number.isInteger(j.pipeline_version) && (j.pipeline_version as number) >= 1
&& Number.isInteger(j.attempt) && (j.attempt as number) >= 1
&& typeof j.created_at === 'string' && !Number.isNaN(Date.parse(j.created_at))
&& (j.traceparent === undefined || (typeof j.traceparent === 'string' && TRACEPARENT.test(j.traceparent)))
&& (j.tracestate === undefined || (typeof j.tracestate === 'string' && j.tracestate.length <= 512));
return ok ? (j as unknown as Job) : null;
}
export function brokerConnect(timeout: number) {
return amqp.connect('amqps://rabbitmq:5671/messenger?heartbeat=10', {
...serviceTls(), timeout, credentials: amqp.credentials.external(),
});
}
export type Publisher = { publish(jobs: Job[]): Promise<void> };
// Ленивое соединение: брокер может быть недоступен — тогда publish бросает ошибку, а задания остаются в outbox.
export function createPublisher(): Publisher {
let channel: Promise<ConfirmChannel> | null = null;
let conn: ChannelModel | null = null;
const open = async () => {
conn = await brokerConnect(2000);
const reset = () => { channel = null; };
conn.on('error', reset);
conn.on('close', reset);
const ch = await conn.createConfirmChannel();
ch.on('error', reset);
ch.on('close', reset);
// mandatory + return: сообщение без маршрута (сломана топология) не исчезает молча.
ch.on('return', (m) => log('error', 'broker.unroutable', `брокер вернул неотмаршрутизированное сообщение ${m.properties.messageId}`));
return ch;
};
return {
async publish(jobs) {
channel ??= open().catch((err) => { channel = null; throw err; });
const ch = await channel;
for (const job of jobs) {
ch.publish(EXCHANGE, ROUTING_KEY, Buffer.from(JSON.stringify(job)), {
persistent: true, mandatory: true, contentType: 'application/json', messageId: `${job.job_id}:${job.attempt}`,
});
}
// Publisher confirm: брокер записал сообщения в quorum-очередь (на диск). Только после этого outbox отмечается.
// Зависший брокер не держит транзакцию relay вечно: через 5 с соединение закрывается, строки остаются в outbox.
let timer: NodeJS.Timeout | undefined;
const timeout = new Promise<never>((_, reject) => {
timer = setTimeout(() => {
channel = null;
conn?.close().catch(() => {});
reject(new Error('нет publisher confirm за 5 с'));
}, 5000);
});
try {
await Promise.race([ch.waitForConfirms(), timeout]);
} finally {
clearTimeout(timer);
}
},
};
}
+22
View File
@@ -0,0 +1,22 @@
// Метрики заданий (contracts/observability.md), общие для API (relay, sweeper) и worker.
// Атрибуты только низкой кардинальности: тип job, исход, код ошибки; идентификаторы — в логах и spans.
import { meter } from '../otel.ts';
export const JOB_TYPE = 'attachment.process.v1';
// Длительность одной обработки сообщения worker-ом; _count по outcome — счётчик обработанных/ошибочных jobs.
// outcome: done | retry | failed | noop | discarded | error (сбой вне попытки, сообщение вернётся в очередь).
export const jobDuration = meter.createHistogram('messenger.job.duration', {
unit: 's',
description: 'Processing time of one job delivery by the worker',
advice: { explicitBucketBoundaries: [0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60] },
});
// От durable acceptance (COMMIT задания при загрузке) до публикации ready (outcome=ready) или до терминальной
// ошибки (outcome=failed, error.type = error_code). Время считает PostgreSQL одними часами для обеих точек.
// Граница 30 с совпадает с порогом SLO time-to-ready (infra/prometheus/rules/slo.yml).
export const timeToReady = meter.createHistogram('messenger.attachment.time_to_ready', {
unit: 's',
description: 'Time from durable upload acceptance to published ready (or terminal failure)',
advice: { explicitBucketBoundaries: [0.5, 1, 2, 5, 10, 15, 30, 60, 120, 300, 600] },
});
+184
View File
@@ -0,0 +1,184 @@
// Relay transactional outbox → RabbitMQ и восстановление зависшей работы. Работает в каждой реплике API.
// publishDue: строки outbox, у которых наступил available_at, блокируются FOR UPDATE SKIP LOCKED (две реплики
// не публикуют одну строку одновременно), публикуются с publisher confirm и только потом отмечаются.
// Падение после confirm, но до отметки → повторная публикация → дубль, который worker распознаёт по job.
// sweep: истёкшая аренда (worker умер/завис) → новая попытка или failed retry_exhausted; queued без живого
// сообщения (потеряно брокером, отброшено delivery-limit) → публикуется снова. Источник истины — БД.
// Lab6: каждое сообщение публикуется в PRODUCER span, дочернем к контексту строки outbox (запрос загрузки,
// попытка worker-а или, у sweeper, предыдущая публикация той же job), и несёт traceparent/tracestate этого span
// в теле (contracts/jobs.schema.json) — worker продолжает тот же trace. Здесь же метрики очереди по БД.
import { ROOT_CONTEXT, SpanKind, SpanStatusCode, context, trace, type Span } from '@opentelemetry/api';
import type { Pool, PoolClient, QueryConfig } from 'pg';
import type { JobsConfig } from '../config.ts';
import { failpoint } from '../failpoints.ts';
import { contextFrom, log, meter, traceCarrier, tracer } from '../otel.ts';
import { EXCHANGE, QUEUE, ROUTING_KEY, type Job, type Publisher } from './broker.ts';
import { JOB_TYPE, timeToReady } from './metrics.ts';
const BATCH = 100;
export function startRelay(db: Pool, publisher: Publisher, cfg: JobsConfig) {
let busy = false;
let again = false;
let failing = false; // лог ошибки брокера один раз на серию, а не каждые 500 мс
async function publishBatch(client: PoolClient): Promise<number> {
const r = await client.query(`SELECT o.id, o.attempt, o.traceparent, o.tracestate, rfc3339(o.created_at) AS created_at,
j.job_id, j.attachment_id, j.pipeline_version, a.filename
FROM outbox o JOIN jobs j ON j.job_id = o.job_id JOIN attachments a ON a.id = j.attachment_id
WHERE o.published_at IS NULL AND o.available_at <= clock_timestamp()
ORDER BY o.id LIMIT ${BATCH} FOR UPDATE OF o SKIP LOCKED`);
if (!r.rowCount) return 0;
const spans: Span[] = [];
const jobs: Job[] = r.rows.map((row) => {
const parent = contextFrom(row);
const span = tracer.startSpan(`publish ${EXCHANGE}`, {
kind: SpanKind.PRODUCER,
attributes: {
'messaging.system': 'rabbitmq', 'messaging.operation.type': 'send', 'messaging.operation.name': 'publish',
'messaging.destination.name': EXCHANGE, 'messaging.rabbitmq.destination.routing_key': ROUTING_KEY,
'messaging.message.id': `${row.job_id}:${row.attempt}`, 'messenger.job.id': row.job_id,
'messenger.job.attempt': row.attempt, 'messenger.attachment.id': row.attachment_id,
},
}, parent);
spans.push(span);
const { traceparent, tracestate } = traceCarrier(trace.setSpan(parent, span));
return {
schema_version: 1, job_id: row.job_id, type: JOB_TYPE, attachment_id: row.attachment_id,
pipeline_version: row.pipeline_version, attempt: row.attempt, created_at: row.created_at,
...(traceparent ? { traceparent } : {}), ...(tracestate ? { tracestate } : {}),
};
});
try {
await publisher.publish(jobs);
} catch (err) {
for (const span of spans) {
span.recordException({ name: (err as Error).name, message: 'Ошибка публикации' });
span.setStatus({ code: SpanStatusCode.ERROR, message: 'не опубликовано, строка остаётся в outbox' });
span.end();
}
throw err;
}
spans.forEach((span, i) => {
context.with(trace.setSpan(context.active(), span), () => log('info', 'job.published',
`job опубликована в ${EXCHANGE}, попытка ${jobs[i].attempt}`,
{ 'messenger.job.id': jobs[i].job_id, 'messenger.job.attempt': jobs[i].attempt, 'messenger.attachment.id': jobs[i].attachment_id }));
span.end();
});
for (const row of r.rows) await failpoint(db, 'relay_after_publish', row.attachment_id, row.filename);
await client.query('UPDATE outbox SET published_at = clock_timestamp() WHERE id = ANY($1::bigint[])', [r.rows.map((row) => row.id)]);
return r.rows.length;
}
async function publishDue(): Promise<void> {
if (busy) {
again = true;
return;
}
busy = true;
try {
do {
again = false;
const client = await db.connect();
try {
await client.query('BEGIN');
const n = await publishBatch(client);
await client.query('COMMIT');
if (failing) log('info', 'relay.publish_restored', 'relay: публикация восстановлена');
failing = false;
if (n === BATCH) again = true;
} catch (err) {
await client.query('ROLLBACK').catch(() => {});
if (!failing) log('warn', 'relay.publish_deferred', `relay: публикация отложена, задания ждут в outbox: ${(err as Error).message}`);
failing = true;
again = false;
} finally {
client.release();
}
} while (again);
} catch (err) {
if (!failing) log('error', 'relay.db_unavailable', `relay: нет соединения с БД: ${(err as Error).message}`);
failing = true;
} finally {
busy = false;
}
}
async function sweep(): Promise<void> {
let client: PoolClient | undefined;
let exhausted: { age: number }[] = [];
try {
client = await db.connect();
await client.query('BEGIN');
// Одна реплика за раз: остальные пропускают такт.
if ((await client.query('SELECT pg_try_advisory_xact_lock(5005) AS ok')).rows[0].ok) {
const r = await client.query(`WITH e AS (
UPDATE jobs SET state = CASE WHEN attempts >= $1 THEN 'failed' ELSE 'queued' END,
error_code = CASE WHEN attempts >= $1 THEN 'retry_exhausted' END,
lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp()
WHERE state = 'processing' AND lease_until < clock_timestamp()
RETURNING job_id, attachment_id, state, attempts, error_code, extract(epoch FROM clock_timestamp() - created_at)::float8 AS age),
s AS (UPDATE attachments a SET state = e.state, error_code = e.error_code, updated_at = clock_timestamp() FROM e
WHERE a.id = e.attachment_id AND a.pipeline_version IS NULL AND a.state IN ('queued', 'processing') RETURNING a.id),
o AS (INSERT INTO outbox (job_id, attempt, traceparent, tracestate)
SELECT e.job_id, e.attempts + 1, l.traceparent, l.tracestate FROM e
LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = e.job_id ORDER BY id DESC LIMIT 1) l ON true
WHERE e.state = 'queued')
SELECT e.state, e.age, s.id IS NOT NULL AS initial FROM e LEFT JOIN s ON s.id = e.attachment_id`, [cfg.maxAttempts]);
// Повторная публикация продолжает trace предыдущей: контекст копируется из последней строки outbox job.
const stale = await client.query(`INSERT INTO outbox (job_id, attempt, traceparent, tracestate)
SELECT j.job_id, j.attempts + 1, l.traceparent, l.tracestate FROM jobs j
LEFT JOIN LATERAL (SELECT traceparent, tracestate FROM outbox WHERE job_id = j.job_id ORDER BY id DESC LIMIT 1) l ON true
WHERE j.state = 'queued' AND NOT EXISTS (SELECT 1 FROM outbox o WHERE o.job_id = j.job_id
AND (o.published_at IS NULL OR o.published_at > clock_timestamp() - make_interval(secs => $1)))`, [cfg.republishSeconds]);
const requeued = r.rows.filter((row) => row.state === 'queued').length;
const failed = r.rows.filter((row) => row.state === 'failed');
exhausted = failed.filter((row) => row.initial);
if (requeued || failed.length || stale.rowCount) {
log('warn', 'sweeper.recovered', `sweeper: аренда истекла — повтор ${requeued}, failed ${failed.length}; переопубликовано queued ${stale.rowCount}`,
{ requeued, failed: failed.length, republished: stale.rowCount ?? 0 });
}
}
await client.query('COMMIT');
// Исчерпание попыток после смерти worker-ов — терминальная ошибка для SLO time-to-ready (после COMMIT).
for (const row of exhausted) timeToReady.record(row.age, { 'job.type': JOB_TYPE, outcome: 'failed', 'error.type': 'retry_exhausted' });
} catch (err) {
await client?.query('ROLLBACK').catch(() => {});
log('error', 'sweeper.error', `sweeper: ${(err as Error).message}`);
} finally {
client?.release();
}
if (!failing) void publishDue();
}
// Очередь по источнику истины (БД): видна и при остановленном worker (растёт возраст), и при недоступном брокере
// (копится outbox). Каждая реплика API сообщает одно и то же — в PromQL берётся max по репликам.
const attrs = { queue: QUEUE };
const backlog = meter.createObservableGauge('messenger.jobs.backlog', { unit: '{job}', description: 'Unfinished jobs by state' });
const oldest = meter.createObservableGauge('messenger.jobs.oldest_age', { unit: 's', description: 'Age of the oldest unfinished job since durable acceptance' });
const pending = meter.createObservableGauge('messenger.outbox.pending', { unit: '{message}', description: 'Outbox rows not yet confirmed by the broker' });
meter.addBatchObservableCallback(async (result) => {
try {
// query_timeout — на клиенте: statement_timeout сервера не сработает, если PostgreSQL заморожен; зависший сбор
// задержал бы экспорт всех метрик API и занял соединение пула. При ошибке пул закрывает это соединение.
const q = (await db.query({ query_timeout: 2000, text: `SELECT count(*) FILTER (WHERE state = 'queued')::int AS queued,
count(*) FILTER (WHERE state = 'processing')::int AS processing,
COALESCE(extract(epoch FROM clock_timestamp() - min(created_at)), 0)::float8 AS oldest,
(SELECT count(*)::int FROM outbox WHERE published_at IS NULL) AS pending
FROM jobs WHERE state IN ('queued', 'processing')` } as QueryConfig)).rows[0]; // query_timeout нет в @types/pg QueryConfig
result.observe(backlog, q.queued, { ...attrs, state: 'queued' });
result.observe(backlog, q.processing, { ...attrs, state: 'processing' });
result.observe(oldest, q.oldest, attrs);
result.observe(pending, q.pending, attrs);
} catch {
// БД недоступна: точек нет, на графике разрыв; причину покажут ошибки API и readiness.
}
}, [backlog, oldest, pending]);
const timers = [setInterval(publishDue, 500), setInterval(sweep, 5000)];
return {
// Вне контекста запроса: пакет может содержать задания разных загрузок, его SQL не относится к этому trace.
kick: () => context.with(ROOT_CONTEXT, () => void publishDue()),
stop: () => timers.forEach(clearInterval),
};
}
+84
View File
@@ -0,0 +1,84 @@
// Варианты изображения (libvips через sharp). Параметры зависят от версии pipeline; результат версии N
// всегда один и тот же набор: thumbnail, crop, optimized.
// thumbnail — JPEG, вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом,
// размеры округляются вниз (не меньше 1 px): 320×200 → 256×160;
// crop — JPEG, центрированный квадрат 128×128 (маленький исходник увеличивается);
// optimized — WebP, вписан в 1280×1280 без увеличения; метаданные (EXIF/XMP/ICC) не копируются — sharp
// по умолчанию их отбрасывает, цвета приводятся к sRGB.
// Ограничения: пиксели проверяются по заголовку до декодирования (limitInputPixels), время — timeout libvips,
// память — один поток libvips на процесс, без кэша операций, и лимит памяти контейнера worker.
import { createHash } from 'node:crypto';
import sharp, { type Sharp } from 'sharp';
sharp.cache(false);
sharp.concurrency(1);
export class PermanentError extends Error {
code: string;
constructor(code: string, message: string) {
super(message);
this.code = code;
}
}
// Версия 2 (трек 5): другое качество и лёгкая резкость — заметно иной результат той же логической работы.
const PIPELINES: Record<number, { jpeg: number; webp: number; sharpen: boolean }> = {
1: { jpeg: 82, webp: 80, sharpen: false },
2: { jpeg: 90, webp: 85, sharpen: true },
};
export const SUPPORTED_VERSIONS = Object.keys(PIPELINES).map(Number);
export type Rendered = {
name: 'thumbnail' | 'crop' | 'optimized';
content_type: 'image/jpeg' | 'image/webp';
ext: string;
data: Buffer;
width: number;
height: number;
size_bytes: number;
sha256: string;
};
export async function render(source: Buffer, version: number, maxPixels: number, timeoutSeconds: number): Promise<Rendered[]> {
const p = PIPELINES[version];
if (!p) throw new PermanentError('unsupported_pipeline', `pipeline v${version} не поддерживается`);
const input = () => sharp(source, { limitInputPixels: maxPixels, sequentialRead: true }).timeout({ seconds: timeoutSeconds });
try {
const meta = await input().metadata();
if (!meta.width || !meta.height || !['png', 'jpeg'].includes(meta.format ?? '')) throw new PermanentError('invalid_image', 'не PNG/JPEG');
const turned = (meta.orientation ?? 1) >= 5; // EXIF 5–8: после поворота ширина и высота меняются местами
const width = turned ? meta.height : meta.width;
const height = turned ? meta.width : meta.height;
const inside = (box: number) => {
const k = Math.min(box / width, box / height, 1);
return [Math.max(1, Math.floor(width * k)), Math.max(1, Math.floor(height * k))];
};
const [tw, th] = inside(256);
const [ow, oh] = inside(1280);
const oriented = () => {
const img = input().autoOrient();
return p.sharpen ? img.sharpen() : img;
};
return [
await output('thumbnail', oriented().flatten({ background: '#ffffff' }).resize(tw, th, { fit: 'fill' }).jpeg({ quality: p.jpeg, mozjpeg: true })),
await output('crop', oriented().flatten({ background: '#ffffff' }).resize(128, 128, { fit: 'cover', position: 'centre' }).jpeg({ quality: p.jpeg, mozjpeg: true })),
await output('optimized', oriented().resize(ow, oh, { fit: 'fill' }).webp({ quality: p.webp, effort: 4 })),
];
} catch (err) {
if (err instanceof PermanentError) throw err;
const message = (err as Error).message ?? '';
// Ошибки libvips — свойство входного файла: повтор не поможет.
throw /timeout/i.test(message)
? new PermanentError('processing_timeout', 'обработка дольше лимита')
: new PermanentError('invalid_image', message.split('\n')[0].slice(0, 200));
}
}
async function output(name: Rendered['name'], img: Sharp): Promise<Rendered> {
const { data, info } = await img.toBuffer({ resolveWithObject: true });
const webp = info.format === 'webp';
return {
name, content_type: webp ? 'image/webp' : 'image/jpeg', ext: webp ? 'webp' : 'jpg', data,
width: info.width, height: info.height, size_bytes: data.length, sha256: createHash('sha256').update(data).digest('hex'),
};
}
+340
View File
@@ -0,0 +1,340 @@
// Worker: отдельный процесс, читает quorum-очередь attachments.process (at least once, ручной ack).
// Порядок одной попытки — каждое окно отказа безопасно:
// 1. захват: jobs queued → processing, attempts+1, аренда с fencing-токеном (одна транзакция);
// 2. исходник из S3 (ключ — из БД, не из сообщения), сверка размера и SHA-256 с метаданными;
// 3. рендер вариантов; запись объектов под ключами с токеном попытки; копия оригинала staging → originals;
// 4. фиксация (одна транзакция): job done только у владельца аренды, вложение ready только если более новая
// версия ещё не опубликована, строки вариантов по ключу эффекта (attachment_id, pipeline_version, name);
// 5. удаление staging, затем ack.
// Падение до 4 — аренда истечёт, sweeper (relay) вернёт работу в очередь; чужие объекты попытки уберёт
// reconciler. Падение после 4 — redelivery видит job done и подтверждает без повторной работы.
// Lab6: сообщение обрабатывается в CONSUMER span, дочернем к PRODUCER span из traceparent сообщения (тот же trace,
// что и загрузка); внутри — spans захвата, S3, рендера и фиксации. Повтор сохраняет контекст попытки в outbox,
// поэтому следующие публикация и обработка продолжают этот trace.
import { createHash, randomUUID } from 'node:crypto';
import { setTimeout as sleep } from 'node:timers/promises';
import { SpanKind, SpanStatusCode, context, trace } from '@opentelemetry/api';
import type { ConsumeMessage } from 'amqplib';
import type { Pool } from 'pg';
import { envInt, jobsConfig, s3Config, secret } from '../config.ts';
import { createPool } from '../db.ts';
import { failpoint } from '../failpoints.ts';
import { contextFrom, flushTelemetry, inSpan, log, meter, traceCarrier, tracer } from '../otel.ts';
import { createStorage, type Storage } from '../storage/s3.ts';
import { QUEUE, brokerConnect, parseJob, type Job } from './broker.ts';
import { JOB_TYPE, jobDuration, timeToReady } from './metrics.ts';
import { PermanentError, render } from './render.ts';
type Claim = {
job: Job;
token: string;
attempts: number;
version: number;
initial: boolean; // первая обработка (вложение ещё не ready): публикуем оригинал, синхронизируем статус
a: { id: string; filename: string; staging_key: string; object_key: string; size_bytes: number; sha256: string };
};
// Исход обработки одного сообщения: атрибут span и метрики messenger.job.duration.
type Outcome = 'done' | 'retry' | 'failed' | 'noop' | 'discarded' | 'invalid' | 'error';
// Технические идентификаторы для логов/spans: нужны, чтобы найти конкретную загрузку (данные синтетические).
const ids = (c: Claim) => ({ 'messenger.job.id': c.job.job_id, 'messenger.job.attempt': c.attempts, 'messenger.attachment.id': c.a.id });
export async function runWorker(): Promise<void> {
const cfg = jobsConfig();
const concurrency = envInt('WORKER_CONCURRENCY', 2);
const maxPixels = envInt('MAX_IMAGE_PIXELS', 40000000);
const db = createPool(secret('DATABASE_URL'), concurrency + 2);
const s3 = createStorage(s3Config());
const conn = await connect();
let stopping = false;
// Потеря соединения или канала (в том числе consumer_timeout брокера) — выход; Docker перезапустит процесс,
// неподтверждённые сообщения брокер отдаст снова.
const lost = (what: string) => () => {
if (stopping) return;
log('error', 'worker.broker_lost', `${what} с брокером закрыт(о)`);
void flushTelemetry().finally(() => process.exit(1));
};
conn.on('close', lost('соединение'));
conn.on('error', (err) => log('error', 'worker.broker_error', `брокер: ${err.name}`));
const ch = await conn.createChannel();
ch.on('close', lost('канал'));
ch.on('error', (err) => log('error', 'worker.channel_error', `канал: ${err.name}`));
await ch.prefetch(concurrency); // не больше concurrency неподтверждённых сообщений на worker
const leaseSeconds = cfg.timeoutSeconds + 15;
let inflight = 0;
// Насыщение worker-а: занятые слоты и ёмкость (= prefetch) каждой реплики.
meter.createObservableGauge('messenger.worker.busy', { unit: '{job}', description: 'Jobs being processed now' })
.addCallback((r) => r.observe(inflight));
meter.createObservableGauge('messenger.worker.capacity', { unit: '{job}', description: 'Max concurrent jobs (prefetch)' })
.addCallback((r) => r.observe(concurrency));
const opts = { cfg, maxPixels, leaseSeconds };
const { consumerTag } = await ch.consume(QUEUE, (msg) => {
if (!msg) return; // очередь удалена или consumer отменён брокером
inflight++;
consume(db, s3, msg, opts)
.then(() => ch.ack(msg), async () => {
// Сюда попадают только сбои БД/брокера вне попытки (например, БД недоступна при захвате): вернуть позже.
await sleep(2000);
ch.nack(msg, false, true);
})
.finally(() => { inflight--; });
}, { noAck: false });
log('info', 'worker.started', `worker: очередь ${QUEUE}, prefetch ${concurrency}, попыток ${cfg.maxAttempts}, таймаут ${cfg.timeoutSeconds} с`);
const stop = async () => {
log('info', 'worker.stopping', 'SIGTERM: новые сообщения не принимаются, дожидаюсь текущих');
await ch.cancel(consumerTag).catch(() => {});
for (let i = 0; inflight && i < 100; i++) await sleep(100);
stopping = true;
await conn.close().catch(() => {});
await flushTelemetry();
process.exit(0);
};
process.on('SIGTERM', stop);
process.on('SIGINT', stop);
}
// Брокер недоступен при старте (рестарт брокера, worker поднят раньше) — ждать с backoff, а не падать в цикле.
async function connect() {
for (let delay = 1000; ; delay = Math.min(delay * 2, 15000)) {
try {
return await brokerConnect(5000);
} catch (err) {
log('warn', 'worker.broker_unavailable', `брокер недоступен (${(err as Error).name}), повтор через ${delay} мс`);
await sleep(delay);
}
}
}
type Opts = { cfg: ReturnType<typeof jobsConfig>; maxPixels: number; leaseSeconds: number };
// Одно сообщение — один CONSUMER span. Исключение (сбой вне попытки) пробрасывается: сообщение вернётся в очередь.
async function consume(db: Pool, s3: Storage, msg: ConsumeMessage, o: Opts): Promise<void> {
const job = parseJob(msg.content);
const parent = contextFrom(job ?? {});
const span = tracer.startSpan(`process ${QUEUE}`, {
kind: SpanKind.CONSUMER,
attributes: {
'messaging.system': 'rabbitmq', 'messaging.operation.type': 'process', 'messaging.destination.name': QUEUE,
'messaging.message.id': msg.properties.messageId ?? '', 'messenger.redelivered': msg.fields.redelivered,
...(job ? { 'messenger.job.id': job.job_id, 'messenger.job.attempt': job.attempt, 'messenger.attachment.id': job.attachment_id } : {}),
},
}, parent);
const ctx = trace.setSpan(parent, span);
const started = performance.now();
let outcome: Outcome = 'error';
try {
outcome = await context.with(ctx, () => handle(db, s3, job, o));
} catch (err) {
span.recordException({ name: (err as Error).name, message: 'Ошибка обработки' });
context.with(ctx, () => log('error', 'job.requeued', `job не обработан, вернётся в очередь: ${(err as Error).name}`,
{ 'messenger.job.id': job?.job_id ?? '' }));
throw err;
} finally {
if (!['done', 'noop', 'discarded'].includes(outcome)) span.setStatus({ code: SpanStatusCode.ERROR });
span.setAttribute('messenger.job.outcome', outcome);
span.end();
jobDuration.record((performance.now() - started) / 1000, { 'job.type': JOB_TYPE, outcome });
}
}
// Ошибка бизнес-уровня здесь не бросается: она переводит job в retry/failed, сообщение подтверждается.
async function handle(db: Pool, s3: Storage, job: Job | null, o: Opts): Promise<Outcome> {
if (!job) {
log('error', 'job.invalid_message', 'сообщение не по jobs.schema.json отброшено');
return 'invalid';
}
const claim = await inSpan('claim job', {}, () => claimJob(db, job, o.leaseSeconds));
if (!claim) return 'noop';
const written: string[] = [];
let reason = 'storage_unavailable'; // безопасная причина временной ошибки (в jobs.error_code, без текста исключения)
try {
await failpoint(db, 'worker_after_claim', claim.a.id, claim.a.filename); // до любого side effect
const source = await readSource(s3, claim);
const variants = await inSpan('render variants', { 'messenger.pipeline.version': claim.version, 'messenger.source.bytes': claim.a.size_bytes },
() => render(source, claim.version, o.maxPixels, o.cfg.timeoutSeconds));
for (const v of variants) {
// Токен попытки в ключе: проигравшая аренду попытка не перезапишет объекты победителя.
const key = `variants/${claim.a.id}/v${claim.version}/${v.name}-${claim.token.slice(0, 8)}.${v.ext}`;
await s3.putBuffer(key, v.data, v.content_type);
written.push(key);
}
if (claim.initial) await s3.copy(claim.a.staging_key, claim.a.object_key); // тот же ключ при повторе
await failpoint(db, 'worker_after_side_effect', claim.a.id, claim.a.filename);
reason = 'database_unavailable';
const age = await inSpan('commit result', {}, () => commit(db, claim, variants.map((v, i) => ({ ...v, key: written[i] }))));
if (age === null) {
await removeAll(s3, written);
return 'discarded';
}
await failpoint(db, 'worker_after_commit', claim.a.id, claim.a.filename); // результат зафиксирован, ack ещё нет
// Staging больше не нужен; если удаление не удалось, остаток уберёт reconciler.
if (claim.initial) {
await s3.remove(claim.a.staging_key).catch((err) => log('warn', 'job.staging_not_removed', `staging не удалён: ${err.name}`, ids(claim)));
timeToReady.record(age, { 'job.type': JOB_TYPE, outcome: 'ready' });
}
log('info', 'job.ready', `job v${claim.version} попытка ${claim.attempts}: ready через ${age.toFixed(2)} с после приёма`,
{ ...ids(claim), 'messenger.time_to_ready_s': Math.round(age * 1000) / 1000 });
return 'done';
} catch (err) {
await removeAll(s3, written);
return failOrRetry(db, claim, err, o.cfg, reason);
}
}
async function claimJob(db: Pool, job: Job, leaseSeconds: number): Promise<Claim | null> {
const client = await db.connect();
try {
await client.query('BEGIN');
const token = randomUUID();
// Захват только ожидаемой попытки: сообщение старой попытки (redelivery после падения) — no-op,
// живую аренду другого worker не трогаем — при его смерти работу вернёт sweeper.
const r = await client.query(`UPDATE jobs SET state = 'processing', attempts = attempts + 1, lease_token = $2,
lease_until = clock_timestamp() + make_interval(secs => $3), updated_at = clock_timestamp()
WHERE job_id = $1 AND attempts + 1 = $4
AND (state = 'queued' OR (state = 'processing' AND lease_until < clock_timestamp()))
RETURNING attachment_id, pipeline_version, attempts`, [job.job_id, token, leaseSeconds, job.attempt]);
if (!r.rowCount) {
await client.query('COMMIT');
const s = await db.query('SELECT state, attempts FROM jobs WHERE job_id = $1', [job.job_id]);
log('info', 'job.noop', `job попытка ${job.attempt}: no-op (${s.rows[0] ? `${s.rows[0].state}, попыток ${s.rows[0].attempts}` : 'неизвестная job'})`,
{ 'messenger.job.id': job.job_id, 'messenger.job.attempt': job.attempt });
return null;
}
const { attachment_id, pipeline_version, attempts } = r.rows[0];
const a = (await client.query(`SELECT id, filename, staging_key, object_key, size_bytes, sha256, state, pipeline_version
FROM attachments WHERE id = $1 FOR UPDATE`, [attachment_id])).rows[0];
// Результат этой или более новой версии уже опубликован: старая job не должна ничего перезаписать.
if (a.pipeline_version !== null && a.pipeline_version >= pipeline_version) {
await client.query(`UPDATE jobs SET state = 'superseded', lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp()
WHERE job_id = $1`, [job.job_id]);
await client.query('COMMIT');
log('info', 'job.superseded', `job v${pipeline_version}: superseded (опубликована v${a.pipeline_version})`, { 'messenger.job.id': job.job_id });
return null;
}
const initial = a.pipeline_version === null;
if (initial) await client.query(`UPDATE attachments SET state = 'processing', updated_at = clock_timestamp() WHERE id = $1 AND state = 'queued'`, [a.id]);
await client.query('COMMIT');
return { job, token, attempts, version: pipeline_version, initial, a };
} catch (err) {
await client.query('ROLLBACK').catch(() => {});
throw err;
} finally {
client.release();
}
}
// Исходник: при первой обработке — staging, при переобработке новой версией — опубликованный оригинал.
// Читается не больше size_bytes + 1 байт и сверяется с доверенными метаданными из БД.
async function readSource(s3: Storage, claim: Claim): Promise<Buffer> {
const body = await s3.get(claim.initial ? claim.a.staging_key : claim.a.object_key);
if (!body) throw new PermanentError('source_missing', 'исходник отсутствует в S3');
const chunks: Buffer[] = [];
let size = 0;
for await (const chunk of body) {
size += chunk.length;
if (size > claim.a.size_bytes) {
body.destroy();
break;
}
chunks.push(chunk);
}
const data = Buffer.concat(chunks);
if (size !== claim.a.size_bytes || createHash('sha256').update(data).digest('hex') !== claim.a.sha256) {
throw new PermanentError('source_corrupted', 'исходник не совпадает с метаданными');
}
return data;
}
type Stored = { name: string; content_type: string; size_bytes: number; width: number; height: number; sha256: string; key: string };
// Возвращает секунды от приёма загрузки (jobs.created_at) до публикации ready или null, если результат отброшен.
async function commit(db: Pool, claim: Claim, variants: Stored[]): Promise<number | null> {
const client = await db.connect();
try {
await client.query('BEGIN');
// Fencing: если аренда истекла и работу забрал другой worker, токен уже не совпадает.
const done = await client.query(`UPDATE jobs SET state = 'done', lease_token = NULL, lease_until = NULL, error_code = NULL,
updated_at = clock_timestamp() WHERE job_id = $1 AND lease_token = $2 AND state = 'processing'
RETURNING extract(epoch FROM clock_timestamp() - created_at)::float8 AS age`, [claim.job.job_id, claim.token]);
if (!done.rowCount) {
await client.query('ROLLBACK');
log('warn', 'job.lease_lost', `job попытка ${claim.attempts}: аренда потеряна, результат отброшен`, ids(claim));
return null;
}
const ready = await client.query(`UPDATE attachments SET state = 'ready', pipeline_version = $2, error_code = NULL, updated_at = clock_timestamp()
WHERE id = $1 AND (pipeline_version IS NULL OR pipeline_version < $2)`, [claim.a.id, claim.version]);
if (!ready.rowCount) {
await client.query(`UPDATE jobs SET state = 'superseded' WHERE job_id = $1`, [claim.job.job_id]);
await client.query('COMMIT');
log('info', 'job.superseded', `job v${claim.version}: superseded при фиксации`, ids(claim));
return null;
}
for (const v of variants) {
await client.query(`INSERT INTO attachment_variants (attachment_id, pipeline_version, name, object_key, content_type, size_bytes, width, height, sha256)
VALUES ($1, $2, $3, $4, $5, $6, $7, $8, $9)`, [claim.a.id, claim.version, v.name, v.key, v.content_type, v.size_bytes, v.width, v.height, v.sha256]);
}
await client.query('COMMIT');
return done.rows[0].age;
} catch (err) {
await client.query('ROLLBACK').catch(() => {});
throw err;
} finally {
client.release();
}
}
// Постоянная ошибка (свойство файла) → failed сразу. Временная → новая попытка через outbox с backoff и jitter,
// пока attempts < JOB_MAX_ATTEMPTS, затем failed retry_exhausted. Всё — только у владельца аренды.
// У job в error_code — последняя причина (и для queued), у вложения — только финальный код failed.
// Lab6: новая строка outbox несёт контекст текущего CONSUMER span — повтор продолжит тот же trace.
// Лог, исключение в span и метрика — только если UPDATE с fencing изменил job: проигравшая аренду попытка → discarded.
async function failOrRetry(db: Pool, claim: Claim, err: unknown, cfg: Opts['cfg'], reason: string): Promise<'retry' | 'failed' | 'discarded'> {
const permanent = err instanceof PermanentError ? err.code : null;
const exhausted = !permanent && claim.attempts >= cfg.maxAttempts;
const state = permanent || exhausted ? 'failed' : 'queued';
const code = permanent ?? (exhausted ? 'retry_exhausted' : null);
const delayMs = Math.min(60000, cfg.retryBaseMs * 2 ** (claim.attempts - 1)) * (0.5 + Math.random() / 2);
const { traceparent, tracestate } = traceCarrier();
const client = await db.connect();
try {
await client.query('BEGIN');
const r = await client.query(`UPDATE jobs SET state = $3, error_code = $4, lease_token = NULL, lease_until = NULL, updated_at = clock_timestamp()
WHERE job_id = $1 AND lease_token = $2 RETURNING extract(epoch FROM clock_timestamp() - created_at)::float8 AS age`,
[claim.job.job_id, claim.token, state, code ?? reason]);
if (r.rowCount) {
if (state === 'queued') {
await client.query(`INSERT INTO outbox (job_id, attempt, available_at, traceparent, tracestate)
VALUES ($1, $2, clock_timestamp() + make_interval(secs => $3), $4, $5)`, [claim.job.job_id, claim.attempts + 1, delayMs / 1000, traceparent, tracestate]);
}
if (claim.initial) {
await client.query(`UPDATE attachments SET state = $2, error_code = $3, updated_at = clock_timestamp()
WHERE id = $1 AND pipeline_version IS NULL AND state IN ('queued', 'processing')`, [claim.a.id, state, code]);
}
}
await client.query('COMMIT');
if (!r.rowCount) {
log('warn', 'job.lease_lost', `job попытка ${claim.attempts}: аренда потеряна, ошибка попытки отброшена`, ids(claim));
return 'discarded';
}
trace.getActiveSpan()?.recordException({ name: (err as Error).name, message: 'Ошибка задания' });
log(state === 'failed' ? 'error' : 'warn', state === 'failed' ? 'job.failed' : 'job.retry',
`job попытка ${claim.attempts}: ${(err as Error).name} → ${state}${code ? ` ${code}` : `, повтор через ${Math.round(delayMs)} мс`}`,
{ ...ids(claim), 'error.type': code ?? reason });
if (state === 'failed' && claim.initial) {
timeToReady.record(r.rows[0].age, { 'job.type': JOB_TYPE, outcome: 'failed', 'error.type': code ?? reason });
}
return state === 'failed' ? 'failed' : 'retry';
} catch (e) {
await client.query('ROLLBACK').catch(() => {});
throw e; // job останется processing: аренда истечёт и sweeper вернёт её
} finally {
client.release();
}
}
async function removeAll(s3: Storage, keys: string[]): Promise<void> {
for (const key of keys) await s3.remove(key).catch(() => {}); // остаток уберёт reconciler
}
+106
View File
@@ -0,0 +1,106 @@
// Точка входа мессенджера (лабораторная 7).
// Реплика не хранит состояния: пользователи, сессии, чаты, сообщения, ключи идемпотентности, метаданные
// вложений и задания (jobs, outbox) — в PostgreSQL, байты — в S3, поэтому запрос может обслужить любая реплика.
// node src/main.ts — HTTPS-сервер + relay outbox → RabbitMQ (src/jobs/relay.ts)
// node src/main.ts worker — обработка изображений из очереди (src/jobs/worker.ts, сервис worker)
// api и worker запускаются с --import ./src/telemetry.ts (OpenTelemetry SDK, см. Dockerfile и compose.yaml).
// node src/main.ts jobs … — операторские команды: failed | replay <id> | reprocess --version=N
// node src/main.ts migrate — однократный прогон миграций (сервис migrate)
// node src/main.ts s3-init — идемпотентное создание приватного bucket ключом администратора (сервис s3-init)
// node src/main.ts reconcile — сверка БД ↔ S3, параметры в src/reconcile.ts (сервис reconciler)
import { createServer } from 'node:https';
import { createServer as localServer } from 'node:http';
import { setTimeout as sleep } from 'node:timers/promises';
import { readFileSync } from 'node:fs';
import { loadServiceSecrets, serviceTls } from './security.ts';
import { createApp } from './app.ts';
import { envInt, loadConfig, s3Config, secret } from './config.ts';
import { createPool, migrate } from './db.ts';
import { adminCommand } from './jobs/admin.ts';
import { createPublisher } from './jobs/broker.ts';
import { startRelay } from './jobs/relay.ts';
import { runWorker } from './jobs/worker.ts';
import { flushTelemetry, log } from './otel.ts';
import { reconcileCommand } from './reconcile.ts';
import { createStorage } from './storage/s3.ts';
async function serve(): Promise<void> {
const config = loadConfig();
const db = createPool(config.databaseUrl, config.dbPoolMax);
const relay = startRelay(db, createPublisher(), config.jobs);
const app = createApp(db, createStorage(config.s3), config, relay);
const server = createServer({
...serviceTls(), requestCert: true,
crl: readFileSync('/run/pki/crl.pem'),
}, app.handle);
server.prependListener('secureConnection', (socket) => {
if (socket.getPeerCertificate().subjectaltname !== 'DNS:lb-client') socket.destroy();
});
const health = localServer((_req, res) => res.writeHead(app.state.ready ? 204 : 503).end()).listen(8081, '127.0.0.1');
server.headersTimeout = 5000;
server.requestTimeout = 60000; // 10 MiB на медленном канале; grace reconciler-а (15 мин) заведомо больше
server.keepAliveTimeout = 60000;
server.listen(config.port, config.host, () =>
log('info', 'server.started', `реплика ${config.instanceId} слушает :${config.port}, пул БД ${config.dbPoolMax}`));
// Graceful shutdown: сначала readiness → 503 и пауза drain, пока LB не исключит реплику (fall × inter),
// при этом запросы ещё обслуживаются; затем перестаём принимать соединения и дожидаемся текущих запросов.
const stop = (signal: string) => {
if (!app.state.ready) return;
log('info', 'server.draining', `${signal}: readiness=503, drain ${config.shutdownDrainMs} мс`);
app.state.ready = false;
relay.stop();
health.close();
setTimeout(() => {
server.close(async () => {
await db.end();
log('info', 'server.stopped', 'остановлена');
await flushTelemetry(); // последние spans/логи/метрики — до выхода процесса
process.exit(0);
});
server.closeIdleConnections();
setTimeout(() => process.exit(1), 10000).unref(); // страховка от зависшего запроса
}, config.shutdownDrainMs);
};
process.on('SIGTERM', () => stop('SIGTERM'));
process.on('SIGINT', () => stop('SIGINT'));
}
// S3 может стартовать позже: повторяем до 30 с. Повторный запуск на готовом bucket ничего не меняет.
async function s3Init(): Promise<void> {
const storage = createStorage(s3Config());
for (let attempt = 1; ; attempt++) {
try {
console.log(`bucket ${storage.bucket}: ${await storage.createBucket()}`); // вывод проверяет scripts/check-s3-security.sh
return;
} catch (err) {
if (attempt >= 30) throw err;
await sleep(1000);
}
}
}
const command = process.argv[2];
if (process.env.BAO_ROLE) {
try {
await loadServiceSecrets(process.env.BAO_ROLE);
} catch {
log('error', 'secrets.startup_denied', 'OpenBao не выдал credentials');
process.exit(1);
}
}
if (command === 'migrate') {
await migrate(secret('DATABASE_URL'));
} else if (command === 's3-init') {
await s3Init();
} else if (command === 'worker') {
await runWorker();
} else if (command === 'jobs') {
const db = createPool(secret('DATABASE_URL'), 2);
await adminCommand(db, process.argv.slice(3));
await db.end();
} else if (command === 'reconcile') {
await reconcileCommand(process.argv.slice(3), envInt('RECONCILE_GRACE_SECONDS', 900), envInt('STAGING_RETENTION_SECONDS', 86400));
} else {
await serve();
}
+57
View File
@@ -0,0 +1,57 @@
-- Начальная схема мессенджера. Источник истины для всех реплик API.
CREATE TABLE users (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
username text NOT NULL UNIQUE,
display_name text NOT NULL,
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
-- Хранится только sha256(токена): дамп БД не содержит рабочих Bearer-токенов.
CREATE TABLE sessions (
token_hash bytea PRIMARY KEY,
user_id uuid NOT NULL REFERENCES users (id),
expires_at timestamptz NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
title text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats (id),
user_id uuid NOT NULL REFERENCES users (id),
position int NOT NULL,
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id),
sender_id uuid NOT NULL REFERENCES users (id),
text text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id);
-- Ключи идемпотентности: область = пользователь + метод + путь + ключ.
-- Строка вставляется тем же SQL-оператором, что и сообщение (атомарно).
-- ponytail: ключи не удаляются (контракт требует >= 24 ч); при росте таблицы добавить периодический DELETE.
CREATE TABLE idempotency_keys (
user_id uuid NOT NULL,
method text NOT NULL,
path text NOT NULL,
key text NOT NULL,
request_hash bytea NOT NULL,
message_id uuid NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
PRIMARY KEY (user_id, method, path, key)
);
-- RFC 3339 UTC с микросекундами: формат ответа API и точная позиция keyset-cursor.
CREATE FUNCTION rfc3339(timestamptz) RETURNS text LANGUAGE sql STABLE AS
$$ SELECT to_char($1 AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS.US"Z"') $$;
+38
View File
@@ -0,0 +1,38 @@
-- Вложения (lab4). Только добавление схемы: версия lab3 продолжает работать на этой схеме.
-- Метаданные — здесь, байты — в приватном S3-bucket под ключом object_key, который назначает сервер.
-- pending — запись-намерение: создаётся ДО загрузки байтов, поэтому у любого объекта в S3 сначала есть строка;
-- ready — объект загружен и проверен, метаданные описывают оригинал;
-- lost — reconciler не нашёл объект или он не совпал по размеру/SHA-256: вложение скрыто из API (404),
-- ссылки в сообщениях сохраняются, при возврате правильного объекта reconciler вернёт ready.
CREATE TABLE attachments (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id),
owner_id uuid NOT NULL REFERENCES users (id),
filename text NOT NULL,
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
-- Побайтовая сортировка совпадает с порядком ListObjectsV2: reconciler сливает два отсортированных потока.
object_key text COLLATE "C" NOT NULL UNIQUE,
state text NOT NULL DEFAULT 'pending' CHECK (state IN ('pending', 'ready', 'lost')),
size_bytes integer CHECK (size_bytes > 0),
sha256 text CHECK (sha256 ~ '^[0-9a-f]{64}$'),
width integer,
height integer,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
UNIQUE (chat_id, id), -- цель составного FK из message_attachments
CHECK (state = 'pending' OR (size_bytes IS NOT NULL AND sha256 IS NOT NULL))
);
-- Поиск зависших загрузок reconciler-ом.
CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE state = 'pending';
-- Вложения сообщения. FK (chat_id, attachment_id) → attachments (chat_id, id): БД не даст прикрепить вложение
-- чужого чата и не даст удалить метаданные вложения, на которое ссылается сообщение (NO ACTION).
CREATE TABLE message_attachments (
message_id uuid NOT NULL REFERENCES messages (id),
chat_id uuid NOT NULL,
attachment_id uuid NOT NULL,
position int NOT NULL,
PRIMARY KEY (message_id, attachment_id),
FOREIGN KEY (chat_id, attachment_id) REFERENCES attachments (chat_id, id)
);
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id, chat_id);
+74
View File
@@ -0,0 +1,74 @@
-- Фоновая обработка вложений (lab5). Только добавление: версия lab4 продолжает работать на этой схеме.
-- Состояния вложения: pending (байты ещё принимаются) → queued (оригинал устойчиво в staging, задание
-- сохранено) → processing → ready | failed; lost — карантин reconciler (объект пропал или повреждён).
ALTER TABLE attachments DROP CONSTRAINT attachments_state_check;
ALTER TABLE attachments ADD CONSTRAINT attachments_state_check
CHECK (state IN ('pending', 'queued', 'processing', 'ready', 'failed', 'lost'));
ALTER TABLE attachments
ADD COLUMN staging_key text COLLATE "C" UNIQUE, -- staging/<id>: принятый оригинал до публикации worker-ом
ADD COLUMN pipeline_version int, -- версия pipeline опубликованного результата (ready)
ADD COLUMN error_code text; -- машинный код failed, без деталей
-- Логическая работа: одна на (вложение, версия pipeline). job_id не меняется при повторах и redelivery.
CREATE TABLE jobs (
job_id uuid PRIMARY KEY,
attachment_id uuid NOT NULL REFERENCES attachments (id),
pipeline_version int NOT NULL,
state text NOT NULL DEFAULT 'queued'
CHECK (state IN ('queued', 'processing', 'done', 'failed', 'superseded')),
attempts int NOT NULL DEFAULT 0, -- начатые попытки (успешные захваты аренды)
lease_token uuid, -- fencing: результат фиксирует только владелец аренды
lease_until timestamptz,
error_code text,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
UNIQUE (attachment_id, pipeline_version)
);
CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE state = 'processing';
CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE state = 'queued';
-- Transactional outbox: строка пишется в одной транзакции с изменением состояния, relay публикует её
-- в брокер после COMMIT и только после publisher confirm отмечает published_at.
CREATE TABLE outbox (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
job_id uuid NOT NULL REFERENCES jobs (job_id),
attempt int NOT NULL,
available_at timestamptz NOT NULL DEFAULT clock_timestamp(), -- момент после backoff повтора
published_at timestamptz,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE INDEX outbox_due_idx ON outbox (available_at) WHERE published_at IS NULL;
CREATE INDEX outbox_job_idx ON outbox (job_id, created_at);
-- Результат обработки. Ключ эффекта (attachment_id, pipeline_version, name): повтор той же job
-- не может создать второй набор вариантов.
CREATE TABLE attachment_variants (
attachment_id uuid NOT NULL REFERENCES attachments (id),
pipeline_version int NOT NULL,
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
object_key text COLLATE "C" NOT NULL UNIQUE,
content_type text NOT NULL,
size_bytes int NOT NULL,
width int NOT NULL,
height int NOT NULL,
sha256 text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
PRIMARY KEY (attachment_id, pipeline_version, name)
);
-- Аудит операторского replay failed → queued.
CREATE TABLE job_replays (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
job_id uuid NOT NULL REFERENCES jobs (job_id),
previous_error text,
previous_attempts int NOT NULL,
replayed_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
-- Учебный fault-injection (src/failpoints.ts): точка срабатывает один раз на вложение. Пусто, если FAILPOINTS выключены.
CREATE TABLE failpoint_hits (
name text NOT NULL,
attachment_id uuid NOT NULL,
hit_at timestamptz NOT NULL DEFAULT clock_timestamp(),
PRIMARY KEY (name, attachment_id)
);
+6
View File
@@ -0,0 +1,6 @@
-- Lab6: W3C trace context задания. Строка outbox хранит контекст того, кто поставил попытку в очередь
-- (upload, worker при повторе, sweeper — копия предыдущей), relay кладёт его в сообщение (traceparent/tracestate
-- из contracts/jobs.schema.json). Только добавление nullable-столбцов: код lab5 продолжает работать на этой схеме.
ALTER TABLE outbox
ADD COLUMN traceparent text,
ADD COLUMN tracestate text;
+47
View File
@@ -0,0 +1,47 @@
DO $$
BEGIN
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'api') THEN CREATE ROLE api LOGIN; END IF;
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'worker') THEN CREATE ROLE worker LOGIN; END IF;
IF NOT EXISTS (SELECT FROM pg_roles WHERE rolname = 'reconciler') THEN CREATE ROLE reconciler LOGIN; END IF;
END $$;
REVOKE CREATE ON SCHEMA public FROM PUBLIC;
REVOKE TEMPORARY ON DATABASE messenger FROM PUBLIC;
GRANT USAGE ON SCHEMA public TO api, worker, reconciler;
GRANT SELECT, INSERT ON users TO api;
GRANT UPDATE (password_hash) ON users TO api;
GRANT SELECT, INSERT, DELETE ON sessions TO api;
GRANT SELECT, INSERT ON chats, chat_members, messages, message_attachments TO api;
GRANT SELECT, INSERT, UPDATE, DELETE ON idempotency_keys, attachments TO api;
GRANT SELECT ON attachment_variants TO api;
GRANT SELECT, INSERT ON failpoint_hits TO api;
GRANT SELECT, INSERT, UPDATE ON jobs, outbox TO api;
GRANT USAGE ON SEQUENCE outbox_id_seq TO api, worker;
GRANT SELECT ON jobs TO worker;
GRANT UPDATE (state, attempts, lease_token, lease_until, error_code, updated_at) ON jobs TO worker;
GRANT SELECT (id, filename, staging_key, object_key, size_bytes, sha256, state, pipeline_version) ON attachments TO worker;
GRANT UPDATE (state, error_code, updated_at, pipeline_version) ON attachments TO worker;
GRANT INSERT, UPDATE, SELECT ON attachment_variants TO worker;
GRANT INSERT ON outbox, failpoint_hits TO worker;
GRANT SELECT ON failpoint_hits TO worker;
GRANT SELECT ON attachments, attachment_variants TO reconciler;
GRANT UPDATE (state, updated_at, staging_key), DELETE ON attachments TO reconciler;
CREATE TABLE login_rate (singleton boolean PRIMARY KEY CHECK (singleton), window_start timestamptz NOT NULL, attempts int NOT NULL);
INSERT INTO login_rate VALUES (true, '-infinity', 0);
CREATE FUNCTION login_budget() RETURNS int LANGUAGE plpgsql SECURITY DEFINER SET search_path = pg_catalog, public AS $$
DECLARE
tick timestamptz := date_bin('10 seconds', statement_timestamp(), '2000-01-01'::timestamptz);
used int;
BEGIN
UPDATE public.login_rate
SET attempts = CASE WHEN window_start < tick THEN 1 ELSE attempts + 1 END, window_start = tick
WHERE singleton AND (window_start < tick OR attempts < 30)
RETURNING attempts INTO used;
IF FOUND THEN RETURN 0; END IF;
RETURN greatest(1, ceil(extract(epoch FROM tick + interval '10 seconds' - clock_timestamp()))::int);
END $$;
REVOKE ALL ON FUNCTION login_budget() FROM PUBLIC;
GRANT EXECUTE ON FUNCTION login_budget() TO api;
+182
View File
@@ -0,0 +1,182 @@
// Вложения: приём PNG/JPEG в устойчивый staging, фоновая обработка worker-ом, скачивание только через API.
//
// Приём (lab5): ответ 202 означает, что устойчиво сохранено всё, что нужно для завершения работы без клиента:
// 1. INSERT строки pending (запись-намерение с ключами staging и оригинала) — COMMIT;
// 2. поток байтов: клиент → проверка формата + SHA-256 → S3 staging/<id>;
// 3. одна транзакция: pending → queued, job и строка outbox (transactional outbox) — COMMIT → 202.
// Брокер в этот момент не нужен: relay (src/jobs/relay.ts) опубликует задание после COMMIT, даже если брокер
// поднимется позже. Ошибка на шагах 2–3 → компенсация; падение процесса → pending-строку уберёт reconciler.
// Lab6: строка outbox запоминает trace context запроса загрузки — publish и обработка worker-ом продолжат этот trace.
import { createHash, randomUUID } from 'node:crypto';
import { Transform } from 'node:stream';
import { failpoint } from '../failpoints.ts';
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, conflict, notFound, tooLarge, unavailable, unsupported } from '../http/errors.ts';
import { isText, mediaType, uuidParam } from '../http/request.ts';
import { log, traceCarrier } from '../otel.ts';
import { requireMember } from './chats.ts';
import { imageValidator, type Dimensions } from './images.ts';
import type { User } from './model.ts';
import { authenticate } from './sessions.ts';
const FORBIDDEN_IN_FILENAME = /[/\\\p{Cc}]/u; // разделители путей, NUL и управляющие символы C0/C1
const VARIANTS = ['thumbnail', 'crop', 'optimized'];
// Варианты — опубликованной версии pipeline; у queued/processing/failed их нет.
const columns = `a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes, a.sha256, a.state AS status, a.error_code,
rfc3339(a.created_at) AS created_at, rfc3339(a.updated_at) AS updated_at,
COALESCE((SELECT json_agg(json_build_object('name', v.name, 'content_type', v.content_type, 'size_bytes', v.size_bytes,
'width', v.width, 'height', v.height, 'sha256', v.sha256) ORDER BY v.name)
FROM attachment_variants v WHERE v.attachment_id = a.id AND v.pipeline_version = a.pipeline_version), '[]') AS variants`;
const VISIBLE = `('queued', 'processing', 'ready', 'failed')`; // pending ещё не принято, lost — в карантине
type Row = Record<string, unknown> & { object_key?: string; pipeline_version?: number | null };
// Ключи объектов и внутренняя версия pipeline наружу не отдаются.
const view = ({ object_key: _, pipeline_version: __, ...row }: Row) => row;
// POST /api/v1/chats/{chat_id}/attachments?filename=… — сырые байты одного PNG/JPEG → 202 queued.
// Все лимиты проверяются до чтения тела; тело не буферизуется целиком ни в памяти, ни на диске API.
export async function uploadAttachment(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const chatId = await requireMember(c, user);
const filename = c.url.searchParams.get('filename');
if (!isText(filename, 1, 255) || FORBIDDEN_IN_FILENAME.test(filename)) {
throw badRequest('filename: 1–255 символов, без / \\ и управляющих символов');
}
const type = mediaType(c.req);
if (type !== 'image/png' && type !== 'image/jpeg') throw unsupported('Ожидается image/png или image/jpeg');
const declared = c.req.headers['content-length'];
if (declared === undefined || !/^\d+$/.test(declared)) throw badRequest('Нужен Content-Length: файл передаётся потоком в S3');
const length = Number(declared);
if (length > c.config.maxUploadBytes) throw tooLarge(`Файл больше ${c.config.maxUploadBytes} байт`);
if (length === 0) throw unsupported('Пустое тело не является изображением');
const id = randomUUID();
const staging = `staging/${id}`; // filename только для отображения и в ключи не попадает
await c.db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, staging_key)
VALUES ($1, $2, $3, $4, $5, $6, $7)`, [id, chatId, user.id, filename, type, `originals/${id}`, staging]);
let row: Row;
try {
const dims = await store(c, staging, type, length);
await failpoint(c.db, 'api_after_staging', id, filename); // байты в staging, задания ещё нет
row = await accept(c, id, length, dims);
} catch (err) {
void discard(c, id, staging); // в фоне: при зависшем S3 клиент не ждёт ещё и DELETE
throw err;
}
await failpoint(c.db, 'api_after_commit', id, filename); // задание в outbox, публикации ещё не было
c.relay.kick();
return [202, view(row)];
}
// pending → queued + job + outbox одной транзакцией: после COMMIT работа не теряется при падении API.
async function accept(c: Ctx, id: string, length: number, dims: { sha256: string; width: number; height: number }): Promise<Row> {
const client = await c.db.connect();
try {
await client.query('BEGIN');
const r = await client.query(`UPDATE attachments AS a SET state = 'queued', size_bytes = $2, sha256 = $3, width = $4, height = $5,
updated_at = clock_timestamp() WHERE a.id = $1 AND a.state = 'pending' RETURNING ${columns}`, [id, length, dims.sha256, dims.width, dims.height]);
if (!r.rowCount) throw unavailable('Загрузка не завершилась вовремя'); // строку уже убрал reconciler
const { traceparent, tracestate } = traceCarrier();
await client.query(`WITH j AS (INSERT INTO jobs (job_id, attachment_id, pipeline_version) VALUES (gen_random_uuid(), $1, $2) RETURNING job_id)
INSERT INTO outbox (job_id, attempt, traceparent, tracestate) SELECT job_id, 1, $3, $4 FROM j`, [id, c.config.jobs.pipelineVersion, traceparent, tracestate]);
await client.query('COMMIT');
return r.rows[0];
} catch (err) {
await client.query('ROLLBACK').catch(() => {});
throw err;
} finally {
client.release();
}
}
// Клиент → проверка + SHA-256 → S3. Обратное давление: пока S3 не принял кусок, следующий не читается из сокета,
// поэтому память на загрузку не зависит от размера файла. Последний кусок уходит в S3 только после полной
// проверки файла: S3 не получит все Content-Length байт невалидного изображения, и объект не создастся.
async function store(c: Ctx, key: string, type: 'image/png' | 'image/jpeg', length: number) {
const check = imageValidator(type, c.config.maxImagePixels);
const hash = createHash('sha256');
const abort = new AbortController();
let received = 0;
let dims: Dimensions | undefined;
let failure: unknown;
const fail = (err: unknown) => {
failure ??= err;
abort.abort();
};
const body = new Transform({
transform(chunk: Buffer, _encoding, done) {
received += chunk.length;
hash.update(chunk);
check.write(chunk)
.then(async () => { if (received === length) dims = await check.end(); })
.then(() => done(null, chunk), done);
},
});
body.on('error', fail);
c.req.on('close', () => { if (!c.req.complete) fail(badRequest('Загрузка прервана клиентом')); });
c.req.pipe(body);
try {
await c.s3.put(key, body, length, type, abort.signal);
if (failure) throw failure;
if (!dims) throw new Error('S3 принял объект до конца проверки');
return { sha256: hash.digest('hex'), ...dims };
} catch (err) {
// Остаток тела читаем и выбрасываем: иначе ответ с ошибкой не дойдёт до клиента, который ещё отправляет файл.
c.req.unpipe(body);
c.req.resume();
body.destroy();
check.close();
throw failure ?? err;
}
}
// Компенсация неудачной загрузки. Объект удаляется, только если строка точно не стала queued: при
// неоднозначной ошибке COMMIT (соединение оборвалось) строка могла зафиксироваться, и байты нужны worker-у.
// Сбой здесь не теряет учёт: останется pending-строка с ключом staging, её подберёт reconciler.
async function discard(c: Ctx, id: string, key: string): Promise<void> {
try {
const deleted = await c.db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'`, [id]);
if (!deleted.rowCount && (await c.db.query('SELECT 1 FROM attachments WHERE id = $1', [id])).rowCount) return;
await c.s3.remove(key);
} catch (err) {
log('warn', 'attachment.compensation_failed', `компенсация вложения не завершена, остаток уберёт reconciler: ${(err as Error).message}`, { 'attachment.id': id });
}
}
// Вложение доступно только участникам его чата; постороннему — тот же 404, что и для несуществующего.
async function findVisible(c: Ctx, user: User): Promise<Row & { object_key: string }> {
const r = await c.db.query(`SELECT ${columns}, a.object_key, a.pipeline_version FROM attachments a
JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2
WHERE a.id = $1 AND a.state IN ${VISIBLE}`, [uuidParam(c, 'attachment_id'), user.id]);
if (!r.rowCount) throw notFound();
return r.rows[0];
}
// GET /api/v1/attachments/{attachment_id} — снимок статуса; клиент опрашивает до ready/failed.
export async function getAttachment(c: Ctx): Promise<Result> {
return [200, view(await findVisible(c, await authenticate(c)))];
}
// GET /api/v1/attachments/{attachment_id}/content[?variant=original|thumbnail|crop|optimized] — байты потоком из S3.
// queued/processing/failed — 409; отсутствующий вариант ready-объекта — 404; без redirect.
export async function downloadAttachment(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const variant = c.url.searchParams.get('variant') ?? 'original';
if (variant !== 'original' && !VARIANTS.includes(variant)) throw badRequest('Неизвестный variant');
const row = await findVisible(c, user);
if (row.status !== 'ready') throw conflict(row.status === 'failed' ? 'Обработка вложения завершилась ошибкой' : 'Вложение ещё обрабатывается');
let target = { key: row.object_key, type: row.content_type as string, size: row.size_bytes as number };
if (variant !== 'original') {
const v = await c.db.query(`SELECT object_key, content_type, size_bytes FROM attachment_variants
WHERE attachment_id = $1 AND pipeline_version = $2 AND name = $3`, [row.id, row.pipeline_version, variant]);
if (!v.rowCount) throw notFound();
target = { key: v.rows[0].object_key, type: v.rows[0].content_type, size: v.rows[0].size_bytes };
}
const body = await c.s3.get(target.key);
if (!body) {
log('error', 'attachment.object_missing', `объект ${variant} вложения отсутствует в S3`, { 'attachment.id': row.id as string }); // reconciler пометит оригинал lost
throw notFound();
}
return [200, body, { 'Content-Type': target.type, 'Content-Length': target.size, 'X-Content-Type-Options': 'nosniff' }];
}
+68
View File
@@ -0,0 +1,68 @@
// Чаты: создание, список чатов пользователя, один чат, проверка членства.
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, notFound } from '../http/errors.ts';
import { afterCursor, limitOf, page } from '../http/pagination.ts';
import { UUID, isText, jsonObject, readJson, uuidParam } from '../http/request.ts';
import { authenticate } from './sessions.ts';
import type { User } from './model.ts';
// Чаты, где состоит пользователь $1; member_ids в порядке, заданном при создании.
const chatSelect = `SELECT c.id, c.title, rfc3339(c.created_at) AS created_at,
(SELECT array_agg(m.user_id::text ORDER BY m.position) FROM chat_members m WHERE m.chat_id = c.id) AS member_ids
FROM chats c JOIN chat_members me ON me.chat_id = c.id AND me.user_id = $1 `;
// chat_id из пути, если пользователь — участник. Постороннему тот же 404, что и для несуществующего чата.
export async function requireMember(c: Ctx, user: User): Promise<string> {
const chatId = uuidParam(c, 'chat_id');
const r = await c.db.query({
name: 'member',
text: 'SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2',
values: [chatId, user.id],
});
if (!r.rowCount) throw notFound();
return chatId;
}
// POST /api/v1/chats: участники фиксируются при создании и обязательно включают создателя.
export async function createChat(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const b = jsonObject(await readJson(c.req), ['title', 'member_ids']);
const ids = b.member_ids;
if (!isText(b.title, 1, 100) || !Array.isArray(ids) || ids.length < 1 || ids.length > 100
|| !ids.every((id) => typeof id === 'string' && UUID.test(id))) {
throw badRequest('Неверные title или member_ids');
}
const members = ids.map((id: string) => id.toLowerCase());
if (new Set(members).size !== members.length || !members.includes(user.id)) {
throw badRequest('member_ids должны быть уникальны и включать создателя');
}
try {
// Один оператор = одна транзакция: при неизвестном участнике сработает FK и не создастся ничего.
const r = await c.db.query(`WITH c AS (INSERT INTO chats (title) VALUES ($1) RETURNING id, title, created_at),
m AS (INSERT INTO chat_members (chat_id, user_id, position)
SELECT c.id, t.u::uuid, t.o FROM c, unnest($2::text[]) WITH ORDINALITY AS t(u, o))
SELECT id, title, rfc3339(created_at) AS created_at FROM c`, [b.title, members]);
return [201, { ...r.rows[0], member_ids: members }];
} catch (err) {
if ((err as { code?: string }).code === '23503') throw badRequest('Неизвестный участник'); // foreign_key_violation
throw err;
}
}
// GET /api/v1/chats: только чаты текущего пользователя, cursor привязан к пользователю.
export async function listChats(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const limit = limitOf(c.url);
const [ts, id] = afterCursor(c.url, 'c', user.id);
const r = await c.db.query(chatSelect + 'WHERE (c.created_at, c.id) > ($2, $3::uuid) ORDER BY c.created_at, c.id LIMIT $4',
[user.id, ts, id, limit + 1]);
return [200, page(r.rows, limit, 'c', user.id)];
}
// GET /api/v1/chats/{chat_id}
export async function getChat(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const r = await c.db.query(chatSelect + 'WHERE c.id = $2', [user.id, uuidParam(c, 'chat_id')]);
if (!r.rowCount) throw notFound();
return [200, r.rows[0]];
}
+411
View File
@@ -0,0 +1,411 @@
// Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла.
// Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу.
// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, длина PLTE; поток zlib распаковывается с подсчётом байтов
// (вывод выбрасывается, смотрится только байт фильтра 0–4 в начале каждой строки) и сверяется с объёмом,
// который следует из размеров и формата пикселя.
// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI и те же проверки заголовков, на которых
// останавливается libjpeg-turbo (декодер Pillow и браузеров): 8 бит, 1/3/4 компонента, прореживание, таблицы
// DQT/DHT для каждого скана, параметры SOS; скан не пустой. Энтропийные данные не декодируются — битый
// Huffman-код libjpeg тоже считает лишь предупреждением.
// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста
// (у JPEG ещё сегмент заголовка, ≤ 64 KiB).
import { finished } from 'node:stream/promises';
import { createInflate, crc32 } from 'node:zlib';
import { tooLarge, unsupported } from '../http/errors.ts';
export type Dimensions = { width: number; height: number };
export type ImageValidator = {
write(chunk: Buffer): Promise<void>;
end(): Promise<Dimensions>; // весь файл получен; бросает 415, если он обрезан
close(): void; // освободить ресурсы при обрыве загрузки
};
const broken = (why: string) => unsupported(`Содержимое не является корректным изображением: ${why}`);
export function imageValidator(type: 'image/png' | 'image/jpeg', maxPixels: number): ImageValidator {
return type === 'image/png' ? png(maxPixels) : jpeg(maxPixels);
}
function checkPixels(width: number, height: number, maxPixels: number): void {
if (width * height > maxPixels) throw tooLarge(`Изображение больше ${maxPixels} пикселей`);
}
const SIGNATURE = Buffer.from([0x89, 0x50, 0x4e, 0x47, 0x0d, 0x0a, 0x1a, 0x0a]);
const CHANNELS: Record<number, number> = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 };
const DEPTHS: Record<number, number[]> = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] };
const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]];
// Строки распакованных данных PNG как [число строк, байт в строке]: байт фильтра + пиксели;
// при interlace — по одной паре на каждый непустой проход Adam7.
function rowLayout(width: number, height: number, bits: number, interlaced: boolean): [number, number][] {
const row = (w: number) => 1 + Math.ceil((w * bits) / 8);
if (!interlaced) return [[height, row(width)]];
const passes: [number, number][] = [];
for (const [x0, y0, dx, dy] of ADAM7) {
const w = Math.ceil((width - x0) / dx);
const h = Math.ceil((height - y0) / dy);
if (w > 0 && h > 0) passes.push([h, row(w)]);
}
return passes;
}
function png(maxPixels: number): ImageValidator {
let carry = Buffer.alloc(0);
let state: 'signature' | 'header' | 'data' | 'crc' | 'done' = 'signature';
let type = '';
let left = 0;
let crc = 0;
let ihdr = Buffer.alloc(0);
let dims: Dimensions | null = null;
let color = 0;
let palette = false;
let idat: 'none' | 'open' | 'closed' = 'none';
let expected = 0;
let inflated = 0;
let rows: [number, number][] = [];
let pass = 0; // текущий проход Adam7 (без interlace — единственный)
let rowsLeft = 0; // строк до конца прохода
let inRow = 0; // позиция внутри текущей строки
let badFilter = false;
const inflate = createInflate();
let zerr: Error | null = null;
let wake: (() => void) | null = null;
inflate.on('data', (d: Buffer) => {
inflated += d.length;
// Первый байт каждой строки — тип фильтра, допустимы только 0–4 (ISO/IEC 15948, 9.2).
for (let i = 0; i < d.length && pass < rows.length;) {
const len = rows[pass][1];
if (inRow === 0 && d[i] > 4) badFilter = true;
const step = Math.min(len - inRow, d.length - i);
i += step;
inRow += step;
if (inRow === len) {
inRow = 0;
if (--rowsLeft === 0 && ++pass < rows.length) rowsLeft = rows[pass][0];
}
}
});
// При ошибке zlib callback write не вызывается: будим ожидающего вручную.
inflate.on('error', (e) => { zerr = e; wake?.(); });
const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise<void>((resolve) => {
wake = resolve;
inflate.write(data, () => resolve());
});
function startChunk(len: number) {
if (!/^[A-Za-z]{4}$/.test(type) || len > 0x7fffffff) throw broken('неверный заголовок chunk');
if (!dims && type !== 'IHDR') throw broken('первым должен быть IHDR');
if (dims && type === 'IHDR') throw broken('повторный IHDR');
if (type === 'IHDR' && len !== 13) throw broken('неверная длина IHDR');
// Неизвестный критический chunk (заглавная первая буква) декодер обязан отвергнуть.
if (/^[A-Z]/.test(type) && !['IHDR', 'PLTE', 'IDAT', 'IEND'].includes(type)) throw broken(`неизвестный chunk ${type}`);
if (type === 'IDAT') {
if (idat === 'closed') throw broken('IDAT идут не подряд');
if (color === 3 && !palette) throw broken('нет палитры PLTE');
idat = 'open';
} else if (idat === 'open') {
idat = 'closed';
}
if (type === 'PLTE') {
if (palette || !len || len > 256 * 3 || len % 3) throw broken('неверная палитра PLTE');
palette = true;
}
if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND');
}
function endChunk() {
if (type === 'IHDR') {
const width = ihdr.readUInt32BE(0);
const height = ihdr.readUInt32BE(4);
const depth = ihdr[8];
color = ihdr[9];
if (!width || !height || width > 0x7fffffff || height > 0x7fffffff) throw broken('неверные размеры');
if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR');
checkPixels(width, height, maxPixels); // до первого байта IDAT
dims = { width, height };
rows = rowLayout(width, height, CHANNELS[color] * depth, ihdr[12] === 1);
expected = rows.reduce((sum, [h, len]) => sum + h * len, 0);
rowsLeft = rows[0][0];
}
state = type === 'IEND' ? 'done' : 'header';
}
async function write(chunk: Buffer) {
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
let pos = 0;
while (pos < buf.length) {
const avail = buf.length - pos;
if (state === 'signature') {
if (avail < 8) break;
if (!buf.subarray(pos, pos + 8).equals(SIGNATURE)) throw broken('нет сигнатуры PNG');
pos += 8;
state = 'header';
} else if (state === 'header') {
if (avail < 8) break;
left = buf.readUInt32BE(pos);
type = buf.toString('latin1', pos + 4, pos + 8);
startChunk(left);
crc = crc32(buf.subarray(pos + 4, pos + 8));
pos += 8;
state = left ? 'data' : 'crc';
} else if (state === 'data') {
const part = buf.subarray(pos, pos + Math.min(left, avail));
crc = crc32(part, crc);
if (type === 'IHDR') ihdr = Buffer.concat([ihdr, part]);
if (type === 'IDAT') {
await feed(part);
if (zerr) throw broken('повреждён поток zlib');
if (badFilter) throw broken('неверный тип фильтра строки');
if (inflated > expected) throw broken('данных больше, чем пикселей');
}
left -= part.length;
pos += part.length;
if (!left) state = 'crc';
} else if (state === 'crc') {
if (avail < 4) break;
if (buf.readUInt32BE(pos) !== crc) throw broken(`неверная CRC chunk ${type}`);
pos += 4;
endChunk();
} else {
throw broken('данные после IEND');
}
}
carry = Buffer.from(buf.subarray(pos));
}
return {
async write(chunk) {
try {
await write(chunk);
} catch (err) {
inflate.destroy();
throw err;
}
},
async end() {
if (state !== 'done') throw broken('файл обрезан');
inflate.end();
try {
await finished(inflate);
} catch {
throw broken('поток zlib не завершён');
}
if (badFilter) throw broken('неверный тип фильтра строки');
if (inflated !== expected) throw broken('объём данных не совпадает с размерами');
return dims!;
},
close: () => inflate.destroy(),
};
}
// SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра.
const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]);
// Принимается то, что декодирует libjpeg-turbo через обычный 8-битный API: baseline, extended, progressive
// с Huffman- или arithmetic-кодированием. Lossless и hierarchical (C3, C5–C7, CB, CD–CF) отвергаются.
const SUPPORTED_SOF = new Set([0xc0, 0xc1, 0xc2, 0xc9, 0xca]);
const DHT = 0xc4;
const SOS = 0xda;
const DQT = 0xdb;
const DRI = 0xdd;
const PARSED = new Set([...SUPPORTED_SOF, DHT, SOS, DQT]);
type Component = { h: number; v: number; tq: number };
function jpeg(maxPixels: number): ImageValidator {
let carry = Buffer.alloc(0);
let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi';
let marker = 0;
let left = 0;
let seg = Buffer.alloc(0); // payload разбираемого сегмента (SOF, DHT, DQT, SOS)
let dims: Dimensions | null = null;
let progressive = false;
let arithmetic = false;
let scanned = false;
let scanData = 0; // байт энтропийных данных в текущем скане
const components = new Map<number, Component>();
const quant = new Set<number>(); // номера определённых таблиц DQT
const huff = new Set<number>(); // таблицы DHT: класс << 2 | номер
function frame() {
const [precision, n] = [seg[0], seg[5]];
const height = seg.readUInt16BE(1);
const width = seg.readUInt16BE(3);
if (!width || !height) throw broken('нулевые размеры');
if (precision !== 8) throw broken('поддерживается только 8 бит на канал');
if (![1, 3, 4].includes(n) || seg.length !== 6 + 3 * n) throw broken('неверный SOF');
for (let i = 6; i < seg.length; i += 3) {
const [id, h, v, tq] = [seg[i], seg[i + 1] >> 4, seg[i + 1] & 15, seg[i + 2]];
if (components.has(id) || h < 1 || h > 4 || v < 1 || v > 4 || tq > 3) throw broken('неверные компоненты SOF');
components.set(id, { h, v, tq });
}
// libjpeg восстанавливает цвет только при целом отношении прореживания к максимальному.
const all = [...components.values()];
const [maxH, maxV] = [Math.max(...all.map((c) => c.h)), Math.max(...all.map((c) => c.v))];
if (all.some((c) => maxH % c.h || maxV % c.v)) throw broken('неподдерживаемое прореживание цвета');
checkPixels(width, height, maxPixels); // до энтропийных данных
dims = { width, height };
progressive = marker === 0xc2 || marker === 0xca;
arithmetic = marker >= 0xc9;
}
function quantTables() {
for (let i = 0; i < seg.length;) {
const [pq, tq] = [seg[i] >> 4, seg[i] & 15];
const size = 1 + 64 * (pq + 1);
if (pq > 1 || tq > 3 || i + size > seg.length) throw broken('неверная таблица DQT');
quant.add(tq);
i += size;
}
}
function huffmanTables() {
for (let i = 0; i < seg.length;) {
if (i + 17 > seg.length) throw broken('неверная таблица DHT');
const [tc, th] = [seg[i] >> 4, seg[i] & 15];
let total = 0;
let code = 0;
for (let len = 1; len <= 16; len++) {
total += seg[i + len];
code += seg[i + len];
// Как jpeg_make_d_derived_tbl: коды длины len не должны занять всё пространство (код из одних 1 зарезервирован).
if (code >= 1 << len) throw broken('неверная таблица DHT');
code <<= 1;
}
const symbols = seg.subarray(i + 17, i + 17 + total);
if (tc > 1 || th > 3 || total > 256 || symbols.length !== total) throw broken('неверная таблица DHT');
if (tc === 0 && symbols.some((s) => s > 15)) throw broken('неверная таблица DHT');
huff.add((tc << 2) | th);
i += 17 + total;
}
}
function scan() {
const n = seg[0];
if (n < 1 || n > 4 || seg.length !== 4 + 2 * n) throw broken('неверный SOS');
const [ss, se, ah, al] = [seg[1 + 2 * n], seg[2 + 2 * n], seg[3 + 2 * n] >> 4, seg[3 + 2 * n] & 15];
if (progressive && (ss === 0 ? se !== 0 : ss > se || se > 63 || n !== 1)) throw broken('неверные параметры скана');
if (progressive && ((ah && al !== ah - 1) || al > 13)) throw broken('неверные параметры скана');
const seen = new Set<number>();
let blocks = 0;
for (let i = 1; i < 1 + 2 * n; i += 2) {
const comp = components.get(seg[i]);
if (!comp || seen.has(seg[i])) throw broken('SOS ссылается на неизвестный компонент');
seen.add(seg[i]);
blocks += comp.h * comp.v;
if (!quant.has(comp.tq)) throw broken('нет таблицы квантования DQT');
// Отсутствующие таблицы Хаффмана 0 и 1 libjpeg-turbo заменяет стандартными (Motion JPEG); 2 и 3 — нет.
// У arithmetic-кодирования таблицы условий (DAC) необязательны, проверяется только номер.
const [td, ta] = [seg[i + 1] >> 4, seg[i + 1] & 15];
const missing = (cls: number, t: number) => t > 3 || (!arithmetic && t > 1 && !huff.has((cls << 2) | t));
const needDC = !progressive || (ss === 0 && ah === 0);
const needAC = !progressive || ss > 0;
if ((needDC && missing(0, td)) || (needAC && missing(1, ta))) throw broken('нет таблицы энтропийного кодирования');
}
if (n > 1 && blocks > 10) throw broken('слишком большой MCU');
scanned = true;
scanData = 0;
}
function write(chunk: Buffer) {
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
let pos = 0;
loop: while (pos < buf.length) {
const avail = buf.length - pos;
switch (state) {
case 'soi':
if (avail < 2) break loop;
if (buf[pos] !== 0xff || buf[pos + 1] !== 0xd8) throw broken('нет сигнатуры JPEG');
pos += 2;
state = 'marker';
break;
case 'marker': {
if (avail < 2) break loop;
if (buf[pos] !== 0xff) throw broken('ожидался маркер');
const code = buf[pos + 1];
if (code === 0xff) { // байты-заполнители 0xFF перед маркером
pos += 1;
break;
}
pos += 2;
if (code === 0xd9) {
if (!scanned) throw broken('EOI до данных изображения');
state = 'done';
} else if (code === 0x00 || code === 0xd8 || (code >= 0xd0 && code <= 0xd7)) {
throw broken('неожиданный маркер');
} else if (code !== 0x01) { // TEM не имеет длины
marker = code;
state = 'length';
}
break;
}
case 'length': {
if (avail < 2) break loop;
left = buf.readUInt16BE(pos) - 2;
pos += 2;
if (left < 0) throw broken('неверная длина сегмента');
if (SOF.has(marker) && !SUPPORTED_SOF.has(marker)) throw broken('неподдерживаемый вид JPEG (lossless, hierarchical)');
if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF');
if (marker === SOS && !dims) throw broken('SOS до SOF');
if (marker === DRI && left !== 2) throw broken('неверный DRI');
seg = Buffer.alloc(0);
state = 'payload';
break;
}
case 'payload': {
const n = Math.min(left, avail);
if (PARSED.has(marker)) seg = Buffer.concat([seg, buf.subarray(pos, pos + n)]);
pos += n;
left -= n;
if (left) break;
if (SUPPORTED_SOF.has(marker)) frame();
else if (marker === DQT) quantTables();
else if (marker === DHT) huffmanTables();
else if (marker === SOS) scan();
state = marker === SOS ? 'scan' : 'marker';
break;
}
case 'scan': {
// Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер.
const ff = buf.indexOf(0xff, pos);
scanData += (ff < 0 ? buf.length : ff) - pos;
if (ff < 0) {
pos = buf.length;
} else if (ff + 1 >= buf.length) {
pos = ff;
break loop;
} else {
const next = buf[ff + 1];
if (next === 0x00) {
pos = ff + 2;
scanData += 1;
} else if (next >= 0xd0 && next <= 0xd7) {
pos = ff + 2;
} else if (next === 0xff) {
pos = ff + 1; // заполнитель перед маркером
} else {
if (!scanData) throw broken('скан без данных');
pos = ff;
state = 'marker';
}
}
break;
}
case 'done': // данные после EOI (MPF, «живые» фото) — нормальная практика камер
pos = buf.length;
break;
}
}
carry = Buffer.from(buf.subarray(pos));
}
return {
write: async (chunk) => write(chunk),
async end() {
if (state !== 'done') throw broken('нет EOI: файл обрезан');
return dims!;
},
close: () => {},
};
}
+104
View File
@@ -0,0 +1,104 @@
// Сообщения: идемпотентная отправка и история чата.
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, conflict, notFound } from '../http/errors.ts';
import { afterCursor, limitOf, page } from '../http/pagination.ts';
import { UUID, isText, jsonObject, readJson } from '../http/request.ts';
import { requireMember } from './chats.ts';
import { authenticate, sha256 } from './sessions.ts';
const IDEMPOTENCY_KEY = /^[A-Za-z0-9._:-]{1,128}$/;
// attachment_ids в порядке, заданном отправителем; text[] драйвер pg возвращает как массив строк.
const attachmentIds = (m: string) =>
`ARRAY(SELECT ma.attachment_id::text FROM message_attachments ma WHERE ma.message_id = ${m}.id ORDER BY ma.position) AS attachment_ids`;
const messageColumns = `id, chat_id, sender_id, text, rfc3339(created_at) AS created_at, ${attachmentIds('messages')}`;
// POST /api/v1/chats/{chat_id}/messages с обязательным Idempotency-Key.
// Область ключа: пользователь + метод + путь чата + ключ.
// Ключ и сообщение вставляются ОДНИМ оператором, поэтому фиксируются атомарно: при ошибке БД нет ни того,
// ни другого, и клиент может безопасно повторить запрос с тем же ключом.
// Одновременный дубль (с любой реплики) ждёт на первичном ключе idempotency_keys, пока первая транзакция
// не зафиксируется, затем получает ON CONFLICT DO NOTHING и отдаёт сохранённый результат.
export async function sendMessage(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const chatId = await requireMember(c, user); // повтор тоже заново проверяет сессию и доступ
const key = c.req.headers['idempotency-key'];
if (typeof key !== 'string' || !IDEMPOTENCY_KEY.test(key)) throw badRequest('Нужен Idempotency-Key [A-Za-z0-9._:-]{1,128}');
// sender_id в теле не принимается: отправитель — из сессии.
const b = jsonObject(await readJson(c.req), ['text', 'attachment_ids']);
const ids = attachmentList(b.attachment_ids);
const text = b.text;
// С вложениями текст может быть пустым; без вложений — 1–4000 символов, не только пробелы.
if (typeof text !== 'string' || [...text].length > 4000 || (!ids.length && !isText(text, 1, 4000))) {
throw badRequest('text: до 4000 символов; пустой текст допустим только с вложениями');
}
if (ids.length) await requireAttachments(c, chatId, ids);
const path = `/api/v1/chats/${chatId}/messages`;
// Каноническое тело: порядок ключей JSON не важен, отсутствующий attachment_ids = [].
// Без вложений hash тот же, что в lab3 (32 байта); с вложениями 64 байта — с текстовым не совпадёт.
const hash = ids.length ? Buffer.concat([sha256(text), sha256(ids.join(','))]) : sha256(text);
let inserted;
try {
inserted = await c.db.query({
name: 'send',
text: `WITH k AS (
INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id)
VALUES ($1, 'POST', $2, $3, $4, gen_random_uuid()) ON CONFLICT DO NOTHING RETURNING message_id),
m AS (INSERT INTO messages (id, chat_id, sender_id, text) SELECT message_id, $5, $1, $6 FROM k
RETURNING id, chat_id, sender_id, text, rfc3339(created_at) AS created_at),
a AS (INSERT INTO message_attachments (message_id, chat_id, attachment_id, position)
SELECT m.id, m.chat_id, t.id, t.ord FROM m, unnest($7::uuid[]) WITH ORDINALITY AS t(id, ord))
SELECT * FROM m`,
values: [user.id, path, key, hash, chatId, text, ids],
});
} catch (err) {
// Составной FK (chat_id, attachment_id): вложение другого чата не прикрепить даже в обход проверки выше.
if ((err as { code?: string }).code === '23503') throw notFound();
throw err;
}
if (inserted.rowCount) return [201, { ...inserted.rows[0], attachment_ids: ids }];
// Ключ уже использован: тот же body → тот же 201 и то же сообщение, другой body → 409.
const stored = await c.db.query(`SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, rfc3339(m.created_at) AS created_at,
${attachmentIds('m')}
FROM idempotency_keys k JOIN messages m ON m.id = k.message_id
WHERE k.user_id = $1 AND k.method = 'POST' AND k.path = $2 AND k.key = $3`, [user.id, path, key]);
const { request_hash, ...message } = stored.rows[0];
if (!hash.equals(request_hash)) throw conflict('Idempotency-Key уже использован с другим телом');
return [201, message];
}
// GET /api/v1/chats/{chat_id}/messages: история по возрастанию (created_at, id), limit 1–100.
export async function listMessages(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const chatId = await requireMember(c, user);
const limit = limitOf(c.url);
const [ts, id] = afterCursor(c.url, 'm', chatId);
const r = await c.db.query({
name: 'history',
text: `SELECT ${messageColumns} FROM messages WHERE chat_id = $1 AND (created_at, id) > ($2, $3::uuid)
ORDER BY created_at, id LIMIT $4`,
values: [chatId, ts, id, limit + 1],
});
return [200, page(r.rows, limit, 'm', chatId)];
}
// attachment_ids: 0–10 уникальных UUID (в нижнем регистре), по умолчанию [].
function attachmentList(value: unknown): string[] {
if (value === undefined) return [];
if (!Array.isArray(value) || value.length > 10 || !value.every((id) => typeof id === 'string' && UUID.test(id))) {
throw badRequest('attachment_ids: до 10 UUID');
}
const ids = value.map((id: string) => id.toLowerCase());
if (new Set(ids).size !== ids.length) throw badRequest('attachment_ids должны быть уникальны');
return ids;
}
// Все вложения из этого чата и приняты (queued/processing/ready). Чужое или неизвестное — 404, как и чужой чат;
// failed — 409: прикреплять нечего, но объект виден участнику.
async function requireAttachments(c: Ctx, chatId: string, ids: string[]): Promise<void> {
const r = await c.db.query(`SELECT count(*)::int AS visible, count(*) FILTER (WHERE state = 'failed')::int AS failed
FROM attachments WHERE id = ANY($1::uuid[]) AND chat_id = $2 AND state IN ('queued', 'processing', 'ready', 'failed')`, [ids, chatId]);
if (r.rows[0].visible !== ids.length) throw notFound();
if (r.rows[0].failed) throw conflict('Вложение не обработано (failed), прикрепить нельзя');
}
+8
View File
@@ -0,0 +1,8 @@
// Общая модель пользователя для модулей users и sessions.
export type User = { id: string; username: string; display_name: string; created_at: string };
export const USERNAME = /^[a-z0-9_]{3,32}$/;
// Время форматирует PostgreSQL: Date в JS потерял бы микросекунды, на которых держится cursor.
export const userColumns = 'u.id, u.username, u.display_name, rfc3339(u.created_at) AS created_at';
+56
View File
@@ -0,0 +1,56 @@
import { argon2, randomBytes, scrypt, timingSafeEqual, type Argon2Parameters } from 'node:crypto';
import { envInt } from '../config.ts';
import { HttpError } from '../http/errors.ts';
const memory = envInt('ARGON2_MEMORY_KIB', 19456);
const passes = envInt('ARGON2_ITERATIONS', 2);
const lanes = envInt('ARGON2_PARALLELISM', 1);
if (memory < 19456 || passes < 2 || lanes !== 1) throw new Error('Недопустимые параметры Argon2id');
export const currentPassword = (hash: string) => hash.startsWith(`$argon2id$v=19$m=${memory},t=${passes},p=${lanes}$`);
let inFlight = 0;
function derive(password: string, nonce: Buffer, params: Pick<Argon2Parameters, 'memory' | 'passes' | 'parallelism'>): Promise<Buffer> {
return new Promise((resolve, reject) => argon2('argon2id', { message: password, nonce, tagLength: 32, ...params },
(err, key) => err ? reject(err) : resolve(key)));
}
// Бюджет общий для регистрации и входа внутри реплики.
export async function withPasswordSlot<T>(work: () => Promise<T>): Promise<T> {
if (inFlight >= 2) throw new HttpError(429, 'rate_limited', 'Слишком много запросов входа или регистрации', 1);
inFlight++;
try { return await work(); } finally { inFlight--; }
}
export async function hashPassword(password: string): Promise<string> {
const salt = randomBytes(16);
const hash = await derive(password, salt, { memory, passes, parallelism: lanes });
return `$argon2id$v=19$m=${memory},t=${passes},p=${lanes}$${salt.toString('base64').replace(/=+$/, '')}$${hash.toString('base64').replace(/=+$/, '')}`;
}
export async function checkPassword(password: string, encoded: string): Promise<boolean> {
const phc = /^\$argon2id\$v=19\$m=(\d+),t=(\d+),p=(\d+)\$([^$]+)\$([^$]+)$/.exec(encoded);
let got: Buffer;
let expected: Buffer;
if (phc) {
const [, m, t, p, salt, hash] = phc;
const params = { memory: Number(m), passes: Number(t), parallelism: Number(p) };
const nonce = Buffer.from(salt, 'base64');
expected = Buffer.from(hash, 'base64');
if (params.memory < 19456 || params.memory > Math.max(65536, memory) ||
params.passes < 2 || params.passes > Math.max(6, passes) || params.parallelism !== 1 ||
nonce.length !== 16 || expected.length !== 32) return false;
got = await derive(password, nonce, params);
} else {
const legacy = /^scrypt\$16384\$8\$1\$([^$]+)\$([^$]+)$/.exec(encoded);
if (!legacy) return false;
expected = Buffer.from(legacy[2], 'base64');
if (expected.length !== 32) return false;
got = await new Promise<Buffer>((resolve, reject) =>
scrypt(password, Buffer.from(legacy[1], 'base64'), 32, { N: 16384, r: 8, p: 1, maxmem: 64 << 20 },
(err, key) => err ? reject(err) : resolve(key)));
}
return timingSafeEqual(got, expected);
}
export const dummyHash = hashPassword('dummy-password-for-timing');
+72
View File
@@ -0,0 +1,72 @@
// Сессии: вход по Basic, выход, проверка Bearer-токена.
// В БД хранится только sha256(токена): дамп базы не даёт рабочих токенов.
import { createHash, randomBytes } from 'node:crypto';
import type { Ctx, Result } from '../http/context.ts';
import { HttpError, unauthorized } from '../http/errors.ts';
import { isText, requireEmptyBody } from '../http/request.ts';
import { checkPassword, currentPassword, dummyHash, hashPassword, withPasswordSlot } from './passwords.ts';
import { USERNAME, userColumns, type User } from './model.ts';
export const sha256 = (s: string) => createHash('sha256').update(s).digest();
function bearerToken(c: Ctx): string | null {
return /^Bearer +(\S+)$/i.exec(c.req.headers.authorization ?? '')?.[1] ?? null;
}
// Текущий пользователь по Bearer-сессии. Basic и X-User-Id на бизнес-эндпоинтах не аутентифицируют.
// Запрос именованный: pg готовит его один раз на соединение (улучшение из трека 1).
export async function authenticate(c: Ctx): Promise<User> {
const token = bearerToken(c);
if (!token) throw unauthorized();
const r = await c.db.query<User>({
name: 'auth',
text: `SELECT ${userColumns} FROM sessions s JOIN users u ON u.id = s.user_id
WHERE s.token_hash = $1 AND s.expires_at > now()`,
values: [sha256(token)],
});
if (!r.rowCount) throw unauthorized();
return r.rows[0];
}
// POST /api/v1/auth/sessions: Basic username:password → новый Bearer-токен.
export async function createSession(c: Ctx): Promise<Result> {
await requireEmptyBody(c.req); // контракт: только заголовок Basic, без JSON-тела
const deny = new HttpError(401, 'unauthorized', 'Неверные учётные данные'); // одинаковый ответ на любую ошибку входа
const budget = await c.db.query<{ retry_after: number }>('SELECT login_budget() AS retry_after');
const wait = budget.rows[0].retry_after;
if (wait) throw new HttpError(429, 'rate_limited', 'Лимит попыток входа', wait);
const m = /^Basic +([A-Za-z0-9+/]+=*)$/i.exec(c.req.headers.authorization ?? '');
if (!m) throw deny;
const decoded = Buffer.from(m[1], 'base64').toString('utf8');
const colon = decoded.indexOf(':'); // в username двоеточия нет, в пароле может быть
const username = decoded.slice(0, colon);
const password = decoded.slice(colon + 1);
if (colon < 0 || !USERNAME.test(username) || !isText(password, 12, 128)) throw deny;
const r = await c.db.query<User & { password_hash: string }>(
`SELECT ${userColumns}, u.password_hash FROM users u WHERE u.username = $1`, [username]);
const row = r.rows[0];
await withPasswordSlot(async () => {
const valid = await checkPassword(password, row?.password_hash ?? await dummyHash);
if (!row || !valid) throw deny;
if (!currentPassword(row.password_hash)) {
await c.db.query('UPDATE users SET password_hash = $1 WHERE id = $2 AND password_hash = $3',
[await hashPassword(password), row.id, row.password_hash]);
}
});
if (!row) throw deny;
const token = randomBytes(32).toString('base64url'); // 256 бит энтропии
const s = await c.db.query(
`INSERT INTO sessions (token_hash, user_id, expires_at) VALUES ($1, $2, now() + make_interval(secs => $3))
RETURNING rfc3339(expires_at) AS expires_at`, [sha256(token), row.id, c.config.sessionTtlSeconds]);
const { password_hash: _, ...user } = row;
return [201, { token, token_type: 'Bearer', expires_at: s.rows[0].expires_at, user }];
}
// DELETE /api/v1/auth/sessions/current: отзыв текущего токена.
export async function deleteSession(c: Ctx): Promise<Result> {
await authenticate(c);
await c.db.query('DELETE FROM sessions WHERE token_hash = $1', [sha256(bearerToken(c)!)]);
return [204];
}
+29
View File
@@ -0,0 +1,29 @@
// Пользователи: регистрация и профиль текущего пользователя.
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, conflict } from '../http/errors.ts';
import { isText, jsonObject, readJson } from '../http/request.ts';
import { hashPassword, withPasswordSlot } from './passwords.ts';
import { USERNAME, userColumns, type User } from './model.ts';
import { authenticate } from './sessions.ts';
// POST /api/v1/users: публичная регистрация. Пароль и его хеш в ответ не попадают.
export async function createUser(c: Ctx): Promise<Result> {
const b = jsonObject(await readJson(c.req), ['username', 'display_name', 'password']);
if (typeof b.username !== 'string' || !USERNAME.test(b.username) || !isText(b.display_name, 1, 100) || !isText(b.password, 12, 128)) {
throw badRequest('Неверные username, display_name или password');
}
try {
const r = await c.db.query<User>(
`INSERT INTO users AS u (username, display_name, password_hash) VALUES ($1, $2, $3) RETURNING ${userColumns}`,
[b.username, b.display_name, await withPasswordSlot(() => hashPassword(b.password as string))]);
return [201, r.rows[0]];
} catch (err) {
if ((err as { code?: string }).code === '23505') throw conflict('Username уже занят'); // unique_violation
throw err;
}
}
// GET /api/v1/users/me
export async function me(c: Ctx): Promise<Result> {
return [200, await authenticate(c)];
}
+73
View File
@@ -0,0 +1,73 @@
// Наблюдаемость на уровне API OpenTelemetry: tracer, meter, структурный лог, перенос W3C trace context.
// SDK подключает src/telemetry.ts (node --import, только api и worker); без него всё здесь — no-op,
// а лог пишется только в stdout. Модуль не зависит от SDK, поэтому его импортируют и утилиты (migrate, reconcile).
import { setTimeout as sleep } from 'node:timers/promises';
import { context, metrics, propagation, ROOT_CONTEXT, SpanStatusCode, trace, type Attributes, type Context } from '@opentelemetry/api';
import { logs, SeverityNumber } from '@opentelemetry/api-logs';
import { getRPCMetadata, RPCType } from '@opentelemetry/core';
export const tracer = trace.getTracer('messenger');
export const meter = metrics.getMeter('messenger');
const logger = logs.getLogger('messenger');
const service = process.env.OTEL_SERVICE_NAME || 'messenger';
type Level = 'info' | 'warn' | 'error';
const SEVERITY = { info: SeverityNumber.INFO, warn: SeverityNumber.WARN, error: SeverityNumber.ERROR };
// Структурный лог: JSON-строка в stdout/stderr (docker logs) и запись OTLP (Loki) с trace_id/span_id активного span.
// event — стабильный машинный ключ события, message — текст для человека. В attrs только технические поля:
// без паролей, токенов, Authorization, текста сообщений, имён файлов и байтов изображений.
export function log(level: Level, event: string, message: string, attrs: Attributes = {}): void {
const span = trace.getActiveSpan()?.spanContext();
const line = { time: new Date().toISOString(), level, service, event, message, ...attrs, trace_id: span?.traceId, span_id: span?.spanId };
(level === 'info' ? process.stdout : process.stderr).write(JSON.stringify(line) + '\n');
logger.emit({ severityNumber: SEVERITY[level], severityText: level.toUpperCase(), body: message, attributes: { event, ...attrs } });
}
// Дочерний span вокруг шага (захват job, рендер, фиксация): группирует его SQL/S3-spans; ошибка помечает span.
export function inSpan<T>(name: string, attributes: Attributes, fn: () => Promise<T>): Promise<T> {
return tracer.startActiveSpan(name, { attributes }, async (span) => {
try {
return await fn();
} catch (err) {
span.recordException({ name: (err as Error).name, message: 'Операция завершилась ошибкой' });
span.setStatus({ code: SpanStatusCode.ERROR });
throw err;
} finally {
span.end();
}
});
}
export type TraceCarrier = { traceparent: string | null; tracestate: string | null };
// Trace context для переноса через outbox и брокер: поля traceparent/tracestate из contracts/jobs.schema.json.
// tracestate длиннее 512 символов (предел схемы) не переносится.
export function traceCarrier(ctx: Context = context.active()): TraceCarrier {
const c: Record<string, string> = {};
propagation.inject(ctx, c);
return { traceparent: c.traceparent ?? null, tracestate: c.tracestate && c.tracestate.length <= 512 ? c.tracestate : null };
}
// Обратное преобразование; пустой carrier (строки до lab6, сообщение без полей) — корневой контекст, новый trace.
export function contextFrom(carrier: Partial<TraceCarrier>): Context {
return propagation.extract(ROOT_CONTEXT, carrier);
}
// Шаблон маршрута (/api/v1/chats/{chat_id}/messages) для имени server span и метрики http.server.request.duration:
// реальный путь с UUID в label метрики попасть не должен.
export function setRoute(template: string): void {
const rpc = getRPCMetadata(context.active());
if (rpc?.type === RPCType.HTTP) rpc.route = template;
}
let flushHook: () => Promise<void> = async () => {};
export function onFlush(f: () => Promise<void>): void {
flushHook = f;
}
// Перед выходом процесса: отправить накопленные spans, логи и метрики, но не дольше timeoutMs —
// недоступный Collector не должен задерживать остановку.
export async function flushTelemetry(timeoutMs = 3000): Promise<void> {
await Promise.race([flushHook().catch(() => {}), sleep(timeoutMs)]);
}
+260
View File
@@ -0,0 +1,260 @@
// Сверка PostgreSQL ↔ S3: очистка после сбоев загрузки (уровень 4) и исправление расхождений (трек 2).
// node src/main.ts reconcile — dry-run: только отчёт, ничего не меняет
// ... reconcile --apply — выполнить исправления
// --verify дополнительно скачать ready-объекты и сверить SHA-256 (читает все байты bucket)
// --grace=N pending-строки и объекты без строки моложе N секунд не трогаются (RECONCILE_GRACE_SECONDS, 900)
// --retention=N staging failed-вложений хранится N секунд для replay (STAGING_RETENTION_SECONDS, 86400)
// --every=N повторять каждые N секунд (так работает сервис reconciler)
//
// Правила. Строки ready/lost не удаляются никогда, используемые сообщениями дополнительно защищены FK.
// stale_pending pending старше grace: запрос загрузки давно завершён (таймаут API 60 с ≪ grace)
// → удалить строку, затем объект (если упадём между ними — останется orphan_object)
// orphan_object объект без строки старше grace → удалить объект. Строка создаётся раньше объекта,
// ключ случайный, поэтому строка для такого объекта уже не появится
// missing_object ready без объекта (повторно проверено HEAD) → lost: скрыть из API, ссылки сохранить
// size_mismatch ready, размер объекта ≠ size_bytes → lost
// checksum_mismatch ready, SHA-256 объекта ≠ sha256 (только --verify) → lost
// restored lost, объект на месте и SHA-256 совпал → снова ready (карантин обратим)
// Lab5, префиксы staging/ и variants/ (объект нужен, пока на него ссылается БД):
// orphan_staging staging без строки старше grace → удалить
// published_staging staging ready-вложения старше grace (worker не успел удалить после фиксации) → удалить
// expired_staging staging failed-вложения старше STAGING_RETENTION_SECONDS → удалить (replay после этого невозможен)
// orphan_variant объект варианта без строки attachment_variants старше grace (попытка проиграла аренду
// или упала до фиксации; grace ≫ JOB_TIMEOUT_SECONDS) → удалить
//
// Обход: ListObjectsV2 и строки БД, оба отсортированы по ключу побайтово, сливаются как два потока
// (merge join) — память O(страница), запросов O(N / 1000). Конкурентные загрузки: строки, изменённые после
// начала обхода (updated_at ≥ t0), не проверяются; их объекты моложе grace и тоже не трогаются.
import { createHash } from 'node:crypto';
import type { Readable } from 'node:stream';
import { setTimeout as sleep } from 'node:timers/promises';
import type pg from 'pg';
import { s3Config, secret } from './config.ts';
import { createPool } from './db.ts';
import { createStorage, type Storage } from './storage/s3.ts';
const PREFIX = 'originals/';
const PAGE = 1000;
const PRINT_LIMIT = 20; // находки сверх лимита только считаются
type Options = { apply: boolean; verify: boolean; grace: number; retention: number };
type Obj = { key: string; size: number; modified: Date };
type Row = { id: string; object_key: string; state: string; size_bytes: number | null; sha256: string | null; settled: boolean };
export async function reconcileCommand(args: string[], defaultGrace: number, defaultRetention: number): Promise<void> {
const flag = (name: string) => args.find((a) => a.startsWith(`--${name}=`))?.split('=')[1];
const opts: Options = { apply: args.includes('--apply'), verify: args.includes('--verify'), grace: Number(flag('grace') ?? defaultGrace),
retention: Number(flag('retention') ?? defaultRetention) };
const every = Number(flag('every') ?? 0);
if (!Number.isInteger(opts.grace) || opts.grace < 0 || !Number.isInteger(every) || every < 0) throw new Error('--grace/--every: целые секунды');
const db = createPool(secret('DATABASE_URL'), 2);
const s3 = createStorage(s3Config());
process.on('SIGTERM', () => process.exit(0)); // прерванный обход безопасен: каждое действие атомарно
for (;;) {
try {
console.log(JSON.stringify(await reconcile(db, s3, opts)));
} catch (err) {
console.error(`сверка не выполнена: ${(err as Error).message}`);
if (!every) process.exitCode = 1;
}
if (!every) break;
await sleep(every * 1000);
}
await db.end();
}
export async function reconcile(db: pg.Pool, s3: Storage, opts: Options) {
const started = performance.now();
const lock = await db.connect();
try {
// Два reconciler-а одновременно не работают: второй сразу выходит.
if (!(await lock.query('SELECT pg_try_advisory_lock(4004) AS ok')).rows[0].ok) return { skipped: 'другая сверка уже идёт' };
try {
return await run(db, s3, opts, started);
} finally {
await lock.query('SELECT pg_advisory_unlock(4004)');
}
} finally {
lock.release();
}
}
async function run(db: pg.Pool, s3: Storage, { apply, verify, grace, retention }: Options, started: number) {
const stats = { mode: apply ? 'apply' : 'dry-run', verify, grace_seconds: grace, objects: 0, rows: 0, fresh_skipped: 0,
s3_list: 0, s3_head: 0, s3_get_bytes: 0, db_queries: 0, findings: {} as Record<string, number>, applied: 0 };
const t0: Date = (await db.query('SELECT now() AS t0')).rows[0].t0;
stats.db_queries++;
const cutoff = t0.getTime() - grace * 1000;
const found = async (kind: string, detail: Record<string, unknown>, fix: () => Promise<boolean>) => {
const n = stats.findings[kind] = (stats.findings[kind] ?? 0) + 1;
const done = apply && await fix();
if (done) stats.applied++;
if (n <= PRINT_LIMIT) console.log(JSON.stringify({ finding: kind, ...detail, action: apply ? (done ? 'fixed' : 'changed meanwhile, skipped') : 'would fix' }));
};
const setState = async (id: string, from: string, to: string) => {
stats.db_queries++;
return Boolean((await db.query('UPDATE attachments SET state = $3, updated_at = clock_timestamp() WHERE id = $1 AND state = $2',
[id, from, to])).rowCount);
};
const sha256Of = async (key: string) => {
const body = await s3.get(key);
if (!body) return null;
const hash = createHash('sha256');
for await (const chunk of body as Readable) {
hash.update(chunk);
stats.s3_get_bytes += chunk.length;
}
return hash.digest('hex');
};
// 1. Зависшие загрузки. Условие повторяется в DELETE: если строка успела измениться, её не трогаем.
const stale = await db.query(`SELECT id, COALESCE(staging_key, object_key) AS object_key FROM attachments
WHERE state = 'pending' AND created_at < $1::timestamptz - make_interval(secs => $2)`, [t0, grace]);
stats.db_queries++;
for (const r of stale.rows) {
await found('stale_pending', { id: r.id, key: r.object_key }, async () => {
stats.db_queries++;
const d = await db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'
AND created_at < $2::timestamptz - make_interval(secs => $3)`, [r.id, t0, grace]);
if (!d.rowCount) return false;
await s3.remove(r.object_key);
return true;
});
}
// 2. Слияние отсортированных потоков объектов и строк.
const onlyObject = async (o: Obj) => {
if (o.modified.getTime() > cutoff) {
stats.fresh_skipped++;
return;
}
await found('orphan_object', { key: o.key, size: o.size, modified: o.modified }, async () => {
await s3.remove(o.key);
return true;
});
};
const onlyRow = async (r: Row) => {
// pending — этап 1; lost — уже в карантине; не settled — строка изменилась после начала обхода.
if (r.state !== 'ready' || !r.settled) return;
stats.s3_head++;
if (await s3.exists(r.object_key)) return; // объект не попал в листинг, но существует — не трогаем
await found('missing_object', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost'));
};
const both = async (o: Obj, r: Row) => {
// Оригинал до фиксации ready (processing/queued) может уже лежать в originals/: его не проверяем.
if ((r.state !== 'ready' && r.state !== 'lost') || !r.settled) return;
if (o.size !== r.size_bytes) {
if (r.state === 'ready') await found('size_mismatch', { id: r.id, key: r.object_key, expected: r.size_bytes, actual: o.size }, () => setState(r.id, 'ready', 'lost'));
return;
}
if (r.state === 'ready' && !verify) return;
const actual = await sha256Of(o.key);
if (r.state === 'ready' && actual !== r.sha256) {
await found('checksum_mismatch', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost'));
} else if (r.state === 'lost' && actual === r.sha256) {
await found('restored', { id: r.id, key: r.object_key }, () => setState(r.id, 'lost', 'ready'));
}
};
const objs = objects(s3, stats);
const rows = dbRows(db, t0, stats);
let o = (await objs.next()).value;
let r = (await rows.next()).value;
while (o || r) {
if (o && (!r || o.key < r.object_key)) {
stats.objects++;
await onlyObject(o);
o = (await objs.next()).value;
} else if (r && (!o || r.object_key < o.key)) {
stats.rows++;
await onlyRow(r);
r = (await rows.next()).value;
} else {
stats.objects++;
stats.rows++;
await both(o!, r!);
o = (await objs.next()).value;
r = (await rows.next()).value;
}
}
// 3. staging/ и variants/: постраничный поиск ключей в БД.
const remove = (key: string) => async () => {
await s3.remove(key);
return true;
};
for await (const page of pages(s3, 'staging/', stats)) {
const r = await db.query(`SELECT staging_key AS key, state, updated_at < $2::timestamptz - make_interval(secs => $3) AS expired
FROM attachments WHERE staging_key = ANY($1)`, [page.map((o) => o.key), t0, retention]);
stats.db_queries++;
const rows = new Map(r.rows.map((row) => [row.key, row]));
for (const o of page) {
stats.objects++;
const row = rows.get(o.key);
const old = o.modified.getTime() <= cutoff;
if (!row && !old) stats.fresh_skipped++;
else if (!row) await found('orphan_staging', { key: o.key }, remove(o.key));
else if (row.state === 'ready' && old) await found('published_staging', { key: o.key }, remove(o.key));
else if (row.state === 'failed' && row.expired) {
await found('expired_staging', { key: o.key }, async () => {
await s3.remove(o.key);
await db.query(`UPDATE attachments SET staging_key = NULL WHERE staging_key = $1 AND state = 'failed'`, [o.key]);
return true;
});
}
}
}
for await (const page of pages(s3, 'variants/', stats)) {
const r = await db.query('SELECT object_key FROM attachment_variants WHERE object_key = ANY($1)', [page.map((o) => o.key)]);
stats.db_queries++;
const known = new Set(r.rows.map((row) => row.object_key));
for (const o of page) {
stats.objects++;
if (known.has(o.key)) continue;
if (o.modified.getTime() > cutoff) stats.fresh_skipped++;
else await found('orphan_variant', { key: o.key }, remove(o.key));
}
}
return { ...stats, duration_ms: Math.round(performance.now() - started), max_rss_mb: Math.round(process.resourceUsage().maxRSS / 1024) };
}
async function* pages(s3: Storage, prefix: string, stats: { s3_list: number }): AsyncGenerator<Obj[], undefined> {
let token: string | undefined;
do {
const page = await s3.list(prefix, token);
stats.s3_list++;
yield (page.Contents ?? []).map((item) => ({ key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! }));
token = page.IsTruncated ? page.NextContinuationToken : undefined;
} while (token);
return undefined;
}
async function* objects(s3: Storage, stats: { s3_list: number }): AsyncGenerator<Obj, undefined> {
let token: string | undefined;
let last = '';
do {
const page = await s3.list(PREFIX, token);
stats.s3_list++;
for (const item of page.Contents ?? []) {
// Слияние корректно только на отсортированных потоках: иначе остановиться, а не удалить лишнее.
if (item.Key! <= last) throw new Error('S3 вернул ключи не по порядку');
last = item.Key!;
yield { key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! };
}
token = page.IsTruncated ? page.NextContinuationToken : undefined;
} while (token);
return undefined;
}
async function* dbRows(db: pg.Pool, t0: Date, stats: { db_queries: number }): AsyncGenerator<Row, undefined> {
let last = '';
for (;;) {
const r = await db.query<Row>(`SELECT id, object_key, state, size_bytes, sha256, updated_at < $2 AS settled
FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT ${PAGE}`, [last, t0]);
stats.db_queries++;
yield* r.rows;
if (r.rows.length < PAGE) return undefined;
last = r.rows[r.rows.length - 1].object_key;
}
}
+99
View File
@@ -0,0 +1,99 @@
import { X509Certificate } from 'node:crypto';
import { readFileSync } from 'node:fs';
import { Agent, request } from 'node:https';
import { setTimeout as sleep } from 'node:timers/promises';
export function serviceTls() {
return {
ca: readFileSync(process.env.TLS_CA_FILE ?? '/run/tls/ca.crt'),
cert: readFileSync('/run/identity/tls.crt'),
key: readFileSync('/run/identity/tls.key'),
minVersion: 'TLSv1.2' as const,
rejectUnauthorized: true,
};
}
const keys = ['DATABASE_URL', 'S3_ACCESS_KEY_ID', 'S3_SECRET_ACCESS_KEY'] as const;
type Credentials = Record<(typeof keys)[number], string>;
let baoAgent: Agent | undefined;
export async function baoRequest(path: string, data?: object, token?: string): Promise<any> {
const url = new URL(path, process.env.BAO_ADDR ?? 'https://openbao:8200');
if (url.protocol !== 'https:') throw new Error('OpenBao требует HTTPS');
return new Promise((resolve, reject) => {
const body = data === undefined ? undefined : JSON.stringify(data);
const req = request(url, {
agent: baoAgent ??= new Agent({ ...serviceTls(), keepAlive: true, maxSockets: 1 }), method: body === undefined ? 'GET' : 'POST',
headers: {
...(body && { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(body) }),
...(token && { 'X-Vault-Token': token }),
},
signal: AbortSignal.timeout(8000),
}, (res) => {
let content = '';
res.setEncoding('utf8');
res.on('data', (part: string) => {
content += part;
if (content.length > 65536) req.destroy(new Error('OpenBao: ответ превышает лимит'));
});
res.on('error', reject);
res.on('end', () => {
if (res.statusCode !== 200 && res.statusCode !== 204) return reject(new Error(`OpenBao HTTP ${res.statusCode}`));
try { resolve(content ? JSON.parse(content) : null); } catch { reject(new Error('OpenBao: неверный JSON')); }
});
});
req.on('error', reject);
req.end(body);
});
}
export function serviceSecretName(role: string): string {
if (role !== 'worker') return role;
const name = new X509Certificate(serviceTls().cert).subject;
if (!/^CN=worker-[0-9a-f]{8}$/.test(name)) throw new Error('Неверная identity worker');
return name.slice(3);
}
export async function loadServiceSecrets(role: string) {
const path = serviceSecretName(role);
async function acquire(): Promise<{ values: Credentials; ttl: number }> {
const { auth } = await baoRequest('/v1/auth/cert/login', { name: role });
const { data } = await baoRequest(`/v1/messenger/data/${path}`, undefined, auth.client_token);
if (!keys.every((key) => typeof data.data[key] === 'string' && data.data[key])) throw new Error('OpenBao: неполный secret');
if (!Number.isFinite(auth.lease_duration) || auth.lease_duration < 10 || auth.lease_duration > 300) {
throw new Error('OpenBao: неверный TTL');
}
const values = Object.fromEntries(keys.map((key) => [key, data.data[key]])) as Credentials;
return { values, ttl: auth.lease_duration };
}
const { log } = await import('./otel.ts');
const initial = await acquire();
Object.assign(process.env, initial.values);
// Re-auth вместо продления токена: замена/отзыв leaf проверяются при каждом цикле.
let expiresAt = performance.now() + initial.ttl * 1000;
const expire = () => {
log('error', 'secrets.expired', 'OpenBao недоступен или identity отозвана; срок использования credentials истёк');
process.exit(1);
};
let deadline = setTimeout(expire, initial.ttl * 1000).unref();
void (async () => {
for (;;) {
await sleep(5000, undefined, { ref: false });
try {
const next = await acquire();
if (keys.some((key) => next.values[key] !== initial.values[key])) {
log('info', 'secrets.rotated', 'Получены новые credentials; процесс перезапускается');
process.kill(process.pid, 'SIGTERM');
return;
}
expiresAt = performance.now() + next.ttl * 1000;
clearTimeout(deadline);
deadline = setTimeout(expire, next.ttl * 1000).unref();
} catch {
if (performance.now() >= expiresAt) expire();
}
}
})();
}
+100
View File
@@ -0,0 +1,100 @@
// S3-совместимое хранилище байтов вложений (SeaweedFS). Один приватный bucket, ключи объектов назначает сервер.
// Ошибки переводятся в ответы контракта: недоступность хранилища — 503, ошибка конфигурации/прав — 500.
import {
CopyObjectCommand,
CreateBucketCommand,
DeleteObjectCommand,
GetObjectCommand,
HeadObjectCommand,
ListObjectsV2Command,
PutObjectCommand,
S3Client,
} from '@aws-sdk/client-s3';
import type { Readable } from 'node:stream';
import type { S3Config } from '../config.ts';
import { HttpError, unavailable } from '../http/errors.ts';
import { log } from '../otel.ts';
export type Storage = ReturnType<typeof createStorage>;
export function createStorage(cfg: S3Config) {
const client = new S3Client({
endpoint: cfg.endpoint,
region: cfg.region,
forcePathStyle: true,
credentials: { accessKeyId: cfg.accessKeyId, secretAccessKey: cfg.secretAccessKey },
// Тело PUT уходит как есть с Content-Length, без aws-chunked/trailer: SHA-256 считает сам API.
requestChecksumCalculation: 'WHEN_REQUIRED',
responseChecksumValidation: 'WHEN_REQUIRED',
// Потоковое тело PUT нельзя отправить повторно; повтор — решение клиента API (он получит 503).
maxAttempts: 1,
// Недоступный S3 — быстрый отказ (1 с); requestTimeout — простой сокета, а не длительность всей загрузки.
// requestTimeout < timeout server HAProxy (10 с): при зависшем S3 ответит API (503), а не LB (504).
requestHandler: { connectionTimeout: 1000, requestTimeout: 8000, throwOnRequestTimeout: true },
});
const Bucket = cfg.bucket;
const send = async <T>(p: Promise<T>): Promise<T> => {
try {
return await p;
} catch (err) {
throw storageError(err);
}
};
return {
bucket: Bucket,
put: (key: string, body: Readable, length: number, type: string, signal: AbortSignal) =>
send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentLength: length, ContentType: type }), { abortSignal: signal })),
putBuffer: (key: string, body: Buffer, type: string) =>
send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentType: type }))),
// Копия на стороне S3 (байты не идут через процесс): публикация оригинала из staging в конечный prefix.
copy: (from: string, to: string) =>
send(client.send(new CopyObjectCommand({ Bucket, CopySource: `${Bucket}/${from}`, Key: to }))),
// null — объекта нет.
async get(key: string): Promise<Readable | null> {
try {
return (await client.send(new GetObjectCommand({ Bucket, Key: key }))).Body as Readable;
} catch (err) {
if (isMissing(err)) return null;
throw storageError(err);
}
},
async exists(key: string): Promise<boolean> {
try {
await client.send(new HeadObjectCommand({ Bucket, Key: key }));
return true;
} catch (err) {
if (isMissing(err)) return false;
throw storageError(err);
}
},
remove: (key: string) => send(client.send(new DeleteObjectCommand({ Bucket, Key: key }))),
list: (prefix: string, token?: string) =>
send(client.send(new ListObjectsV2Command({ Bucket, Prefix: prefix, ContinuationToken: token, MaxKeys: 1000 }))),
// Идемпотентный bootstrap: существующий bucket этого владельца — не ошибка.
async createBucket(): Promise<'created' | 'exists'> {
try {
await client.send(new CreateBucketCommand({ Bucket }));
return 'created';
} catch (err) {
if ((err as Error).name === 'BucketAlreadyOwnedByYou') return 'exists';
throw err;
}
},
};
}
function isMissing(err: unknown): boolean {
const e = err as { name?: string; $metadata?: { httpStatusCode?: number } };
return e.name === 'NoSuchKey' || e.name === 'NotFound' || e.$metadata?.httpStatusCode === 404;
}
// 4xx от S3 (AccessDenied, неверный bucket) — ошибка конфигурации: 500. Сеть, таймаут, 5xx — 503, клиент может повторить.
function storageError(err: unknown): Error {
if (err instanceof HttpError) return err;
const e = err as { name?: string; message?: string; $metadata?: { httpStatusCode?: number } };
if (e.name === 'AbortError') return err as Error; // загрузку прервал сам API, причину знает вызывающий
log('error', 's3.error', `S3: ${e.name}`, { 'error.type': e.name ?? 'Error' });
const status = e.$metadata?.httpStatusCode ?? 0;
return status >= 400 && status < 500 ? new HttpError(500, 'internal_error', 'Внутренняя ошибка') : unavailable('Хранилище файлов недоступно');
}
+70
View File
@@ -0,0 +1,70 @@
// OpenTelemetry SDK для api и worker: node --import ./src/telemetry.ts src/main.ts [worker].
// Загружается до приложения, чтобы инструментации успели перехватить http, pg и AWS SDK (ESM — через
// import-in-the-middle). Экспорт traces/metrics/logs — OTLP/HTTP в Collector; адрес, протокол, service.name,
// интервалы и OTEL_SDK_DISABLED задаются переменными OTEL_* (compose.yaml). Недоступный Collector не влияет на
// обработку запросов: очереди SDK ограничены (BSP/BLRP 2048 записей), при переполнении данные отбрасываются.
import { readFileSync } from 'node:fs';
import { register } from 'node:module';
import { OTLPTraceExporter } from '@opentelemetry/exporter-trace-otlp-proto';
import { OTLPMetricExporter } from '@opentelemetry/exporter-metrics-otlp-proto';
import { OTLPLogExporter } from '@opentelemetry/exporter-logs-otlp-proto';
import { PeriodicExportingMetricReader } from '@opentelemetry/sdk-metrics';
import { BatchLogRecordProcessor } from '@opentelemetry/sdk-logs';
import { serviceTls } from './security.ts';
import { hostname } from 'node:os';
import { AwsInstrumentation } from '@opentelemetry/instrumentation-aws-sdk';
import { HttpInstrumentation } from '@opentelemetry/instrumentation-http';
import { PgInstrumentation } from '@opentelemetry/instrumentation-pg';
import { RuntimeNodeInstrumentation } from '@opentelemetry/instrumentation-runtime-node';
import { NodeSDK, resources } from '@opentelemetry/sdk-node';
// OTEL_SDK_DISABLED=true — ни ESM-hook, ни патчей модулей instrumentations: чистая база для сравнения.
if (process.env.OTEL_SDK_DISABLED !== 'true') {
register('@opentelemetry/instrumentation/hook.mjs', import.meta.url);
const { version } = JSON.parse(readFileSync(new URL('../package.json', import.meta.url), 'utf8'));
const httpAgentOptions = { ...serviceTls(), keepAlive: true };
const sdk = new NodeSDK({
traceExporter: new OTLPTraceExporter({ httpAgentOptions }),
metricReaders: [new PeriodicExportingMetricReader({
exporter: new OTLPMetricExporter({ httpAgentOptions }),
exportIntervalMillis: Number(process.env.OTEL_METRIC_EXPORT_INTERVAL ?? 10000),
})],
logRecordProcessors: [new BatchLogRecordProcessor({ exporter: new OTLPLogExporter({ httpAgentOptions }) })],
// Только явные атрибуты и OTEL_SERVICE_NAME/OTEL_RESOURCE_ATTRIBUTES: host/process detectors добавили бы
// аргументы командной строки и пр. в каждую запись. service.instance.id = hostname = X-Instance-Id.
resourceDetectors: [resources.envDetector],
resource: resources.resourceFromAttributes({ 'service.version': version, 'service.instance.id': hostname() }),
instrumentations: [
new HttpInstrumentation({
// Health-проверки HAProxy и Docker (каждую секунду) — не бизнес-трафик: без spans и без метрик.
ignoreOutgoingRequestHook: ({ hostname }) => hostname === 'openbao',
ignoreIncomingRequestHook: (req) => req.url?.startsWith('/health/') ?? false,
// filename (пользовательский текст) и cursor не попадают в url.query server span.
redactedQueryParamsServer: ['filename', 'cursor'],
}),
// requireParentSpan: фоновые опросы outbox/sweeper (каждые 0.5–5 с) не создают отдельных trace.
// enhancedDatabaseReporting выключен: значения параметров SQL (текст сообщений, хеши) не записываются.
new PgInstrumentation({ requireParentSpan: true, enhancedDatabaseReporting: false }),
// Span на операцию S3 (PutObject, GetObject …) вместо дублирующего HTTP-клиентского span.
new AwsInstrumentation({ suppressInternalInstrumentation: true }),
new RuntimeNodeInstrumentation(),
],
});
sdk.start();
// otel.ts загружается только после start(): metrics.getMeter() до регистрации провайдера вернул бы no-op meter.
const { meter, onFlush } = await import('./otel.ts');
onFlush(() => sdk.shutdown());
// CPU и RSS процесса (в контейнере один процесс, поэтому это и нагрузка контейнера).
meter.createObservableCounter('process.cpu.time', { unit: 's', description: 'CPU time of the process' })
.addCallback((r) => {
const { user, system } = process.cpuUsage();
r.observe(user / 1e6, { 'cpu.mode': 'user' });
r.observe(system / 1e6, { 'cpu.mode': 'system' });
});
meter.createObservableGauge('process.memory.usage', { unit: 'By', description: 'Resident set size of the process' })
.addCallback((r) => r.observe(process.memoryUsage.rss()));
}
+64
View File
@@ -0,0 +1,64 @@
#!/usr/bin/env python3
"""Проверка второй реплики, если публичный сценарий повторно выбирает тот же target."""
import os
from pathlib import Path
import subprocess
import sys
import time
from uuid import uuid4
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, Failure, ROOT, arguments, check, run
from resilience import history
from worker_compromise import cmd
def main():
args = arguments('Отказ выбранной API-реплики', lambda p: p.add_argument('--replica', choices=('1', '2'), required=True))
c = Client(args.base_url, args.ca_file or ROOT / 'secrets/tls/service-ca/ca.crt', timeout=2)
container = cmd('docker', 'compose', 'ps', '-q', 'api', capture=True).splitlines()
target, = (cid[:12] for cid in container if cmd('docker', 'inspect', '-f',
'{{index .Config.Labels "com.docker.compose.container-number"}}', cid, capture=True) == args.replica)
alice, bob, _, chat = c.bootstrap()
initial = c.message(alice, chat, 'Подтверждено до отказа')['json']
attachment, image = c.attachment(alice, chat)
c.wait_ready(alice, attachment)
seen = {c.call('GET', '/api/v1/users/me', actor=alice)['headers']['X-Instance-Id'] for _ in range(10)}
check(len(seen) == 2 and target in seen, 'Две реплики не обнаружены')
started = time.monotonic()
proc = subprocess.Popen([str(ROOT / 'scripts/stop-one.sh')], cwd=ROOT,
env={**os.environ, 'TARGET_INSTANCE_ID': target})
results, failures, recovered = [], 0, None
key = uuid4().hex
try:
while time.monotonic() < started + 15:
try:
response = c.message(alice, chat, key, key=key)
except Failure:
failures += 1
else:
results.append(response['json'])
if proc.poll() == 0:
check(response['headers']['X-Instance-Id'] != target, 'Остановленная реплика ответила')
if recovered is None:
recovered = time.monotonic() - started
key = uuid4().hex
time.sleep(0.1)
check(proc.wait(timeout=2) == 0 and recovered is not None and recovered <= 10, 'Долгое восстановление')
check(len(results) >= 5, 'Мало успешных записей')
messages = history(c, bob, chat)
check(all(row in messages for row in [initial, *results]), 'Подтверждённое сообщение потеряно')
check(len({row['text'] for row in messages}) == len(messages), 'Дубли сообщений')
result = c.call('GET', '/api/v1/attachments/' + attachment['id'] + '/content', actor=bob)
check(result['bytes'] == image, 'Оригинал изменился')
print(f'PASS api-{args.replica}: {len(results)} successful writes, {failures} failures, recovery {recovered:.3f}s')
finally:
if proc.poll() is None:
proc.terminate()
proc.wait()
cmd('docker', 'compose', 'start', 'api')
if __name__ == '__main__':
run(main)
+31
View File
@@ -0,0 +1,31 @@
import assert from 'node:assert/strict';
import { hashPassword, checkPassword } from '../src/modules/passwords.ts';
const sample = 'synthetic-benchmark-password';
const hash = await hashPassword(sample);
assert.match(hash, /^\$argon2id\$v=19\$m=19456,t=2,p=1\$/);
assert.notEqual(await hashPassword(sample), hash);
assert.equal(await checkPassword(sample, hash), true);
assert.equal(await checkPassword('different-password', hash), false);
for (const concurrency of [1, 2]) {
const elapsed = [];
const cpu = process.cpuUsage();
const start = performance.now();
await Promise.all(Array.from({ length: concurrency }, async () => {
for (let i = 0; i < 25; i++) {
const at = performance.now();
assert.equal(await checkPassword(sample, hash), true);
elapsed.push(performance.now() - at);
}
}));
elapsed.sort((a, b) => a - b);
const used = process.cpuUsage(cpu);
console.log(JSON.stringify({
concurrency, runs: elapsed.length, p50_ms: Math.round(elapsed[Math.ceil(elapsed.length * .5) - 1]),
p95_ms: Math.round(elapsed[Math.ceil(elapsed.length * .95) - 1]),
p99_ms: Math.round(elapsed[Math.ceil(elapsed.length * .99) - 1]),
elapsed_ms: Math.round(performance.now() - start), cpu_ms: Math.round((used.user + used.system) / 1000),
max_rss_mib: Math.round(process.resourceUsage().maxRSS / 1024),
}));
}
+220
View File
@@ -0,0 +1,220 @@
#!/usr/bin/env python3
"""Негативные и граничные сценарии вложений (уровень 4) через LB: ни один из них не должен дать 500.
Lab5: принятый файл — 202 queued, байты и варианты доступны после ready (worker).
Изображения генерируются кодом (PNG — zlib/struct), JPEG — синтетический fixtures/sample.jpg (sips из sample.png).
Запуск: python3 student-tests/attachments.py --base-url http://localhost:8080"""
import hashlib
import http.client
import os
from pathlib import Path
import struct
import sys
import time
import urllib.parse
import uuid
import zlib
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, ROOT, arguments, check, run # noqa: E402
MiB = 1024 * 1024
SAMPLE_PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
SAMPLE_JPG = (Path(__file__).parent / 'fixtures/sample.jpg').read_bytes()
def chunk(kind, data):
return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data))
def png(width, height, raw, depth=8, color=2, level=1):
"""PNG из готовых распакованных строк raw (байт фильтра + пиксели)."""
ihdr = struct.pack('>IIBBBBB', width, height, depth, color, 0, 0, 0)
return b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level)) + chunk(b'IEND', b'')
def noise_png(side):
"""RGB-шум не сжимается: размер файла ≈ side² × 3 байт."""
row = 1 + side * 3
return png(side, side, b''.join(b'\0' + os.urandom(row - 1) for _ in range(side)))
def gray1(width, height):
"""1-битный серый PNG из нулей: 40 Мпикс занимают несколько килобайт файла."""
return png(width, height, bytes(height * (1 + (width + 7) // 8)), depth=1, color=0, level=9)
def jpeg_with_size(data, width, height):
"""Подменить размеры в SOF0 существующего JPEG."""
i = data.index(b'\xff\xc0')
return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:]
def jpeg_without(data, marker):
"""Вырезать из JPEG все сегменты с маркером marker, стоящие до SOS."""
out, i = data[:2], 2
while data[i + 1] != 0xda:
size = 2 + struct.unpack('>H', data[i + 2:i + 4])[0]
if data[i + 1] != marker:
out += data[i:i + size]
i += size
return out + data[i:]
def bare_jpeg():
"""27 байт: SOI, SOF0 1x1, SOS, EOI — без таблиц DQT/DHT и без данных скана."""
return (b'\xff\xd8' + b'\xff\xc0' + struct.pack('>HBHHB', 11, 8, 1, 1, 1) + b'\x01\x11\x00'
+ b'\xff\xda' + struct.pack('>HB', 8, 1) + b'\x01\x00\x00\x3f\x00' + b'\xff\xd9')
def main():
args = arguments('Attachment negative suite')
c = Client(args.base_url, args.ca_file, timeout=30)
alice, bob, eve, chat = c.bootstrap()
other = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'Другой чат', 'member_ids': [alice['id']]}, schema='Chat')['json']
results = []
def upload(data, expected, ctype='image/png', name='file.png', actor=alice, target=chat, label=None):
path = '/api/v1/chats/' + target['id'] + '/attachments?filename=' + urllib.parse.quote(name, safe='')
r = c.call('POST', path, expected, actor=actor, raw=data, headers={'Content-Type': ctype}, schema='Attachment' if expected == 202 else None)
results.append((label or name, r['status'], (r['json'] or {}).get('error', {}).get('code', ''), round(r['elapsed'] * 1000)))
if expected == 202:
att = r['json']
check(att['sha256'] == hashlib.sha256(data).hexdigest() and att['size_bytes'] == len(data), label + ': checksum/size')
check(att['content_type'] == ctype and att['filename'] == name, label + ': metadata')
check(att['status'] == 'queued' and att['variants'] == [] and att['error_code'] is None, label + ': 202 snapshot')
return att
return r['json']
def download(att, actor=bob, expect=None):
att = c.wait_ready(actor, att, 120)
r = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=actor)
check(r['bytes'] == expect and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'download differs')
check(r['headers'].get_content_type() == att['content_type'], 'download content type')
check(r['headers'].get('X-Content-Type-Options') == 'nosniff', 'missing nosniff')
check(not r['headers'].get('Location'), 'download must not redirect')
# Принимаются реальные PNG/JPEG, граница по размеру и по пикселям.
jpg = upload(SAMPLE_JPG, 202, 'image/jpeg', 'фото 📷 2026.jpg', label='real JPEG + unicode filename')
download(jpg, expect=SAMPLE_JPG)
big = noise_png(1860)
check(9 * MiB < len(big) <= 10 * MiB, 'big fixture size %d' % len(big))
big_att = upload(big, 202, label='PNG %.2f MiB (noise 1860x1860)' % (len(big) / MiB))
download(big_att, expect=big)
huge = upload(gray1(6400, 6250), 202, label='PNG ровно 40 000 000 px')
huge = c.wait_ready(bob, huge, 120) # worker обрабатывает предельный по пикселям файл в своих лимитах
dims = {v['name']: (v['width'], v['height']) for v in huge['variants']}
check(dims == {'thumbnail': (256, 250), 'crop': (128, 128), 'optimized': (1280, 1250)}, 'variants of 6400x6250: %s' % dims)
# Лимиты: до чтения тела (Content-Length) и по заголовку изображения до распаковки.
upload(noise_png(1900), 413, label='PNG 10.33 MiB > 10 MiB')
upload(os.urandom(10 * MiB + 1), 413, label='10 MiB + 1 байт')
upload(gray1(6400, 6251), 413, label='PNG 40 006 400 px')
bomb = gray1(30000, 30000)
upload(bomb, 413, label='pixel-bomb 30000x30000, файл %d КБ' % (len(bomb) // 1024))
upload(jpeg_with_size(SAMPLE_JPG, 10000, 10000), 413, 'image/jpeg', 'bomb.jpg', label='JPEG SOF 10000x10000')
# IHDR обещает 100x100, а IDAT распаковывается в 64 МБ нулей: распаковка останавливается на лишних данных.
upload(png(100, 100, bytes(64 * MiB), level=9), 415, label='zip-bomb в IDAT (64 МБ при 100x100)')
# Повреждённые файлы и подмена типа.
bad_crc = bytearray(SAMPLE_PNG)
bad_crc[1000] ^= 0xFF
upload(bytes(bad_crc), 415, label='PNG: байт IDAT испорчен (CRC)')
upload(png(320, 200, os.urandom(1000)), 415, label='PNG: корректные CRC, мусор в zlib')
upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей')
upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан')
upload(SAMPLE_PNG + b'<html>', 415, label='PNG + данные после IEND')
upload(png(1, 1, b'\x05\0\0\0'), 415, label='PNG 1x1: фильтр строки 5 (допустимы 0–4)')
upload(bare_jpeg(), 415, 'image/jpeg', 'bare.jpg', label='JPEG 27 байт: без DQT/DHT и скана')
upload(jpeg_without(SAMPLE_JPG, 0xdb), 415, 'image/jpeg', 'nodqt.jpg', label='JPEG без таблиц квантования DQT')
upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)')
upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg')
upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png')
upload(b'GIF89a' + os.urandom(100), 415, label='GIF под видом image/png')
upload(b'<svg xmlns="http://www.w3.org/2000/svg"/>', 415, label='SVG под видом image/png')
upload(SAMPLE_PNG, 415, 'image/gif', 'x.gif', label='Content-Type image/gif')
upload(SAMPLE_PNG, 415, 'application/octet-stream', 'x.png', label='Content-Type octet-stream')
upload(b'', 415, label='пустое тело')
# Опасные и некорректные filename: 400 до чтения тела.
for name in ['../etc/passwd', 'a/b.png', 'a\\b.png', 'nul\x00.png', 'tab\t.png', 'line\n.png', 'c1\x85.png', '', ' ', 'x' * 256]:
upload(SAMPLE_PNG, 400, name=name, label='filename %r' % name[:20])
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments', 400, actor=alice, raw=SAMPLE_PNG, headers={'Content-Type': 'image/png'})
results.append(('без filename', r['status'], r['json']['error']['code'], round(r['elapsed'] * 1000)))
results.append(('chunked без Content-Length',) + chunked_upload(c, alice, chat))
# Доступ: без сессии, посторонний, чужое вложение.
upload(SAMPLE_PNG, 401, actor={'id': '', 'token': 'bad'}, label='без действительной сессии')
upload(SAMPLE_PNG, 404, actor=eve, label='посторонний грузит в чужой чат')
upload(SAMPLE_PNG, 404, target={'id': str(uuid.uuid4())}, label='несуществующий чат')
upload(SAMPLE_PNG, 400, target={'id': 'not-a-uuid'}, label='chat_id не UUID')
own = upload(SAMPLE_PNG, 202, label='обычный PNG')
foreign = upload(SAMPLE_PNG, 202, target=other, label='PNG в другом чате')
for suffix in ('', '/content'):
c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 404, actor=eve)
c.call('GET', '/api/v1/attachments/' + foreign['id'] + suffix, 404, actor=bob)
c.call('GET', '/api/v1/attachments/' + str(uuid.uuid4()) + suffix, 404, actor=bob)
c.call('GET', '/api/v1/attachments/xyz' + suffix, 400, actor=bob)
c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 401)
content = '/api/v1/attachments/' + own['id'] + '/content'
c.wait_ready(bob, own)
check(c.call('GET', content + '?variant=thumbnail', actor=bob)['headers'].get_content_type() == 'image/jpeg', 'thumbnail type')
check(c.call('GET', content + '?variant=optimized', actor=bob)['headers'].get_content_type() == 'image/webp', 'optimized type')
c.call('GET', content + '?variant=bogus', 400, actor=bob)
check(c.call('GET', content + '?variant=original', actor=bob)['bytes'] == SAMPLE_PNG, 'variant=original')
# Привязка к сообщению: только вложения этого чата, 0–10 уникальных UUID.
send = '/api/v1/chats/' + chat['id'] + '/messages'
def post(body, expected, key=None):
return c.call('POST', send, expected, actor=alice, body=body, headers={'Idempotency-Key': key or uuid.uuid4().hex},
schema='Message' if expected == 201 else None)['json']
post({'text': 'чужое', 'attachment_ids': [foreign['id']]}, 404)
post({'text': 'смесь', 'attachment_ids': [own['id'], foreign['id']]}, 404)
post({'text': 'нет такого', 'attachment_ids': [str(uuid.uuid4())]}, 404)
post({'text': 'дубль', 'attachment_ids': [own['id'], own['id'].upper()]}, 400)
post({'text': 'много', 'attachment_ids': [str(uuid.uuid4()) for _ in range(11)]}, 400)
post({'text': 'не uuid', 'attachment_ids': ['x']}, 400)
post({'text': 'не массив', 'attachment_ids': own['id']}, 400)
post({'text': ' '}, 400)
post({'text': '', 'attachment_ids': []}, 400)
c.call('POST', '/api/v1/chats/' + other['id'] + '/messages', 404, actor=bob, body={'text': 'x', 'attachment_ids': [foreign['id']]},
headers={'Idempotency-Key': uuid.uuid4().hex})
key = uuid.uuid4().hex
m = post({'text': '', 'attachment_ids': [own['id'], jpg['id']]}, 201, key)
check(m['attachment_ids'] == [own['id'], jpg['id']] and m['text'] == '', 'attachment order/text')
check(post({'attachment_ids': [own['id'], jpg['id']], 'text': ''}, 201, key) == m, 'replay with attachments differs')
post({'text': '', 'attachment_ids': [jpg['id'], own['id']]}, 409, key)
post({'text': '', 'attachment_ids': [own['id']]}, 409, key)
key = uuid.uuid4().hex
t = post({'text': 'без вложений'}, 201, key)
check(post({'text': 'без вложений', 'attachment_ids': []}, 201, key) == t and t['attachment_ids'] == [], 'missing attachment_ids != []')
history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
check([x for x in history if x['id'] == m['id']] == [m], 'history lost attachment_ids')
width = max(len(r[0]) for r in results)
for label, status, code, ms in results:
print('%-*s %d %-24s %5d ms' % (width, label, status, code, ms))
check(all(status < 500 for _, status, _, _ in results), 'server error in negative suite')
print('PASS: %d upload cases, ACL and message linking; no 5xx' % len(results))
def chunked_upload(c, actor, chat):
"""Тело без Content-Length (Transfer-Encoding: chunked): потоковая запись в S3 требует длину — 400."""
url = urllib.parse.urlsplit(c.base)
conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10)
conn.putrequest('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=c.png')
conn.putheader('Authorization', 'Bearer ' + actor['token'])
conn.putheader('Content-Type', 'image/png')
conn.putheader('Transfer-Encoding', 'chunked')
conn.endheaders()
start = time.monotonic()
conn.send(b'%x\r\n%s\r\n0\r\n\r\n' % (len(SAMPLE_PNG), SAMPLE_PNG))
r = conn.getresponse()
body = r.read()
check(r.status == 400 and b'invalid_request' in body, 'chunked upload: %d' % r.status)
return r.status, 'invalid_request', round((time.monotonic() - start) * 1000)
if __name__ == '__main__':
run(main)
+87
View File
@@ -0,0 +1,87 @@
#!/usr/bin/env python3
import base64
from concurrent.futures import ThreadPoolExecutor
import hashlib
import json
from pathlib import Path
import ssl
import socket
from urllib.parse import urlsplit
import sys
import time
from collections import Counter
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, ROOT, arguments, check, run
from worker_compromise import sql
CA = ROOT / 'secrets/tls/service-ca/ca.crt'
def main():
args = arguments('TLS, ACL, Argon2id и сессии')
c = Client(args.base_url, args.ca_file or CA)
alice, bob, eve, chat = c.bootstrap()
att, _ = c.attachment(alice, chat)
c.wait_ready(alice, att)
path = '/api/v1/attachments/' + att['id']
for suffix in ('', '/content'):
c.call('GET', path + suffix, 404, actor=eve, headers={'X-User-Id': alice['id']})
own = c.call('POST', '/api/v1/chats', 201, actor=eve, body={'title': 'ACL', 'member_ids': [eve['id'], bob['id']]}, schema='Chat')['json']
c.call('POST', '/api/v1/chats/' + own['id'] + '/messages', 404, actor=eve,
body={'text': 'blocked', 'attachment_ids': [att['id']]}, headers={'Idempotency-Key': 'acl-test-' + att['id']})
print('PASS outsider: metadata, bytes and reuse of foreign attachment denied')
session_hash = hashlib.sha256(alice['token'].encode()).hexdigest()
sql(f"UPDATE sessions SET expires_at = now() - interval '1 second' WHERE token_hash = decode('{session_hash}', 'hex')")
c.call('GET', '/api/v1/users/me', 401, actor=alice)
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=bob)
c.call('GET', '/api/v1/users/me', 401, actor=bob)
print('PASS expired and logged-out sessions rejected')
registration = alice['registration']
salt = bytes(range(16))
legacy = 'scrypt$16384$8$1$' + base64.b64encode(salt).decode() + '$' + base64.b64encode(
hashlib.scrypt(registration['password'].encode(), salt=salt, n=16384, r=8, p=1, dklen=32, maxmem=64 << 20)
).decode()
sql(f"UPDATE users SET password_hash = '{legacy}' WHERE id = '{alice['id']}'")
auth = base64.b64encode((registration['username'] + ':' + registration['password']).encode()).decode()
c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + auth})
check(sql(f"SELECT password_hash LIKE '$argon2id$v=19$%' FROM users WHERE id = '{alice['id']}'") == 't', 'rehash missing')
print('PASS successful scrypt login rehashes to Argon2id')
endpoint = urlsplit(c.base)
ctx = ssl.create_default_context(cafile=CA)
try:
with socket.create_connection((endpoint.hostname, endpoint.port or 443), timeout=5) as raw:
with ctx.wrap_socket(raw, server_hostname='invalid.lab'):
raise AssertionError('wrong hostname accepted')
except ssl.SSLCertVerificationError as exc:
check(exc.verify_code == 62, 'expected hostname mismatch')
print('PASS ingress rejects an incorrect hostname')
# Exercise password work with a known user and valid-length wrong password.
sql("UPDATE login_rate SET window_start='-infinity', attempts=0")
invalid = base64.b64encode((registration['username'] + ':wrong-password-for-lab').encode()).decode()
start = time.monotonic()
with ThreadPoolExecutor(max_workers=4) as pool:
samples = list(pool.map(lambda _: c.call('POST', '/api/v1/auth/sessions', [401, 429],
headers={'Authorization': 'Basic ' + invalid}), range(64)))
counts = Counter(r['status'] for r in samples)
for item in samples:
if item['status'] == 429:
check(int(item['headers']['Retry-After']) >= 1, 'Retry-After missing')
check(401 in counts and 429 in counts, 'rate limit test did not see both status codes')
check(len({item['headers']['X-Instance-Id'] for item in samples if item['status'] == 429}) >= 2,
'429 was not observed on both API replicas')
elapsed = sorted(r['elapsed'] for r in samples if r['status'] == 401)
print('PASS shared login budget ' + json.dumps({
'codes': counts, 'requests': 64, 'concurrency': 4, 'seconds': round(time.monotonic() - start, 2),
'401_p50_ms': round(elapsed[len(elapsed) // 2] * 1000, 1),
'401_p95_ms': round(elapsed[int((len(elapsed) - 1) * .95)] * 1000, 1),
}))
sql("UPDATE login_rate SET window_start='-infinity', attempts=0")
if __name__ == '__main__':
run(main)
+71
View File
@@ -0,0 +1,71 @@
#!/usr/bin/env python3
"""Проверяет sealed OpenBao, границу TTL и восстановление API без удаления данных."""
import datetime
from pathlib import Path
import ssl
import sys
import time
import urllib.error
import urllib.request
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, Failure, ROOT, arguments, check, run
from worker_compromise import cmd
def instances(c):
return {c.call('GET', '/health/ready')['headers']['X-Instance-Id'] for _ in range(8)}
def main():
args = arguments('OpenBao sealed / credential expiry')
ca = args.ca_file or ROOT / 'secrets/tls/service-ca/ca.crt'
c = Client(args.base_url, ca, timeout=5)
deadline = time.monotonic() + 90
while time.monotonic() < deadline:
try:
if len(instances(c)) == 2:
break
except Failure:
pass
time.sleep(1)
else:
raise AssertionError('Before sealing, both API replicas must respond')
started = time.monotonic()
since = datetime.datetime.now(datetime.timezone.utc).isoformat()
ctx = ssl.create_default_context(cafile=ca)
cmd('python3', 'scripts/bao.py', 'seal')
try:
c.call('GET', '/health/live')
expired = set()
while time.monotonic() < started + 80:
logs = cmd('docker', 'compose', 'logs', '--since', since, '--no-color', 'api', capture=True)
expired.update(line.split('|', 1)[0].strip() for line in logs.splitlines() if 'secrets.expired' in line)
if len(expired) == 2:
break
time.sleep(1)
check(len(expired) == 2, 'Both replicas must record credential expiry')
try:
urllib.request.urlopen(c.base + '/health/ready', context=ctx, timeout=5).close()
except urllib.error.HTTPError as exc:
check(exc.code == 503, 'Expected HTTP 503 from ingress')
else:
raise AssertionError('Ingress still routes after both API credentials expired')
print(f'PASS sealed OpenBao, both replicas expired and ingress returned 503 after {time.monotonic() - started:.1f}s')
finally:
cmd('python3', 'scripts/bao.py', 'unseal')
deadline = time.monotonic() + 90
while time.monotonic() < deadline:
try:
if len(instances(c)) == 2:
print(f'PASS both replicas recovered after {time.monotonic() - started:.1f}s from seal')
return
except Failure:
pass
time.sleep(1)
raise AssertionError('API failed to recover after unseal')
if __name__ == '__main__':
run(main)
+139
View File
@@ -0,0 +1,139 @@
#!/usr/bin/env python3
"""Отказы вокруг S3 и перезапуск всего стенда (уровни 3–4). Управляет Docker Compose этого каталога:
1. S3 остановлен: upload/download → 503 быстро, метаданные и текст работают, readiness = 200;
2. S3 «завис» (docker pause): ответ 503 по таймауту API раньше таймаута LB;
3. после возврата S3 всё работает; неудачные загрузки не оставили строк (lab5: компенсация сначала удаляет строку),
«воскресший» после pause объект staging убирает reconciler (orphan_staging);
4. docker compose down (без -v) + up: метаданные, оригинал и прежний токен сохранены.
Запуск: python3 student-tests/failures.py --base-url http://localhost:8080"""
import hashlib
import json
from pathlib import Path
import subprocess
import sys
import time
import uuid
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, ROOT, arguments, check, run # noqa: E402
PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
def compose(*args, capture=False):
r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True)
check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:]))
return r.stdout if capture else None
def sql(query):
return compose('exec', '-T', '-u', 'postgres', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', query, capture=True).strip()
def reconcile(*flags):
out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags, capture=True)
return json.loads(out.strip().splitlines()[-1])
def wait_ready(c, seconds=90):
deadline = time.monotonic() + seconds
while time.monotonic() < deadline:
try:
if c.call('GET', '/health/ready', [200, 503])['status'] == 200:
return
except AssertionError:
pass
time.sleep(1)
raise AssertionError('stand not ready')
def recover(c, path, actor, seconds=60):
"""Время до первого успешного скачивания после возврата S3."""
start = time.monotonic()
while c.call('GET', path, [200, 503], actor=actor)['status'] != 200:
check(time.monotonic() - start < seconds, 'S3 path did not recover')
time.sleep(0.5)
return time.monotonic() - start
def main():
args = arguments('S3 outage, S3 hang and full stand restart')
c = Client(args.base_url, args.ca_file, timeout=30)
alice, bob, _, chat = c.bootstrap()
up = '/api/v1/chats/' + chat['id'] + '/attachments?filename=outage.png'
send = '/api/v1/chats/' + chat['id'] + '/messages'
hdr = {'Content-Type': 'image/png'}
att = c.call('POST', up, 202, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json']
att = c.wait_ready(bob, att) # lab5: байты доступны после обработки worker
content = '/api/v1/attachments/' + att['id'] + '/content'
pending_before = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'"))
log = []
def step(name, r):
log.append('%-52s %d %5d ms' % (name, r['status'], r['elapsed'] * 1000))
# 1. S3 остановлен.
compose('stop', 's3')
try:
step('S3 stopped: /health/ready (S3 не критичен)', c.call('GET', '/health/ready', 200))
for i in range(3):
step('S3 stopped: upload #%d' % (i + 1), c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr))
step('S3 stopped: download', c.call('GET', content, 503, actor=bob))
step('S3 stopped: metadata (только БД)', c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment'))
step('S3 stopped: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 недоступен'},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
step('S3 stopped: message with ready attachment', c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
finally:
compose('start', 's3')
# Компенсация сначала удаляет pending-строку (БД доступна), объектов при остановленном S3 не появилось.
leftover = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) - pending_before
log.append('pending-строк после 3 неудачных загрузок: %d' % leftover)
check(leftover == 0, 'failed uploads left pending rows')
log.append('S3 started: download снова 200 через %.1f s' % recover(c, content, bob))
# 2. S3 завис: TCP-соединения не отвечают.
c.call('GET', content, 200, actor=bob) # прогреть keep-alive соединения API → S3
compose('pause', 's3')
try:
step('S3 paused: download (таймаут сокета S3 8 с)', c.call('GET', content, 503, actor=bob))
step('S3 paused: upload', c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr))
step('S3 paused: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 завис'},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
finally:
compose('unpause', 's3')
# 3. S3 вернулся.
log.append('S3 unpaused: download снова 200 через %.1f s' % recover(c, content, bob))
r = c.call('POST', up, 202, actor=alice, raw=PNG, headers=hdr, schema='Attachment')
step('S3 back: upload', r)
c.wait_ready(bob, r['json']) # reconcile --grace=0 ниже не должен застать работу в процессе
r = c.call('GET', content, 200, actor=bob)
check(r['bytes'] == PNG, 'original changed')
step('S3 back: download old attachment', r)
# Возможен orphan_staging — PUT, который S3 буферизовал во время pause и выполнил после того, как API сдался
# и компенсационный DELETE уже прошёл (объект «воскрес»). Других расхождений быть не должно.
dry = reconcile('--grace=0')
log.append('reconcile dry-run --grace=0: %s' % json.dumps(dry['findings'], ensure_ascii=False))
check(set(dry['findings']) <= {'orphan_staging'}, 'unexpected findings')
fixed = reconcile('--grace=0', '--apply')
again = reconcile('--grace=0')
log.append('reconcile --apply: applied=%d; повтор: %s' % (fixed['applied'], json.dumps(again['findings'])))
check(not again['findings'], 'reconciler left inconsistencies')
# 4. Полный перезапуск стенда с сохранением volumes: down удаляет контейнеры и сети, не volumes.
compose('down')
compose('up', '-d', '--wait')
wait_ready(c)
r = c.call('GET', content, 200, actor=bob) # прежний токен
check(r['bytes'] == PNG and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'original lost after down/up')
step('down + up -d: download with old token', r)
meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json']
check(meta == att, 'metadata changed after restart')
print('\n'.join(log))
print('PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data')
if __name__ == '__main__':
run(main)

Some files were not shown because too many files have changed in this diff Show More