diff --git a/.dockerignore b/.dockerignore index bc16e55..a77c419 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,5 @@ __pycache__ node_modules evidence .DS_Store +bin +experiments diff --git a/.env.example b/.env.example index 2e9f054..f6aa592 100644 --- a/.env.example +++ b/.env.example @@ -39,3 +39,16 @@ BAO_CACERT=/run/secrets/bao-ca.crt ARGON2_MEMORY_KIB=19456 ARGON2_ITERATIONS=2 ARGON2_PARALLELISM=1 +# --- Решение lab7 (сопоставление — REPORT.md) --- +# В compose: DATABASE_URL_FILE/CACHE_URL_FILE/S3_*_FILE/BROKER_URL_FILE НЕ используются приложением: +# роль БД, ключ S3, ACL Redis сервис получает из OpenBao по своему сертификату +# (BAO_ROLE, BAO_KV_PATH задаёт compose для каждого сервиса); broker — mTLS + SASL EXTERNAL. +SECRETS_REFRESH=30s +ARGON2_MAX_CONCURRENT=2 +LOGIN_RATE_PER_USER=10 +LOGIN_RATE_PER_IP=60 +LOGIN_RATE_WINDOW_SECONDS=60 +LB_PORT=8443 +GRAFANA_PORT=3000 +BAO_PORT=8200 +COLLECTOR_CONFIG=collector.yaml diff --git a/.github/workflows/lab7-stand.yml b/.github/workflows/lab7-stand.yml new file mode 100644 index 0000000..7c3994d --- /dev/null +++ b/.github/workflows/lab7-stand.yml @@ -0,0 +1,166 @@ +# Реальный прогон Docker-стенда lab7 на GitHub-hosted runner. +# Нужен потому, что на машине разработки нет аппаратной виртуализации для Docker Desktop. +# Все результаты — настоящие прогоны; публикуются в ветку lab7-results. +name: lab7 stand + +on: + push: + branches: [lab7] + workflow_dispatch: + +permissions: + contents: read + +concurrency: + group: lab7-stand-${{ github.ref }} + cancel-in-progress: true + +env: + PYTHONUTF8: "1" + +jobs: + # Unit-тесты и интеграционный fault-injection pipeline (трек 5) на настоящем PostgreSQL. + go-tests: + name: Go unit + интеграционный fault-injection + runs-on: ubuntu-24.04 + timeout-minutes: 20 + services: + postgres: + image: postgres:16.4-alpine + env: + POSTGRES_USER: it + POSTGRES_PASSWORD: it + POSTGRES_DB: postgres + ports: ["5432:5432"] + options: >- + --health-cmd "pg_isready -U it" --health-interval 2s --health-timeout 2s --health-retries 30 + steps: + - uses: actions/checkout@v4 + - uses: actions/setup-go@v5 + with: + go-version: "1.26.11" + - name: cwebp для теста варианта optimized + run: sudo apt-get update -qq && sudo apt-get install -y -qq webp > /dev/null && cwebp -version + - name: go test + env: + TEST_DATABASE_URL: postgres://it:it@localhost:5432/postgres?sslmode=disable + run: | + mkdir -p evidence/track2 + go test ./... -count=1 2>&1 | tee evidence/go_test.txt + go test ./internal/worker/ -run Pipeline -count=1 -v 2>&1 | grep -E '^(=== RUN|--- |PASS|FAIL|ok)|FAULT INJECTION|duplicate|lease|stale|noop|attempt failed|early delivery' \ + | tee evidence/track2/pipeline_fault_injection.txt + go test ./internal/imaging/ -run OptimizedWebP -count=1 -v 2>&1 | tee evidence/webp_test.txt + go test ./internal/telemetry/ ./internal/transport/http/middleware/ ./internal/worker/ -run 'Telemetry|Trace|Route|Propag' -count=1 -v 2>&1 \ + | grep -E '^(=== RUN|--- |PASS|FAIL|ok)' | tee evidence/telemetry_tests.txt + go test ./internal/tlsutil/ ./internal/service/ -count=1 -v 2>&1 | grep -E '^(=== RUN|--- |PASS|FAIL|ok)|handshake error' | tee evidence/security_unit_tests.txt + - uses: actions/upload-artifact@v4 + if: always() + with: + name: evidence-go + path: evidence/ + + stand: + name: Стенд — ${{ matrix.part }} + runs-on: ubuntu-24.04 + timeout-minutes: 150 + strategy: + fail-fast: false + matrix: + part: [base, security, pipeline, track1] + steps: + - uses: actions/checkout@v4 + - uses: actions/setup-python@v5 + with: + python-version: "3.12" + - name: Bootstrap стенда (PKI, OpenBao init/unseal, сервисные credentials) и запуск + shell: bash + run: | + set -o pipefail + mkdir -p evidence + chmod +x scripts/*.sh infra/s3/init.sh + sh scripts/init-secrets.sh && sh scripts/pki.sh init + mkdir -p secrets/operator && touch secrets/operator/redis_users.acl secrets/operator/s3_users.txt + docker compose --env-file .env config --quiet + for img in $(docker compose --profile ops config --images | sort -u | grep -v -e '-api:local' -e '-probe:local'); do + if docker pull -q "$img" > /dev/null 2>> evidence/pull_${{ matrix.part }}.log; then echo "ok $img"; else echo "FAIL $img"; fi + done | tee -a evidence/pull_${{ matrix.part }}.log + docker compose build 2>&1 | tail -20 > evidence/build_${{ matrix.part }}.log + docker compose --profile test build probe 2>&1 | tail -5 >> evidence/build_${{ matrix.part }}.log + python scripts/bootstrap.py all 2>&1 | tee evidence/bootstrap_${{ matrix.part }}.log + - name: make check + доказательства (${{ matrix.part }}) + run: | + make check PYTHON=python + PYTHON=python PROBE_UID=$(id -u) sh scripts/collect-evidence.sh ${{ matrix.part }} + - name: Окружение runner + if: always() + run: | + mkdir -p evidence + { nproc; free -m; docker version --format '{{.Server.Version}}'; docker compose version; } > evidence/runner_${{ matrix.part }}.txt + docker compose ps -a > evidence/docker_ps_final_${{ matrix.part }}.txt || true + for c in $(docker compose ps -aq); do docker inspect -f '{{.Name}} restarts={{.RestartCount}} oom_killed={{.State.OOMKilled}} exit={{.State.ExitCode}}' "$c"; done > evidence/containers_state_${{ matrix.part }}.txt || true + docker compose logs --no-color --tail 300 > evidence/compose_logs_${{ matrix.part }}.log 2>&1 || true + docker compose logs --no-color api worker relay 2>&1 | grep -v '"msg":"http request"' | tail -3000 > evidence/app_logs_${{ matrix.part }}.log || true + - uses: actions/upload-artifact@v4 + if: always() + with: + name: evidence-${{ matrix.part }} + path: evidence/ + + # Сканы зависимостей и образов: сырые отчёты + разбор применимости в REPORT.md. + scan: + name: govulncheck + Trivy + runs-on: ubuntu-24.04 + timeout-minutes: 30 + steps: + - uses: actions/checkout@v4 + - uses: actions/setup-go@v5 + with: + go-version: "1.26.11" + - name: govulncheck (достижимые уязвимости Go-кода) + run: | + mkdir -p evidence/scan + go install golang.org/x/vuln/cmd/govulncheck@v1.1.4 + $(go env GOPATH)/bin/govulncheck ./... > evidence/scan/govulncheck.txt 2>&1 || true + tail -30 evidence/scan/govulncheck.txt + - name: Trivy (образ приложения и образы стенда) + run: | + docker build -q -t mtusi2026lab7-api:local . > /dev/null + for img in mtusi2026lab7-api:local postgres:16.4-alpine redis:7.4.1-alpine rabbitmq:4.0.9-alpine haproxy:3.0.5-alpine openbao/openbao:2.1.0; do + f=evidence/scan/trivy_$(echo "$img" | tr '/:' '__').json + docker run --rm -v /var/run/docker.sock:/var/run/docker.sock aquasec/trivy:0.58.1 image --quiet --format json --severity HIGH,CRITICAL --scanners vuln "$img" > "$f" 2>/dev/null || true + python3 -c "import json,sys;d=json.load(open('$f'));r=[v for x in d.get('Results',[]) for v in (x.get('Vulnerabilities') or [])];print('$img', len(r), 'HIGH/CRITICAL', sorted({v['PkgName'] for v in r})[:15])" | tee -a evidence/scan/trivy_summary.txt || true + done + - uses: actions/upload-artifact@v4 + if: always() + with: + name: evidence-scan + path: evidence/ + + publish: + name: Публикация результатов в ветку lab7-results + needs: [go-tests, stand, scan] + if: always() + runs-on: ubuntu-24.04 + permissions: + contents: write + steps: + - uses: actions/checkout@v4 + - uses: actions/download-artifact@v4 + with: + path: collected + - name: Commit в lab7-results + run: | + git config user.name "github-actions[bot]" + git config user.email "41898282+github-actions[bot]@users.noreply.github.com" + git checkout -q --orphan lab7-results + git rm -rf -q . + { echo "source_commit=${{ github.sha }}" + echo "run=${{ github.server_url }}/${{ github.repository }}/actions/runs/${{ github.run_id }}" + echo "go_tests=${{ needs.go-tests.result }}" + echo "stand=${{ needs.stand.result }}" + echo "scan=${{ needs.scan.result }}"; } > collected/RUN.txt + cp -r collected/. . + rm -rf collected + git add -A + git commit -q -m "results for ${{ github.sha }}" + git push -f origin lab7-results diff --git a/.gitignore b/.gitignore index b5a7189..7b45dbd 100644 --- a/.gitignore +++ b/.gitignore @@ -30,3 +30,6 @@ coverage/ .vscode/ # Keep small, sanitized evidence summaries in evidence/ under version control. # Inspect git diff --cached: ignore rules are not a secret scanner. + +# Пакет исходников (правило secrets/ выше — для каталога секретов стенда) +!/internal/secrets/ diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 0000000..0b1881b --- /dev/null +++ b/Dockerfile @@ -0,0 +1,72 @@ +# ============================================================ +# Stage 1: builder — компилируем статический бинарник +# ============================================================ +# Go 1.26.11 (патчи stdlib, см. REPORT.md: govulncheck). Тег с полной версией. +FROM golang:1.26.11-alpine AS builder + +WORKDIR /src + +# Сначала манифесты зависимостей — кэшируем слой. +COPY go.mod go.sum ./ +RUN go mod download + +# Затем исходники. +COPY . . + +# Статический бинарник с оптимизациями: +# CGO_ENABLED=0 — статическая линковка (не требует libc) +# -ldflags="-s -w" — убираем отладочную информацию +# -trimpath — убираем пути сборки из бинарника +RUN CGO_ENABLED=0 GOOS=linux go build \ + -ldflags="-s -w -X github.com/charawein/mtusi2026lab7/internal/telemetry.Version=lab7" \ + -trimpath \ + -o /out/ \ + ./cmd/api ./cmd/reconcile ./cmd/pipeline ./cmd/secprobe + +# ============================================================ +# Stage «probe»: ТОЛЬКО для отрицательных тестов lab7 (docker compose --profile test). +# Инструмент проверки прав не входит в образ приложения (финальная стадия ниже). +# ============================================================ +FROM alpine:3.20@sha256:d9e853e87e55526f6b2917df91a2115c36dd7c696a35be12163d44e6e2a4b6bc AS probe +RUN apk --no-cache add ca-certificates curl openssl +COPY --from=builder /out/secprobe /usr/local/bin/secprobe +USER 65534:65534 +ENTRYPOINT ["secprobe"] + +# ============================================================ +# Stage 2: runtime — минимальный образ только с бинарником +# ============================================================ +FROM alpine:3.20@sha256:d9e853e87e55526f6b2917df91a2115c36dd7c696a35be12163d44e6e2a4b6bc + +# ca-certificates — для HTTPS в lab2+ +# tzdata — для корректной работы с временными зонами +# libwebp-tools — cwebp для варианта optimized (WebP) в worker. +# apk upgrade: исправления базового слоя (Trivy: musl CVE-2026-107891 исправлен в 1.2.5-r4). +RUN apk --no-cache upgrade && apk --no-cache add ca-certificates tzdata libwebp-tools + +# Непривилегированный пользователь (UID/GID 1001). +RUN addgroup -g 1001 -S appgroup && \ + adduser -u 1001 -S appuser -G appgroup && \ + mkdir -p /var/lib/messenger/fault && chown appuser:appgroup /var/lib/messenger/fault + +WORKDIR /app + +# Копируем бинарник и сразу выставляем владельца. +COPY --from=builder --chown=appuser:appgroup /out/api /app/api +# reconcile — сверка PostgreSQL и S3 (сервис reconciler и ручной запуск). +COPY --from=builder --chown=appuser:appgroup /out/reconcile /app/reconcile +# pipeline — worker, relay (outbox) и операторские команды (replay, failed, reprocess). +COPY --from=builder --chown=appuser:appgroup /out/pipeline /app/pipeline + +# Переключаемся на непривилегированного пользователя. +USER 1001:1001 + +# Информативно: какой порт слушает приложение. +EXPOSE 8443 + +# Healthcheck: readiness (БД + Redis + не в режиме drain). +HEALTHCHECK --interval=5s --timeout=2s --start-period=20s --retries=3 \ + CMD wget --spider -q http://127.0.0.1:8081/health/ready || exit 1 + +# Exec-форма CMD — критично для доставки SIGTERM в приложение. +CMD ["/app/api"] \ No newline at end of file diff --git a/Makefile b/Makefile index 5ad43ad..d6d19ba 100644 --- a/Makefile +++ b/Makefile @@ -1,10 +1,10 @@ PYTHON ?= python3 -BASE_URL ?= https://localhost:8443 +BASE_URL ?= http://localhost:8080 CA_FILE ?= ACTION_SCRIPT ?= TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) -.PHONY: help check validate test load test-persistence test-failover test-security +.PHONY: help check validate test load test-persistence test-failover up down test-files test-pipeline test-faults failed replay evidence help: @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes" @@ -29,5 +29,35 @@ test-failover: @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2) $(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) -test-security: - $(PYTHON) tests/security.py --base-url "$(BASE_URL)" $(TLS_ARGS) +# --- Студенческие цели (lab5) --- +up: + sh scripts/init-secrets.sh + sh scripts/pki.sh init + docker compose --env-file .env build + docker compose --profile test build probe + $(PYTHON) scripts/bootstrap.py all + +down: + docker compose --env-file .env stop + +test-files: + $(PYTHON) student-tests/attachments_negative.py --base-url "$(BASE_URL)" + +# Сценарии pipeline на стенде: make test-pipeline SCENARIO=demo (список — student-tests/pipeline_ops.py) +SCENARIO ?= demo +test-pipeline: + $(PYTHON) student-tests/pipeline_ops.py $(SCENARIO) --base-url "$(BASE_URL)" + +# Интеграционный fault-injection pipeline (трек 5); нужен PostgreSQL: TEST_DATABASE_URL=postgres://... +test-faults: + go test ./internal/worker/ -run Pipeline -count=1 -v + +failed: + docker compose run --rm --no-deps -T --entrypoint /app/pipeline relay failed + +# make replay ID= +replay: + docker compose run --rm --no-deps -T --entrypoint /app/pipeline relay replay $(ID) --actor operator + +evidence: + sh scripts/collect-evidence.sh all diff --git a/REPORT.md b/REPORT.md index 9801db4..614cdfb 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,198 @@ # Отчёт — лабораторная 7 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Вейнмайер Андрей Андреевич, БВТ2303 +- Целевая оценка: **5** — уровни 3 и 4 полностью + **трек 1 «Компрометация worker»** +- Commit/PR: ветка `solution/bvt2303-weinmaier` в `Weinmaier_Andrew/mtusi2026lab7`; доказательства — прогон + https://github.com/CharaWein/2026_lab3/actions/runs/43267046991 (commit `a414221`, все части `success`), файлы в `evidence/` +- Источники: README и материалы курса (OWASP Password Storage, OWASP File Upload, документация OpenBao: cert auth, + policies, production hardening; Docker security), документация RabbitMQ (TLS, access control), PostgreSQL (`pg_hba`, + `sslmode`), MinIO (policies), Redis (ACL, TLS). Библиотеки: pgx v5, go-redis v9, minio-go v7, amqp091-go, + golang.org/x/crypto/argon2, OpenTelemetry Go SDK. +- Помощь ИИ: ИИ-ассистент использовался при реализации и отладке; все результаты ниже — реальные прогоны, ссылки на них приведены. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Версии: Docker 28 / Compose v2.38 (так в прогоне), Go 1.26.11 (только для `go test`), Python 3.9+, `openssl` в PATH. +Образы закреплены по версиям в `compose.yaml` (postgres 16.4, redis 7.4.1, MinIO 2025-04-22, RabbitMQ 4.0.9, +HAProxy 3.0.5, OpenBao 2.1.0, OTel Collector 0.116.1, Prometheus 3.1.0, Loki 3.3.2, Tempo 2.6.1, Grafana 11.4.0). + +```sh +sh scripts/init-secrets.sh # пароли и ключи оператора в secrets/ (вне Git, 600), значения не печатаются +sh scripts/pki.sh init # CA стенда, CA телеметрии, leaf-сертификаты сервисов (ECDSA P-256) +docker compose build && docker compose --profile test build probe +python3 scripts/bootstrap.py all # OpenBao: init (3 доли, порог 2) + unseal + политики + cert-роли + KV; + # роли БД, пользователи MinIO/RabbitMQ, ACL Redis; миграции; запуск стенда +make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt +``` + +`make up` выполняет те же шаги. Действия оператора: +- после любого рестарта OpenBao он запечатан — `python3 scripts/bootstrap.py unseal` (берёт 2 доли из + `secrets/operator/bao-init.json`; в эксплуатации доли хранятся у разных людей); +- `scripts/restart.sh` — перезапуск всех процессов и хранилищ с unseal; +- ротации: `bootstrap.py rotate-db|rotate-s3 `, `scripts/pki.sh rotate <имя> [CN]`, `bootstrap.py worker-identity gN`, + `bootstrap.py revoke-tokens `. + +Остановка без потери данных: `docker compose stop` (volumes сохраняются). Намеренное удаление учебных данных: +`docker compose down -v` и удаление каталога `secrets/` (CA, доли unseal, пароли) — после этого стенд создаётся заново. + +Все проверки этой работы: `sh scripts/collect-evidence.sh all` (части `base`, `security`, `pipeline`, `track1`). ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` +клиент ──HTTPS 8443 (127.0.0.1)──► HAProxy lb ──mTLS (identity lb)──► api ×2 ──TLS──► PostgreSQL / Redis / MinIO + │ ▲ + outbox (PostgreSQL) ─► relay ──AMQPS+mTLS──► RabbitMQ ──► worker + все сервисы ──cert auth (тот же сертификат)──► OpenBao (секреты своего пути KV) (CN relay-g1 / worker-g1) + api/worker/relay ──OTLP/HTTPS + mTLS (CA телеметрии)──► Collector ──mTLS──► Tempo / Loki ◄─HTTPS+mTLS── Grafana, Prometheus +``` + +Сети: `front` (lb), `back` (приложения и хранилища), `telemetry`. Наружу опубликованы только `127.0.0.1:8443` (TLS ingress), +`127.0.0.1:3000` (Grafana, HTTPS) и `127.0.0.1:8200` (OpenBao для оператора). + +Что перенесено из lab6 без изменения смысла: контракт API, outbox → RabbitMQ → worker, идемпотентность, пайплайн вложений, +наблюдаемость (трассы сквозь очередь, SLO, дашборд). Что изменено: + +- **PKI** (`scripts/pki.sh`): корневой CA стенда, отдельный CA клиентов телеметрии, leaf на 30 дней с identity + `CN=<роль>` + `URI:spiffe://messenger/<роль>`; ключи CA только у оператора. +- **mTLS LB→API** — двойная проверка: HAProxy проверяет сервер (`verifyhost api`), API требует клиентский сертификат, + проверяет цепочку **и** allowlist identity (`spiffe://messenger/lb`) и список отозванных serial + (`internal/tlsutil`). Сертификаты перечитываются при изменении файла — ротация без рестарта. +- **TLS ко всем хранилищам**: PostgreSQL `sslmode=verify-full` + `pg_hba` только `hostssl … scram-sha-256`; + Redis только TLS-порт (`port 0`), ACL с отдельным пользователем; MinIO по HTTPS; RabbitMQ только AMQPS 5671 + с обязательным клиентским сертификатом и SASL EXTERNAL (пользователь = CN, паролей нет); Collector и бэкенды + телеметрии — mTLS. Полная таблица связей — `contracts/trust-matrix.md`. +- **OpenBao** не в dev-mode: file storage на volume, TLS, Shamir 3/2, audit log. Сервис входит своим клиентским + сертификатом (auth/cert, роль = сервис), policy даёт `read` только на `secret/data/messenger/<сервис>`, токен + 15 мин / максимум 1 ч. Секреты обновляются каждые 30 s, при отказе OpenBao процесс работает на кэше. +- **Least privilege**: роли БД `app_api`, `app_worker`, `app_relay`, `app_reconciler` + (`migrations/0007_service_roles.up.sql`), пользователи MinIO с правами на префиксы, раздельные пользователи RabbitMQ; + топологию очередей создаёт оператор (`infra/rabbitmq/definitions.json`), у приложений нет права configure. +- **Пароли**: Argon2id m=19 MiB, t=2, p=1 (минимум OWASP), rehash старых hash при входе, не более 2 одновременных + вычислений на реплику; лимит входа в Redis (общий для реплик); сессионный токен хранится как SHA-256; тело JSON ≤ 64 KiB. +- **Hardening** контейнеров: non-root, `cap_drop: ALL`, `no-new-privileges`, `read_only` + tmpfs, лимиты CPU/RAM/pids, + без docker.sock и host network. + +Переменные из `.env.example` (`BAO_ADDR`, `BAO_ROLE`, `SECRETS_REFRESH`, `ARGON2_*`, `LOGIN_RATE_PER_USER/IP` и +переменные lab6) подставляются в `compose.yaml` (якорь `x-app-env`). Значения, которые не должны меняться через `.env`, +заданы в `compose.yaml` напрямую (`API_ALLOWED_CLIENTS`, `REVOKED_SERIALS_FILE`, пути к сертификатам); +`CLAIM_RETRY_DELAY` имеет значение по умолчанию в коде (3 s). Секретов в переменных нет — только пути к файлам и адрес OpenBao. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Публичный smoke через HTTPS | `make test`, `tests/security.py` | PASS: API-сценарий lab7; доверенный HTTPS работает, недоверенный CA отклонён | `evidence/base/smoke.txt`, `test_security.txt` | +| Внешний TLS: CA, hostname, версия | `security_ops.py tls-external` | TLS 1.3 с CA стенда; чужое имя → hostname mismatch; чужой trust store → unable to get local issuer; TLS 1.1 → отказ; порты 8080, 8404, 9090, 5432, 6379, 9000, 5672, 4318 на хосте закрыты | `evidence/security/tls-external.json` | +| mTLS LB→API | `security_ops.py mtls` | без сертификата → `certificate required`; сертификат чужого CA → отказ; доверенный CA с identity `attacker` или `worker` → `bad certificate`; identity `lb` → 200; plaintext HTTP на 8443 → 400 | `evidence/security/mtls.json` (`lb_to_api`) | +| TLS к DB, S3, broker, Collector, бэкендам, OpenBao | `security_ops.py mtls` (servers) | TLS с проверкой сервера у всех; plaintext не обслуживается (Redis не отвечает на PING без TLS, AMQP 5672 закрыт); бэкенды телеметрии без клиентского сертификата отказывают; PostgreSQL `sslmode=disable` → отказ `pg_hba` | `evidence/security/mtls.json` (`servers`) | +| OpenBao не в dev-mode, scoped policy, нет root в app | `security_ops.py openbao` | каждый сервис читает только свой путь: чужие пути, list, запись, запись policy, создание токена, seal → 403; сертификат worker под ролью api → login 400; в контейнерах нет токена в env, только сертификаты | `evidence/security/openbao.json` | +| Hardening | `security_ops.py hardening` | api/worker/relay/reconciler: UID 1001, read-only, `cap_drop ALL`, `no-new-privileges`, лимиты (api 256 MiB/0.5 CPU/256 pids, worker 768 MiB); нигде нет privileged, docker.sock, host network | `evidence/security/hardening.json` | +| Argon2id, ACL, logout, лимиты | `security_ops.py acl` | hash `argon2id m=19456,t=2,p=1`; посторонний → 404 на метаданные, контент и прикрепление чужого файла; подделка `X-User-Id` → 404/401; после logout → 401; JSON 65 KiB → 413; лимит: 10 × 401, затем 429 с `Retry-After: 58`, обслужили 2 реплики (счётчик общий) | `evidence/security/acl.json` | +| Отказ реплики, перезапуск, rolling update через HTTPS | `make test-failover`, `test-persistence`, rolling update | подтверждённые данные и сессии сохранены; rolling update под нагрузкой: 11 673 запроса, 0 ошибок, 129.7 RPS, p99 90 ms | `evidence/base/failover_*.txt`, `persistence.txt`, `rolling_update_load.json` | +| **4:** mTLS broker и Collector, разные identities | `security_ops.py mtls` | RabbitMQ: чужой CA → отказ; доверенный CA с CN `attacker`/`lb` → 403 (нет такого пользователя). worker: только consume своей очереди; publish, DLQ, declare, delete → отказ. relay: только publish. Collector: сертификаты основного CA (lb, worker) → `certificate required`; принимает только CA телеметрии | `evidence/security/mtls.json` (`broker`, `collector`) | +| **4:** rehash, бюджет login DoS, общий rate limit | `security_ops.py acl`, `argon2` | rehash `m=65536,t=1,p=4` → `m=19456,t=2,p=1`; hash 71.9 ms (p50, 1 ядро); всплеск 120 параллельных входов: 59 × 401, 61 × 429 за 2.92 s, память API (пик) 197 / 131 MiB при лимите 256 MiB | `evidence/security/argon2.json` | +| **4:** ротация secret и leaf без пересборки, отзыв identity | `security_ops.py rotation` | пароль роли БД `app_api`: старый → отказ, API → 200; ключ S3 worker: загрузка → ready; leaf `api`: serial `1909…0123` → `8c64…9308` без рестарта; leaf `lb`: старый отвергнут (`bad certificate`), новый → 200; под нагрузкой 34 548 запросов, 6 ошибок (0.017 %), p99 39.5 ms; образы не пересобирались | `evidence/security/rotation.json` | +| **4:** expiry и sealed OpenBao | `security_ops.py lifecycle` | токен api с TTL 20 s / максимум 45 s: 8 входов за 100 s, 0 сбоев обновления, 200/200 запросов OK; OpenBao запечатан 33 s: 8 667 запросов, 0 ошибок; загрузка во время sealed → ready; рестарт worker во время sealed — не стартует без секретов, задание ждёт в `queued`, после unseal ready через 0.5 s | `evidence/security/lifecycle.json` | +| **4:** scan с разбором применимости | govulncheck, Trivy | Go-код: 0 достижимых уязвимостей; образ приложения: 0 HIGH/CRITICAL; сторонние образы — разбор и порядок обновления | `evidence/scan/TRIAGE.md`, `govulncheck.txt`, `trivy_summary.txt` | +| **4:** модель угроз ≥ 6 угроз с тестами | — | 10 угроз (T1–T10): путь, инвариант, контроль, отрицательный тест, остаточный риск | `security/THREAT_MODEL.md` | +| **4:** worker ограничен по CPU/RAM/времени | compose, `pipeline_ops.py` | 1 CPU / 768 MiB / 128 pids, `JOB_TIMEOUT`, бюджет пикселей; пайплайн lab5/6 работает поверх TLS: demo, crash-effect (восстановление на 2-й попытке за 15.7 s), transient (3 попытки → ready), failed-replay | `evidence/pipeline/*.json` | +| **4:** нет утечек в телеметрии | `security_ops.py leaks` | пароль, токен, текст сообщения, Basic-заголовок: 0 совпадений в Loki, в 20 трассах Tempo и в stdout | `evidence/security/leaks.json` | +| **5, трек 1:** компрометация worker | `student-tests/compromise.py` | см. раздел ниже | `evidence/track1/track1/compromise.json` | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +## Трек 1. Компрометация worker + +**Гипотеза.** Если у worker только права, нужные для обработки вложений, то кража его identity (сертификат, ключ и всё, +что он через них получает) не даёт доступа к паролям, сообщениям и чужим файлам. Если identity и секреты отзываются +без рестарта, обработка восстанавливается без потери принятых заданий. + +**Методика** (`student-tests/compromise.py`, изолированный стенд CI): +1. **До least privilege** (модель lab6) — временные учётки с правами worker из lab6: владелец БД, общий ключ S3 на весь bucket, + администратор RabbitMQ; проверяются тем же зондом `secprobe` (в образ приложения он не входит). +2. **После** — зонд с украденным сертификатом worker: вход в OpenBao → его секреты → матрица операций. +3. **Реакция под нагрузкой**: всё время идут загрузки (одна каждые 2 s), выполняются шаги отзыва и ротации. +4. **Проверка**: украденное больше не работает, все принятые задания (202) дошли до ready. + +**Матрица последствий** (allowed / denied, из `comparison` в `compromise.json`): + +| Операция | До (lab6) | После (lab7) | +| --- | --- | --- | +| БД: чтение `users.password_hash`, `messages`, `chat_members` | allowed | denied | +| БД: вставка сообщения, смена `attachments.owner_id`, удаление вложений | allowed | denied | +| БД: `TRUNCATE jobs`, `CREATE TABLE`, `CREATE ROLE` | allowed | denied | +| БД: чтение `jobs`, смена `jobs.state` / `attachments.status`, вставка вариантов | allowed | allowed (нужно для работы) | +| S3: list bucket / всех bucket | allowed | denied | +| S3: put `s/`, `a/`; get/delete `o/`, `v/`, `a/` | allowed | denied | +| S3: get и delete `s/`, put `v/` и `o/` | allowed | allowed (нужно для работы) | +| RabbitMQ: publish задания, чтение DLQ, создание очереди | allowed | denied | +| RabbitMQ: consume `attachment.process` | allowed | allowed (нужно для работы) | +| API в обход LB с сертификатом worker | allowed (HTTP :8080) | denied (`bad certificate`) | +| OpenBao: чужие пути, list, запись, policy, seal | — (секреты файлами) | denied (403) | + +**Реакция** (`response_steps`, время от начала): + +| t, s | Шаг | Длительность, s | +| --- | --- | --- | +| 0.0 | новая identity: сертификат CN `worker-g2` (файл перезаписан на месте) | 0.1 | +| 0.1 | OpenBao: cert-роль worker → только CN `worker-g2`; RabbitMQ: создан `worker-g2`, `worker-g1` удалён, его соединения закрыты | 17.1 | +| 17.2 | отзыв всех токенов OpenBao, выданных worker | 3.7 | +| 20.9 | ротация пароля роли `app_worker` и разрыв её соединений | 1.3 | +| 22.2 | ротация secret key S3 `svc-worker` | 5.2 | + +**Результат:** +- после реакции украденный сертификат: вход в OpenBao → 400, RabbitMQ → 403, API → `bad certificate`; + старый пароль БД → `password authentication failed`; старый ключ S3 → `SignatureDoesNotMatch` на все 15 операций; +- обработка восстановилась **без рестарта** worker (`worker_restarts: 0`): первая загрузка после реакции дошла до ready + через 0.5 s; в логах worker — `secrets.login` (вход с новым сертификатом) и `secrets.version`; +- **задания не потеряны**: принято 27 (из них 21 во время реакции), ошибок загрузки 0, итог — 27 ready. + +**Что пришлось исправить, чтобы реакция проходила под нагрузкой** (найдено прогонами, каждый с ссылкой в истории CI): +1. Клиент OpenBao переиспользовал keep-alive TLS-соединение со старым сертификатом — вход шёл с отозванной identity. + Теперь перед cert login простаивающие соединения закрываются. +2. Ключ S3 меняется в MinIO раньше, чем worker читает новую версию секрета (окно до 30 s), — задания сжигали попытки + и уходили в failed. Теперь при `InvalidAccessKeyId`/`SignatureDoesNotMatch` worker сразу перечитывает секрет и + повторяет операцию (`internal/platform`, тест `internal/storage/autherr_test.go`); при ошибке БД 28P01 — аналогично. +3. При неудачном claim сообщение возвращалось в очередь раз в секунду, и quorum-очередь (`x-delivery-limit=10`) + уводила его в DLQ за ~10 s — задание оставалось `queued` без сообщения. Теперь перед requeue пауза + `CLAIM_RETRY_DELAY` (3 s). + +**Ограничения трека.** Worker по природе читает исходные изображения (`s/`) и пишет варианты: до ротации атакующий может +подменить результат обработки. Право read на очередь в RabbitMQ разрешает и `queue.purge` — его нельзя отнять, не сломав +consume (в зонде purge не выполняется, чтобы не разрушать очередь; риск описан в модели угроз, T3). Сертификат телеметрии +worker (CA телеметрии) в процедуре не перевыпускался: украденный, он по-прежнему позволяет отправлять в Collector +поддельную телеметрию (`otlp: ingest allowed` после реакции) — следующий шаг процедуры. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Стенд CI: GitHub runner, 2 vCPU, 7.9 GiB RAM, Docker 28.0.4. Нагрузка — closed-loop POST сообщений без автоматических +повторов; percentiles только по успешным запросам; у closed-loop есть coordinated omission. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Ротация пароля БД api, ключа S3 worker, leaf api и lb под нагрузкой (3 потока, 138 s) | без рестарта и пересборки, единичные ошибки | 34 548 запросов, 6 ошибок (0.017 %), 249.5 RPS, p50/p95/p99 10.1/23.1/39.5 ms | API → 200 с первой попытки после ротации; потерь нет | +| OpenBao запечатан (2 потока, 35 s) | работающие процессы живут на кэше, новые не стартуют | 8 667 запросов, 0 ошибок, p99 24.9 ms; рестарт worker во время sealed — ждёт; задание в `queued` | ready через 0.5 s после unseal; потерь нет | +| Короткий TTL токена (20 s, максимум 45 s) | renew, затем повторный вход без сбоев | 8 входов за 100 s, 0 сбоев обновления, 200/200 OK | — | +| Всплеск 120 параллельных входов с одного IP | лимит до Argon2id, память ограничена | 59 × 401, 61 × 429 за 2.92 s; пик памяти API 197 MiB (лимит 256) | — | +| Компрометация worker (трек 1) | отзыв без рестарта, без потери заданий | см. трек 1 | обработка через 0.5 s после реакции; 27/27 ready | +| Остановка API-реплики, рестарт хранилищ (lab3–6 через HTTPS) | данные и сессии сохранены | PASS | см. `evidence/base` | +| Падение worker после побочного эффекта (lab5) | повтор после истечения lease | восстановление на попытке 2 за 15.7 s | потерь нет | + +Бюджет Argon2id (`evidence/security/argon2.json`, 1 ядро): m=19 MiB t=2 — 71.9 ms (13.9 hash/s); m=46 MiB t=1 — 82.8 ms; +m=19 MiB t=3 — 83.2 ms; m=64 MiB t=1 p=4 (параметры lab2–6) — 109.4 ms; m=64 MiB t=3 — 273.6 ms. Выбран минимум +OWASP: он даёт ~14 входов/с на ядро, а 2 слота на реплику ограничивают память Argon2id до 76 MiB на стенд +(2 реплики × 2 × 19 MiB) и пропускную способность до ~56 hash/s; лимиты 10/мин на username и 60/мин на IP отсекают +перебор до вычисления hash. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- **Redis без mTLS**: TLS с проверкой сервера + ACL-пользователь с паролем из OpenBao; клиентский сертификат сервер не + требует (отражено в trust matrix). +- **Сторонние образы** с известными HIGH/CRITICAL (OpenSSL 3.3.2 и др.) не обновлены — разбор и порядок обновления в + `evidence/scan/TRIAGE.md`; первым — HAProxy как единственный внешний TLS endpoint. +- PostgreSQL, Redis, RabbitMQ и OpenBao работают от root образа с минимальным набором capabilities (CHOWN, DAC_OVERRIDE, + FOWNER, SETUID/SETGID) — их entrypoint меняет владельца volume и сбрасывает привилегии; `read_only` для них не включён. +- Потерянное сообщение RabbitMQ (purge скомпрометированным worker, превышение delivery-limit) не переиздаётся + автоматически: задание остаётся `queued` в PostgreSQL, срабатывает алерт возраста старейшей работы, восстановление ручное. +- Доли unseal в учебном стенде лежат у одного оператора в `secrets/operator`; в эксплуатации — у разных людей. +- Сертификат телеметрии worker не входит в процедуру отзыва (см. трек 1). +- Измерения сделаны на одном runner CI, по одному прогону сценария; это подтверждение поведения, а не статистика производительности. diff --git a/cmd/api/main.go b/cmd/api/main.go new file mode 100644 index 0000000..57b71b3 --- /dev/null +++ b/cmd/api/main.go @@ -0,0 +1,212 @@ +package main + +import ( + "context" + "errors" + "log/slog" + "net/http" + "os" + "os/signal" + "strings" + "sync/atomic" + "syscall" + "time" + + "github.com/charawein/mtusi2026lab7/internal/config" + "github.com/charawein/mtusi2026lab7/internal/platform" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" + redisrepo "github.com/charawein/mtusi2026lab7/internal/repository/redis" + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/telemetry" + "github.com/charawein/mtusi2026lab7/internal/tlsutil" + transporthttp "github.com/charawein/mtusi2026lab7/internal/transport/http" +) + +func main() { + cfg := config.Load() + slog.SetDefault(slog.New(slog.NewJSONHandler(os.Stdout, &slog.HandlerOptions{Level: cfg.LogLevel}))) + // OTLP → Collector: трассы, метрики, логи (service.name=messenger-api, + // service.instance.id = X-Instance-Id реплики). Логи дублируются JSON в stdout. + shutdownTelemetry, err := telemetry.Setup(context.Background(), "messenger-api", cfg.InstanceID, cfg.LogLevel) + if err != nil { + slog.Error("telemetry setup", "err", err) + os.Exit(1) + } + defer func() { + ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) + defer cancel() + _ = shutdownTelemetry(ctx) + }() + + // Lab7: identity сервиса (сертификат) → OpenBao (cert auth) → роль БД, ACL Redis, + // ключ S3 этого сервиса. Без BAO_ADDR — режим файлов lab6 (локальная разработка). + bootCtx, bootCancel := context.WithTimeout(context.Background(), 90*time.Second) + plat, err := platform.New(bootCtx, cfg) + bootCancel() + if err != nil { + slog.Error("platform (tls/openbao)", "err", err) + os.Exit(1) + } + + ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second) + pool, err := plat.PG(ctx, cfg.DBPoolMax) + cancel() + if err != nil { + slog.Error("connect to postgres", "err", err) + os.Exit(1) + } + defer pool.Close() + + rctx, rcancel := context.WithTimeout(context.Background(), 10*time.Second) + redisClient, err := plat.Redis(rctx) + rcancel() + if err != nil { + slog.Error("connect to redis", "err", err) + os.Exit(1) + } + defer redisClient.Close() + + store, err := plat.S3() + if err != nil { + slog.Error("s3 client", "err", err) + os.Exit(1) + } + + userRepo := postgres.NewUserRepository(pool) + chatRepo := postgres.NewChatRepository(pool) + msgRepo := postgres.NewMessageRepository(pool) + sessRepo := redisrepo.NewSessionRepository(redisClient) + + userSvc := service.NewUserService(userRepo) + chatSvc := service.NewChatService(chatRepo, userRepo) + + var msgCache *redisrepo.MessageCache + if cfg.CacheEnabled { + msgCache = redisrepo.NewMessageCache(redisClient, cfg.CacheInvalidation) + } + msgSvc := service.NewMessageService(msgRepo, chatRepo, msgCache, cfg.IdempotencyTTL) + + attSvc := service.NewAttachmentService(postgres.NewAttachmentRepository(pool), chatRepo, store, + cfg.MaxUploadBytes, cfg.MaxImagePixels, cfg.PipelineVersion, cfg.JobMaxAttempts) + authSvc := service.NewAuthService(userRepo, sessRepo, cfg.SessionTTL()) + + // draining выставляется по SIGTERM: /health/ready начинает отвечать 503, + // LB исключает реплику, и только затем закрывается listener. + var draining atomic.Bool + router := transporthttp.NewRouter(userSvc, chatSvc, msgSvc, attSvc, authSvc, pool, redisClient, cfg.InstanceID, &draining) + + // Очистка просроченных ключей идемпотентности. Запрос идемпотентен, + // поэтому параллельный запуск на всех репликах безопасен. + cleanupCtx, cleanupStop := context.WithCancel(context.Background()) + defer cleanupStop() + go func() { + t := time.NewTicker(time.Hour) + defer t.Stop() + for { + select { + case <-cleanupCtx.Done(): + return + case <-t.C: + ctx, cancel := context.WithTimeout(cleanupCtx, 30*time.Second) + if n, err := msgRepo.DeleteExpiredKeys(ctx, cfg.IdempotencyTTL); err != nil { + slog.Warn("idempotency cleanup failed", "err", err) + } else if n > 0 { + slog.Info("idempotency keys expired", "deleted", n) + } + cancel() + } + } + }() + + srv := &http.Server{ + Addr: cfg.Addr(), + Handler: router, + // Ошибки TLS-рукопожатия (чужой CA, запрещённая identity) — в лог без шума stdlib. + ErrorLog: slog.NewLogLogger(slog.Default().Handler(), slog.LevelWarn), + ReadHeaderTimeout: 5 * time.Second, + // Загрузка до 10 MiB должна уложиться в ReadTimeout; медленный клиент + // дольше не держит соединение и память. + ReadTimeout: 30 * time.Second, + WriteTimeout: 35 * time.Second, + IdleTimeout: 60 * time.Second, + } + + // Внутренний endpoint метрик для экспериментов (трек 1). Порт не публикуется + // и не проксируется LB: читается только через docker exec внутри контейнера. + internalSrv := &http.Server{ + Addr: cfg.InternalAddr, + Handler: transporthttp.NewInternalStatsHandler(pool, cfg), + ReadHeaderTimeout: 2 * time.Second, + } + go func() { + if err := internalSrv.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) { + slog.Warn("internal stats server failed", "err", err) + } + }() + defer internalSrv.Close() + + // Lab7: бизнес-API только по mTLS — клиент обязан предъявить сертификат CA стенда + // с identity из API_ALLOWED_CLIENTS (по умолчанию lb). Plaintext-порта нет. + if cfg.TLSCertFile != "" { + kp, err := tlsutil.NewKeyPair(cfg.TLSCertFile, cfg.TLSKeyFile) + if err != nil { + slog.Error("api certificate", "err", err) + os.Exit(1) + } + tc, err := tlsutil.ServerMTLSRevocable(cfg.TLSCAFile, kp, tlsutil.NewRevoked(os.Getenv("REVOKED_SERIALS_FILE")), + strings.Split(cfg.AllowedClients, ",")...) + if err != nil { + slog.Error("api mtls config", "err", err) + os.Exit(1) + } + srv.TLSConfig = tc + } + // Health для docker healthcheck: только 127.0.0.1 внутри контейнера, только + // /health/live и /health/ready — обхода бизнес-API через него нет. + healthSrv := &http.Server{Addr: cfg.HealthAddr, Handler: transporthttp.NewHealthMux(pool, redisClient, &draining), + ReadHeaderTimeout: 2 * time.Second} + go func() { + if err := healthSrv.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) { + slog.Warn("health listener failed", "err", err) + } + }() + defer healthSrv.Close() + + errCh := make(chan error, 1) + go func() { + slog.Info("server starting", "addr", cfg.Addr(), "instance_id", cfg.InstanceID, "mtls", srv.TLSConfig != nil) + var err error + if srv.TLSConfig != nil { + err = srv.ListenAndServeTLS("", "") + } else { + err = srv.ListenAndServe() + } + if err != nil && !errors.Is(err, http.ErrServerClosed) { + errCh <- err + } + }() + + sigCtx, stop := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT) + defer stop() + + select { + case err := <-errCh: + slog.Error("server failed", "err", err) + os.Exit(1) + case <-sigCtx.Done(): + slog.Info("shutdown signal received, draining", "delay", cfg.DrainDelay) + } + + // Перестаём быть ready и даём LB время заметить это (inter*fall у HAProxy), + // продолжая обслуживать уже направленные к нам запросы. + draining.Store(true) + time.Sleep(cfg.DrainDelay) + + shutdownCtx, cancel := context.WithTimeout(context.Background(), cfg.ShutdownTimeout) + defer cancel() + if err := srv.Shutdown(shutdownCtx); err != nil { + slog.Error("graceful shutdown failed", "err", err) + os.Exit(1) + } + slog.Info("server stopped") +} diff --git a/cmd/pipeline/main.go b/cmd/pipeline/main.go new file mode 100644 index 0000000..70fce59 --- /dev/null +++ b/cmd/pipeline/main.go @@ -0,0 +1,487 @@ +// Command pipeline — асинхронная обработка вложений (lab5) с телеметрией (lab6). +// +// pipeline worker потребитель broker (сервис worker) +// pipeline relay outbox → broker, возврат истёкших lease, очистка staging +// pipeline failed реестр failed-заданий (JSON) +// pipeline replay [--version N] [--actor NAME] явный повтор failed +// pipeline reprocess --version N работа новой версии (трек 5) +package main + +import ( + "context" + "crypto/tls" + "encoding/json" + "errors" + "flag" + "fmt" + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/jackc/pgx/v5/pgconn" + "io" + "log/slog" + "os" + "os/signal" + "sort" + "strings" + "sync" + "syscall" + "time" + + "github.com/charawein/mtusi2026lab7/internal/broker" + "github.com/charawein/mtusi2026lab7/internal/config" + "github.com/charawein/mtusi2026lab7/internal/imaging" + "github.com/charawein/mtusi2026lab7/internal/platform" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" + "github.com/charawein/mtusi2026lab7/internal/storage" + "github.com/charawein/mtusi2026lab7/internal/telemetry" + "github.com/charawein/mtusi2026lab7/internal/worker" + "go.opentelemetry.io/otel" + "go.opentelemetry.io/otel/attribute" + "go.opentelemetry.io/otel/codes" + "go.opentelemetry.io/otel/metric" + "go.opentelemetry.io/otel/trace" +) + +func main() { + slog.SetDefault(slog.New(slog.NewJSONHandler(os.Stdout, nil))) + if len(os.Args) < 2 { + fmt.Fprintln(os.Stderr, "usage: pipeline worker|relay|failed|replay|reprocess") + os.Exit(2) + } + switch os.Args[1] { + case "argon2-bench": + os.Exit(argon2Bench()) + case "argon2-hash": + os.Exit(argon2Hash()) + } + cfg := config.Load() + ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT) + defer stop() + + // Телеметрия только у долгоживущих процессов; служебные команды (failed, + // replay) пишут JSON в stdout. service.name: messenger-worker / messenger-relay + // (OTEL_SERVICE_NAME из compose имеет приоритет). + if os.Args[1] == "worker" || os.Args[1] == "relay" { + host, _ := os.Hostname() + shutdown, err := telemetry.Setup(ctx, "messenger-"+os.Args[1], host, slog.LevelInfo) + if err != nil { + slog.Error("telemetry setup", "err", err) + os.Exit(1) + } + defer func() { + sctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) + defer cancel() + _ = shutdown(sctx) + }() + } + + // Lab7: identity сервиса (сертификат) → OpenBao → роль БД/ключ S3 этого сервиса. + plat, err := platform.New(ctx, cfg) + if err != nil { + slog.Error("platform (tls/openbao)", "err", err) + os.Exit(1) + } + pool, err := plat.PG(ctx, int32(cfg.WorkerConcurrency+4)) + if err != nil { + slog.Error("connect to postgres", "err", err) + os.Exit(1) + } + defer pool.Close() + repo := postgres.NewPipelineRepository(pool) + platformRef = plat + + switch os.Args[1] { + case "worker": + code := runWorker(ctx, cfg, repo) + if code != 0 { + os.Exit(code) + } + case "relay": + code := runRelay(ctx, cfg, repo) + if code != 0 { + os.Exit(code) + } + case "failed": + jobs, err := repo.FailedJobs(ctx, 200) + if err != nil { + slog.Error("failed jobs", "err", err) + os.Exit(1) + } + out, _ := json.MarshalIndent(jobs, "", " ") + fmt.Println(string(out)) + case "replay", "reprocess": + fs := flag.NewFlagSet(os.Args[1], flag.ExitOnError) + version := fs.Int("version", cfg.PipelineVersion, "pipeline version") + actor := fs.String("actor", "operator", "who requested the replay (audit)") + if len(os.Args) < 3 { + fmt.Fprintln(os.Stderr, "attachment_id required") + os.Exit(2) + } + _ = fs.Parse(os.Args[3:]) + var jobID string + if os.Args[1] == "replay" { + jobID, err = repo.Replay(ctx, os.Args[2], *version, *actor) + } else { + jobID, err = repo.Reprocess(ctx, os.Args[2], *version, cfg.JobMaxAttempts) + } + out, _ := json.Marshal(map[string]any{"command": os.Args[1], "attachment_id": os.Args[2], "version": *version, + "job_id": jobID, "ok": err == nil, "error": errString(err)}) + fmt.Println(string(out)) + if err != nil { + os.Exit(3) + } + default: + fmt.Fprintln(os.Stderr, "unknown command", os.Args[1]) + os.Exit(2) + } +} + +func errString(err error) string { + if err == nil { + return "" + } + return err.Error() +} + +func faultPoints() map[string]bool { + m := map[string]bool{} + for _, p := range strings.Split(os.Getenv("FAULT_POINTS"), ",") { + if p = strings.TrimSpace(p); p != "" { + m[p] = true + } + } + return m +} + +var platformRef *platform.Platform + +func brokerTLS() *tls.Config { + tc, err := platformRef.BrokerTLS() + if err != nil { + slog.Error("broker tls", "err", err) + os.Exit(1) + } + return tc +} + +func newStore(cfg config.Config) storage.Store { + store, err := platformRef.S3() + if err != nil { + slog.Error("s3 client", "err", err) + os.Exit(1) + } + return store +} + +func runWorker(ctx context.Context, cfg config.Config, repo *postgres.PipelineRepository) int { + host, _ := os.Hostname() + owner := fmt.Sprintf("%s:%d", host, os.Getpid()) + w := worker.New(repo, newStore(cfg), imaging.CWebP, worker.Config{ + Owner: owner, Lease: cfg.JobTimeout, JobTimeout: cfg.JobTimeout, + MaxBytes: cfg.MaxUploadBytes, MaxPixels: cfg.MaxImagePixels, PixelBudget: cfg.PixelBudget, + WebPQuality: cfg.WebPQuality, RetryBase: cfg.RetryBaseDelay, RetryMax: cfg.RetryMaxDelay, + FaultPoints: faultPoints(), FaultDir: faultDir(), DeleteStaging: true, + ClaimRetryDelay: envDuration("CLAIM_RETRY_DELAY", 3*time.Second), OnClaimError: onDBError, + }) + slog.Info("worker starting", "event", "worker.start", "owner", owner, "concurrency", cfg.WorkerConcurrency, "lease", cfg.JobTimeout) + // Ёмкость worker (saturation = messenger.worker.busy / capacity). + capacity, _ := telemetry.Meter().Int64ObservableGauge("messenger.worker.capacity", metric.WithUnit("{job}"), + metric.WithDescription("Concurrent job slots of this worker (prefetch)")) + _, _ = telemetry.Meter().RegisterCallback(func(_ context.Context, o metric.Observer) error { + o.ObserveInt64(capacity, int64(cfg.WorkerConcurrency)) + return nil + }, capacity) + tracer := telemetry.Tracer() + backoff := time.Second + for ctx.Err() == nil { + cons, deliveries, err := broker.NewConsumer(cfg.BrokerURL, cfg.WorkerConcurrency, "worker-"+owner, brokerTLS(), + os.Getenv("BROKER_DECLARE") != "false") + if err != nil { + slog.Warn("broker unavailable, retrying", "err", err, "in", backoff) + select { + case <-ctx.Done(): + case <-time.After(backoff): + } + backoff = min(backoff*2, 30*time.Second) + continue + } + backoff = time.Second + var wg sync.WaitGroup + for i := 0; i < cfg.WorkerConcurrency; i++ { + wg.Add(1) + go func() { + defer wg.Done() + for d := range deliveries { + // Consumer span — дочерний для producer span relay (W3C traceparent + // из заголовков AMQP), тот — для upload: одна трасса от HTTP до S3/DB. + mctx := otel.GetTextMapPropagator().Extract(context.WithoutCancel(ctx), broker.HeaderCarrier(d.Headers)) + mctx, span := tracer.Start(mctx, broker.Queue+" process", trace.WithSpanKind(trace.SpanKindConsumer), + trace.WithAttributes( + attribute.String("messaging.system", "rabbitmq"), + attribute.String("messaging.operation.type", "process"), + attribute.String("messaging.destination.name", broker.Queue), + attribute.String("messaging.message.id", d.MessageId), + attribute.Bool("messaging.rabbitmq.redelivered", d.Redelivered), + )) + decision := w.Handle(mctx, d.Body) + span.SetAttributes(attribute.String("messenger.delivery.decision", decision.String())) + span.End() + switch decision { + case worker.Ack: + _ = d.Ack(false) + case worker.Requeue: + time.Sleep(time.Second) + _ = d.Nack(false, true) + case worker.Reject: + _ = d.Nack(false, false) // → DLX attachment.dead + } + } + }() + } + select { + case <-ctx.Done(): + // Graceful: прекращаем получать новые сообщения, дорабатываем текущие. + slog.Info("shutdown: cancel consumer, finishing in-flight jobs") + cons.Cancel("worker-" + owner) + done := make(chan struct{}) + go func() { wg.Wait(); close(done) }() + select { + case <-done: + case <-time.After(cfg.JobTimeout): + slog.Warn("shutdown timeout: unacked jobs will be redelivered") + } + cons.Close() + return 0 + case <-waitAll(&wg): + slog.Warn("broker connection lost, reconnecting") + cons.Close() + } + } + return 0 +} + +func waitAll(wg *sync.WaitGroup) <-chan struct{} { + ch := make(chan struct{}) + go func() { wg.Wait(); close(ch) }() + return ch +} + +func runRelay(ctx context.Context, cfg config.Config, repo *postgres.PipelineRepository) int { + store := newStore(cfg) + points := faultPoints() + afterPublish := func() { worker.Fault(points, faultDir(), "relay.after_publish", os.Exit) } + var pub *broker.Publisher + defer func() { + if pub != nil { + pub.Close() + } + }() + tPublish := time.NewTicker(300 * time.Millisecond) + tSweep := time.NewTicker(5 * time.Second) + tClean := time.NewTicker(time.Minute) + defer tPublish.Stop() + defer tSweep.Stop() + defer tClean.Stop() + slog.Info("relay starting", "event", "relay.start") + registerQueueGauges(repo) + tracer := telemetry.Tracer() + published, _ := telemetry.Meter().Int64Counter("messenger.outbox.published", metric.WithUnit("{message}"), + metric.WithDescription("Outbox messages confirmed by broker")) + publishDur, _ := telemetry.Meter().Float64Histogram("messenger.outbox.publish.duration", metric.WithUnit("s"), + metric.WithDescription("Publish + publisher confirm latency")) + for { + select { + case <-ctx.Done(): + return 0 + case <-tPublish.C: + if pub == nil || pub.Closed() { + p, err := broker.NewPublisher(cfg.BrokerURL, brokerTLS(), os.Getenv("BROKER_DECLARE") != "false") + if err != nil { + slog.Warn("broker unavailable; outbox keeps messages", "err", err) + continue + } + pub = p + } + for { + // Цикл опроса outbox не трассируется (Unsampled); producer span каждого + // сообщения — дочерний для span, записавшего его в outbox (upload/попытка). + n, err := repo.PublishDue(telemetry.Unsampled(ctx), 100, func(c context.Context, m postgres.OutboxMessage) error { + pctx := telemetry.ExtractMap(context.WithoutCancel(ctx), m.Trace) + pctx, span := tracer.Start(pctx, broker.Queue+" publish", trace.WithSpanKind(trace.SpanKindProducer), + trace.WithAttributes( + attribute.String("messaging.system", "rabbitmq"), + attribute.String("messaging.operation.type", "publish"), + attribute.String("messaging.destination.name", broker.Exchange), + attribute.String("messaging.message.id", m.JobID), + attribute.Float64("messenger.outbox.wait_seconds", time.Since(m.Created).Seconds()), + )) + start := time.Now() + err := pub.Publish(pctx, m.JobID, m.Payload) + res := "ok" + if err != nil { + res = "error" + span.RecordError(err) + span.SetStatus(codes.Error, "publish failed") + } + publishDur.Record(pctx, time.Since(start).Seconds(), metric.WithAttributes(attribute.String("outcome", res))) + if err == nil { + published.Add(pctx, 1) + } + span.End() + return err + }, afterPublish) + if err != nil { + slog.Warn("outbox publish failed; will retry", "err", err) + break + } + if n > 0 { + slog.Info("outbox published", "messages", n) + } + if n < 100 { + break + } + } + case <-tSweep.C: + if n, err := repo.SweepExpiredLeases(telemetry.Unsampled(ctx)); err != nil { + slog.Warn("lease sweep failed", "err", err) + } else if n > 0 { + slog.Warn("expired leases requeued", "jobs", n) + } + case <-tClean.C: + cleanStaging(telemetry.Unsampled(ctx), cfg, repo, store) + } + } +} + +// cleanStaging удаляет staging после безопасной публикации (ready, ≥10 мин назад — +// fallback, если worker не удалил сразу) и у failed старше STAGING_RETENTION. +func cleanStaging(ctx context.Context, cfg config.Config, repo *postgres.PipelineRepository, store storage.Store) { + cands, err := repo.StagingToClean(ctx, 10*time.Minute, cfg.StagingRetention, 200) + if err != nil { + slog.Warn("staging cleanup query failed", "err", err) + return + } + for _, c := range cands { + if err := store.Delete(ctx, c.Key); err != nil && !errors.Is(err, storage.ErrNotFound) { + slog.Warn("staging delete failed", "key", c.Key, "err", err) + continue + } + _ = repo.ClearStaging(ctx, c.AttachmentID, c.Key) + } + if len(cands) > 0 { + slog.Info("staging cleaned", "objects", len(cands)) + } +} + +// registerQueueGauges — глубина очереди и возраст старейшей работы по PostgreSQL +// (источник истины; broker-метрики RabbitMQ собираются Prometheus отдельно). +func registerQueueGauges(repo *postgres.PipelineRepository) { + m := telemetry.Meter() + jobs, _ := m.Int64ObservableGauge("messenger.jobs.backlog", metric.WithUnit("{job}"), + metric.WithDescription("Jobs by state (queued, processing, failed)")) + oldest, _ := m.Float64ObservableGauge("messenger.jobs.oldest_age", metric.WithUnit("s"), + metric.WithDescription("Age of the oldest unfinished job (queued or processing)")) + outbox, _ := m.Int64ObservableGauge("messenger.outbox.pending", metric.WithUnit("{message}"), + metric.WithDescription("Due outbox messages not yet confirmed by broker")) + outboxAge, _ := m.Float64ObservableGauge("messenger.outbox.oldest_age", metric.WithUnit("s"), + metric.WithDescription("Age of the oldest due unpublished outbox message")) + q := attribute.String("queue", broker.Queue) + _, _ = m.RegisterCallback(func(ctx context.Context, o metric.Observer) error { + qctx, cancel := context.WithTimeout(telemetry.Unsampled(ctx), 2*time.Second) + defer cancel() + st, err := repo.QueueStats(qctx) + if err != nil { + return nil // нет данных — пропуск точки, а не ошибка экспорта + } + o.ObserveInt64(jobs, st.Queued, metric.WithAttributes(q, attribute.String("state", "queued"))) + o.ObserveInt64(jobs, st.Processing, metric.WithAttributes(q, attribute.String("state", "processing"))) + o.ObserveInt64(jobs, st.Failed, metric.WithAttributes(q, attribute.String("state", "failed"))) + o.ObserveFloat64(oldest, st.OldestQueuedAge, metric.WithAttributes(q)) + o.ObserveInt64(outbox, st.OutboxPending) + o.ObserveFloat64(outboxAge, st.OldestOutboxAge) + return nil + }, jobs, oldest, outbox, outboxAge) +} + +// argon2Bench — время одного Argon2id-хэша для набора параметров на ЭТОМ контейнере +// (его лимитах CPU/RAM): основа выбора ARGON2_* и бюджета login DoS (REPORT.md). +func argon2Bench() int { + fs := flag.NewFlagSet("argon2-bench", flag.ExitOnError) + n := fs.Int("n", 10, "hashes per parameter set") + _ = fs.Parse(os.Args[2:]) + sets := []service.Argon2Params{ + {MemoryKiB: 19456, Iterations: 2, Parallelism: 1}, // OWASP минимум, базовая конфигурация курса + {MemoryKiB: 47104, Iterations: 1, Parallelism: 1}, // OWASP-эквивалент с большей памятью + {MemoryKiB: 19456, Iterations: 3, Parallelism: 1}, + {MemoryKiB: 65536, Iterations: 1, Parallelism: 4}, // параметры lab2–6 (для rehash) + {MemoryKiB: 65536, Iterations: 3, Parallelism: 1}, + } + out := []map[string]any{} + for _, p := range sets { + var ds []float64 + for i := 0; i < *n; i++ { + t := time.Now() + if _, err := service.HashWith("benchmark-password-123", p); err != nil { + fmt.Fprintln(os.Stderr, err) + return 1 + } + ds = append(ds, float64(time.Since(t).Microseconds())/1000) + } + sort.Float64s(ds) + out = append(out, map[string]any{"m_kib": p.MemoryKiB, "t": p.Iterations, "p": p.Parallelism, + "ms_p50": ds[len(ds)/2], "ms_max": ds[len(ds)-1], "hashes_per_s_one_core": 1000 / ds[len(ds)/2]}) + } + b, _ := json.MarshalIndent(map[string]any{"current": service.CurrentArgon2(), "results": out}, "", " ") + fmt.Println(string(b)) + return 0 +} + +// argon2Hash — hash пароля (stdin) с заданными параметрами: имитация hash старой +// конфигурации для проверки rehash при входе. +func argon2Hash() int { + fs := flag.NewFlagSet("argon2-hash", flag.ExitOnError) + m := fs.Uint("m", 65536, "memory KiB") + t := fs.Uint("t", 1, "iterations") + p := fs.Uint("p", 4, "parallelism") + _ = fs.Parse(os.Args[2:]) + b, _ := io.ReadAll(io.LimitReader(os.Stdin, 1024)) + h, err := service.HashWith(strings.TrimSpace(string(b)), service.Argon2Params{MemoryKiB: uint32(*m), Iterations: uint32(*t), Parallelism: uint8(*p)}) + if err != nil { + fmt.Fprintln(os.Stderr, err) + return 1 + } + fmt.Println(h) + return 0 +} + +// faultDir — каталог маркеров точек сбоя (FAULT_DIR, volume в compose). +func faultDir() string { + if d := os.Getenv("FAULT_DIR"); d != "" { + return d + } + return os.TempDir() +} + +// onDBError: PostgreSQL отверг пароль роли (28P01 — оператор ротировал его раньше, +// чем наступило плановое обновление секрета) → внеочередное чтение из OpenBao. +func onDBError(ctx context.Context, err error) { + if platformRef == nil || platformRef.Secrets == nil || err == nil { + return + } + var pe *pgconn.PgError + authFailed := errors.As(err, &pe) && pe.Code == "28P01" + // Ошибка установления соединения pgx не всегда отдаёт PgError через errors.As. + if !authFailed && !strings.Contains(err.Error(), "SQLSTATE 28P01") { + return + } + if platformRef.Secrets.SyncNow(ctx) { + slog.InfoContext(ctx, "db credentials refreshed after auth error", "event", "secrets.db_auth_retry", + "version", platformRef.Secrets.Version()) + } +} + +func envDuration(k string, def time.Duration) time.Duration { + if d, err := time.ParseDuration(os.Getenv(k)); err == nil && d >= 0 { + return d + } + return def +} diff --git a/cmd/reconcile/main.go b/cmd/reconcile/main.go new file mode 100644 index 0000000..c0f16cd --- /dev/null +++ b/cmd/reconcile/main.go @@ -0,0 +1,110 @@ +// Command reconcile сверяет PostgreSQL и S3 и безопасно убирает расхождения. +// +// reconcile # dry-run, grace 1h, отчёт JSON в stdout +// reconcile --apply # исправить +// reconcile --apply --interval 10m # фоновый режим (сервис reconciler в compose) +// +// Grace period должен быть больше максимальной длительности загрузки +// (ReadTimeout 30 s + PUT) с запасом на расхождение часов; значения < 5m +// разрешены только с --unsafe-short-grace (для тестов). +package main + +import ( + "context" + "encoding/json" + "flag" + "fmt" + "github.com/charawein/mtusi2026lab7/internal/platform" + "log/slog" + "os" + "os/signal" + "syscall" + "time" + + "github.com/charawein/mtusi2026lab7/internal/config" + "github.com/charawein/mtusi2026lab7/internal/reconcile" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" +) + +func main() { + apply := flag.Bool("apply", false, "apply fixes (default: dry-run, report only)") + grace := flag.Duration("grace", time.Hour, "do not touch objects/intents/quarantine younger than this") + unsafe := flag.Bool("unsafe-short-grace", false, "allow grace < 5m (tests only)") + interval := flag.Duration("interval", 0, "repeat every interval (0 = run once)") + flag.Parse() + + slog.SetDefault(slog.New(slog.NewJSONHandler(os.Stderr, nil))) + if *grace < 5*time.Minute && !*unsafe { + fmt.Fprintln(os.Stderr, "grace < 5m is unsafe: in-flight uploads could be deleted; pass --unsafe-short-grace for tests") + os.Exit(2) + } + + cfg := config.Load() + ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT) + defer stop() + + plat, err := platform.New(ctx, cfg) + if err != nil { + slog.Error("platform (tls/openbao)", "err", err) + os.Exit(1) + } + pool, err := plat.PG(ctx, 4) + if err != nil { + slog.Error("connect to postgres", "err", err) + os.Exit(1) + } + defer pool.Close() + store, err := plat.S3() + if err != nil { + slog.Error("s3 client", "err", err) + os.Exit(1) + } + repo := postgres.NewAttachmentRepository(pool) + + runOnce := func() int { + unlock, ok, err := repo.TryLock(ctx) + if err != nil { + slog.Error("advisory lock", "err", err) + return 1 + } + if !ok { + slog.Warn("another reconciler is running, skipping this pass") + return 3 + } + defer unlock() + var now time.Time + if err := pool.QueryRow(ctx, `SELECT now()`).Scan(&now); err != nil { + slog.Error("db time", "err", err) + return 1 + } + rep, err := reconcile.Run(ctx, repo, store, reconcile.Options{ + Prefix: "", Grace: *grace, Apply: *apply, Now: now, // весь bucket: a/, s/, o/, v/ + }) + out, _ := json.Marshal(rep) + fmt.Println(string(out)) + if err != nil { + slog.Error("reconcile pass failed", "err", err) + return 1 + } + slog.Info("reconcile pass done", "dry_run", rep.DryRun, "found", rep.Found, "fixed", rep.Fixed, + "rows", rep.RowsScanned, "objects", rep.ObjectsScanned, "ms", rep.DurationMS) + if len(rep.Errors) > 0 { + return 4 + } + return 0 + } + + if *interval <= 0 { + os.Exit(runOnce()) + } + t := time.NewTicker(*interval) + defer t.Stop() + for { + runOnce() + select { + case <-ctx.Done(): + return + case <-t.C: + } + } +} diff --git a/cmd/secprobe/main.go b/cmd/secprobe/main.go new file mode 100644 index 0000000..9acac94 --- /dev/null +++ b/cmd/secprobe/main.go @@ -0,0 +1,564 @@ +// Command secprobe — инструмент ОТРИЦАТЕЛЬНЫХ проверок lab7 (только тестовый образ +// target=probe, в образ приложения не входит). Проверяет, что разрешено/запрещено +// предъявителю конкретной identity, и печатает JSON-матрицу allowed/denied. +// +// secprobe tls -addr api:8443 -name api [-cert c -key k] [-ca ca] [-path /health/ready] +// secprobe amqp -cert c -key k права в RabbitMQ (SASL EXTERNAL по CN) +// secprobe otlp -cert c -key k ingest в Collector +// secprobe db -user u -password-file f права роли PostgreSQL (TLS verify-full) +// secprobe s3 -access a -secret-file f права ключа S3 по префиксам +// secprobe bao -cert c -key k -role r -path p OpenBao: свой/чужой путь, запись, sys +// secprobe compromise -cert c -key k -otel-cert -otel-key -role r -path p +// всё сразу от имени сервиса: вход в OpenBao его сертификатом, чтение его +// секретов, затем DB/S3/AMQP/OTLP с ними (модель «получены права worker») +// +// Секреты не печатаются; в выводе только имена операций и allowed/denied/ошибка. +package main + +import ( + "bytes" + "context" + "crypto/tls" + "crypto/x509" + "encoding/json" + "errors" + "flag" + "fmt" + "io" + "net" + "net/http" + "os" + "strings" + "time" + + "github.com/jackc/pgx/v5" + "github.com/minio/minio-go/v7" + "github.com/minio/minio-go/v7/pkg/credentials" + amqp "github.com/rabbitmq/amqp091-go" +) + +type result map[string]any + +func main() { + if len(os.Args) < 2 { + fmt.Fprintln(os.Stderr, "usage: secprobe tls|amqp|otlp|db|s3|bao|compromise ...") + os.Exit(2) + } + fs := flag.NewFlagSet(os.Args[1], flag.ExitOnError) + addr := fs.String("addr", "", "host:port") + name := fs.String("name", "", "TLS server name") + ca := fs.String("ca", "/pki/ca.crt", "CA file") + cert := fs.String("cert", "", "client certificate") + key := fs.String("key", "", "client key") + otelCert := fs.String("otel-cert", "", "telemetry client certificate") + otelKey := fs.String("otel-key", "", "telemetry client key") + path := fs.String("path", "/health/ready", "HTTP path / KV path") + role := fs.String("role", "", "OpenBao cert role") + user := fs.String("user", "", "db user") + pwFile := fs.String("password-file", "", "file with db password") + access := fs.String("access", "", "s3 access key") + secretFile := fs.String("secret-file", "", "file with s3 secret key") + sslmode := fs.String("sslmode", "verify-full", "postgres sslmode") + stdinSecret := fs.Bool("stdin", false, "read password/secret from stdin") + send := fs.String("send", "", "plaintext bytes to send (plain)") + _ = fs.Parse(os.Args[2:]) + ctx, cancel := context.WithTimeout(context.Background(), 60*time.Second) + defer cancel() + + var out result + switch os.Args[1] { + case "tls": + out = probeTLS(*addr, *name, *ca, *cert, *key, *path, *send) + case "amqp": + out = probeAMQP(*ca, *cert, *key) + case "otlp": + out = probeOTLP(*ca, *cert, *key) + case "db": + pw := readFile(*pwFile) + if *stdinSecret { + pw = readStdin() + } + out = probeDB(ctx, *ca, *user, pw, *sslmode) + case "s3": + sec := readFile(*secretFile) + if *stdinSecret { + sec = readStdin() + } + out = probeS3(ctx, *ca, *access, sec) + case "plain": + out = probePlain(*addr, *send) + case "bao": + out = probeBao(*ca, *cert, *key, *role, *path) + case "compromise": + out = compromise(ctx, *ca, *cert, *key, *otelCert, *otelKey, *role, *path) + default: + fmt.Fprintln(os.Stderr, "unknown command") + os.Exit(2) + } + b, _ := json.MarshalIndent(out, "", " ") + fmt.Println(string(b)) +} + +func readStdin() string { + b, _ := io.ReadAll(io.LimitReader(os.Stdin, 4096)) + return strings.TrimSpace(string(b)) +} + +// probePlain — отвечает ли порт по plaintext-протоколу (без TLS). +func probePlain(addr, send string) result { + c, err := net.DialTimeout("tcp", addr, 5*time.Second) + if err != nil { + return result{"addr": addr, "plaintext": "no listener (" + short(err) + ")"} + } + defer c.Close() + _ = c.SetDeadline(time.Now().Add(5 * time.Second)) + payload := strings.ReplaceAll(send, `\r\n`, "\r\n") // CRLF в аргументе как \r\n + _, _ = c.Write([]byte(payload)) + buf := make([]byte, 256) + n, err := c.Read(buf) + reply := string(buf[:n]) + if len(reply) > 80 { + reply = reply[:80] + } + return result{"addr": addr, "reply_bytes": n, "reply_prefix": fmt.Sprintf("%q", reply), "read_err": errString(err)} +} + +func errString(err error) string { + if err == nil { + return "" + } + return short(err) +} + +func readFile(p string) string { + if p == "" { + return "" + } + b, err := os.ReadFile(p) + if err != nil { + return "" + } + return strings.TrimSpace(string(b)) +} + +func pool(ca string) *x509.CertPool { + p := x509.NewCertPool() + b, _ := os.ReadFile(ca) + p.AppendCertsFromPEM(b) + return p +} + +func tlsConf(ca, cert, key, name string) (*tls.Config, error) { + c := &tls.Config{RootCAs: pool(ca), ServerName: name, MinVersion: tls.VersionTLS12} + if cert != "" { + kp, err := tls.LoadX509KeyPair(cert, key) + if err != nil { + return nil, err + } + c.Certificates = []tls.Certificate{kp} + } + return c, nil +} + +// classify — причина отказа TLS: сервер отверг клиента (alert), клиент отверг сервер, сеть. +func classify(err error) string { + if err == nil { + return "ok" + } + s := err.Error() + var uae x509.UnknownAuthorityError + var hne x509.HostnameError + switch { + case errors.As(err, &uae): + return "client_rejected_server: unknown authority" + case errors.As(err, &hne): + return "client_rejected_server: hostname mismatch" + case strings.Contains(s, "certificate required"): + return "server_rejected: certificate required" + case strings.Contains(s, "unknown certificate authority") || strings.Contains(s, "unknown ca"): + return "server_rejected: unknown certificate authority" + case strings.Contains(s, "bad certificate"): + return "server_rejected: bad certificate" + case strings.Contains(s, "access denied") || strings.Contains(s, "handshake failure"): + return "server_rejected: " + s + case strings.Contains(s, "connection reset") || strings.Contains(s, "EOF") || strings.Contains(s, "broken pipe"): + return "server_rejected: connection closed after handshake (" + s + ")" + } + var ne net.Error + if errors.As(err, &ne) { + return "network: " + s + } + return "error: " + s +} + +func probeTLS(addr, name, ca, cert, key, path, send string) result { + tc, err := tlsConf(ca, cert, key, name) + if err != nil { + return result{"result": "error: " + err.Error()} + } + if send != "" { + // Не-HTTP протокол (Redis): рукопожатие с проверкой сертификата сервера + команда. + c, err := tls.DialWithDialer(&net.Dialer{Timeout: 5 * time.Second}, "tcp", addr, tc) + if err != nil { + return result{"addr": addr, "result": classify(err)} + } + defer c.Close() + _ = c.SetDeadline(time.Now().Add(5 * time.Second)) + if _, err := c.Write([]byte(strings.ReplaceAll(send, `\r\n`, "\r\n"))); err != nil { + return result{"addr": addr, "result": classify(err)} + } + buf := make([]byte, 128) + n, err := c.Read(buf) + if n == 0 { + return result{"addr": addr, "result": classify(err)} + } + return result{"addr": addr, "result": "ok", "reply_prefix": strings.TrimSpace(string(buf[:n])), + "server_serial": c.ConnectionState().PeerCertificates[0].SerialNumber.Text(16)} + } + // TLS 1.3: отказ сервера в клиентском сертификате приходит после рукопожатия — + // поэтому делаем реальный HTTP-запрос и классифицируем его ошибку. + cl := &http.Client{Timeout: 10 * time.Second, Transport: &http.Transport{TLSClientConfig: tc, DisableKeepAlives: true}} + resp, err := cl.Get("https://" + addr + path) + if err != nil { + return result{"addr": addr, "result": classify(err)} + } + defer resp.Body.Close() + serial := "" + if resp.TLS != nil && len(resp.TLS.PeerCertificates) > 0 { + serial = resp.TLS.PeerCertificates[0].SerialNumber.Text(16) + } + return result{"addr": addr, "result": "ok", "status": resp.StatusCode, "instance": resp.Header.Get("X-Instance-Id"), + "server_serial": serial} +} + +// ---------------- RabbitMQ ---------------- + +func probeAMQP(ca, cert, key string) result { + tc, err := tlsConf(ca, cert, key, "rabbitmq") + if err != nil { + return result{"connect": "error: " + err.Error()} + } + cfg := amqp.Config{TLSClientConfig: tc, SASL: []amqp.Authentication{&amqp.ExternalAuth{}}, Heartbeat: 10 * time.Second} + conn, err := amqp.DialConfig("amqps://rabbitmq:5671/", cfg) + if err != nil { + return result{"connect": "denied: " + short(err)} + } + defer conn.Close() + res := result{"connect": "allowed"} + try := func(label string, f func(ch *amqp.Channel) error) { + ch, err := conn.Channel() + if err != nil { + res[label] = "error: " + short(err) + return + } + defer ch.Close() + if err := f(ch); err != nil { + res[label] = "denied: " + short(err) + return + } + res[label] = "allowed" + } + try("publish attachments (job)", func(ch *amqp.Channel) error { + if err := ch.Confirm(false); err != nil { + return err + } + dc, err := ch.PublishWithDeferredConfirm("attachments", "process", true, false, + amqp.Publishing{ContentType: "application/json", Body: []byte(`{"probe":true}`)}) + if err != nil { + return err + } + ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) + defer cancel() + ok, err := dc.WaitContext(ctx) + if err != nil { + return err + } + if !ok { + return errors.New("nack") + } + return nil + }) + try("consume attachment.process", func(ch *amqp.Channel) error { + _, err := ch.Consume("attachment.process", "probe", false, true, false, false, nil) + if err == nil { + _ = ch.Cancel("probe", false) // неподтверждённое вернётся в очередь + } + return err + }) + try("consume attachment.dead (DLQ)", func(ch *amqp.Channel) error { + _, err := ch.Consume("attachment.dead", "probe-dlq", false, true, false, false, nil) + return err + }) + try("declare queue evil", func(ch *amqp.Channel) error { + _, err := ch.QueueDeclare("evil.probe", false, true, false, false, nil) + return err + }) + // queue.purge в RabbitMQ авторизуется правом read — оно у worker есть по необходимости + // (consume). Зонд purge НЕ выполняет: это разрушило бы очередь стенда. Остаточный + // риск описан в security/THREAT_MODEL.md (обнаружение — возраст старейшей queued-работы). + try("delete queue attachment.process", func(ch *amqp.Channel) error { + _, err := ch.QueueDelete("attachment.process", true, true, false) // ifUnused+ifEmpty: не разрушает + return err + }) + return res +} + +func short(err error) string { + s := err.Error() + if len(s) > 160 { + s = s[:160] + } + return s +} + +// ---------------- Collector ---------------- + +func probeOTLP(ca, cert, key string) result { + tc, err := tlsConf(ca, cert, key, "otel-collector") + if err != nil { + return result{"ingest": "error: " + err.Error()} + } + cl := &http.Client{Timeout: 10 * time.Second, Transport: &http.Transport{TLSClientConfig: tc, DisableKeepAlives: true}} + // Пустой ExportTraceServiceRequest (protobuf длины 0) — валидный запрос без данных. + resp, err := cl.Post("https://otel-collector:4318/v1/traces", "application/x-protobuf", bytes.NewReader(nil)) + if err != nil { + return result{"ingest": classify(err)} + } + defer resp.Body.Close() + return result{"ingest": "allowed", "status": resp.StatusCode} +} + +// ---------------- PostgreSQL ---------------- + +func probeDB(ctx context.Context, ca, user, password, sslmode string) result { + dsn := fmt.Sprintf("postgres://%s@postgres:5432/messenger?sslmode=%s&sslrootcert=%s", user, sslmode, ca) + cc, err := pgx.ParseConfig(dsn) + if err != nil { + return result{"connect": "error: " + err.Error()} + } + cc.Password = password + conn, err := pgx.ConnectConfig(ctx, cc) + if err != nil { + return result{"connect": "denied: " + short(err)} + } + defer conn.Close(ctx) + res := result{"connect": "allowed", "role": user} + // Каждая проверка — в транзакции с ROLLBACK: ничего не меняется даже при «allowed». + try := func(label, sql string) { + tx, err := conn.Begin(ctx) + if err != nil { + res[label] = "error: " + short(err) + return + } + defer tx.Rollback(ctx) + if _, err := tx.Exec(ctx, sql); err != nil { + if strings.Contains(err.Error(), "permission denied") { + res[label] = "denied" + } else { + res[label] = "error: " + short(err) + } + return + } + res[label] = "allowed" + } + try("read users.password_hash", `SELECT password_hash FROM users LIMIT 1`) + try("read messages", `SELECT text FROM messages LIMIT 1`) + try("read chat_members", `SELECT * FROM chat_members LIMIT 1`) + try("insert message", `INSERT INTO messages (id, chat_id, sender_id, text, created_at) + SELECT gen_random_uuid(), chat_id, user_id, 'probe', now() FROM chat_members LIMIT 1`) + try("read jobs", `SELECT job_id FROM jobs LIMIT 1`) + try("update jobs.state", `UPDATE jobs SET state = state WHERE false`) + try("update attachments.owner_id", `UPDATE attachments SET owner_id = owner_id WHERE false`) + try("update attachments.status", `UPDATE attachments SET status = status WHERE false`) + try("delete attachments", `DELETE FROM attachments WHERE false`) + try("insert attachment_variants", `INSERT INTO attachment_variants SELECT * FROM attachment_variants WHERE false`) + try("truncate jobs", `TRUNCATE jobs CASCADE`) + try("create table", `CREATE TABLE probe_evil (x int)`) + try("create role", `CREATE ROLE probe_evil`) + return res +} + +// ---------------- S3 ---------------- + +func probeS3(ctx context.Context, ca, access, secret string) result { + tr, _ := minio.DefaultTransport(true) + tr.TLSClientConfig = &tls.Config{RootCAs: pool(ca), MinVersion: tls.VersionTLS12} + c, err := minio.New("s3:9000", &minio.Options{Creds: credentials.NewStaticV4(access, secret, ""), Secure: true, + Transport: tr, BucketLookup: minio.BucketLookupPath, MaxRetries: 1}) + if err != nil { + return result{"client": "error: " + err.Error()} + } + const b = "messenger-attachments" + res := result{} + verdict := func(err error) string { + if err == nil { + return "allowed" + } + code := minio.ToErrorResponse(err).Code + switch code { + case "AccessDenied", "InvalidAccessKeyId", "SignatureDoesNotMatch": + return "denied (" + code + ")" + case "NoSuchKey": + return "allowed (no such key)" + } + return "error: " + short(err) + } + probe := "probe-" + fmt.Sprint(time.Now().UnixNano()) + for _, p := range []string{"s/", "o/", "v/", "a/"} { + _, err := c.PutObject(ctx, b, p+probe, bytes.NewReader([]byte("x")), 1, minio.PutObjectOptions{}) + res["put "+p+"*"] = verdict(err) + if err == nil { + defer c.RemoveObject(context.Background(), b, p+probe, minio.RemoveObjectOptions{}) + } + o, err := c.GetObject(ctx, b, p+"no-such-"+probe, minio.GetObjectOptions{}) + if err == nil { + _, err = io.ReadAll(o) + } + res["get "+p+"*"] = verdict(err) + err = c.RemoveObject(ctx, b, p+"no-such-"+probe, minio.RemoveObjectOptions{}) + res["delete "+p+"*"] = verdict(err) + } + n, err := 0, error(nil) + for o := range c.ListObjects(ctx, b, minio.ListObjectsOptions{Recursive: true, MaxKeys: 10}) { + if o.Err != nil { + err = o.Err + break + } + n++ + if n > 10 { + break + } + } + res["list bucket"] = verdict(err) + res["make bucket"] = verdict(c.MakeBucket(ctx, "evil-"+probe[len(probe)-8:], minio.MakeBucketOptions{})) + _, err = c.ListBuckets(ctx) + res["list all buckets"] = verdict(err) + return res +} + +// ---------------- OpenBao ---------------- + +type bao struct { + cl *http.Client + token string +} + +func newBao(ca, cert, key string) (*bao, error) { + tc, err := tlsConf(ca, cert, key, "openbao") + if err != nil { + return nil, err + } + return &bao{cl: &http.Client{Timeout: 10 * time.Second, Transport: &http.Transport{TLSClientConfig: tc}}}, nil +} + +func (b *bao) do(method, path string, body any) (int, map[string]any, error) { + var rd io.Reader + if body != nil { + j, _ := json.Marshal(body) + rd = bytes.NewReader(j) + } + req, _ := http.NewRequest(method, "https://openbao:8200"+path, rd) + if b.token != "" { + req.Header.Set("X-Vault-Token", b.token) + } + resp, err := b.cl.Do(req) + if err != nil { + return 0, nil, err + } + defer resp.Body.Close() + var m map[string]any + _ = json.NewDecoder(resp.Body).Decode(&m) + return resp.StatusCode, m, nil +} + +func (b *bao) login(role string) error { + code, m, err := b.do("POST", "/v1/auth/cert/login", map[string]any{"name": role}) + if err != nil { + return err + } + if code != 200 { + return fmt.Errorf("login %d", code) + } + b.token, _ = m["auth"].(map[string]any)["client_token"].(string) + return nil +} + +func verdictHTTP(code int, err error) string { + switch { + case err != nil: + return "error: " + short(err) + case code == 200 || code == 204: + return "allowed" + case code == 403: + return "denied (403)" + case code == 404: + return "not found (404)" + } + return fmt.Sprintf("status %d", code) +} + +func probeBao(ca, cert, key, role, path string) result { + b, err := newBao(ca, cert, key) + if err != nil { + return result{"login": "error: " + err.Error()} + } + if err := b.login(role); err != nil { + return result{"login": "denied: " + short(err)} + } + res := result{"login": "allowed"} + code, _, err := b.do("GET", "/v1/secret/data/"+path, nil) + res["read own "+path] = verdictHTTP(code, err) + for _, other := range []string{"messenger/api", "messenger/worker", "messenger/relay", "messenger/reconciler"} { + if other == path { + continue + } + code, _, err := b.do("GET", "/v1/secret/data/"+other, nil) + res["read "+other] = verdictHTTP(code, err) + } + code, _, err = b.do("POST", "/v1/secret/data/"+path, map[string]any{"data": map[string]string{"x": "y"}}) + res["write own secret"] = verdictHTTP(code, err) + code, _, err = b.do("LIST", "/v1/secret/metadata/messenger", nil) + res["list secrets"] = verdictHTTP(code, err) + code, _, err = b.do("PUT", "/v1/sys/policies/acl/evil", map[string]any{"policy": `path "*" { capabilities = ["sudo","read"] }`}) + res["write policy"] = verdictHTTP(code, err) + code, _, err = b.do("POST", "/v1/auth/token/create", map[string]any{"policies": []string{"messenger-api"}}) + res["create token with other policy"] = verdictHTTP(code, err) + code, _, err = b.do("PUT", "/v1/sys/seal", nil) + res["seal openbao"] = verdictHTTP(code, err) + return res +} + +// ---------------- полная модель компрометации сервиса ---------------- + +func compromise(ctx context.Context, ca, cert, key, otelCert, otelKey, role, path string) result { + res := result{"identity_cert": cert} + res["openbao"] = probeBao(ca, cert, key, role, path) + b, err := newBao(ca, cert, key) + if err == nil { + err = b.login(role) + } + if err != nil { + res["stolen_secrets"] = "none: openbao login denied (" + short(err) + ")" + } else { + code, m, err := b.do("GET", "/v1/secret/data/"+path, nil) + if err != nil || code != 200 { + res["stolen_secrets"] = fmt.Sprintf("none: read %d", code) + } else { + d, _ := m["data"].(map[string]any)["data"].(map[string]any) + keys := []string{} + for k := range d { + keys = append(keys, k) + } + res["stolen_secrets"] = keys // только имена + str := func(k string) string { s, _ := d[k].(string); return s } + res["db"] = probeDB(ctx, ca, str("db_user"), str("db_password"), "verify-full") + res["s3"] = probeS3(ctx, ca, str("s3_access_key"), str("s3_secret_key")) + } + } + res["amqp"] = probeAMQP(ca, cert, key) + if otelCert != "" { + res["otlp"] = probeOTLP(ca, otelCert, otelKey) + } + res["api_as_lb"] = probeTLS("api:8443", "api", ca, cert, key, "/api/v1/users/me", "") + return res +} diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 0000000..b19ee85 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,663 @@ +# Lab7 — защищённый мессенджер. Карта доверия: contracts/trust-matrix.md, угрозы: security/THREAT_MODEL.md. +# +# клиент ─TLS(:8443, CA стенда)→ lb ─mTLS(identity lb)→ api × 2 +# api / relay / worker / reconciler: +# ─TLS verify-full + своя роль БД→ postgres ─TLS + ACL user→ redis (только api) +# ─TLS + свой ключ/префиксы→ s3 (MinIO) ─mTLS, SASL EXTERNAL (CN)→ rabbitmq (relay, worker) +# ─mTLS (CA телеметрии)→ otel-collector ─mTLS→ tempo / loki; prometheus ─mTLS→ collector +# ─TLS + cert auth (тот же сертификат сервиса)→ openbao: роль/ключи БД, S3, Redis +# grafana ─mTLS→ prometheus / loki / tempo; оператор → grafana (HTTPS, 127.0.0.1:3000) +# +# Секреты и ключи создаёт оператор (scripts/bootstrap.py → secrets/, вне Git); в образах их нет. +# Запуск из чистого clone: python3 scripts/bootstrap.py all +name: mtusi2026lab7 + +x-hardened: &hardened + # Процессы приложения: non-root (uid 1001 образа), без capabilities, без повышения + # привилегий, корневая ФС только чтение; запись — в ограниченный tmpfs /tmp. + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + tmpfs: + - /tmp:size=64m,mode=1777 + +x-app-env: &app-env + APP_HOST: 0.0.0.0 + APP_PORT: "8443" + APP_ENV: ${APP_ENV:-lab} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + SESSION_STORE: redis + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + DRAIN_DELAY: ${DRAIN_DELAY:-3s} + SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-8s} + DB_POOL_MAX: ${DB_POOL_MAX:-20} + CACHE_INVALIDATION: ${CACHE_INVALIDATION:-version} + S3_ENDPOINT: https://s3:9000 + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760} + MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000} + PIPELINE_VERSION: ${PIPELINE_VERSION:-1} + JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} + JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60} + WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2} + STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400} + WEBP_QUALITY: ${WEBP_QUALITY:-80} + WORKER_PIXEL_BUDGET: ${WORKER_PIXEL_BUDGET:-60000000} + RETRY_BASE_DELAY: ${RETRY_BASE_DELAY:-2s} + RETRY_MAX_DELAY: ${RETRY_MAX_DELAY:-60s} + # TLS: CA стенда и сертификат сервиса (у каждого сервиса свой, под одинаковыми именами) + TLS_CA_FILE: /run/secrets/ca.crt + TLS_CERT_FILE: /run/secrets/service.crt + TLS_KEY_FILE: /run/secrets/service.key + # PostgreSQL: адрес; роль и пароль — из OpenBao (secret/messenger/<сервис>) + DATABASE_HOST: postgres + DATABASE_NAME: messenger + REDIS_ADDR: redis:6379 + BROKER_URL: amqps://rabbitmq:5671/ + # OpenBao: cert auth тем же сертификатом сервиса, без статического токена + BAO_ADDR: https://openbao:8200 + BAO_CACERT: /run/secrets/ca.crt + SECRETS_REFRESH: ${SECRETS_REFRESH:-30s} + # Argon2id (обоснование — REPORT.md, замер на стенде) + ARGON2_MEMORY_KIB: ${ARGON2_MEMORY_KIB:-19456} + ARGON2_ITERATIONS: ${ARGON2_ITERATIONS:-2} + ARGON2_PARALLELISM: ${ARGON2_PARALLELISM:-1} + ARGON2_MAX_CONCURRENT: ${ARGON2_MAX_CONCURRENT:-2} + LOGIN_RATE_PER_USER: ${LOGIN_RATE_PER_USER:-10} + LOGIN_RATE_PER_IP: ${LOGIN_RATE_PER_IP:-60} + LOGIN_RATE_WINDOW_SECONDS: ${LOGIN_RATE_WINDOW_SECONDS:-60} + # OpenTelemetry: HTTPS к Collector, клиентский сертификат CA телеметрии + OTEL_EXPORTER_OTLP_ENDPOINT: https://otel-collector:4318 + OTEL_EXPORTER_OTLP_PROTOCOL: http/protobuf + OTEL_EXPORTER_OTLP_CERTIFICATE: /run/secrets/ca.crt + OTEL_EXPORTER_OTLP_CLIENT_CERTIFICATE: /run/secrets/otel.crt + OTEL_EXPORTER_OTLP_CLIENT_KEY: /run/secrets/otel.key + OTEL_RESOURCE_ATTRIBUTES: deployment.environment.name=lab + OTEL_TRACES_SAMPLER: ${OTEL_TRACES_SAMPLER:-parentbased_always_on} + OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1.0} + +services: + lb: + image: haproxy:3.0.5-alpine + <<: *hardened + ports: + - "127.0.0.1:${LB_PORT:-8443}:8443" # единственный публичный вход, только TLS + environment: + LB_BALANCE: ${LB_BALANCE:-roundrobin} + volumes: + - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + secrets: + - { source: ca_crt, target: ca.crt } + - { source: lb_public_pem, target: lb-public.pem } + - { source: lb_pem, target: lb.pem } + depends_on: + api: + condition: service_healthy + restart: unless-stopped + networks: [front] + deploy: + resources: + limits: { cpus: "0.50", memory: 128M, pids: 256 } + + api: + build: . + image: mtusi2026lab7-api:local + <<: *hardened + environment: + <<: *app-env + OTEL_SERVICE_NAME: messenger-api + BAO_ROLE: api + BAO_KV_PATH: messenger/api + API_ALLOWED_CLIENTS: lb + REVOKED_SERIALS_FILE: /run/secrets/revoked.txt + secrets: + - { source: ca_crt, target: ca.crt } + - { source: revoked_serials, target: revoked.txt } + - { source: api_crt, target: service.crt } + - { source: api_key, target: service.key } + - { source: api_otel_crt, target: otel.crt } + - { source: api_otel_key, target: otel.key } + depends_on: + postgres: { condition: service_healthy } + redis: { condition: service_healthy } + openbao: { condition: service_started } + healthcheck: + test: ["CMD", "wget", "--spider", "-q", "http://127.0.0.1:8081/health/ready"] + interval: 5s + timeout: 2s + retries: 3 + start_period: 20s + stop_grace_period: 15s + restart: unless-stopped + networks: [front, back, telemetry] + deploy: + replicas: ${API_REPLICAS:-2} + resources: + limits: { cpus: "${API_CPUS:-0.50}", memory: "${API_MEMORY:-256M}", pids: 256 } + + # Миграции — инструмент оператора: владелец схемы messenger, TLS verify-full. + migrate: + image: migrate/migrate:v4.17.0 + volumes: + - ./migrations:/migrations:ro + secrets: + - { source: ca_crt, target: ca.crt } + - database_url + entrypoint: ["/bin/sh", "-c", "exec migrate -path /migrations -database \"$$(cat /run/secrets/database_url)\" up"] + read_only: true + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + depends_on: + postgres: { condition: service_healthy } + restart: "no" + profiles: [ops] + networks: [back] + + # PostgreSQL: TLS (ключ копируется в каталог postgres с правами 600 — требование PostgreSQL), + # pg_hba: сетевой доступ только hostssl + scram. Stateful-исключение из read_only: entrypoint + # образа делает chown/su-exec, поэтому оставлены нужные для этого capabilities. + postgres: + image: postgres:16.4-alpine + entrypoint: ["sh", "-c"] + command: + - >- + install -o postgres -g postgres -m 600 /run/secrets/postgres.key /var/lib/postgresql/server.key && + install -o postgres -g postgres -m 644 /run/secrets/postgres.crt /var/lib/postgresql/server.crt && + exec docker-entrypoint.sh postgres -c max_connections=100 -c ssl=on + -c ssl_cert_file=/var/lib/postgresql/server.crt -c ssl_key_file=/var/lib/postgresql/server.key + -c ssl_min_protocol_version=TLSv1.2 -c hba_file=/etc/postgresql/pg_hba.conf -c password_encryption=scram-sha-256 + environment: + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + POSTGRES_DB: messenger + secrets: + - postgres_password + - { source: postgres_crt, target: postgres.crt } + - { source: postgres_key, target: postgres.key } + volumes: + - pg_data:/var/lib/postgresql/data + - ./infra/postgres/pg_hba.conf:/etc/postgresql/pg_hba.conf:ro + cap_drop: [ALL] + cap_add: [CHOWN, DAC_OVERRIDE, FOWNER, SETUID, SETGID] + security_opt: [no-new-privileges:true] + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 10 + restart: unless-stopped + networks: [back] + deploy: + resources: + limits: { cpus: "1.00", memory: 512M, pids: 512 } + + # Redis: только TLS (plaintext-порт 0), ACL из файла оператора (пароли — SHA-256), + # пользователь default выключен. + redis: + image: redis:7.4.1-alpine + command: + - redis-server + - --port + - "0" + - --tls-port + - "6379" + - --tls-cert-file + - /run/secrets/redis.crt + - --tls-key-file + - /run/secrets/redis.key + - --tls-ca-cert-file + - /run/secrets/ca.crt + - --tls-auth-clients + - "no" + - --aclfile + - /run/secrets/redis_users.acl + - --appendonly + - "yes" + - --appendfsync + - everysec + secrets: + - { source: ca_crt, target: ca.crt } + - { source: redis_crt, target: redis.crt } + - { source: redis_key, target: redis.key } + - redis_users.acl + volumes: + - redis_data:/data + cap_drop: [ALL] + cap_add: [CHOWN, SETUID, SETGID, DAC_OVERRIDE] + security_opt: [no-new-privileges:true] + healthcheck: + test: ["CMD", "redis-cli", "--tls", "--cacert", "/run/secrets/ca.crt", "-h", "redis", "--user", "healthcheck", "--pass", "x", "--no-auth-warning", "ping"] + interval: 5s + timeout: 3s + retries: 10 + restart: unless-stopped + networks: [back] + deploy: + resources: + limits: { cpus: "0.50", memory: 256M, pids: 256 } + + # MinIO RELEASE.2025-04-22 (Bitnami, по digest): только HTTPS, консоль выключена, порты не публикуются. + s3: + image: bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 + entrypoint: ["/bin/bash", "-c"] + command: + - >- + mkdir -p /tmp/certs/CAs && cp /run/secrets/s3.crt /tmp/certs/public.crt && cp /run/secrets/s3.key /tmp/certs/private.key && + cp /run/secrets/ca.crt /tmp/certs/CAs/ca.crt && + export MINIO_ROOT_USER="$$(cat /run/secrets/s3_root_user)" MINIO_ROOT_PASSWORD="$$(cat /run/secrets/s3_root_password)"; + exec /opt/bitnami/minio/bin/minio server /bitnami/minio/data --address :9000 --certs-dir /tmp/certs + environment: + MINIO_BROWSER: "off" + secrets: + - s3_root_user + - s3_root_password + - { source: ca_crt, target: ca.crt } + - { source: s3_crt, target: s3.crt } + - { source: s3_key, target: s3.key } + volumes: + - s3_data:/bitnami/minio/data + <<: *hardened + healthcheck: + test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/9000"] + interval: 5s + timeout: 3s + retries: 20 + restart: unless-stopped + networks: [back] + deploy: + resources: + limits: { cpus: "0.50", memory: 512M, pids: 256 } + + # Bootstrap MinIO (запускает scripts/bootstrap.py): bucket, политики по префиксам, пользователи сервисов. + s3-init: + image: bitnamilegacy/minio-client:2025.4.16@sha256:8a86e441decf053093c5977d49290298295f850c7843652f93e970ab15871dd1 + entrypoint: ["/bin/sh", "/init/init.sh"] + environment: + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + PATH: /opt/bitnami/minio-client/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin + MC_CONFIG_DIR: /tmp/.mc + secrets: + - s3_root_user + - s3_root_password + - s3_users + - { source: ca_crt, target: ca.crt } + volumes: + - ./infra/s3:/init:ro + <<: *hardened + depends_on: + s3: { condition: service_healthy } + restart: "no" + profiles: [ops] + networks: [back] + + reconciler: + image: mtusi2026lab7-api:local + <<: *hardened + entrypoint: ["/app/reconcile", "--apply", "--interval", "${RECONCILE_INTERVAL:-10m}", "--grace", "${RECONCILE_GRACE:-1h}"] + environment: + <<: *app-env + BAO_ROLE: reconciler + BAO_KV_PATH: messenger/reconciler + secrets: + - { source: ca_crt, target: ca.crt } + - { source: reconciler_crt, target: service.crt } + - { source: reconciler_key, target: service.key } + healthcheck: + test: ["CMD-SHELL", "pgrep -x reconcile >/dev/null || pidof reconcile >/dev/null"] + interval: 10s + timeout: 3s + retries: 3 + start_period: 5s + depends_on: + postgres: { condition: service_healthy } + openbao: { condition: service_started } + restart: unless-stopped + networks: [back] + deploy: + resources: + limits: { cpus: "0.25", memory: 128M, pids: 128 } + + # RabbitMQ: только AMQPS (5671) с обязательным клиентским сертификатом, SASL EXTERNAL. + rabbitmq: + image: rabbitmq:4.0.9-alpine + hostname: rabbitmq + volumes: + - rabbitmq_data:/var/lib/rabbitmq + - ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/30-lab7.conf:ro + - ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro + - ./infra/rabbitmq/definitions.json:/etc/rabbitmq/lab7-definitions.json:ro + secrets: + - { source: ca_crt, target: ca.crt } + - { source: rabbitmq_crt, target: rabbitmq.crt } + - { source: rabbitmq_key, target: rabbitmq.key } + cap_drop: [ALL] + cap_add: [CHOWN, DAC_OVERRIDE, FOWNER, SETUID, SETGID] + security_opt: [no-new-privileges:true] + healthcheck: + test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"] + interval: 5s + timeout: 10s + retries: 30 + start_period: 15s + restart: unless-stopped + networks: [back, telemetry] + deploy: + resources: + limits: { cpus: "0.50", memory: 512M, pids: 512 } + + relay: + image: mtusi2026lab7-api:local + <<: *hardened + volumes: + - fault_state:/var/lib/messenger/fault + entrypoint: ["/app/pipeline", "relay"] + environment: + <<: *app-env + OTEL_SERVICE_NAME: messenger-relay + BAO_ROLE: relay + BAO_KV_PATH: messenger/relay + BROKER_DECLARE: "false" # топология — у оператора (definitions.json) + FAULT_POINTS: ${RELAY_FAULT_POINTS:-} + FAULT_DIR: /var/lib/messenger/fault + secrets: + - { source: ca_crt, target: ca.crt } + - { source: relay_crt, target: service.crt } + - { source: relay_key, target: service.key } + - { source: relay_otel_crt, target: otel.crt } + - { source: relay_otel_key, target: otel.key } + healthcheck: + test: ["CMD-SHELL", "pgrep -x pipeline >/dev/null || pidof pipeline >/dev/null"] + interval: 10s + timeout: 3s + retries: 3 + start_period: 5s + depends_on: + postgres: { condition: service_healthy } + rabbitmq: { condition: service_healthy } + openbao: { condition: service_started } + restart: unless-stopped + networks: [back, telemetry] + deploy: + resources: + limits: { cpus: "0.25", memory: 128M, pids: 128 } + + # Worker: отдельная identity (CN worker-gN): своя роль БД, ключ S3 только s/ v/ o/, + # в RabbitMQ — только чтение attachment.process. CPU/RAM/время ограничены. + worker: + image: mtusi2026lab7-api:local + <<: *hardened + tmpfs: + - /tmp:size=256m,mode=1777 # cwebp: временный PNG/WebP одного изображения + volumes: + - fault_state:/var/lib/messenger/fault # маркеры точек сбоя (тесты; tmpfs очищается при restart) + entrypoint: ["/app/pipeline", "worker"] + environment: + <<: *app-env + OTEL_SERVICE_NAME: messenger-worker + BAO_ROLE: worker + BAO_KV_PATH: messenger/worker + BROKER_DECLARE: "false" + FAULT_POINTS: ${WORKER_FAULT_POINTS:-} + FAULT_DIR: /var/lib/messenger/fault + GOMEMLIMIT: ${WORKER_GOMEMLIMIT:-560MiB} + secrets: + - { source: ca_crt, target: ca.crt } + - { source: worker_crt, target: service.crt } + - { source: worker_key, target: service.key } + - { source: worker_otel_crt, target: otel.crt } + - { source: worker_otel_key, target: otel.key } + healthcheck: + test: ["CMD-SHELL", "pgrep -x pipeline >/dev/null || pidof pipeline >/dev/null"] + interval: 10s + timeout: 3s + retries: 3 + start_period: 5s + stop_grace_period: 70s + depends_on: + postgres: { condition: service_healthy } + rabbitmq: { condition: service_healthy } + openbao: { condition: service_started } + restart: unless-stopped + networks: [back, telemetry] + deploy: + replicas: ${WORKER_REPLICAS:-1} + resources: + limits: { cpus: "${WORKER_CPUS:-1.00}", memory: "${WORKER_MEMORY:-768M}", pids: 128 } + + # OpenBao: не dev-mode, файловое хранилище на volume, TLS. Init/unseal — оператор + # (scripts/bootstrap.py); после рестарта OpenBao запечатан до unseal, приложения + # продолжают работать на полученных ранее секретах. + openbao: + image: openbao/openbao:2.1.0 + # Конфиг вне /openbao/config: entrypoint образа сам добавляет -config=/openbao/config, + # и тот же файл, загруженный дважды, дал бы два listener на одном порту. + command: ["server", "-config=/openbao/lab7/config.hcl"] + environment: + SKIP_SETCAP: "true" + volumes: + - ./infra/openbao/config.hcl:/openbao/lab7/config.hcl:ro + - ./infra/openbao/policies:/openbao/policies:ro + - bao_data:/openbao/file + secrets: + - { source: ca_crt, target: ca.crt } + - { source: openbao_crt, target: openbao.crt } + - { source: openbao_key, target: openbao.key } + cap_drop: [ALL] + cap_add: [CHOWN, DAC_OVERRIDE, FOWNER, SETUID, SETGID] + security_opt: [no-new-privileges:true] + ports: + - "127.0.0.1:${BAO_PORT:-8200}:8200" # только оператору на хосте, TLS + restart: unless-stopped + networks: [back] + deploy: + resources: + limits: { cpus: "0.50", memory: 256M, pids: 256 } + + # ---------------- Наблюдаемость (lab6), всё по TLS/mTLS ---------------- + otel-collector: + image: otel/opentelemetry-collector-contrib:0.116.1 + <<: *hardened + command: ["--config=/etc/otelcol/${COLLECTOR_CONFIG:-collector.yaml}"] + volumes: + - ./infra/otel:/etc/otelcol:ro + secrets: + - { source: ca_crt, target: ca.crt } + - { source: tca_crt, target: tca.crt } + - { source: otel_collector_crt, target: otel-collector.crt } + - { source: otel_collector_key, target: otel-collector.key } + restart: unless-stopped + networks: [telemetry] + deploy: + resources: + limits: { cpus: "0.50", memory: 256M, pids: 256 } + + prometheus: + image: prom/prometheus:v3.1.0 + <<: *hardened + command: + - --config.file=/etc/prometheus/prometheus.yml + - --web.config.file=/etc/prometheus/web.yml + - --storage.tsdb.path=/prometheus + - --storage.tsdb.retention.time=7d + - --enable-feature=exemplar-storage + volumes: + - ./infra/prometheus:/etc/prometheus:ro + - prometheus_data:/prometheus + secrets: + - { source: ca_crt, target: ca.crt } + - { source: prometheus_crt, target: prometheus.crt } + - { source: prometheus_key, target: prometheus.key } + restart: unless-stopped + networks: [telemetry] + deploy: + resources: + limits: { cpus: "0.50", memory: 512M, pids: 256 } + + loki: + image: grafana/loki:3.3.2 + <<: *hardened + command: ["-config.file=/etc/loki/loki.yaml"] + volumes: + - ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro + - loki_data:/loki + secrets: + - { source: ca_crt, target: ca.crt } + - { source: loki_crt, target: loki.crt } + - { source: loki_key, target: loki.key } + restart: unless-stopped + networks: [telemetry] + deploy: + resources: + limits: { cpus: "0.50", memory: 1G, pids: 256 } + + tempo-init: + image: &tempo-image grafana/tempo:2.6.1 + user: root + entrypoint: ["chown", "10001:10001", "/var/tempo"] + cap_drop: [ALL] + cap_add: [CHOWN] + security_opt: [no-new-privileges:true] + volumes: + - tempo_data:/var/tempo + restart: "no" + networks: [telemetry] + tempo: + image: *tempo-image + <<: *hardened + command: ["-config.file=/etc/tempo/tempo.yaml"] + volumes: + - ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro + - tempo_data:/var/tempo + secrets: + - { source: ca_crt, target: ca.crt } + - { source: tempo_crt, target: tempo.crt } + - { source: tempo_key, target: tempo.key } + depends_on: + tempo-init: { condition: service_completed_successfully } + restart: unless-stopped + networks: [telemetry] + deploy: + resources: + limits: { cpus: "0.50", memory: 1G, pids: 256 } + + grafana: + image: grafana/grafana:11.4.0 + cap_drop: [ALL] + security_opt: [no-new-privileges:true] + environment: + GF_SERVER_PROTOCOL: https + GF_SERVER_CERT_FILE: /run/secrets/grafana.crt + GF_SERVER_CERT_KEY: /run/secrets/grafana.key + GF_SECURITY_ADMIN_USER: admin + GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password + GF_USERS_ALLOW_SIGN_UP: "false" + GF_ANALYTICS_REPORTING_ENABLED: "false" + GF_ANALYTICS_CHECK_FOR_UPDATES: "false" + GF_AUTH_ANONYMOUS_ENABLED: "false" + secrets: + - grafana_admin_password + - { source: ca_crt, target: ca.crt } + - { source: grafana_crt, target: grafana.crt } + - { source: grafana_key, target: grafana.key } + volumes: + - ./infra/grafana/provisioning:/etc/grafana/provisioning:ro + - ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro + - grafana_data:/var/lib/grafana + ports: + - "127.0.0.1:${GRAFANA_PORT:-3000}:3000" # оператор, HTTPS + depends_on: + prometheus: { condition: service_started } + loki: { condition: service_started } + tempo: { condition: service_started } + healthcheck: + test: ["CMD", "wget", "-q", "--spider", "--no-check-certificate", "https://localhost:3000/api/health"] + interval: 5s + timeout: 3s + retries: 30 + restart: unless-stopped + networks: [telemetry] + deploy: + resources: + limits: { cpus: "0.50", memory: 256M, pids: 256 } + + # Тестовый зонд отрицательных проверок (profile test): во всех сетях, сертификаты + # стенда и тестовые (чужой CA, запрещённая identity) — только чтение. + probe: + build: + context: . + target: probe + image: mtusi2026lab7-probe:local + <<: *hardened + user: "${PROBE_UID:-1001}" # каталог secrets/pki — 700 владельца стенда + volumes: + - ./secrets/pki:/pki:ro + profiles: [test] + networks: [front, back, telemetry] + +networks: + front: + back: + telemetry: + +secrets: + # оператор (scripts/init-secrets.sh, scripts/bootstrap.py) — значения вне Git + postgres_password: { file: ./secrets/postgres_password } + database_url: { file: ./secrets/database_url } + s3_root_user: { file: ./secrets/s3_root_user } + s3_root_password: { file: ./secrets/s3_root_password } + grafana_admin_password: { file: ./secrets/grafana_admin_password } + s3_users: { file: ./secrets/operator/s3_users.txt } + redis_users.acl: { file: ./secrets/operator/redis_users.acl } + # PKI (scripts/pki.sh): CA — только сертификаты; ключи CA в контейнеры не попадают + ca_crt: { file: ./secrets/pki/ca.crt } + tca_crt: { file: ./secrets/pki/tca.crt } + revoked_serials: { file: ./secrets/pki/revoked.txt } + lb_public_pem: { file: ./secrets/pki/lb-public.pem } + lb_pem: { file: ./secrets/pki/lb.pem } + api_crt: { file: ./secrets/pki/api.crt } + api_key: { file: ./secrets/pki/api.key } + api_otel_crt: { file: ./secrets/pki/api-otel.crt } + api_otel_key: { file: ./secrets/pki/api-otel.key } + worker_crt: { file: ./secrets/pki/worker.crt } + worker_key: { file: ./secrets/pki/worker.key } + worker_otel_crt: { file: ./secrets/pki/worker-otel.crt } + worker_otel_key: { file: ./secrets/pki/worker-otel.key } + relay_crt: { file: ./secrets/pki/relay.crt } + relay_key: { file: ./secrets/pki/relay.key } + relay_otel_crt: { file: ./secrets/pki/relay-otel.crt } + relay_otel_key: { file: ./secrets/pki/relay-otel.key } + reconciler_crt: { file: ./secrets/pki/reconciler.crt } + reconciler_key: { file: ./secrets/pki/reconciler.key } + postgres_crt: { file: ./secrets/pki/postgres.crt } + postgres_key: { file: ./secrets/pki/postgres.key } + redis_crt: { file: ./secrets/pki/redis.crt } + redis_key: { file: ./secrets/pki/redis.key } + s3_crt: { file: ./secrets/pki/s3.crt } + s3_key: { file: ./secrets/pki/s3.key } + rabbitmq_crt: { file: ./secrets/pki/rabbitmq.crt } + rabbitmq_key: { file: ./secrets/pki/rabbitmq.key } + openbao_crt: { file: ./secrets/pki/openbao.crt } + openbao_key: { file: ./secrets/pki/openbao.key } + otel_collector_crt: { file: ./secrets/pki/otel-collector.crt } + otel_collector_key: { file: ./secrets/pki/otel-collector.key } + prometheus_crt: { file: ./secrets/pki/prometheus.crt } + prometheus_key: { file: ./secrets/pki/prometheus.key } + loki_crt: { file: ./secrets/pki/loki.crt } + loki_key: { file: ./secrets/pki/loki.key } + tempo_crt: { file: ./secrets/pki/tempo.crt } + tempo_key: { file: ./secrets/pki/tempo.key } + grafana_crt: { file: ./secrets/pki/grafana.crt } + grafana_key: { file: ./secrets/pki/grafana.key } + +volumes: + fault_state: + bao_data: + prometheus_data: + loki_data: + tempo_data: + grafana_data: + rabbitmq_data: + s3_data: + pg_data: + redis_data: diff --git a/contracts/trust-matrix.md b/contracts/trust-matrix.md index 0c2a977..e9e42ec 100644 --- a/contracts/trust-matrix.md +++ b/contracts/trust-matrix.md @@ -1,37 +1,37 @@ -# Матрица доверия — заполнить в решении lab7 +# Матрица доверия — решение lab7 -Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать. +TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. Везде, где сервер доверяет CA, отдельно ограничена допустимая identity клиента (allowlist URI SAN / CN → пользователь / отдельный CA). Plaintext-связей между процессами нет: исключения (локальные health/metrics listener-ы) перечислены ниже и не дают доступа к бизнес-API или данным. + +**PKI стенда** (`scripts/pki.sh`, ECDSA P-256, ключи — `secrets/pki`, вне Git): +* `ca` — корневой CA стенда (10 лет). Ключ CA — только у оператора (`secrets/pki/ca.key`, 600), в контейнеры попадает лишь `ca.crt`. +* `tca` — отдельный CA клиентов телеметрии: Collector принимает OTLP только с сертификатами этого CA. +* leaf-сертификаты сервисов — 30 дней (`LEAF_DAYS`), identity `CN=<роль>` + `URI:spiffe://messenger/<роль>`; ротация — `scripts/pki.sh rotate <имя> [новый CN]` (перезапись на месте; старый serial — в `secrets/pki/revoked.txt`). +* `rogue-ca`, `attacker` — только для отрицательных тестов (`secrets/pki/test`). + +Отрицательные проверки — `student-tests/security_ops.py` (через тестовый контейнер `probe` с инструментом `cmd/secprobe`, которого нет в образе приложения), результаты — `evidence/security/*.json`. | Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг | | --- | --- | --- | --- | -| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO | -| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO | -| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO | -| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO | -| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO | -| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO | -| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO | -| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO | -| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO | -| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO | -| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO | -| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO | +| Клиент → ingress/LB | HTTPS `127.0.0.1:8443`, TLS ≥ 1.2, сертификат `lb-public` (SAN localhost, 127.0.0.1) от CA стенда; Bearer-сессия (токен 256 бит, в Redis — SHA-256 токена, TTL `SESSION_TTL_SECONDS`) | Logout/expiry → 401; лимит входа общий для реплик (Redis): 10/мин на username, 60/мин на IP → 429 + Retry-After (слот резервируется до Argon2id, успешный вход его возвращает — считаются неудачные попытки); Argon2id не вычисляется при превышении | `infra/haproxy/haproxy.cfg`; `security_ops.py tls-external`, `acl`; `tests/security.py` | +| LB → API (все реплики) | mTLS: HAProxy `ssl verify required ca-file ca.crt verifyhost api crt lb.pem`; API `RequireAndVerifyClientCert` + allowlist identity `spiffe://messenger/lb` (`API_ALLOWED_CLIENTS`). Порт API 8443 не опубликован, plaintext-порта нет | Ротация leaf `api` (перечитывается без рестарта) и `lb` (новый cert + reload HAProxy); старый `lb` отвергается по `revoked.txt` | `internal/tlsutil`, `cmd/api/main.go`; `security_ops.py mtls` (нет cert / чужой CA / identity attacker / identity worker → отказ, lb → 200), `rotation` | +| API/worker → PostgreSQL | TLS `sslmode=verify-full` (CA стенда, имя `postgres`); `pg_hba`: только `hostssl … scram-sha-256`, `hostnossl … reject`. Роли: `app_api`, `app_worker`, `app_relay`, `app_reconciler` с минимальными GRANT (у worker нет `users`, `messages`, `chats`; UPDATE — по столбцам) | Пароль роли — в OpenBao; ротация `bootstrap.py rotate-db `: новые соединения берут новый пароль (BeforeConnect), старые закрываются (lifetime 10 мин или `pg_terminate_backend` при отзыве) | `migrations/0007_service_roles.up.sql`, `infra/postgres/pg_hba.conf`; `security_ops.py mtls` (sslmode=disable → отказ), `rotation` (старый пароль → отказ), `compromise.py` (матрица прав роли worker) | +| API/worker → S3 | HTTPS (MinIO `--certs-dir`, CA стенда); пользователь на сервис: `svc-api` (PUT s/, GET o/ v/ a/ s/, DELETE s/), `svc-worker` (GET s/, PUT v/ o/, DELETE s/), `svc-relay` (DELETE s/), `svc-reconciler` (LIST, GET/DELETE — сверка) | Отказ по чужому префиксу (worker: PUT s/, GET o/, LIST → AccessDenied); ротация `bootstrap.py rotate-s3 ` без рестарта (minio-go перечитывает ключ при смене версии KV) | `infra/s3/init.sh`; `compromise.py`, `security_ops.py rotation` | +| API/worker → broker | AMQPS 5671, `listeners.tcp = none`; разные identities: relay = CN `relay-g1` (только write в exchange `attachments`), worker = CN `worker-g1` (только read `attachment.process`); configure нет ни у кого — топологию (quorum-очереди, DLX) создаёт оператор импортом `infra/rabbitmq/definitions.json` | mTLS обязателен (`fail_if_no_peer_cert`), SASL EXTERNAL: пользователь = CN; сертификат того же CA с CN `lb`/`attacker` → нет такого пользователя → отказ; паролей нет | `infra/rabbitmq/rabbitmq.conf`, `infra/rabbitmq/definitions.json`, `bootstrap.py rabbit_users`; `security_ops.py mtls` (матрица прав relay/worker) | +| API/worker → Collector | OTLP/HTTPS 4318, сертификат Collector от CA стенда; ingest разрешён только с клиентским сертификатом CA телеметрии | Раздельные identities `api`/`worker`/`relay` (CN) в CA телеметрии; сертификат основного CA (lb, worker) → отказ | `infra/otel/collector.yaml`, `OTEL_EXPORTER_OTLP_*CERTIFICATE*`; `security_ops.py mtls` | +| Collector → telemetry backends | mTLS: Collector → Tempo (gRPC 4317) и Loki (HTTPS 3100) с сертификатом `otel-collector`; Prometheus забирает метрики Collector (8889) по mTLS сертификатом `prometheus` | Backend-ы требуют клиентский сертификат CA стенда (без cert → отказ); ротация — `pki.sh rotate otel-collector` + перезапуск Collector | `infra/tempo/tempo.yaml`, `infra/loki/loki.yaml`, `infra/prometheus/prometheus.yml`; `security_ops.py mtls` (servers) | +| Grafana → data sources | HTTPS к Prometheus/Loki/Tempo, проверка сервера (`tlsAuthWithCACert`, `serverName`), клиентский сертификат `grafana` | Без клиентского сертификата backend отказывает (проверено зондом) | `infra/grafana/provisioning/datasources/datasources.yaml`, `infra/prometheus/web.yml` | +| API/worker/agent → OpenBao | HTTPS 8200 (CA стенда); auth/cert тем же сертификатом сервиса (роль = сервис, `allowed_common_names`); policy `messenger-<сервис>`: read только `secret/data/messenger/<сервис>` | Токен TTL 15 мин, renewable до 1 ч, затем повторный login; отзыв: `bootstrap.py revoke-tokens `, смена CN роли (`worker-identity g2`); sealed → процессы работают на кэше, новые не стартуют до unseal | `infra/openbao/*`, `internal/secrets`; `security_ops.py openbao`, `lifecycle`; `compromise.py` | +| Оператор → OpenBao/Grafana/S3 admin | OpenBao и Grafana — только `127.0.0.1` хоста, HTTPS; Grafana — admin-пароль (secret); OpenBao — root token и доли unseal у оператора (`secrets/operator`, 600); MinIO admin — root-учётка только в `s3`/`s3-init` | Роли разделены: приложения не имеют root token, admin-доступа к MinIO/RabbitMQ/PostgreSQL; консоль MinIO выключена, management UI RabbitMQ не установлен | `compose.yaml` ports; `security_ops.py hardening`, `openbao` | +| API → Redis | TLS 6379, `port 0` (plaintext выключен), ACL: `default off`, пользователь `api` (только ключи `session:*`, `messages:*`, `rl:*`, нужные команды), пароль — SHA-256 в ACL-файле, значение — в OpenBao | Ротация: новое значение в KV + перегенерация ACL-файла + `ACL LOAD`; mTLS не включён (сервер не требует клиентский сертификат — остаточное ограничение) | redis command в `compose.yaml`, `bootstrap.py write_backend_files`; `security_ops.py mtls` (plaintext PING без ответа) | +| Replication/кластерные каналы | N/A: каждый компонент — один узел; RabbitMQ без кластера (Erlang distribution — внутри контейнера) | N/A | — | -Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход. +## Служебные каналы (scrape / health / bootstrap) -## Обязательные отрицательные проверки - -1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен». -2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех. -3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity. -4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity. -5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3. -6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить. - -## Bootstrap и эксплуатация - -В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу. - -OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии. - -Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap. +| Канал | Защита | Почему не обход | +| --- | --- | --- | +| Health API `127.0.0.1:8081` внутри контейнера | Только loopback контейнера, только `/health/live`, `/health/ready` | Не слушает сеть; бизнес-маршрутов нет | +| Internal stats API `127.0.0.1:9090` | Только loopback | Пул соединений, без данных пользователей | +| Метрики Collector о себе `:8888` (сеть telemetry, HTTP) | Только сеть telemetry | Счётчики Collector, без данных приложений и без ingest; plaintext — осознанное исключение | +| RabbitMQ Prometheus `:15691` | TLS + клиентский сертификат | Только метрики очередей | +| Bootstrap оператора (`scripts/bootstrap.py`) | `docker compose exec` на хосте оператора; root token из `secrets/operator` | Не сетевой интерфейс; значения не печатаются | +| `migrate`, `s3-init` (profile ops) | Запускаются оператором; TLS verify-full / HTTPS | Не работают постоянно, приложениям недоступны | diff --git a/evidence/RUN.txt b/evidence/RUN.txt new file mode 100644 index 0000000..5ad620d --- /dev/null +++ b/evidence/RUN.txt @@ -0,0 +1,5 @@ +source_commit=a414221d756744e90c2b9b498b66f386a3a7d062 +run=https://github.com/CharaWein/2026_lab3/actions/runs/43267046991 +go_tests=success +stand=success +scan=success diff --git a/evidence/base/README.md b/evidence/base/README.md new file mode 100644 index 0000000..8df7001 --- /dev/null +++ b/evidence/base/README.md @@ -0,0 +1,5 @@ +# Доказательства + +Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. + +Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. diff --git a/evidence/base/containers_state_base.txt b/evidence/base/containers_state_base.txt new file mode 100644 index 0000000..fd18ee0 --- /dev/null +++ b/evidence/base/containers_state_base.txt @@ -0,0 +1,17 @@ +/mtusi2026lab7-api-3 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-api-4 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-grafana-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-lb-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-loki-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-openbao-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-otel-collector-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-postgres-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-prometheus-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-rabbitmq-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-reconciler-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-redis-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-relay-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-s3-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-init-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-worker-1 restarts=0 oom_killed=false exit=0 diff --git a/evidence/base/docker_ps.txt b/evidence/base/docker_ps.txt new file mode 100644 index 0000000..6c37ac2 --- /dev/null +++ b/evidence/base/docker_ps.txt @@ -0,0 +1,19 @@ +2026-11-12T17:17:50Z +Docker Compose version v2.38.2 +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +mtusi2026lab7-api-1 mtusi2026lab7-api:local "/app/api" api 9 seconds ago Up 6 seconds (healthy) 8443/tcp +mtusi2026lab7-api-2 mtusi2026lab7-api:local "/app/api" api 8 seconds ago Up 7 seconds (healthy) 8443/tcp +mtusi2026lab7-grafana-1 grafana/grafana:11.4.0 "/run.sh" grafana 8 seconds ago Up 6 seconds (healthy) 127.0.0.1:3000->3000/tcp +mtusi2026lab7-lb-1 haproxy:3.0.5-alpine "docker-entrypoint.s…" lb 8 seconds ago Up Less than a second 127.0.0.1:8443->8443/tcp +mtusi2026lab7-loki-1 grafana/loki:3.3.2 "/usr/bin/loki -conf…" loki 8 seconds ago Up 8 seconds 3100/tcp +mtusi2026lab7-openbao-1 openbao/openbao:2.1.0 "docker-entrypoint.s…" openbao About a minute ago Up About a minute 127.0.0.1:8200->8200/tcp +mtusi2026lab7-otel-collector-1 otel/opentelemetry-collector-contrib:0.116.1 "/otelcol-contrib --…" otel-collector 8 seconds ago Up 8 seconds 4317-4318/tcp, 55678-55679/tcp +mtusi2026lab7-postgres-1 postgres:16.4-alpine "sh -c 'install -o p…" postgres 58 seconds ago Up 57 seconds (healthy) 5432/tcp +mtusi2026lab7-prometheus-1 prom/prometheus:v3.1.0 "/bin/prometheus --c…" prometheus 9 seconds ago Up 8 seconds 9090/tcp +mtusi2026lab7-rabbitmq-1 rabbitmq:4.0.9-alpine "docker-entrypoint.s…" rabbitmq 58 seconds ago Up 57 seconds (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp +mtusi2026lab7-reconciler-1 mtusi2026lab7-api:local "/app/reconcile --ap…" reconciler 8 seconds ago Up 7 seconds (healthy) 8443/tcp +mtusi2026lab7-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 58 seconds ago Up 41 seconds (healthy) 6379/tcp +mtusi2026lab7-relay-1 mtusi2026lab7-api:local "/app/pipeline relay" relay 9 seconds ago Up 7 seconds (healthy) 8443/tcp +mtusi2026lab7-s3-1 bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 "/bin/bash -c 'mkdir…" s3 58 seconds ago Up 57 seconds (healthy) 9000-9001/tcp +mtusi2026lab7-tempo-1 grafana/tempo:2.6.1 "/tempo -config.file…" tempo 8 seconds ago Up 7 seconds +mtusi2026lab7-worker-1 mtusi2026lab7-api:local "/app/pipeline worker" worker 8 seconds ago Up 7 seconds (healthy) 8443/tcp diff --git a/evidence/base/docker_ps_final_base.txt b/evidence/base/docker_ps_final_base.txt new file mode 100644 index 0000000..5a20828 --- /dev/null +++ b/evidence/base/docker_ps_final_base.txt @@ -0,0 +1,18 @@ +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +mtusi2026lab7-api-3 mtusi2026lab7-api:local "/app/api" api 53 seconds ago Up 52 seconds (healthy) 8443/tcp +mtusi2026lab7-api-4 mtusi2026lab7-api:local "/app/api" api 41 seconds ago Up 40 seconds (healthy) 8443/tcp +mtusi2026lab7-grafana-1 grafana/grafana:11.4.0 "/run.sh" grafana 6 minutes ago Up 5 minutes (healthy) 127.0.0.1:3000->3000/tcp +mtusi2026lab7-lb-1 haproxy:3.0.5-alpine "docker-entrypoint.s…" lb 6 minutes ago Up 5 minutes 127.0.0.1:8443->8443/tcp +mtusi2026lab7-loki-1 grafana/loki:3.3.2 "/usr/bin/loki -conf…" loki 6 minutes ago Up 5 minutes 3100/tcp +mtusi2026lab7-openbao-1 openbao/openbao:2.1.0 "docker-entrypoint.s…" openbao 7 minutes ago Up 5 minutes 127.0.0.1:8200->8200/tcp +mtusi2026lab7-otel-collector-1 otel/opentelemetry-collector-contrib:0.116.1 "/otelcol-contrib --…" otel-collector 6 minutes ago Up 5 minutes 4317-4318/tcp, 55678-55679/tcp +mtusi2026lab7-postgres-1 postgres:16.4-alpine "sh -c 'install -o p…" postgres 7 minutes ago Up 5 minutes (healthy) 5432/tcp +mtusi2026lab7-prometheus-1 prom/prometheus:v3.1.0 "/bin/prometheus --c…" prometheus 6 minutes ago Up 5 minutes 9090/tcp +mtusi2026lab7-rabbitmq-1 rabbitmq:4.0.9-alpine "docker-entrypoint.s…" rabbitmq 7 minutes ago Up 5 minutes (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp +mtusi2026lab7-reconciler-1 mtusi2026lab7-api:local "/app/reconcile --ap…" reconciler 6 minutes ago Up 5 minutes (healthy) 8443/tcp +mtusi2026lab7-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 7 minutes ago Up 5 minutes (healthy) 6379/tcp +mtusi2026lab7-relay-1 mtusi2026lab7-api:local "/app/pipeline relay" relay 6 minutes ago Up 5 minutes (healthy) 8443/tcp +mtusi2026lab7-s3-1 bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 "/bin/bash -c 'mkdir…" s3 7 minutes ago Up 5 minutes (healthy) 9000-9001/tcp +mtusi2026lab7-tempo-1 grafana/tempo:2.6.1 "/tempo -config.file…" tempo 6 minutes ago Up 5 minutes +mtusi2026lab7-tempo-init-1 grafana/tempo:2.6.1 "chown 10001:10001 /…" tempo-init 6 minutes ago Exited (0) 6 minutes ago +mtusi2026lab7-worker-1 mtusi2026lab7-api:local "/app/pipeline worker" worker 6 minutes ago Up 5 minutes (healthy) 8443/tcp diff --git a/evidence/base/docker_stats_base.txt b/evidence/base/docker_stats_base.txt new file mode 100644 index 0000000..0c4390e --- /dev/null +++ b/evidence/base/docker_stats_base.txt @@ -0,0 +1,16 @@ +mtusi2026lab7-api-4 0.51% 17.5MiB / 256MiB +mtusi2026lab7-api-3 0.63% 17.07MiB / 256MiB +mtusi2026lab7-grafana-1 0.03% 53.66MiB / 256MiB +mtusi2026lab7-tempo-1 0.96% 139.4MiB / 1GiB +mtusi2026lab7-lb-1 0.33% 14.51MiB / 128MiB +mtusi2026lab7-otel-collector-1 2.16% 57.52MiB / 256MiB +mtusi2026lab7-reconciler-1 3.81% 5.465MiB / 128MiB +mtusi2026lab7-loki-1 0.35% 97.61MiB / 1GiB +mtusi2026lab7-worker-1 3.15% 12.34MiB / 768MiB +mtusi2026lab7-prometheus-1 0.72% 42.93MiB / 512MiB +mtusi2026lab7-relay-1 0.21% 12.42MiB / 128MiB +mtusi2026lab7-postgres-1 0.25% 60.77MiB / 512MiB +mtusi2026lab7-rabbitmq-1 4.61% 77.87MiB / 512MiB +mtusi2026lab7-redis-1 0.44% 4.168MiB / 256MiB +mtusi2026lab7-s3-1 0.04% 208.1MiB / 512MiB +mtusi2026lab7-openbao-1 0.33% 21.78MiB / 256MiB diff --git a/evidence/base/failover_1.txt b/evidence/base/failover_1.txt new file mode 100644 index 0000000..ad21d85 --- /dev/null +++ b/evidence/base/failover_1.txt @@ -0,0 +1,8 @@ +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 138, "failed_attempts": 0, "first_recovery_seconds": 3.653} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +-- контейнеры api после stop-one: +mtusi2026lab7-api-1 0538735e7e2e Up 29 seconds (healthy) +mtusi2026lab7-api-2 7943a102220b Exited (0) 11 seconds ago +mtusi2026lab7-api-1 Up 36 seconds (healthy) +mtusi2026lab7-api-2 Up 6 seconds (healthy) diff --git a/evidence/base/failover_2.txt b/evidence/base/failover_2.txt new file mode 100644 index 0000000..ce3734b --- /dev/null +++ b/evidence/base/failover_2.txt @@ -0,0 +1,8 @@ +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 138, "failed_attempts": 0, "first_recovery_seconds": 3.634} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +-- контейнеры api после stop-one: +mtusi2026lab7-api-1 0538735e7e2e Up 52 seconds (healthy) +mtusi2026lab7-api-2 7943a102220b Exited (0) 11 seconds ago +mtusi2026lab7-api-1 Up 58 seconds (healthy) +mtusi2026lab7-api-2 Up 5 seconds (healthy) diff --git a/evidence/base/idempotency_concurrent.json b/evidence/base/idempotency_concurrent.json new file mode 100644 index 0000000..0d31054 --- /dev/null +++ b/evidence/base/idempotency_concurrent.json @@ -0,0 +1,88 @@ +{ + "rounds": 10, + "parallel_per_round": 16, + "distinct_instances_seen": 2, + "duplicates_found": 0, + "per_round": [ + { + "round": 0, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 1, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 2, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 3, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 4, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 5, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 6, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 7, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 8, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + }, + { + "round": 9, + "requests": 16, + "status_201": 16, + "distinct_messages": 1, + "stored": 1, + "instances": 2 + } + ] +} diff --git a/evidence/base/images.txt b/evidence/base/images.txt new file mode 100644 index 0000000..c2bf882 --- /dev/null +++ b/evidence/base/images.txt @@ -0,0 +1,13 @@ +bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 bitnamilegacy/minio@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 +grafana/grafana:11.4.0 grafana/grafana@sha256:d8ea37798ccc41061a62ab080f2676dda6bf7815558499f901bdb0f533a456fb +grafana/loki:3.3.2 grafana/loki@sha256:8af2de1abbdd7aa92b27c9bcc96f0f4140c9096b507c77921ffddf1c6ad6c48f +grafana/tempo:2.6.1 grafana/tempo@sha256:ef4384fce6e8ad22b95b243d8fc165628cda655376fd50e7850536ad89d71d50 +haproxy:3.0.5-alpine haproxy@sha256:43a2591a6a62a41dd22edb4452880e9c70de489fbd7c54ffb52d035cccbfe949 +mtusi2026lab7-api:local +local-build +openbao/openbao:2.1.0 openbao/openbao@sha256:7de07aa6df3937d44c96c2d65c188b2d4a70546f2a764ad4510301305af6a223 +otel/opentelemetry-collector-contrib:0.116.1 otel/opentelemetry-collector-contrib@sha256:d0ebf65280da2e1b1491d1b93648281afd353d4b9ea19160090303cec9a233bd +postgres:16.4-alpine postgres@sha256:5660c2cbfea50c7a9127d17dc4e48543eedd3d7a41a595a2dfa572471e37e64c +prom/prometheus:v3.1.0 prom/prometheus@sha256:6559acbd5d770b15bb3c954629ce190ac3cbbdb2b7f1c30f0385c4e05104e218 +rabbitmq:4.0.9-alpine rabbitmq@sha256:0a09ddfd00a1ef2e58f497d731e9b2814ef3bebb3668069185c54d085352d2b9 +redis:7.4.1-alpine redis@sha256:c1e88455c85225310bbea54816e9c3f4b5295815e6dbf80c34d40afc6df28275 diff --git a/evidence/base/instances.txt b/evidence/base/instances.txt new file mode 100644 index 0000000..0de984d --- /dev/null +++ b/evidence/base/instances.txt @@ -0,0 +1,2 @@ +6e304db1ea6a4190 10 +749718ebe6b58adb 10 diff --git a/evidence/base/persistence.txt b/evidence/base/persistence.txt new file mode 100644 index 0000000..ced6192 --- /dev/null +++ b/evidence/base/persistence.txt @@ -0,0 +1,36 @@ +-- до: +mtusi2026lab7-api-1 Up 58 seconds (healthy) +mtusi2026lab7-api-2 Up 5 seconds (healthy) +mtusi2026lab7-grafana-1 Up 58 seconds (healthy) +mtusi2026lab7-lb-1 Up 52 seconds +mtusi2026lab7-loki-1 Up About a minute +mtusi2026lab7-openbao-1 Up About a minute +mtusi2026lab7-otel-collector-1 Up About a minute +mtusi2026lab7-postgres-1 Up About a minute (healthy) +mtusi2026lab7-prometheus-1 Up About a minute +mtusi2026lab7-rabbitmq-1 Up About a minute (healthy) +mtusi2026lab7-reconciler-1 Up 59 seconds (healthy) +mtusi2026lab7-redis-1 Up About a minute (healthy) +mtusi2026lab7-relay-1 Up 59 seconds (healthy) +mtusi2026lab7-s3-1 Up About a minute (healthy) +mtusi2026lab7-tempo-1 Up 59 seconds +mtusi2026lab7-worker-1 Up 59 seconds (healthy) +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +-- после: +mtusi2026lab7-api-1 Up 6 seconds (healthy) +mtusi2026lab7-api-2 Up 7 seconds (healthy) +mtusi2026lab7-grafana-1 Up 24 seconds (healthy) +mtusi2026lab7-lb-1 Up Less than a second +mtusi2026lab7-loki-1 Up 23 seconds +mtusi2026lab7-openbao-1 Up 15 seconds +mtusi2026lab7-otel-collector-1 Up 24 seconds +mtusi2026lab7-postgres-1 Up 24 seconds (healthy) +mtusi2026lab7-prometheus-1 Up 24 seconds +mtusi2026lab7-rabbitmq-1 Up 23 seconds (healthy) +mtusi2026lab7-reconciler-1 Up 7 seconds (healthy) +mtusi2026lab7-redis-1 Up 24 seconds (healthy) +mtusi2026lab7-relay-1 Up 7 seconds (healthy) +mtusi2026lab7-s3-1 Up 24 seconds (healthy) +mtusi2026lab7-tempo-1 Up 23 seconds +mtusi2026lab7-worker-1 Up 7 seconds (healthy) diff --git a/evidence/base/regressions.txt b/evidence/base/regressions.txt new file mode 100644 index 0000000..fc57a88 --- /dev/null +++ b/evidence/base/regressions.txt @@ -0,0 +1,3 @@ +PASS: whitespace-only password rejected with 400 (3 variants) +PASS: Redis ACL -incr: message visible on every next read (3 in history) +PASS: Redis ACL -incr -del -unlink -scan: message visible on every next read (4 in history) diff --git a/evidence/base/rolling_update.txt b/evidence/base/rolling_update.txt new file mode 100644 index 0000000..03147fe --- /dev/null +++ b/evidence/base/rolling_update.txt @@ -0,0 +1,92 @@ +-- до: +mtusi2026lab7-api-1 0538735e7e2e Up 3 minutes (healthy) +mtusi2026lab7-api-2 7943a102220b Up 3 minutes (healthy) +#1 [internal] load local bake definitions +#1 reading from stdin 380B done +#1 DONE 0.0s + +#2 [internal] load build definition from Dockerfile +#2 transferring dockerfile: 3.85kB done +#2 DONE 0.0s + +#3 [internal] load metadata for docker.io/library/alpine:3.20@sha256:d9e853e87e55526f6b2917df91a2115c36dd7c696a35be12163d44e6e2a4b6bc +#3 DONE 0.0s + +#4 [internal] load metadata for docker.io/library/golang:1.26.11-alpine +#4 DONE 0.1s + +#5 [internal] load .dockerignore +#5 transferring context: 212B 0.0s done +#5 DONE 0.0s + +#6 [builder 1/6] FROM docker.io/library/golang:1.26.11-alpine@sha256:ae52b5bc6ed045a9ed26ab03dc19327a802a9cc9aa8b27ed57f5c6b60579b0bb +#6 DONE 0.0s + +#7 [stage-2 1/7] FROM docker.io/library/alpine:3.20@sha256:d9e853e87e55526f6b2917df91a2115c36dd7c696a35be12163d44e6e2a4b6bc +#7 DONE 0.0s + +#8 [internal] load build context +#8 transferring context: 10.70kB 0.1s done +#8 DONE 0.1s + +#9 [stage-2 4/7] WORKDIR /app +#9 CACHED + +#10 [builder 3/6] COPY go.mod go.sum ./ +#10 CACHED + +#11 [builder 5/6] COPY . . +#11 CACHED + +#12 [stage-2 2/7] RUN apk --no-cache upgrade && apk --no-cache add ca-certificates tzdata libwebp-tools +#12 CACHED + +#13 [stage-2 5/7] COPY --from=builder --chown=appuser:appgroup /out/api /app/api +#13 CACHED + +#14 [builder 4/6] RUN go mod download +#14 CACHED + +#15 [builder 2/6] WORKDIR /src +#15 CACHED + +#16 [builder 6/6] RUN CGO_ENABLED=0 GOOS=linux go build -ldflags="-s -w -X github.com/charawein/mtusi2026lab7/internal/telemetry.Version=lab7" -trimpath -o /out/ ./cmd/api ./cmd/reconcile ./cmd/pipeline ./cmd/secprobe +#16 CACHED + +#17 [stage-2 6/7] COPY --from=builder --chown=appuser:appgroup /out/reconcile /app/reconcile +#17 CACHED + +#18 [stage-2 3/7] RUN addgroup -g 1001 -S appgroup && adduser -u 1001 -S appuser -G appgroup && mkdir -p /var/lib/messenger/fault && chown appuser:appgroup /var/lib/messenger/fault +#18 CACHED + +#19 [stage-2 7/7] COPY --from=builder --chown=appuser:appgroup /out/pipeline /app/pipeline +#19 CACHED + +#20 exporting to image +#20 exporting layers done +#20 writing image sha256:e830a7fdf17500a1a527dd395f504ccf04238c2f523d963b02d01cb64fd0d9a9 done +#20 naming to docker.io/library/mtusi2026lab7-api:local done +#20 DONE 0.0s + +#21 resolving provenance for metadata file +#21 DONE 0.0s + api Built + Container mtusi2026lab7-postgres-1 Running +no change + Container mtusi2026lab7-api-1 Running + Container mtusi2026lab7-api-2 Running + Container mtusi2026lab7-api-3 Creating + Container mtusi2026lab7-api-3 Created + Container mtusi2026lab7-api-3 Starting + Container mtusi2026lab7-api-3 Started +replaced /mtusi2026lab7-api-1 + Container mtusi2026lab7-api-2 Running + Container mtusi2026lab7-api-3 Running + Container mtusi2026lab7-api-4 Creating + Container mtusi2026lab7-api-4 Created + Container mtusi2026lab7-api-4 Starting + Container mtusi2026lab7-api-4 Started +replaced /mtusi2026lab7-api-2 +mtusi2026lab7-api-3 2027815d9c51 mtusi2026lab7-api:local Up 25 seconds (healthy) +mtusi2026lab7-api-4 919473005fb8 mtusi2026lab7-api:local Up 13 seconds (healthy) +-- замена заняла 62 s (внутри 90 s нагрузки) diff --git a/evidence/base/rolling_update_load.json b/evidence/base/rolling_update_load.json new file mode 100644 index 0000000..fb97275 --- /dev/null +++ b/evidence/base/rolling_update_load.json @@ -0,0 +1,17 @@ +{ + "lab": 7, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 90.0, + "elapsed_seconds": 90.022, + "concurrency": 4, + "successful_requests": 11673, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 129.669, + "successful_latency_ms": { + "p50": 26.667, + "p95": 59.833, + "p99": 89.961 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/base/runner_base.txt b/evidence/base/runner_base.txt new file mode 100644 index 0000000..049f128 --- /dev/null +++ b/evidence/base/runner_base.txt @@ -0,0 +1,6 @@ +2 + total used free shared buff/cache available +Mem: 7932 1948 1527 101 4872 5983 +Swap: 3071 0 3071 +28.0.4 +Docker Compose version v2.38.2 diff --git a/evidence/base/smoke.txt b/evidence/base/smoke.txt new file mode 100644 index 0000000..b484213 --- /dev/null +++ b/evidence/base/smoke.txt @@ -0,0 +1 @@ +PASS: lab7 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/base/test_security.txt b/evidence/base/test_security.txt new file mode 100644 index 0000000..ff2e222 --- /dev/null +++ b/evidence/base/test_security.txt @@ -0,0 +1 @@ +PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening. diff --git a/evidence/go/README.md b/evidence/go/README.md new file mode 100644 index 0000000..8df7001 --- /dev/null +++ b/evidence/go/README.md @@ -0,0 +1,5 @@ +# Доказательства + +Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. + +Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. diff --git a/evidence/go/go_test.txt b/evidence/go/go_test.txt new file mode 100644 index 0000000..82c2654 --- /dev/null +++ b/evidence/go/go_test.txt @@ -0,0 +1,24 @@ +? github.com/charawein/mtusi2026lab7/cmd/api [no test files] +? github.com/charawein/mtusi2026lab7/cmd/pipeline [no test files] +? github.com/charawein/mtusi2026lab7/cmd/reconcile [no test files] +? github.com/charawein/mtusi2026lab7/cmd/secprobe [no test files] +? github.com/charawein/mtusi2026lab7/internal/broker [no test files] +? github.com/charawein/mtusi2026lab7/internal/config [no test files] +? github.com/charawein/mtusi2026lab7/internal/domain [no test files] +ok github.com/charawein/mtusi2026lab7/internal/imagecheck 0.022s +ok github.com/charawein/mtusi2026lab7/internal/imaging 0.767s +? github.com/charawein/mtusi2026lab7/internal/platform [no test files] +ok github.com/charawein/mtusi2026lab7/internal/reconcile 0.012s +? github.com/charawein/mtusi2026lab7/internal/repository [no test files] +? github.com/charawein/mtusi2026lab7/internal/repository/postgres [no test files] +? github.com/charawein/mtusi2026lab7/internal/repository/redis [no test files] +? github.com/charawein/mtusi2026lab7/internal/secrets [no test files] +ok github.com/charawein/mtusi2026lab7/internal/service 0.009s +ok github.com/charawein/mtusi2026lab7/internal/storage 0.005s +ok github.com/charawein/mtusi2026lab7/internal/telemetry 0.015s +ok github.com/charawein/mtusi2026lab7/internal/tlsutil 4.229s +? github.com/charawein/mtusi2026lab7/internal/transport/http [no test files] +ok github.com/charawein/mtusi2026lab7/internal/transport/http/middleware 0.005s +? github.com/charawein/mtusi2026lab7/internal/transport/httputil [no test files] +ok github.com/charawein/mtusi2026lab7/internal/worker 6.961s +? github.com/charawein/mtusi2026lab7/student-tests/genfixtures [no test files] diff --git a/evidence/go/security_unit_tests.txt b/evidence/go/security_unit_tests.txt new file mode 100644 index 0000000..3483e10 --- /dev/null +++ b/evidence/go/security_unit_tests.txt @@ -0,0 +1,16 @@ +=== RUN TestTLSIdentityAllowlistRevocationAndReload +2026/11/12 17:14:23 http: TLS handshake error from 127.0.0.1:37240: tls: client didn't provide a certificate +2026/11/12 17:14:23 http: TLS handshake error from 127.0.0.1:37246: client identity not allowed: [attacker] +2026/11/12 17:14:23 http: TLS handshake error from 127.0.0.1:37254: tls: failed to verify certificate: x509: certificate signed by unknown authority +2026/11/12 17:14:25 http: TLS handshake error from 127.0.0.1:44556: client identity not allowed: certificate revoked +--- PASS: TestTLSIdentityAllowlistRevocationAndReload (4.22s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/tlsutil 4.226s +=== RUN TestPutValidatedClassifiesCause +--- PASS: TestPutValidatedClassifiesCause (0.00s) +=== RUN TestValidatePassword +--- PASS: TestValidatePassword (0.00s) +=== RUN TestValidateText +--- PASS: TestValidateText (0.00s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/service 0.006s diff --git a/evidence/go/telemetry_tests.txt b/evidence/go/telemetry_tests.txt new file mode 100644 index 0000000..d957812 --- /dev/null +++ b/evidence/go/telemetry_tests.txt @@ -0,0 +1,18 @@ +=== RUN TestTracePropagationMapAndAMQP +--- PASS: TestTracePropagationMapAndAMQP (0.00s) +=== RUN TestTraceUnsampledSuppressesBackgroundSpans +--- PASS: TestTraceUnsampledSuppressesBackgroundSpans (0.00s) +=== RUN TestTraceLogCorrelation +--- PASS: TestTraceLogCorrelation (0.00s) +=== RUN TestTelemetrySetupBuildsProviders +--- PASS: TestTelemetrySetupBuildsProviders (0.01s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/telemetry 0.011s +=== RUN TestTelemetryRouteTemplateAndStatus +--- PASS: TestTelemetryRouteTemplateAndStatus (0.00s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/transport/http/middleware 0.006s +=== RUN TestPipelineTracePropagationThroughOutbox +--- PASS: TestPipelineTracePropagationThroughOutbox (0.70s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/worker 0.705s diff --git a/evidence/go/track2/pipeline_fault_injection.txt b/evidence/go/track2/pipeline_fault_injection.txt new file mode 100644 index 0000000..7459f84 --- /dev/null +++ b/evidence/go/track2/pipeline_fault_injection.txt @@ -0,0 +1,39 @@ +=== RUN TestPipelineHappyPathAndDuplicate +2026/11/12 17:14:12 INFO duplicate delivery of finished job: ack without work job_id=171265b2-fafc-4d50-a4be-f79e7b3a46f4 attachment_id=240061d5-1d00-40f7-928a-d8fc1d9f2263 version=1 event=job.duplicate +--- PASS: TestPipelineHappyPathAndDuplicate (0.24s) +=== RUN TestPipelineConcurrentDuplicateIsBusy +2026/11/12 17:14:12 INFO job leased by another worker: ack duplicate job_id=4563f346-08b5-4df9-b910-4ef28949eff5 attachment_id=50d6d2d9-545c-4367-99d7-1e0905d4aa81 version=1 event=job.duplicate owner=slow-worker +--- PASS: TestPipelineConcurrentDuplicateIsBusy (0.17s) +=== RUN TestPipelineCrashAfterSideEffectBeforeCommit +2026/11/12 17:14:14 WARN FAULT INJECTION: crashing point=worker.after_side_effect +2026/11/12 17:14:14 INFO job leased by another worker: ack duplicate job_id=a2119a53-ef46-42e2-87c2-3374ef5d364a attachment_id=6af36eaf-d341-4f59-8437-6d0a41a41c94 version=1 event=job.duplicate owner=w-fd7888 +--- PASS: TestPipelineCrashAfterSideEffectBeforeCommit (3.05s) +=== RUN TestPipelineCrashAfterCommitBeforeAck +2026/11/12 17:14:15 WARN FAULT INJECTION: crashing point=worker.after_commit +2026/11/12 17:14:15 INFO duplicate delivery of finished job: ack without work job_id=764d00c1-7085-4f4d-8f0e-e5d1fce0d526 attachment_id=e8964090-117a-4651-b075-a04ab5935c70 version=1 event=job.duplicate +--- PASS: TestPipelineCrashAfterCommitBeforeAck (0.17s) +=== RUN TestPipelineRelayCrashAfterPublishDuplicates +2026/11/12 17:14:15 INFO duplicate delivery of finished job: ack without work job_id=3e545245-fc57-4d3c-82f1-95e7b0f21cc3 attachment_id=2f86dba8-b3d1-4a79-8f6d-9c4d3041d350 version=1 event=job.duplicate +--- PASS: TestPipelineRelayCrashAfterPublishDuplicates (0.17s) +=== RUN TestPipelineVersionReorderAndStaleJob +2026/11/12 17:14:15 INFO duplicate delivery of finished job: ack without work job_id=59e6b1aa-a4ce-4008-b6bd-3ed7918367d5 attachment_id=e440373b-b9fd-4654-9745-d814262eb7eb version=1 event=job.duplicate +--- PASS: TestPipelineVersionReorderAndStaleJob (0.20s) +=== RUN TestPipelineLostLeaseFencing +--- PASS: TestPipelineLostLeaseFencing (0.69s) +=== RUN TestPipelineTransientRetryWithBackoff +2026/11/12 17:14:16 WARN attempt failed job_id=fc0ed4e9-3a91-4fb8-ab2d-29543335a3d7 attachment_id=abeb1248-ee98-46e7-ac2e-29d868dd7efe version=1 event=job.retry attempt=1 code=processing_failed final=false backoff=145.861651ms +2026/11/12 17:14:16 INFO early delivery before backoff: ack, outbox will redeliver job_id=fc0ed4e9-3a91-4fb8-ab2d-29543335a3d7 attachment_id=abeb1248-ee98-46e7-ac2e-29d868dd7efe version=1 event=job.not_due +--- PASS: TestPipelineTransientRetryWithBackoff (0.69s) +=== RUN TestPipelinePermanentFailureAndReplay +2026/11/12 17:14:17 WARN attempt failed job_id=95e8e0c1-b10c-469c-b708-6b547cc2042c attachment_id=78f28e8b-ddd6-42f0-b80c-5b01a708f0fa version=1 event=job.failed attempt=1 code=checksum_mismatch final=true backoff=132.23852ms +--- PASS: TestPipelinePermanentFailureAndReplay (0.20s) +=== RUN TestPipelineRetryExhausted +2026/11/12 17:14:17 WARN attempt failed job_id=b86ec031-3705-40a5-a96d-219da34c55cb attachment_id=ef57db6e-fc00-44c1-aa33-29bbd3cb53e6 version=1 event=job.retry attempt=1 code=processing_failed final=false backoff=115.778267ms +2026/11/12 17:14:18 WARN attempt failed job_id=b86ec031-3705-40a5-a96d-219da34c55cb attachment_id=ef57db6e-fc00-44c1-aa33-29bbd3cb53e6 version=1 event=job.retry attempt=2 code=processing_failed final=false backoff=212.923342ms +2026/11/12 17:14:18 WARN attempt failed job_id=b86ec031-3705-40a5-a96d-219da34c55cb attachment_id=ef57db6e-fc00-44c1-aa33-29bbd3cb53e6 version=1 event=job.failed attempt=3 code=processing_failed final=true backoff=346.808043ms +--- PASS: TestPipelineRetryExhausted (1.63s) +=== RUN TestPipelineTracePropagationThroughOutbox +2026/11/12 17:14:19 WARN attempt failed job_id=d3e37ccd-f331-4f2d-add2-5f4f0c07dc82 attachment_id=71e4e1cd-a9a5-418c-867c-d1956ca5d5fd version=1 event=job.retry attempt=1 code=processing_failed final=false backoff=192.048206ms +--- PASS: TestPipelineTracePropagationThroughOutbox (0.67s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/worker 7.886s diff --git a/evidence/go/webp_test.txt b/evidence/go/webp_test.txt new file mode 100644 index 0000000..23ab489 --- /dev/null +++ b/evidence/go/webp_test.txt @@ -0,0 +1,4 @@ +=== RUN TestOptimizedWebP +--- PASS: TestOptimizedWebP (0.34s) +PASS +ok github.com/charawein/mtusi2026lab7/internal/imaging 0.350s diff --git a/evidence/pipeline/README.md b/evidence/pipeline/README.md new file mode 100644 index 0000000..8df7001 --- /dev/null +++ b/evidence/pipeline/README.md @@ -0,0 +1,5 @@ +# Доказательства + +Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. + +Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. diff --git a/evidence/pipeline/containers_state_pipeline.txt b/evidence/pipeline/containers_state_pipeline.txt new file mode 100644 index 0000000..b651c6e --- /dev/null +++ b/evidence/pipeline/containers_state_pipeline.txt @@ -0,0 +1,17 @@ +/mtusi2026lab7-api-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-api-2 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-grafana-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-lb-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-loki-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-openbao-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-otel-collector-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-postgres-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-prometheus-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-rabbitmq-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-reconciler-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-redis-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-relay-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-s3-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-init-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-worker-1 restarts=0 oom_killed=false exit=0 diff --git a/evidence/pipeline/docker_ps_final_pipeline.txt b/evidence/pipeline/docker_ps_final_pipeline.txt new file mode 100644 index 0000000..e65f682 --- /dev/null +++ b/evidence/pipeline/docker_ps_final_pipeline.txt @@ -0,0 +1,18 @@ +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +mtusi2026lab7-api-1 mtusi2026lab7-api:local "/app/api" api About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-api-2 mtusi2026lab7-api:local "/app/api" api About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-grafana-1 grafana/grafana:11.4.0 "/run.sh" grafana About a minute ago Up About a minute (healthy) 127.0.0.1:3000->3000/tcp +mtusi2026lab7-lb-1 haproxy:3.0.5-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute 127.0.0.1:8443->8443/tcp +mtusi2026lab7-loki-1 grafana/loki:3.3.2 "/usr/bin/loki -conf…" loki About a minute ago Up About a minute 3100/tcp +mtusi2026lab7-openbao-1 openbao/openbao:2.1.0 "docker-entrypoint.s…" openbao 2 minutes ago Up 2 minutes 127.0.0.1:8200->8200/tcp +mtusi2026lab7-otel-collector-1 otel/opentelemetry-collector-contrib:0.116.1 "/otelcol-contrib --…" otel-collector About a minute ago Up About a minute 4317-4318/tcp, 55678-55679/tcp +mtusi2026lab7-postgres-1 postgres:16.4-alpine "sh -c 'install -o p…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp +mtusi2026lab7-prometheus-1 prom/prometheus:v3.1.0 "/bin/prometheus --c…" prometheus About a minute ago Up About a minute 9090/tcp +mtusi2026lab7-rabbitmq-1 rabbitmq:4.0.9-alpine "docker-entrypoint.s…" rabbitmq 2 minutes ago Up About a minute (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp +mtusi2026lab7-reconciler-1 mtusi2026lab7-api:local "/app/reconcile --ap…" reconciler About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 2 minutes ago Up 2 minutes (healthy) 6379/tcp +mtusi2026lab7-relay-1 mtusi2026lab7-api:local "/app/pipeline relay" relay About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-s3-1 bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 "/bin/bash -c 'mkdir…" s3 2 minutes ago Up 38 seconds (healthy) 9000-9001/tcp +mtusi2026lab7-tempo-1 grafana/tempo:2.6.1 "/tempo -config.file…" tempo About a minute ago Up About a minute +mtusi2026lab7-tempo-init-1 grafana/tempo:2.6.1 "chown 10001:10001 /…" tempo-init About a minute ago Exited (0) About a minute ago +mtusi2026lab7-worker-1 mtusi2026lab7-api:local "/app/pipeline worker" worker 53 seconds ago Up 30 seconds (healthy) 8443/tcp diff --git a/evidence/pipeline/docker_stats_pipeline.txt b/evidence/pipeline/docker_stats_pipeline.txt new file mode 100644 index 0000000..108fa2b --- /dev/null +++ b/evidence/pipeline/docker_stats_pipeline.txt @@ -0,0 +1,16 @@ +mtusi2026lab7-worker-1 0.01% 14.95MiB / 768MiB +mtusi2026lab7-grafana-1 3.10% 69.02MiB / 256MiB +mtusi2026lab7-tempo-1 0.45% 61.38MiB / 1GiB +mtusi2026lab7-lb-1 0.24% 13.18MiB / 128MiB +mtusi2026lab7-relay-1 0.15% 11.93MiB / 128MiB +mtusi2026lab7-reconciler-1 0.00% 5.191MiB / 128MiB +mtusi2026lab7-api-2 0.21% 53.95MiB / 256MiB +mtusi2026lab7-otel-collector-1 1.03% 48.32MiB / 256MiB +mtusi2026lab7-loki-1 0.40% 61.48MiB / 1GiB +mtusi2026lab7-prometheus-1 0.43% 38.57MiB / 512MiB +mtusi2026lab7-api-1 0.15% 67.27MiB / 256MiB +mtusi2026lab7-postgres-1 2.44% 59.49MiB / 512MiB +mtusi2026lab7-s3-1 0.03% 211.7MiB / 512MiB +mtusi2026lab7-redis-1 0.41% 3.969MiB / 256MiB +mtusi2026lab7-rabbitmq-1 0.13% 76.74MiB / 512MiB +mtusi2026lab7-openbao-1 0.27% 23.18MiB / 256MiB diff --git a/evidence/pipeline/pipeline/crash-effect.json b/evidence/pipeline/pipeline/crash-effect.json new file mode 100644 index 0000000..4c90aa1 --- /dev/null +++ b/evidence/pipeline/pipeline/crash-effect.json @@ -0,0 +1,34 @@ +{ + "scenario": "crash-effect", + "result": { + "attachment_id": "c5db77aa-2a97-4eb8-a77a-d90e17d95e70", + "job_id": "7cc02c86-a5dc-44a7-baeb-f17c9198f1a5", + "worker_restarts": 1, + "attempt": 2, + "seconds_to_ready": 15.7, + "events": "enqueued,claimed,lease_expired_requeued,claimed,done", + "invariants": { + "status": "ready", + "published_version": 1, + "objects_per_version": { + "1": 3 + } + }, + "variants": { + "thumbnail": [ + 256, + 160 + ], + "crop": [ + 128, + 128 + ], + "optimized": [ + 320, + 200 + ], + "optimized_bytes": 2462, + "original_bytes": 111817 + } + } +} diff --git a/evidence/pipeline/pipeline/demo.json b/evidence/pipeline/pipeline/demo.json new file mode 100644 index 0000000..28cd2c6 --- /dev/null +++ b/evidence/pipeline/pipeline/demo.json @@ -0,0 +1,42 @@ +{ + "scenario": "demo", + "result": { + "attachment_id": "a9f29281-fb61-4dc2-be1a-bb051d221790", + "job_id": "208a569c-127b-4997-8598-f8ce2afc6843", + "job_state": "done", + "attempt": 1, + "timeline": [ + "worker stopped", + "upload 202 queued id=a9f29281-fb61-4dc2-be1a-bb051d221790", + "message 201 with queued attachment", + "content 409, other messages OK", + "api and rabbitmq restarted (volumes kept), outbox published=1", + "rabbitmq queues after restart: {'attachment.dead': 0, 'attachment.process': 1}", + "worker started → ready in 1.3 s" + ], + "variants": { + "thumbnail": [ + 256, + 160 + ], + "crop": [ + 128, + 128 + ], + "optimized": [ + 320, + 200 + ], + "optimized_bytes": 2462, + "original_bytes": 111817 + }, + "invariants": { + "status": "ready", + "published_version": 1, + "objects_per_version": { + "1": 3 + } + }, + "events": "enqueued,claimed,done" + } +} diff --git a/evidence/pipeline/pipeline/failed-replay.json b/evidence/pipeline/pipeline/failed-replay.json new file mode 100644 index 0000000..386c53b --- /dev/null +++ b/evidence/pipeline/pipeline/failed-replay.json @@ -0,0 +1,36 @@ +{ + "scenario": "failed-replay", + "result": { + "attachment_id": "03387194-01c7-4af3-8c05-2494b53db329", + "failed_error_code": "checksum_mismatch", + "content_while_failed": 409, + "attach_failed_to_message": 409, + "registry_listed": true, + "replay": { + "attachment_id": "03387194-01c7-4af3-8c05-2494b53db329", + "command": "replay", + "error": "", + "job_id": "c56192e9-dc8c-400b-a33b-09e66e0ecd3d", + "ok": true, + "version": 1 + }, + "replay_after_success": { + "attachment_id": "03387194-01c7-4af3-8c05-2494b53db329", + "command": "replay", + "error": "conflict: job is done, only failed jobs can be replayed", + "job_id": "c56192e9-dc8c-400b-a33b-09e66e0ecd3d", + "ok": false, + "version": 1 + }, + "final_status": "ready", + "events": "enqueued,claimed,failed,replay,claimed,done,replay_refused", + "dlq_messages": 1, + "invariants": { + "status": "ready", + "published_version": 1, + "objects_per_version": { + "1": 3 + } + } + } +} diff --git a/evidence/pipeline/pipeline/obs_signals.json b/evidence/pipeline/pipeline/obs_signals.json new file mode 100644 index 0000000..be3f10a --- /dev/null +++ b/evidence/pipeline/pipeline/obs_signals.json @@ -0,0 +1,925 @@ +{ + "scenario": "signals", + "result": { + "request": { + "request_id": "obs-msg-cce45e31e6b242e6", + "trace_id": "54ff4aa532f0179348c36bde4be6e8d2", + "spans": [ + { + "service": "messenger-api", + "name": "POST /api/v1/chats/{chat_id}/messages", + "kind": "SPAN_KIND_SERVER", + "ms": 2.4, + "parent": null, + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "get", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.08, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "ttl", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.03, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.01, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.22, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.0, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.17, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.0, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "BEGIN", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.07, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "DELETE", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.2, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.21, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.62, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/messages", + "outcome": null, + "attempt": null, + "status": "" + } + ], + "log": { + "line": "http request", + "labels": { + "detected_level": "info", + "event": "http.request", + "request_id": "obs-msg-cce45e31e6b242e6", + "route": "/api/v1/chats/{chat_id}/messages", + "service_name": "messenger-api", + "severity_text": "INFO", + "span_id": "19644ee5c6ed3f4f", + "status": "201", + "trace_id": "54ff4aa532f0179348c36bde4be6e8d2" + } + } + }, + "upload": { + "request_id": "obs-upload-93e4699646f94751", + "trace_id": "c305c32ab42753aedfec890c69c52ced", + "services": [ + "messenger-api", + "messenger-relay", + "messenger-worker" + ], + "links": { + "api server → relay producer": true, + "relay producer → worker consumer": true, + "worker consumer → S3 PUT": true, + "worker consumer → image.decode": true + }, + "span_count": 56, + "worker_db_spans": [ + "BEGIN", + "COMMIT", + "INSERT", + "SELECT", + "UPDATE", + "batch start", + "pool.acquire" + ], + "tree": [ + { + "service": "messenger-api", + "name": "POST /api/v1/chats/{chat_id}/attachments", + "kind": "SPAN_KIND_SERVER", + "ms": 11.88, + "parent": null, + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "get", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.13, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "ttl", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.04, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.01, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.17, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.01, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.26, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.1, + "parent": "messenger-api: SELECT", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.0, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.72, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.11, + "parent": "messenger-api: INSERT", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "S3 PUT", + "kind": "SPAN_KIND_CLIENT", + "ms": 4.88, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.01, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "BEGIN", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.1, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "UPDATE", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.61, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "UPDATE", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.1, + "parent": "messenger-api: UPDATE", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.87, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.28, + "parent": "messenger-api: INSERT", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.92, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.25, + "parent": "messenger-api: INSERT", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 1.94, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 1.37, + "parent": "messenger-api: INSERT", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-api", + "name": "COMMIT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.61, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-relay", + "name": "attachment.process publish", + "kind": "SPAN_KIND_PRODUCER", + "ms": 1.07, + "parent": "messenger-api: POST /api/v1/chats/{chat_id}/attachments", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "attachment.process process", + "kind": "SPAN_KIND_CONSUMER", + "ms": 30.84, + "parent": "messenger-relay: attachment.process publish", + "outcome": "done", + "attempt": "1", + "status": "" + }, + { + "service": "messenger-worker", + "name": "pool.acquire", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.28, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "BEGIN", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.07, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.26, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.08, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "SELECT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.17, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "UPDATE", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.2, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "UPDATE", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.21, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "INSERT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.1, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "COMMIT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.13, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "S3 HEAD", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.91, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "S3 GET", + "kind": "SPAN_KIND_CLIENT", + "ms": 1.19, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "image.decode", + "kind": "SPAN_KIND_INTERNAL", + "ms": 1.74, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "image.variants", + "kind": "SPAN_KIND_INTERNAL", + "ms": 16.56, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "S3 PUT", + "kind": "SPAN_KIND_CLIENT", + "ms": 1.29, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + }, + { + "service": "messenger-worker", + "name": "S3 PUT", + "kind": "SPAN_KIND_CLIENT", + "ms": 0.99, + "parent": "messenger-worker: attachment.process process", + "outcome": null, + "attempt": null, + "status": "" + } + ], + "worker_log_events": [ + "job.claimed", + "job.done" + ] + }, + "metrics": { + "found": { + "http requests (counter = _count)": { + "series": 16, + "names": [ + "http_server_request_duration_seconds_count" + ] + }, + "http duration histogram (s)": { + "series": 224, + "names": [ + "http_server_request_duration_seconds_bucket" + ] + }, + "jobs processed by outcome": { + "series": 6, + "names": [ + "messenger_jobs_processed_total" + ] + }, + "job duration histogram (s)": { + "series": 56, + "names": [ + "messenger_job_duration_seconds_bucket" + ] + }, + "time to ready histogram (s)": { + "series": 28, + "names": [ + "messenger_attachment_time_to_ready_seconds_bucket" + ] + }, + "queue backlog by state": { + "series": 3, + "names": [ + "messenger_jobs_backlog" + ] + }, + "oldest job age (s)": { + "series": 1, + "names": [ + "messenger_jobs_oldest_age_seconds" + ] + }, + "outbox pending": { + "series": 1, + "names": [ + "messenger_outbox_pending" + ] + }, + "rabbitmq queue messages": { + "series": 2, + "names": [ + "rabbitmq_queue_messages_ready" + ] + }, + "worker busy": { + "series": 2, + "names": [ + "messenger_worker_busy" + ] + }, + "worker capacity": { + "series": 2, + "names": [ + "messenger_worker_capacity" + ] + }, + "db pool acquired": { + "series": 5, + "names": [ + "pgxpool_acquired_connections" + ] + }, + "db pool waits": { + "series": 10, + "names": [ + "pgxpool_empty_acquire_total", + "pgxpool_empty_acquire_wait_time_nanoseconds_total" + ] + }, + "process cpu": { + "series": 10, + "names": [ + "process_cpu_time_seconds_total" + ] + }, + "go memory": { + "series": 10, + "names": [ + "go_memory_used_bytes" + ] + } + }, + "labels_total": 129, + "forbidden_labels": [], + "http_route_values": [ + "/api/v1/attachments/{attachment_id}", + "/api/v1/attachments/{attachment_id}/content", + "/api/v1/auth/sessions", + "/api/v1/chats", + "/api/v1/chats/{chat_id}/attachments", + "/api/v1/chats/{chat_id}/messages", + "/api/v1/users", + "/health/live", + "/health/ready" + ], + "example_series_labels": [ + "__name__", + "http_request_method", + "http_response_status_class", + "http_response_status_code", + "http_route", + "instance", + "job" + ] + }, + "leak_check": { + "loki:password": 0, + "loki:session_token": 0, + "loki:message_text": 0, + "loki:bearer_header": 0, + "tempo:password": 0, + "tempo:session_token": 0, + "tempo:message_text": 0, + "tempo:bearer_header": 0, + "stdout:password": 0, + "stdout:session_token": 0, + "stdout:message_text": 0, + "stdout:bearer_header": 0 + }, + "grafana": { + "datasources": [ + "loki:loki", + "prometheus:prometheus", + "tempo:tempo" + ], + "dashboard": "Messenger — API, worker, очередь", + "panels": 30, + "prometheus_targets": 39, + "targets_without_data_now": [ + { + "panel": "Ready быстрее 30 s (5m)", + "legend": "", + "series": 0 + } + ], + "targets": [ + { + "panel": "RPS API (бизнес)", + "legend": "", + "series": 1 + }, + { + "panel": "Доля 5xx (1m)", + "legend": "", + "series": 1 + }, + { + "panel": "Быстрее 250 ms (5m)", + "legend": "", + "series": 1 + }, + { + "panel": "Ready быстрее 30 s (5m)", + "legend": "", + "series": 0 + }, + { + "panel": "Старейшая job", + "legend": "", + "series": 1 + }, + { + "panel": "Alerts firing", + "legend": "", + "series": 1 + }, + { + "panel": "RPS по маршруту и классу ответа", + "legend": "{{http_route}} {{http_response_status_class}}", + "series": 9 + }, + { + "panel": "Задержка API p50 / p95 / p99 (все реплики)", + "legend": "p50", + "series": 1 + }, + { + "panel": "Задержка API p50 / p95 / p99 (все реплики)", + "legend": "p95", + "series": 1 + }, + { + "panel": "Задержка API p50 / p95 / p99 (все реплики)", + "legend": "p99", + "series": 1 + }, + { + "panel": "Доля ошибок 5xx и 4xx", + "legend": "5xx / все", + "series": 1 + }, + { + "panel": "Доля ошибок 5xx и 4xx", + "legend": "4xx / все (ошибки клиента)", + "series": 1 + }, + { + "panel": "p95 по маршруту", + "legend": "{{http_route}}", + "series": 7 + }, + { + "panel": "Запросы в обработке (in-flight) по реплике", + "legend": "{{instance}}", + "series": 2 + }, + { + "panel": "Jobs по исходу (rate)", + "legend": "{{outcome}}", + "series": 5 + }, + { + "panel": "Длительность обработки job p50 / p95 / p99", + "legend": "p50", + "series": 1 + }, + { + "panel": "Длительность обработки job p50 / p95 / p99", + "legend": "p95", + "series": 1 + }, + { + "panel": "Длительность обработки job p50 / p95 / p99", + "legend": "p99", + "series": 1 + }, + { + "panel": "Время до ready (202 → ready) p50 / p95", + "legend": "p50", + "series": 1 + }, + { + "panel": "Время до ready (202 → ready) p50 / p95", + "legend": "p95", + "series": 1 + }, + { + "panel": "Очередь: jobs по состоянию (PostgreSQL)", + "legend": "{{state}}", + "series": 3 + }, + { + "panel": "Очередь: jobs по состоянию (PostgreSQL)", + "legend": "outbox не опубликовано", + "series": 1 + }, + { + "panel": "Возраст старейшей job / outbox", + "legend": "job (queued/processing)", + "series": 1 + }, + { + "panel": "Возраст старейшей job / outbox", + "legend": "outbox", + "series": 1 + }, + { + "panel": "RabbitMQ: сообщения в очередях", + "legend": "ready {{queue}}", + "series": 2 + }, + { + "panel": "RabbitMQ: сообщения в очередях", + "legend": "unacked {{queue}}", + "series": 2 + }, + { + "panel": "Saturation worker (busy / capacity)", + "legend": "занято слотов", + "series": 1 + }, + { + "panel": "Publish outbox → broker (confirm) p95", + "legend": "p95", + "series": 1 + }, + { + "panel": "Publish outbox → broker (confirm) p95", + "legend": "сообщений/с", + "series": 1 + }, + { + "panel": "Пул БД: занято / ожидания", + "legend": "занято {{job}}", + "series": 3 + }, + { + "panel": "Пул БД: занято / ожидания", + "legend": "max {{job}}", + "series": 3 + }, + { + "panel": "Пул БД: занято / ожидания", + "legend": "ожиданий/с {{job}}", + "series": 3 + }, + { + "panel": "CPU процессов", + "legend": "{{job}} {{instance}}", + "series": 8 + }, + { + "panel": "Память Go (used)", + "legend": "{{job}} {{instance}}", + "series": 5 + }, + { + "panel": "Collector: принято / отправлено / потеряно spans", + "legend": "принято", + "series": 1 + }, + { + "panel": "Collector: принято / отправлено / потеряно spans", + "legend": "отправлено", + "series": 1 + }, + { + "panel": "Collector: принято / отправлено / потеряно spans", + "legend": "не доставлено", + "series": 1 + }, + { + "panel": "Collector: принято / отправлено / потеряно spans", + "legend": "отклонено (memory_limiter)", + "series": 1 + }, + { + "panel": "Collector: принято / отправлено / потеряно spans", + "legend": "очередь экспортёров", + "series": 1 + } + ] + }, + "attachment": { + "id": "acee78cc-11ee-453d-9696-426654a97f27", + "status": "ready" + } + } +} diff --git a/evidence/pipeline/pipeline/transient.json b/evidence/pipeline/pipeline/transient.json new file mode 100644 index 0000000..e234d49 --- /dev/null +++ b/evidence/pipeline/pipeline/transient.json @@ -0,0 +1,17 @@ +{ + "scenario": "transient", + "result": { + "attachment_id": "570e91a8-1d7c-425f-9d03-170050581f4a", + "attempts": 3, + "final_status": "ready", + "retry_details": "processing_failed; next_attempt=2 in 1.999s | processing_failed; next_attempt=3 in 3.134s", + "events": "enqueued,claimed,retry_scheduled,claimed,retry_scheduled,claimed,done", + "invariants": { + "status": "ready", + "published_version": 1, + "objects_per_version": { + "1": 3 + } + } + } +} diff --git a/evidence/pipeline/runner_pipeline.txt b/evidence/pipeline/runner_pipeline.txt new file mode 100644 index 0000000..8024717 --- /dev/null +++ b/evidence/pipeline/runner_pipeline.txt @@ -0,0 +1,6 @@ +2 + total used free shared buff/cache available +Mem: 7776 1885 1172 90 5114 5890 +Swap: 3071 0 3071 +28.0.4 +Docker Compose version v2.38.2 diff --git a/evidence/scan/README.md b/evidence/scan/README.md new file mode 100644 index 0000000..8df7001 --- /dev/null +++ b/evidence/scan/README.md @@ -0,0 +1,5 @@ +# Доказательства + +Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. + +Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. diff --git a/evidence/scan/TRIAGE.md b/evidence/scan/TRIAGE.md new file mode 100644 index 0000000..043d4bd --- /dev/null +++ b/evidence/scan/TRIAGE.md @@ -0,0 +1,33 @@ +# Разбор сканирования зависимостей и образов + +Прогон: https://github.com/CharaWein/2026_lab3/actions/runs/43267046991 (commit a414221). +Инструменты: govulncheck v1.1.4 (Go-код, анализ достижимости), Trivy 0.58.1 (`--severity HIGH,CRITICAL --scanners vuln`). +Полные JSON Trivy в репозиторий не кладутся (около 1.7 MiB); здесь сводка и решения. + +## Код приложения (govulncheck) + +`govulncheck.txt`: **0 уязвимостей в вызываемом коде**. В модулях-зависимостях найдено 2 уязвимости, но код +их не вызывает (символов нет в графе вызовов) — неприменимо. + +История: на Go 1.26.0 govulncheck показывал 38 достижимых уязвимостей стандартной библиотеки +(crypto/tls, net/http, crypto/x509 — всё это используется: TLS-сервер API, mTLS-клиенты). Исправлено переходом +на Go 1.26.11 (`go.mod toolchain`, `golang:1.26.11-alpine` в Dockerfile) и `golang.org/x/net v0.62.0`. + +## Образ приложения mtusi2026lab7-api:local + +**0 HIGH/CRITICAL.** До исправления — 2 HIGH: musl / musl-utils CVE-2026-107891 (1.2.5-r3, исправлено в 1.2.5-r4). +Исправление — `apk --no-cache upgrade` в runtime-слое Dockerfile. + +## Сторонние образы стенда + +| Образ | HIGH/CRITICAL | Есть исправленная версия | Где | Применимость и решение | +| --- | --- | --- | --- | --- | +| postgres:16.4-alpine | 31 (OS) + 60 (gosu) | все | OpenSSL 3.3.2, libxml2/libxslt, musl, zlib; `gosu` собран Go 1.18 | OpenSSL: PostgreSQL принимает TLS только из сети `back` (порт не опубликован) — ошибки разбора сертификатов/CMS/PKCS#12 достижимы лишь для процесса внутри стенда; libxml2/libxslt — только XML-функции SQL, приложение их не вызывает; `gosu` работает один раз при старте (смена пользователя), сетевых обработчиков Go не содержит. **Решение:** обновить до последнего патча 16.x (тот же major, миграции не нужны) — следующий шаг. | +| redis:7.4.1-alpine | 23 (OS) + 60 (gosu) | все | OpenSSL, musl, zlib; `gosu` | TLS-порт Redis только в сети `back`, plaintext выключен (`port 0`), ACL `default off`. **Решение:** обновить до последнего 7.4.x. | +| haproxy:3.0.5-alpine | 23 (OS) | все | OpenSSL 3.3.2, musl, zlib | **Самое применимое**: HAProxy — единственный TLS ingress, опубликован на `127.0.0.1:8443` и терминирует TLS клиентов. CVE-2025-15467 (переполнение при разборе) и CVE-2026-28387 (use-after-free) касаются OpenSSL, который обрабатывает внешние handshake. Смягчение сейчас: публикация только на loopback хоста, TLS ≥ 1.2. **Решение:** обновить до последнего 3.0.x — первое в списке. | +| openbao/openbao:2.1.0 | 28 (OS) + 63 (bin/bao) | 87 из 91 | OpenSSL, musl, libcap; в бинарнике — stdlib Go, x/crypto, x/net, grpc, go-jose, docker/docker | OpenBao слушает только сеть `back` и `127.0.0.1` хоста. Модули docker/docker и pgproto3 относятся к неиспользуемым плагинам (secrets engines Docker/PostgreSQL у нас не включены); stdlib/x/net/x/crypto — применимы к его TLS-листенеру. **Решение:** обновить до актуального 2.x (данные — file storage, совместимы). | +| rabbitmq:4.0.9-alpine | 0 | — | — | — | + +Итого: в собственном коде и образе HIGH/CRITICAL нет; в сторонних образах находки есть, почти все имеют исправленную +версию, но обновление версий сторонних компонентов в этой работе не сделано — оно меняет поведение стенда и требует +отдельного прогона всех сценариев. Это осознанно оставленный риск с порядком обновления: haproxy → openbao → postgres → redis. diff --git a/evidence/scan/govulncheck.txt b/evidence/scan/govulncheck.txt new file mode 100644 index 0000000..aa02fd4 --- /dev/null +++ b/evidence/scan/govulncheck.txt @@ -0,0 +1,9 @@ +=== Symbol Results === + +No vulnerabilities found. + +Your code is affected by 0 vulnerabilities. +This scan also found 0 vulnerabilities in packages you import and 2 +vulnerabilities in modules you require, but your code doesn't appear to call +these vulnerabilities. +Use '-show verbose' for more details. diff --git a/evidence/scan/trivy_summary.txt b/evidence/scan/trivy_summary.txt new file mode 100644 index 0000000..0615bb4 --- /dev/null +++ b/evidence/scan/trivy_summary.txt @@ -0,0 +1,6 @@ +mtusi2026lab7-api:local 0 HIGH/CRITICAL [] +postgres:16.4-alpine 91 HIGH/CRITICAL ['libcrypto3', 'libssl3', 'libxml2', 'libxslt', 'musl', 'musl-utils', 'stdlib', 'xz-libs', 'zlib'] +redis:7.4.1-alpine 83 HIGH/CRITICAL ['libcrypto3', 'libssl3', 'musl', 'musl-utils', 'stdlib', 'zlib'] +rabbitmq:4.0.9-alpine 0 HIGH/CRITICAL [] +haproxy:3.0.5-alpine 23 HIGH/CRITICAL ['libcrypto3', 'libssl3', 'musl', 'musl-utils', 'zlib'] +openbao/openbao:2.1.0 91 HIGH/CRITICAL ['github.com/docker/docker', 'github.com/go-jose/go-jose/v3', 'github.com/golang-jwt/jwt/v4', 'github.com/golang-jwt/jwt/v5', 'github.com/jackc/pgproto3/v2', 'github.com/klauspost/compress', 'go.opentelemetry.io/otel/sdk', 'golang.org/x/crypto', 'golang.org/x/net', 'golang.org/x/oauth2', 'golang.org/x/text', 'google.golang.org/grpc', 'libcap', 'libcap-getcap', 'libcap-setcap'] diff --git a/evidence/security/README.md b/evidence/security/README.md new file mode 100644 index 0000000..8df7001 --- /dev/null +++ b/evidence/security/README.md @@ -0,0 +1,5 @@ +# Доказательства + +Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. + +Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. diff --git a/evidence/security/containers_state_security.txt b/evidence/security/containers_state_security.txt new file mode 100644 index 0000000..b651c6e --- /dev/null +++ b/evidence/security/containers_state_security.txt @@ -0,0 +1,17 @@ +/mtusi2026lab7-api-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-api-2 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-grafana-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-lb-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-loki-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-openbao-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-otel-collector-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-postgres-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-prometheus-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-rabbitmq-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-reconciler-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-redis-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-relay-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-s3-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-init-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-worker-1 restarts=0 oom_killed=false exit=0 diff --git a/evidence/security/docker_ps_final_security.txt b/evidence/security/docker_ps_final_security.txt new file mode 100644 index 0000000..1da4e01 --- /dev/null +++ b/evidence/security/docker_ps_final_security.txt @@ -0,0 +1,18 @@ +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +mtusi2026lab7-api-1 mtusi2026lab7-api:local "/app/api" api 5 minutes ago Up 2 minutes (healthy) 8443/tcp +mtusi2026lab7-api-2 mtusi2026lab7-api:local "/app/api" api 5 minutes ago Up 2 minutes (healthy) 8443/tcp +mtusi2026lab7-grafana-1 grafana/grafana:11.4.0 "/run.sh" grafana 6 minutes ago Up 6 minutes (healthy) 127.0.0.1:3000->3000/tcp +mtusi2026lab7-lb-1 haproxy:3.0.5-alpine "docker-entrypoint.s…" lb 6 minutes ago Up 6 minutes 127.0.0.1:8443->8443/tcp +mtusi2026lab7-loki-1 grafana/loki:3.3.2 "/usr/bin/loki -conf…" loki 6 minutes ago Up 6 minutes 3100/tcp +mtusi2026lab7-openbao-1 openbao/openbao:2.1.0 "docker-entrypoint.s…" openbao 7 minutes ago Up 5 minutes 127.0.0.1:8200->8200/tcp +mtusi2026lab7-otel-collector-1 otel/opentelemetry-collector-contrib:0.116.1 "/otelcol-contrib --…" otel-collector 6 minutes ago Up 6 minutes 4317-4318/tcp, 55678-55679/tcp +mtusi2026lab7-postgres-1 postgres:16.4-alpine "sh -c 'install -o p…" postgres 7 minutes ago Up 7 minutes (healthy) 5432/tcp +mtusi2026lab7-prometheus-1 prom/prometheus:v3.1.0 "/bin/prometheus --c…" prometheus 6 minutes ago Up 6 minutes 9090/tcp +mtusi2026lab7-rabbitmq-1 rabbitmq:4.0.9-alpine "docker-entrypoint.s…" rabbitmq 7 minutes ago Up 7 minutes (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp +mtusi2026lab7-reconciler-1 mtusi2026lab7-api:local "/app/reconcile --ap…" reconciler 6 minutes ago Up 6 minutes (healthy) 8443/tcp +mtusi2026lab7-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 7 minutes ago Up 7 minutes (healthy) 6379/tcp +mtusi2026lab7-relay-1 mtusi2026lab7-api:local "/app/pipeline relay" relay 6 minutes ago Up 6 minutes (healthy) 8443/tcp +mtusi2026lab7-s3-1 bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 "/bin/bash -c 'mkdir…" s3 7 minutes ago Up 7 minutes (healthy) 9000-9001/tcp +mtusi2026lab7-tempo-1 grafana/tempo:2.6.1 "/tempo -config.file…" tempo 6 minutes ago Up 6 minutes +mtusi2026lab7-tempo-init-1 grafana/tempo:2.6.1 "chown 10001:10001 /…" tempo-init 6 minutes ago Exited (0) 6 minutes ago +mtusi2026lab7-worker-1 mtusi2026lab7-api:local "/app/pipeline worker" worker 6 minutes ago Up About a minute (healthy) 8443/tcp diff --git a/evidence/security/docker_stats_security.txt b/evidence/security/docker_stats_security.txt new file mode 100644 index 0000000..6312e26 --- /dev/null +++ b/evidence/security/docker_stats_security.txt @@ -0,0 +1,16 @@ +mtusi2026lab7-api-2 2.01% 129.7MiB / 256MiB +mtusi2026lab7-api-1 2.02% 112.4MiB / 256MiB +mtusi2026lab7-grafana-1 0.20% 56.66MiB / 256MiB +mtusi2026lab7-lb-1 0.28% 21.39MiB / 128MiB +mtusi2026lab7-tempo-1 0.19% 188.7MiB / 1GiB +mtusi2026lab7-relay-1 0.17% 12.81MiB / 128MiB +mtusi2026lab7-worker-1 0.01% 14.2MiB / 768MiB +mtusi2026lab7-otel-collector-1 0.18% 57.44MiB / 256MiB +mtusi2026lab7-loki-1 0.36% 109.2MiB / 1GiB +mtusi2026lab7-prometheus-1 0.33% 41.64MiB / 512MiB +mtusi2026lab7-reconciler-1 0.00% 5.207MiB / 128MiB +mtusi2026lab7-redis-1 0.44% 6.051MiB / 256MiB +mtusi2026lab7-rabbitmq-1 0.14% 92.3MiB / 512MiB +mtusi2026lab7-s3-1 5.80% 402.9MiB / 512MiB +mtusi2026lab7-postgres-1 0.25% 100.3MiB / 512MiB +mtusi2026lab7-openbao-1 0.27% 22MiB / 256MiB diff --git a/evidence/security/runner_security.txt b/evidence/security/runner_security.txt new file mode 100644 index 0000000..5324153 --- /dev/null +++ b/evidence/security/runner_security.txt @@ -0,0 +1,6 @@ +2 + total used free shared buff/cache available +Mem: 7776 2486 427 114 5283 5289 +Swap: 3071 0 3071 +28.0.4 +Docker Compose version v2.38.2 diff --git a/evidence/security/security/acl.json b/evidence/security/security/acl.json new file mode 100644 index 0000000..9046a4f --- /dev/null +++ b/evidence/security/security/acl.json @@ -0,0 +1,39 @@ +{ + "scenario": "acl", + "result": { + "outsider_metadata": 404, + "outsider_content": 404, + "attach_foreign_file": 404, + "fake_x_user_id_with_eve_token": 404, + "x_user_id_without_token": 401, + "after_logout": 401, + "json_body_65KiB": 413, + "stored_hash_params": "argon2id m=19456,t=2,p=1", + "rehash": { + "before": "m=65536,t=1,p=4", + "after": "m=19456,t=2,p=1" + }, + "login_rate_limit": { + "codes": [ + 401, + 401, + 401, + 401, + 401, + 401, + 401, + 401, + 401, + 401, + 429, + 429, + 429, + 429 + ], + "retry_after": "58", + "served_by_replicas": 2 + }, + "correct_password_while_limited": 429, + "after_ttl_expiry": 401 + } +} diff --git a/evidence/security/security/argon2.json b/evidence/security/security/argon2.json new file mode 100644 index 0000000..be75ff5 --- /dev/null +++ b/evidence/security/security/argon2.json @@ -0,0 +1,89 @@ +{ + "scenario": "argon2", + "result": { + "bench": { + "current": { + "MemoryKiB": 19456, + "Iterations": 2, + "Parallelism": 1 + }, + "results": [ + { + "hashes_per_s_one_core": 13.908012405947067, + "m_kib": 19456, + "ms_max": 78.569, + "ms_p50": 71.901, + "p": 1, + "t": 2 + }, + { + "hashes_per_s_one_core": 12.071900237816434, + "m_kib": 47104, + "ms_max": 101.575, + "ms_p50": 82.837, + "p": 1, + "t": 1 + }, + { + "hashes_per_s_one_core": 12.013166430407725, + "m_kib": 19456, + "ms_max": 107.157, + "ms_p50": 83.242, + "p": 1, + "t": 3 + }, + { + "hashes_per_s_one_core": 9.137927883473143, + "m_kib": 65536, + "ms_max": 209.469, + "ms_p50": 109.434, + "p": 4, + "t": 1 + }, + { + "hashes_per_s_one_core": 3.6552245952752567, + "m_kib": 65536, + "ms_max": 295.643, + "ms_p50": 273.581, + "p": 1, + "t": 3 + } + ] + }, + "login_latency_ms_sequential": [ + 62.4, + 26.9, + 26.6, + 26.9, + 26.4, + 26.2, + 27.7, + 27.2 + ], + "dos_burst": { + "attempts": 120, + "seconds": 2.92, + "codes": { + "401": 59, + "429": 61 + }, + "api_mem_peak_mib": [ + 197.0, + 131.2 + ], + "api_mem_before_mib": [ + 66.0, + 67.2 + ] + }, + "budget": { + "hash_ms_p50": 71.901, + "argon2_slots_per_replica": 2, + "replicas": 2, + "max_hashes_per_s_stand": 55.6, + "argon2_memory_bound_mib": 76.0, + "per_ip_limit_per_min": 60, + "per_user_limit_per_min": 10 + } + } +} diff --git a/evidence/security/security/hardening.json b/evidence/security/security/hardening.json new file mode 100644 index 0000000..e046009 --- /dev/null +++ b/evidence/security/security/hardening.json @@ -0,0 +1,313 @@ +{ + "scenario": "hardening", + "result": { + "api": { + "user": "1001:1001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 256, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [], + "process_uid": "1001" + }, + "grafana": { + "user": "472", + "read_only": false, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_telemetry", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 256, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [ + "127.0.0.1:3000->3000/tcp" + ] + }, + "lb": { + "user": "haproxy", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_front", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 128, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [ + "127.0.0.1:8443->8443/tcp" + ] + }, + "loki": { + "user": "10001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_telemetry", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 1024, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [] + }, + "openbao": { + "user": "root(image default)", + "read_only": false, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": [ + "CAP_CHOWN", + "CAP_DAC_OVERRIDE", + "CAP_FOWNER", + "CAP_SETGID", + "CAP_SETUID" + ], + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 256, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [ + "127.0.0.1:8200->8200/tcp" + ] + }, + "otel-collector": { + "user": "10001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_telemetry", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 256, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [] + }, + "postgres": { + "user": "root(image default)", + "read_only": false, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": [ + "CAP_CHOWN", + "CAP_DAC_OVERRIDE", + "CAP_FOWNER", + "CAP_SETGID", + "CAP_SETUID" + ], + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 512, + "nano_cpus": 1000000000, + "pids_limit": 512, + "published": [] + }, + "prometheus": { + "user": "nobody", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_telemetry", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 512, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [] + }, + "rabbitmq": { + "user": "root(image default)", + "read_only": false, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": [ + "CAP_CHOWN", + "CAP_DAC_OVERRIDE", + "CAP_FOWNER", + "CAP_SETGID", + "CAP_SETUID" + ], + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 512, + "nano_cpus": 500000000, + "pids_limit": 512, + "published": [] + }, + "reconciler": { + "user": "1001:1001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 128, + "nano_cpus": 250000000, + "pids_limit": 128, + "published": [], + "process_uid": "1001" + }, + "redis": { + "user": "root(image default)", + "read_only": false, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": [ + "CAP_CHOWN", + "CAP_DAC_OVERRIDE", + "CAP_SETGID", + "CAP_SETUID" + ], + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 256, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [] + }, + "relay": { + "user": "1001:1001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 128, + "nano_cpus": 250000000, + "pids_limit": 128, + "published": [], + "process_uid": "1001" + }, + "s3": { + "user": "1001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 512, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [] + }, + "tempo": { + "user": "10001:10001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_telemetry", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 1024, + "nano_cpus": 500000000, + "pids_limit": 256, + "published": [] + }, + "tempo-init": { + "user": "root", + "read_only": false, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": [ + "CAP_CHOWN" + ], + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_telemetry", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 0, + "nano_cpus": 0, + "pids_limit": null, + "published": [] + }, + "worker": { + "user": "1001:1001", + "read_only": true, + "privileged": false, + "cap_drop": [ + "ALL" + ], + "cap_add": null, + "no_new_privileges": true, + "network_mode": "mtusi2026lab7_back", + "pid_mode": "", + "docker_sock": false, + "memory_limit_mib": 768, + "nano_cpus": 1000000000, + "pids_limit": 128, + "published": [], + "process_uid": "1001" + }, + "_image_sensitive_files": [] + } +} diff --git a/evidence/security/security/leaks.json b/evidence/security/security/leaks.json new file mode 100644 index 0000000..0cb78a7 --- /dev/null +++ b/evidence/security/security/leaks.json @@ -0,0 +1,18 @@ +{ + "scenario": "leaks", + "result": { + "loki:password": 0, + "loki:token": 0, + "loki:message_text": 0, + "loki:basic_header": 0, + "tempo:password": 0, + "tempo:token": 0, + "tempo:message_text": 0, + "tempo:basic_header": 0, + "stdout:password": 0, + "stdout:token": 0, + "stdout:message_text": 0, + "stdout:basic_header": 0, + "traces_scanned": 20 + } +} diff --git a/evidence/security/security/lifecycle.json b/evidence/security/security/lifecycle.json new file mode 100644 index 0000000..412e647 --- /dev/null +++ b/evidence/security/security/lifecycle.json @@ -0,0 +1,32 @@ +{ + "scenario": "lifecycle", + "result": { + "api_openbao_logins_in_100s": 8, + "api_refresh_failures": 0, + "api_requests_ok": 200, + "upload_while_sealed": "ready", + "worker_restart_while_sealed": true, + "upload_accepted_while_worker_blocked": "queued", + "ready_seconds_after_unseal": 0.5, + "final_status": "ready", + "sealed_seconds": 33, + "load_while_sealed": { + "requests": 8667, + "ok": 8667, + "errors": 0, + "error_ratio": 0.0, + "ok_rps": 248.5, + "seconds": 34.9, + "latency_ms_all_ok": { + "p50": 6.49, + "p95": 15.21, + "p99": 24.87 + }, + "latency_ms_outside_faults": { + "p50": 6.49, + "p95": 15.21, + "p99": 24.87 + } + } + } +} diff --git a/evidence/security/security/mtls.json b/evidence/security/security/mtls.json new file mode 100644 index 0000000..cf06f7a --- /dev/null +++ b/evidence/security/security/mtls.json @@ -0,0 +1,149 @@ +{ + "scenario": "mtls", + "result": { + "lb_to_api": { + "no_client_cert": { + "addr": "api:8443", + "result": "server_rejected: certificate required" + }, + "foreign_ca_cert_cn_lb": { + "addr": "api:8443", + "result": "server_rejected: certificate required" + }, + "trusted_ca_identity_attacker": { + "addr": "api:8443", + "result": "server_rejected: bad certificate" + }, + "trusted_ca_identity_worker": { + "addr": "api:8443", + "result": "server_rejected: bad certificate" + }, + "identity_lb": { + "addr": "api:8443", + "instance": "449a818793bd6549", + "result": "ok", + "server_serial": "190915b35397e474b2c7e012b34b0123", + "status": 200 + }, + "plaintext_http": { + "addr": "api:8443", + "read_err": "", + "reply_bytes": 76, + "reply_prefix": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"" + } + }, + "broker": { + "foreign_ca": { + "connect": "denied: Exception (501) Reason: \"remote error: tls: certificate required\"" + }, + "trusted_ca_cn_attacker": { + "connect": "denied: Exception (403) Reason: \"username or password not allowed\"" + }, + "trusted_ca_cn_lb": { + "connect": "denied: Exception (403) Reason: \"username or password not allowed\"" + }, + "worker": { + "connect": "allowed", + "consume attachment.dead (DLQ)": "denied: Exception (403) Reason: \"ACCESS_REFUSED - read access to queue 'attachment.dead' in vhost '/' refused for user 'worker-g1'\"", + "consume attachment.process": "allowed", + "declare queue evil": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'evil.probe' in vhost '/' refused for user 'worker-g1'\"", + "delete queue attachment.process": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'attachment.process' in vhost '/' refused for user 'worker-g1'\"", + "publish attachments (job)": "denied: nack" + }, + "relay": { + "connect": "allowed", + "consume attachment.dead (DLQ)": "denied: Exception (403) Reason: \"ACCESS_REFUSED - read access to queue 'attachment.dead' in vhost '/' refused for user 'relay-g1'\"", + "consume attachment.process": "denied: Exception (403) Reason: \"ACCESS_REFUSED - read access to queue 'attachment.process' in vhost '/' refused for user 'relay-g1'\"", + "declare queue evil": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'evil.probe' in vhost '/' refused for user 'relay-g1'\"", + "delete queue attachment.process": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'attachment.process' in vhost '/' refused for user 'relay-g1'\"", + "publish attachments (job)": "allowed" + }, + "plaintext_5672": { + "addr": "rabbitmq:5672", + "plaintext": "no listener (dial tcp 172.18.0.6:5672: connect: connection refused)" + } + }, + "collector": { + "no_client_cert": { + "ingest": "server_rejected: certificate required" + }, + "foreign_ca": { + "ingest": "server_rejected: certificate required" + }, + "main_ca_cert_lb": { + "ingest": "server_rejected: certificate required" + }, + "main_ca_cert_worker": { + "ingest": "server_rejected: certificate required" + }, + "telemetry_ca_worker": { + "ingest": "allowed", + "status": 200 + }, + "plaintext_http": { + "addr": "otel-collector:4318", + "read_err": "", + "reply_bytes": 76, + "reply_prefix": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"" + } + }, + "servers": { + "redis": { + "tls_verified": "ok", + "tls_status": null, + "plaintext_reply": "\"\\x15\\x03\\x03\\x00\\x02\\x02\\x16\"", + "plaintext": null + }, + "s3": { + "tls_verified": "ok", + "tls_status": 403, + "plaintext_reply": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"", + "plaintext": null + }, + "openbao": { + "tls_verified": "ok", + "tls_status": 404, + "plaintext_reply": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"", + "plaintext": null + }, + "tempo": { + "tls_verified": "ok", + "tls_status": 404, + "plaintext_reply": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"", + "plaintext": null, + "without_client_cert": "server_rejected: certificate required" + }, + "loki": { + "tls_verified": "ok", + "tls_status": 404, + "plaintext_reply": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"", + "plaintext": null, + "without_client_cert": "server_rejected: certificate required" + }, + "prometheus": { + "tls_verified": "ok", + "tls_status": 200, + "plaintext_reply": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"", + "plaintext": null, + "without_client_cert": "server_rejected: certificate required" + }, + "collector-metrics": { + "tls_verified": "ok", + "tls_status": 404, + "plaintext_reply": "\"HTTP/1.0 400 Bad Request\\r\\n\\r\\nClient sent an HTTP request to an HTTPS server.\\n\"", + "plaintext": null, + "without_client_cert": "server_rejected: certificate required" + }, + "rabbitmq-metrics": { + "tls_verified": "ok", + "tls_status": 404, + "plaintext_reply": "\"\\x15\\x03\\x01\\x00\\x02\\x02\\n\"", + "plaintext": null, + "without_client_cert": "server_rejected: certificate required" + }, + "postgres": { + "sslmode_disable": "denied: failed to connect to `user=app_api database=messenger`: 172.18.0.3:5432 (postgres): server error: FATAL: pg_hba.conf rejects connection for host \"172.18.0.12\", " + } + } + } +} diff --git a/evidence/security/security/openbao.json b/evidence/security/security/openbao.json new file mode 100644 index 0000000..6b91d3b --- /dev/null +++ b/evidence/security/security/openbao.json @@ -0,0 +1,110 @@ +{ + "scenario": "openbao", + "result": { + "api": { + "create token with other policy": "denied (403)", + "list secrets": "denied (403)", + "login": "allowed", + "read messenger/reconciler": "denied (403)", + "read messenger/relay": "denied (403)", + "read messenger/worker": "denied (403)", + "read own messenger/api": "allowed", + "seal openbao": "denied (403)", + "write own secret": "denied (403)", + "write policy": "denied (403)" + }, + "worker": { + "create token with other policy": "denied (403)", + "list secrets": "denied (403)", + "login": "allowed", + "read messenger/api": "denied (403)", + "read messenger/reconciler": "denied (403)", + "read messenger/relay": "denied (403)", + "read own messenger/worker": "allowed", + "seal openbao": "denied (403)", + "write own secret": "denied (403)", + "write policy": "denied (403)" + }, + "relay": { + "create token with other policy": "denied (403)", + "list secrets": "denied (403)", + "login": "allowed", + "read messenger/api": "denied (403)", + "read messenger/reconciler": "denied (403)", + "read messenger/worker": "denied (403)", + "read own messenger/relay": "allowed", + "seal openbao": "denied (403)", + "write own secret": "denied (403)", + "write policy": "denied (403)" + }, + "reconciler": { + "create token with other policy": "denied (403)", + "list secrets": "denied (403)", + "login": "allowed", + "read messenger/api": "denied (403)", + "read messenger/relay": "denied (403)", + "read messenger/worker": "denied (403)", + "read own messenger/reconciler": "allowed", + "seal openbao": "denied (403)", + "write own secret": "denied (403)", + "write policy": "denied (403)" + }, + "worker_cert_as_api_role": { + "login": "denied: login 400" + }, + "attacker_cert": { + "login": "denied: login 400" + }, + "app_containers": { + "api": { + "env_has_token": false, + "secret_files": [ + "ca.crt", + "otel.crt", + "otel.key", + "revoked.txt", + "service.crt", + "service.key" + ] + }, + "worker": { + "env_has_token": false, + "secret_files": [ + "ca.crt", + "otel.crt", + "otel.key", + "service.crt", + "service.key" + ] + }, + "relay": { + "env_has_token": false, + "secret_files": [ + "ca.crt", + "otel.crt", + "otel.key", + "service.crt", + "service.key" + ] + }, + "reconciler": { + "env_has_token": false, + "secret_files": [ + "ca.crt", + "service.crt", + "service.key" + ] + } + }, + "status": { + "initialized": true, + "sealed": false, + "storage_type": "file", + "t": 2, + "n": 3, + "version": "2.1.0" + }, + "after_restart_sealed": true, + "after_unseal": "allowed" + } +} diff --git a/evidence/security/security/rotation.json b/evidence/security/security/rotation.json new file mode 100644 index 0000000..36741a8 --- /dev/null +++ b/evidence/security/security/rotation.json @@ -0,0 +1,36 @@ +{ + "scenario": "rotation", + "result": { + "db_old_password": "denied: failed to connect to `user=app_api database=messenger`: 172.18.0.3:5432 (postgres): failed SASL auth: FATAL: password authentication failed for user \"app_api\" (", + "api_after_db_rotation_attempts": [ + 200 + ], + "upload_after_s3_rotation": "ready", + "api_leaf_serial": { + "before": "190915b35397e474b2c7e012b34b0123", + "after": "8c644302db8edab1a2e3fedb2c729308" + }, + "old_lb_cert_after_revocation": "server_rejected: bad certificate", + "new_lb_cert": 200, + "load_during_rotations": { + "requests": 34548, + "ok": 34542, + "errors": 6, + "error_ratio": 0.00017, + "ok_rps": 249.5, + "seconds": 138.4, + "latency_ms_all_ok": { + "p50": 10.06, + "p95": 23.1, + "p99": 39.52 + }, + "latency_ms_outside_faults": { + "p50": 10.06, + "p95": 23.1, + "p99": 39.52 + } + }, + "seconds": 138, + "images_rebuilt": false + } +} diff --git a/evidence/security/security/tls-external.json b/evidence/security/security/tls-external.json new file mode 100644 index 0000000..40fe3ff --- /dev/null +++ b/evidence/security/security/tls-external.json @@ -0,0 +1,18 @@ +{ + "scenario": "tls-external", + "result": { + "public_security_py": "PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening.", + "trusted_ca_localhost": "ok TLSv1.3", + "wrong_hostname": "cert_verify_error: Hostname mismatch, certificate is not valid for 'messenger.example'.", + "foreign_ca_trust_store": "cert_verify_error: unable to get local issuer certificate", + "tls_1_1": "ssl_error: NO_PROTOCOLS_AVAILABLE", + "host_port_8080": "closed", + "host_port_8404": "closed", + "host_port_9090": "closed", + "host_port_5432": "closed", + "host_port_6379": "closed", + "host_port_9000": "closed", + "host_port_5672": "closed", + "host_port_4318": "closed" + } +} diff --git a/evidence/track1/README.md b/evidence/track1/README.md new file mode 100644 index 0000000..8df7001 --- /dev/null +++ b/evidence/track1/README.md @@ -0,0 +1,5 @@ +# Доказательства + +Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. + +Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. diff --git a/evidence/track1/containers_state_track1.txt b/evidence/track1/containers_state_track1.txt new file mode 100644 index 0000000..b651c6e --- /dev/null +++ b/evidence/track1/containers_state_track1.txt @@ -0,0 +1,17 @@ +/mtusi2026lab7-api-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-api-2 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-grafana-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-lb-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-loki-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-openbao-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-otel-collector-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-postgres-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-prometheus-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-rabbitmq-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-reconciler-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-redis-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-relay-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-s3-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-tempo-init-1 restarts=0 oom_killed=false exit=0 +/mtusi2026lab7-worker-1 restarts=0 oom_killed=false exit=0 diff --git a/evidence/track1/docker_ps_final_track1.txt b/evidence/track1/docker_ps_final_track1.txt new file mode 100644 index 0000000..04783f6 --- /dev/null +++ b/evidence/track1/docker_ps_final_track1.txt @@ -0,0 +1,18 @@ +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +mtusi2026lab7-api-1 mtusi2026lab7-api:local "/app/api" api About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-api-2 mtusi2026lab7-api:local "/app/api" api About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-grafana-1 grafana/grafana:11.4.0 "/run.sh" grafana About a minute ago Up About a minute (healthy) 127.0.0.1:3000->3000/tcp +mtusi2026lab7-lb-1 haproxy:3.0.5-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute 127.0.0.1:8443->8443/tcp +mtusi2026lab7-loki-1 grafana/loki:3.3.2 "/usr/bin/loki -conf…" loki About a minute ago Up About a minute 3100/tcp +mtusi2026lab7-openbao-1 openbao/openbao:2.1.0 "docker-entrypoint.s…" openbao 2 minutes ago Up 2 minutes 127.0.0.1:8200->8200/tcp +mtusi2026lab7-otel-collector-1 otel/opentelemetry-collector-contrib:0.116.1 "/otelcol-contrib --…" otel-collector About a minute ago Up About a minute 4317-4318/tcp, 55678-55679/tcp +mtusi2026lab7-postgres-1 postgres:16.4-alpine "sh -c 'install -o p…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp +mtusi2026lab7-prometheus-1 prom/prometheus:v3.1.0 "/bin/prometheus --c…" prometheus About a minute ago Up About a minute 9090/tcp +mtusi2026lab7-rabbitmq-1 rabbitmq:4.0.9-alpine "docker-entrypoint.s…" rabbitmq 2 minutes ago Up 2 minutes (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp +mtusi2026lab7-reconciler-1 mtusi2026lab7-api:local "/app/reconcile --ap…" reconciler About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 2 minutes ago Up About a minute (healthy) 6379/tcp +mtusi2026lab7-relay-1 mtusi2026lab7-api:local "/app/pipeline relay" relay About a minute ago Up About a minute (healthy) 8443/tcp +mtusi2026lab7-s3-1 bitnamilegacy/minio:2025.4.22@sha256:50cec18ac4184af4671a78aedd5554942c8ae105d51a465fa82037949046da01 "/bin/bash -c 'mkdir…" s3 2 minutes ago Up 2 minutes (healthy) 9000-9001/tcp +mtusi2026lab7-tempo-1 grafana/tempo:2.6.1 "/tempo -config.file…" tempo About a minute ago Up About a minute +mtusi2026lab7-tempo-init-1 grafana/tempo:2.6.1 "chown 10001:10001 /…" tempo-init About a minute ago Exited (0) About a minute ago +mtusi2026lab7-worker-1 mtusi2026lab7-api:local "/app/pipeline worker" worker About a minute ago Up About a minute (healthy) 8443/tcp diff --git a/evidence/track1/docker_stats_track1.txt b/evidence/track1/docker_stats_track1.txt new file mode 100644 index 0000000..1e35d53 --- /dev/null +++ b/evidence/track1/docker_stats_track1.txt @@ -0,0 +1,16 @@ +mtusi2026lab7-grafana-1 0.08% 65.02MiB / 256MiB +mtusi2026lab7-lb-1 0.30% 13.46MiB / 128MiB +mtusi2026lab7-tempo-1 0.02% 40.2MiB / 1GiB +mtusi2026lab7-api-1 0.22% 67.7MiB / 256MiB +mtusi2026lab7-otel-collector-1 0.69% 45.99MiB / 256MiB +mtusi2026lab7-reconciler-1 0.00% 5.035MiB / 128MiB +mtusi2026lab7-worker-1 0.16% 17.5MiB / 768MiB +mtusi2026lab7-loki-1 0.69% 49.43MiB / 1GiB +mtusi2026lab7-prometheus-1 0.36% 35.24MiB / 512MiB +mtusi2026lab7-api-2 0.18% 67.39MiB / 256MiB +mtusi2026lab7-relay-1 0.30% 11.89MiB / 128MiB +mtusi2026lab7-s3-1 0.03% 459.4MiB / 512MiB +mtusi2026lab7-postgres-1 0.23% 54.02MiB / 512MiB +mtusi2026lab7-redis-1 0.41% 3.93MiB / 256MiB +mtusi2026lab7-rabbitmq-1 0.99% 91.57MiB / 512MiB +mtusi2026lab7-openbao-1 0.26% 23.14MiB / 256MiB diff --git a/evidence/track1/runner_track1.txt b/evidence/track1/runner_track1.txt new file mode 100644 index 0000000..ab4bd7d --- /dev/null +++ b/evidence/track1/runner_track1.txt @@ -0,0 +1,6 @@ +2 + total used free shared buff/cache available +Mem: 7932 2086 1102 90 5148 5845 +Swap: 3071 0 3071 +28.0.4 +Docker Compose version v2.38.2 diff --git a/evidence/track1/track1/compromise.json b/evidence/track1/track1/compromise.json new file mode 100644 index 0000000..dab283e --- /dev/null +++ b/evidence/track1/track1/compromise.json @@ -0,0 +1,299 @@ +{ + "before_least_privilege": { + "db": { + "connect": "allowed", + "create role": "allowed", + "create table": "allowed", + "delete attachments": "allowed", + "insert attachment_variants": "allowed", + "insert message": "allowed", + "read chat_members": "allowed", + "read jobs": "allowed", + "read messages": "allowed", + "read users.password_hash": "allowed", + "role": "messenger", + "truncate jobs": "allowed", + "update attachments.owner_id": "allowed", + "update attachments.status": "allowed", + "update jobs.state": "allowed" + }, + "s3": { + "delete a/*": "allowed", + "delete o/*": "allowed", + "delete s/*": "allowed", + "delete v/*": "allowed", + "get a/*": "allowed (no such key)", + "get o/*": "allowed (no such key)", + "get s/*": "allowed (no such key)", + "get v/*": "allowed (no such key)", + "list all buckets": "allowed", + "list bucket": "allowed", + "make bucket": "denied (AccessDenied)", + "put a/*": "allowed", + "put o/*": "allowed", + "put s/*": "allowed", + "put v/*": "allowed" + }, + "amqp": { + "connect": "allowed", + "consume attachment.dead (DLQ)": "allowed", + "consume attachment.process": "allowed", + "declare queue evil": "allowed", + "delete queue attachment.process": "denied: Exception (540) Reason: \"NOT_IMPLEMENTED - cannot delete queue 'attachment.process' in vhost '/'. queue.delete operations with if-unused flag set are not suppor", + "publish attachments (job)": "allowed" + }, + "otlp": "allowed (lab6: OTLP по HTTP без аутентификации, любой процесс сети telemetry)", + "api_as_lb": "allowed (lab6: API на :8080 по HTTP, доступен из сети front/back)", + "openbao": "n/a (lab6: секреты всех нужных сервисов — файлами в контейнере)" + }, + "after_least_privilege": { + "amqp": { + "connect": "allowed", + "consume attachment.dead (DLQ)": "denied: Exception (403) Reason: \"ACCESS_REFUSED - read access to queue 'attachment.dead' in vhost '/' refused for user 'worker-g1'\"", + "consume attachment.process": "allowed", + "declare queue evil": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'evil.probe' in vhost '/' refused for user 'worker-g1'\"", + "delete queue attachment.process": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'attachment.process' in vhost '/' refused for user 'worker-g1'\"", + "publish attachments (job)": "denied: nack" + }, + "api_as_lb": { + "addr": "api:8443", + "result": "server_rejected: bad certificate" + }, + "db": { + "connect": "allowed", + "create role": "denied", + "create table": "denied", + "delete attachments": "denied", + "insert attachment_variants": "allowed", + "insert message": "denied", + "read chat_members": "denied", + "read jobs": "allowed", + "read messages": "denied", + "read users.password_hash": "denied", + "role": "app_worker", + "truncate jobs": "denied", + "update attachments.owner_id": "denied", + "update attachments.status": "allowed", + "update jobs.state": "allowed" + }, + "identity_cert": "/pki/worker.crt", + "openbao": { + "create token with other policy": "denied (403)", + "list secrets": "denied (403)", + "login": "allowed", + "read messenger/api": "denied (403)", + "read messenger/reconciler": "denied (403)", + "read messenger/relay": "denied (403)", + "read own messenger/worker": "allowed", + "seal openbao": "denied (403)", + "write own secret": "denied (403)", + "write policy": "denied (403)" + }, + "otlp": { + "ingest": "allowed", + "status": 200 + }, + "s3": { + "delete a/*": "denied (AccessDenied)", + "delete o/*": "denied (AccessDenied)", + "delete s/*": "allowed", + "delete v/*": "denied (AccessDenied)", + "get a/*": "denied (AccessDenied)", + "get o/*": "denied (AccessDenied)", + "get s/*": "allowed (no such key)", + "get v/*": "denied (AccessDenied)", + "list all buckets": "denied (AccessDenied)", + "list bucket": "denied (AccessDenied)", + "make bucket": "denied (AccessDenied)", + "put a/*": "denied (AccessDenied)", + "put o/*": "allowed", + "put s/*": "denied (AccessDenied)", + "put v/*": "allowed" + }, + "stolen_secrets": [ + "db_password", + "db_user", + "s3_access_key", + "s3_secret_key" + ] + }, + "response_steps": [ + { + "step": "новая identity: сертификат CN worker-g2 (перезапись файла на месте)", + "at_s": 0.0, + "took_s": 0.1 + }, + { + "step": "OpenBao cert-роль worker → только CN worker-g2; RabbitMQ: worker-g2 создан, worker-g1 удалён (соединения закрыты)", + "at_s": 0.1, + "took_s": 17.1 + }, + { + "step": "отзыв всех токенов OpenBao, выданных worker", + "at_s": 17.2, + "took_s": 3.7 + }, + { + "step": "ротация пароля роли БД app_worker + разрыв её соединений", + "at_s": 20.9, + "took_s": 1.3 + }, + { + "step": "ротация secret key S3 svc-worker", + "at_s": 22.2, + "took_s": 5.2 + } + ], + "processing_restored_seconds_after_response": 0.5, + "worker_recovery_log_events": [ + "secrets.login", + "secrets.version" + ], + "worker_restarts": 0, + "stolen_identity_after_response": { + "amqp": { + "connect": "denied: Exception (403) Reason: \"username or password not allowed\"" + }, + "api_as_lb": { + "addr": "api:8443", + "result": "server_rejected: bad certificate" + }, + "identity_cert": "/pki/test/worker-stolen.crt", + "openbao": { + "login": "denied: login 400" + }, + "otlp": { + "ingest": "allowed", + "status": 200 + }, + "stolen_secrets": "none: openbao login denied (login 400)", + "db_with_stolen_password": "denied: failed to connect to `user=app_worker database=messenger`: 172.18.0.5:5432 (postgres): failed SASL auth: FATAL: password authentication failed for user \"app_wor", + "s3_with_stolen_key": { + "delete a/*": "denied (SignatureDoesNotMatch)", + "delete o/*": "denied (SignatureDoesNotMatch)", + "delete s/*": "denied (SignatureDoesNotMatch)", + "delete v/*": "denied (SignatureDoesNotMatch)", + "get a/*": "denied (SignatureDoesNotMatch)", + "get o/*": "denied (SignatureDoesNotMatch)", + "get s/*": "denied (SignatureDoesNotMatch)", + "get v/*": "denied (SignatureDoesNotMatch)", + "list all buckets": "denied (SignatureDoesNotMatch)", + "list bucket": "denied (SignatureDoesNotMatch)", + "make bucket": "denied (SignatureDoesNotMatch)", + "put a/*": "denied (SignatureDoesNotMatch)", + "put o/*": "denied (SignatureDoesNotMatch)", + "put s/*": "denied (SignatureDoesNotMatch)", + "put v/*": "denied (SignatureDoesNotMatch)" + } + }, + "tasks": { + "accepted_202": 27, + "upload_errors": 0, + "final": { + "ready": 27 + }, + "accepted_during_response": 21 + }, + "comparison": { + "before": { + "db: connect": "allowed", + "db: create role": "allowed", + "db: create table": "allowed", + "db: delete attachments": "allowed", + "db: insert attachment_variants": "allowed", + "db: insert message": "allowed", + "db: read chat_members": "allowed", + "db: read jobs": "allowed", + "db: read messages": "allowed", + "db: read users.password_hash": "allowed", + "db: role": "messenger", + "db: truncate jobs": "allowed", + "db: update attachments.owner_id": "allowed", + "db: update attachments.status": "allowed", + "db: update jobs.state": "allowed", + "s3: delete a/*": "allowed", + "s3: delete o/*": "allowed", + "s3: delete s/*": "allowed", + "s3: delete v/*": "allowed", + "s3: get a/*": "allowed (no such key)", + "s3: get o/*": "allowed (no such key)", + "s3: get s/*": "allowed (no such key)", + "s3: get v/*": "allowed (no such key)", + "s3: list all buckets": "allowed", + "s3: list bucket": "allowed", + "s3: make bucket": "denied (AccessDenied)", + "s3: put a/*": "allowed", + "s3: put o/*": "allowed", + "s3: put s/*": "allowed", + "s3: put v/*": "allowed", + "amqp: connect": "allowed", + "amqp: consume attachment.dead (DLQ)": "allowed", + "amqp: consume attachment.process": "allowed", + "amqp: declare queue evil": "allowed", + "amqp: delete queue attachment.process": "denied: Exception (540) Reason: \"NOT_IMPLEMENTED - cannot delete queue 'attachment.process' in vhost '/'. queue.delete operations with if-unused flag set are not suppor", + "amqp: publish attachments (job)": "allowed", + "otlp": "allowed (lab6: OTLP по HTTP без аутентификации, любой процесс сети telemetry)", + "api_as_lb": "allowed (lab6: API на :8080 по HTTP, доступен из сети front/back)", + "openbao": "n/a (lab6: секреты всех нужных сервисов — файлами в контейнере)" + }, + "after": { + "amqp: connect": "allowed", + "amqp: consume attachment.dead (DLQ)": "denied: Exception (403) Reason: \"ACCESS_REFUSED - read access to queue 'attachment.dead' in vhost '/' refused for user 'worker-g1'\"", + "amqp: consume attachment.process": "allowed", + "amqp: declare queue evil": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'evil.probe' in vhost '/' refused for user 'worker-g1'\"", + "amqp: delete queue attachment.process": "denied: Exception (403) Reason: \"ACCESS_REFUSED - configure access to queue 'attachment.process' in vhost '/' refused for user 'worker-g1'\"", + "amqp: publish attachments (job)": "denied: nack", + "api_as_lb: addr": "api:8443", + "api_as_lb: result": "server_rejected: bad certificate", + "db: connect": "allowed", + "db: create role": "denied", + "db: create table": "denied", + "db: delete attachments": "denied", + "db: insert attachment_variants": "allowed", + "db: insert message": "denied", + "db: read chat_members": "denied", + "db: read jobs": "allowed", + "db: read messages": "denied", + "db: read users.password_hash": "denied", + "db: role": "app_worker", + "db: truncate jobs": "denied", + "db: update attachments.owner_id": "denied", + "db: update attachments.status": "allowed", + "db: update jobs.state": "allowed", + "identity_cert": "/pki/worker.crt", + "openbao: create token with other policy": "denied (403)", + "openbao: list secrets": "denied (403)", + "openbao: login": "allowed", + "openbao: read messenger/api": "denied (403)", + "openbao: read messenger/reconciler": "denied (403)", + "openbao: read messenger/relay": "denied (403)", + "openbao: read own messenger/worker": "allowed", + "openbao: seal openbao": "denied (403)", + "openbao: write own secret": "denied (403)", + "openbao: write policy": "denied (403)", + "otlp: ingest": "allowed", + "otlp: status": 200, + "s3: delete a/*": "denied (AccessDenied)", + "s3: delete o/*": "denied (AccessDenied)", + "s3: delete s/*": "allowed", + "s3: delete v/*": "denied (AccessDenied)", + "s3: get a/*": "denied (AccessDenied)", + "s3: get o/*": "denied (AccessDenied)", + "s3: get s/*": "allowed (no such key)", + "s3: get v/*": "denied (AccessDenied)", + "s3: list all buckets": "denied (AccessDenied)", + "s3: list bucket": "denied (AccessDenied)", + "s3: make bucket": "denied (AccessDenied)", + "s3: put a/*": "denied (AccessDenied)", + "s3: put o/*": "allowed", + "s3: put s/*": "denied (AccessDenied)", + "s3: put v/*": "allowed", + "stolen_secrets": [ + "db_password", + "db_user", + "s3_access_key", + "s3_secret_key" + ] + } + } +} diff --git a/go.mod b/go.mod new file mode 100644 index 0000000..6940f15 --- /dev/null +++ b/go.mod @@ -0,0 +1,78 @@ +module github.com/charawein/mtusi2026lab7 + +go 1.26.0 + +// Сборка и govulncheck — Go 1.26.11: в 1.26.0 govulncheck нашёл 38 достижимых +// уязвимостей стандартной библиотеки (net/http, crypto/tls, crypto/x509 …). +toolchain go1.26.11 + +require ( + github.com/exaring/otelpgx v0.13.0 + github.com/google/uuid v1.6.0 + github.com/jackc/pgx/v5 v5.11.0 + github.com/minio/minio-go/v7 v7.4.1 + github.com/rabbitmq/amqp091-go v1.16.0 + github.com/redis/go-redis/extra/redisotel/v9 v9.23.0 + github.com/redis/go-redis/v9 v9.23.0 + go.opentelemetry.io/contrib/bridges/otelslog v0.21.0 + go.opentelemetry.io/contrib/instrumentation/host v0.72.0 + go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.72.0 + go.opentelemetry.io/contrib/instrumentation/runtime v0.72.0 + go.opentelemetry.io/otel v1.47.0 + go.opentelemetry.io/otel/exporters/otlp/otlplog/otlploghttp v0.23.0 + go.opentelemetry.io/otel/exporters/otlp/otlpmetric/otlpmetrichttp v1.47.0 + go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp v1.47.0 + go.opentelemetry.io/otel/log v1.47.0 + go.opentelemetry.io/otel/metric v1.47.0 + go.opentelemetry.io/otel/sdk v1.47.0 + go.opentelemetry.io/otel/sdk/log v1.47.0 + go.opentelemetry.io/otel/sdk/metric v1.47.0 + go.opentelemetry.io/otel/trace v1.47.0 + golang.org/x/crypto v0.58.0 + golang.org/x/image v0.47.0 + golang.org/x/sync v0.25.0 +) + +require ( + github.com/cenkalti/backoff/v5 v5.0.3 // indirect + github.com/cespare/xxhash/v2 v2.3.0 // indirect + github.com/dustin/go-humanize v1.0.1 // indirect + github.com/ebitengine/purego v0.11.1 // indirect + github.com/felixge/httpsnoop v1.1.0 // indirect + github.com/go-logr/logr v1.4.4 // indirect + github.com/go-logr/stdr v1.2.2 // indirect + github.com/go-ole/go-ole v1.3.0 // indirect + github.com/grpc-ecosystem/grpc-gateway/v2 v2.30.0 // indirect + github.com/jackc/pgpassfile v1.0.0 // indirect + github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect + github.com/jackc/puddle/v2 v2.2.2 // indirect + github.com/klauspost/compress v1.19.2 // indirect + github.com/klauspost/cpuid/v2 v2.4.0 // indirect + github.com/klauspost/crc32 v1.3.0 // indirect + github.com/lufia/plan9stats v0.0.0-20260802145828-341c2f0c90b5 // indirect + github.com/minio/crc64nvme v1.1.1 // indirect + github.com/minio/md5-simd v1.1.2 // indirect + github.com/philhofer/fwd v1.2.0 // indirect + github.com/power-devops/perfstat v0.0.0-20260916203055-22a1a467d9f0 // indirect + github.com/redis/go-redis/extra/rediscmd/v9 v9.23.0 // indirect + github.com/rs/xid v1.6.0 // indirect + github.com/shirou/gopsutil/v4 v4.26.9 // indirect + github.com/tinylib/msgp v1.6.4 // indirect + github.com/tklauser/go-sysconf v0.4.0 // indirect + github.com/tklauser/numcpus v0.12.0 // indirect + github.com/yusufpapurcu/wmi v1.2.4 // indirect + github.com/zeebo/xxh3 v1.1.0 // indirect + go.opentelemetry.io/auto/sdk v1.2.1 // indirect + go.opentelemetry.io/otel/exporters/otlp/otlptrace v1.47.0 // indirect + go.opentelemetry.io/proto/otlp v1.11.0 // indirect + go.uber.org/atomic v1.12.0 // indirect + go.yaml.in/yaml/v3 v3.0.5 // indirect + golang.org/x/net v0.62.0 // indirect + golang.org/x/sys v0.49.0 // indirect + golang.org/x/text v0.43.0 // indirect + google.golang.org/genproto/googleapis/api v0.0.0-20260928230214-8a89bd6388cc // indirect + google.golang.org/genproto/googleapis/rpc v0.0.0-20260928230214-8a89bd6388cc // indirect + google.golang.org/grpc v1.83.2 // indirect + google.golang.org/protobuf v1.36.12 // indirect + gopkg.in/ini.v1 v1.67.3 // indirect +) diff --git a/go.sum b/go.sum new file mode 100644 index 0000000..e4f2bbb --- /dev/null +++ b/go.sum @@ -0,0 +1,174 @@ +github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs= +github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c= +github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA= +github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0= +github.com/cenkalti/backoff/v5 v5.0.3 h1:ZN+IMa753KfX5hd8vVaMixjnqRZ3y8CuJKRKj1xcsSM= +github.com/cenkalti/backoff/v5 v5.0.3/go.mod h1:rkhZdG3JZukswDf7f0cwqPNk4K0sa+F97BxZthm/crw= +github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs= +github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= +github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/dustin/go-humanize v1.0.1 h1:GzkhY7T5VNhEkwH0PVJgjz+fX1rhBrR7pRT3mDkpeCY= +github.com/dustin/go-humanize v1.0.1/go.mod h1:Mu1zIs6XwVuF/gI1OepvI0qD18qycQx+mFykh5fBlto= +github.com/ebitengine/purego v0.11.1 h1:2zpWRSQNVKN4eKsKO9eM1ILDgWfYMY9GwqRmK6XeQ/0= +github.com/ebitengine/purego v0.11.1/go.mod h1:DCHPP08djqhNSoTfImcnHYQRZmd0qhakvrozqaEYhGQ= +github.com/exaring/otelpgx v0.13.0 h1:Vi0I2GWRS3nnVzgr73L/XbSLqthR0h6A1rm4Wt3W4aA= +github.com/exaring/otelpgx v0.13.0/go.mod h1:3OojrUKhhy3lTbYIMBijP3YjMey/jo14eHAW5cXcUdk= +github.com/felixge/httpsnoop v1.1.0 h1:3YtUj32ZZkqZtt3sZZsClsymw/QDuVfpNhoA31zeORc= +github.com/felixge/httpsnoop v1.1.0/go.mod h1:Zqxgdd+1Rkcz8euOqdr7lqgCRJztwr5hp9vDSi5UZCE= +github.com/go-logr/logr v1.2.2/go.mod h1:jdQByPbusPIv2/zmleS9BjJVeZ6kBagPoEUsqbVz/1A= +github.com/go-logr/logr v1.4.4 h1:tG4xh9yMsRCAiodLVTxyrkzSZ9+o0L1Kg/+cPVcbP/8= +github.com/go-logr/logr v1.4.4/go.mod h1:9T104GzyrTigFIr8wt5mBrctHMim0Nb2HLGrmQ40KvY= +github.com/go-logr/stdr v1.2.2 h1:hSWxHoqTgW2S2qGc0LTAI563KZ5YKYRhT3MFKZMbjag= +github.com/go-logr/stdr v1.2.2/go.mod h1:mMo/vtBO5dYbehREoey6XUKy/eSumjCCveDpRre4VKE= +github.com/go-ole/go-ole v1.2.6/go.mod h1:pprOEPIfldk/42T2oK7lQ4v4JSDwmV0As9GaiUsvbm0= +github.com/go-ole/go-ole v1.3.0 h1:Dt6ye7+vXGIKZ7Xtk4s6/xVdGDQynvom7xCFEdWr6uE= +github.com/go-ole/go-ole v1.3.0/go.mod h1:5LS6F96DhAwUc7C+1HLexzMXY1xGRSryjyPPKW6zv78= +github.com/golang/protobuf v1.5.4 h1:i7eJL8qZTpSEXOPTxNKhASYpMn+8e5Q6AdndVa1dWek= +github.com/golang/protobuf v1.5.4/go.mod h1:lnTiLA8Wa4RWRcIUkrtSVa5nRhsEGBg48fD6rSs7xps= +github.com/google/go-cmp v0.7.0 h1:wk8382ETsv4JYUZwIsn6YpYiWiBsYLSJiTsyBybVuN8= +github.com/google/go-cmp v0.7.0/go.mod h1:pXiqmnSA92OHEEa9HXL2W4E7lf9JzCmGVUdgjX3N/iU= +github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0= +github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo= +github.com/grpc-ecosystem/grpc-gateway/v2 v2.30.0 h1:/Tnpcb2E0Pz/tN9s3bfEY2Q8ePCEX9iuS+cneUwncnw= +github.com/grpc-ecosystem/grpc-gateway/v2 v2.30.0/go.mod h1:zOBXOsUaBSjKgmH4OGzV1esUpR3oUSCPYVd2cUBjKYY= +github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM= +github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg= +github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo= +github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM= +github.com/jackc/pgx/v5 v5.11.0 h1:IzBBtyK9AHqf98cctWFifYSci2hgQR/cd56wB4p+ogg= +github.com/jackc/pgx/v5 v5.11.0/go.mod h1:mal1tBGAFfLHvZzaYh77YS/eC6IX9OWbRV1QIIM0Jn4= +github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo= +github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4= +github.com/klauspost/compress v1.19.2 h1:hMRETovs/pu/dVWN7zIT1PGG8t509MwT6bO7XSi26R8= +github.com/klauspost/compress v1.19.2/go.mod h1:cwPg85FWrGar70rWktvGQj8/hthj3wpl0PGDogxkrSQ= +github.com/klauspost/cpuid/v2 v2.0.1/go.mod h1:FInQzS24/EEf25PyTYn52gqo7WaD8xa0213Md/qVLRg= +github.com/klauspost/cpuid/v2 v2.4.0 h1:S6Hrbc7+ywsr0r+RLapfGBHfyefhCTwEh3A0tV913Dw= +github.com/klauspost/cpuid/v2 v2.4.0/go.mod h1:19jmZ9mjzoF//ddRSUsv0zfBTJWh3QJh9FNxZTMrGxU= +github.com/klauspost/crc32 v1.3.0 h1:sSmTt3gUt81RP655XGZPElI0PelVTZ6YwCRnPSupoFM= +github.com/klauspost/crc32 v1.3.0/go.mod h1:D7kQaZhnkX/Y0tstFGf8VUzv2UofNGqCjnC3zdHB0Hw= +github.com/lufia/plan9stats v0.0.0-20260802145828-341c2f0c90b5 h1:eveIIGn4BGM3qknO74omf6HYr30/exH+eVUTuAgwjZ0= +github.com/lufia/plan9stats v0.0.0-20260802145828-341c2f0c90b5/go.mod h1:autxFIvghDt3jPTLoqZ9OZ7s9qTGNAWmYCjVFWPX/zg= +github.com/minio/crc64nvme v1.1.1 h1:8dwx/Pz49suywbO+auHCBpCtlW1OfpcLN7wYgVR6wAI= +github.com/minio/crc64nvme v1.1.1/go.mod h1:eVfm2fAzLlxMdUGc0EEBGSMmPwmXD5XiNRpnu9J3bvg= +github.com/minio/md5-simd v1.1.2 h1:Gdi1DZK69+ZVMoNHRXJyNcxrMA4dSxoYHZSQbirFg34= +github.com/minio/md5-simd v1.1.2/go.mod h1:MzdKDxYpY2BT9XQFocsiZf/NKVtR7nkE4RoEpN+20RM= +github.com/minio/minio-go/v7 v7.4.1 h1:PtU/zIOfQRWZ+QydXAZysc+xZYHdG+BBR4Z6TUvy73w= +github.com/minio/minio-go/v7 v7.4.1/go.mod h1:nQnQi7zTfXR4lREtYXZQWqo5aw0Rqv+ZqCGrTORygRk= +github.com/philhofer/fwd v1.2.0 h1:e6DnBTl7vGY+Gz322/ASL4Gyp1FspeMvx1RNDoToZuM= +github.com/philhofer/fwd v1.2.0/go.mod h1:RqIHx9QI14HlwKwm98g9Re5prTQ6LdeRQn+gXJFxsJM= +github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= +github.com/power-devops/perfstat v0.0.0-20260916203055-22a1a467d9f0 h1:XA01Vk/wv9YikCi1V51yRzIHPMT5of9+cMpZoZvDn/M= +github.com/power-devops/perfstat v0.0.0-20260916203055-22a1a467d9f0/go.mod h1:OmDBASR4679mdNQnz2pUhc2G8CO2JrUAVFDRBDP/hJE= +github.com/rabbitmq/amqp091-go v1.16.0 h1:1O8oQqnj9hLACoo6CVMgn57z2pLWXvgemhh4GsquV+Y= +github.com/rabbitmq/amqp091-go v1.16.0/go.mod h1:Hy4jKW5kQART1u+JkDTF9YYOQUHXqMuhrgxOEeS7G4o= +github.com/redis/go-redis/extra/rediscmd/v9 v9.23.0 h1:YOQCtePRR/cBrxtZB5u2ueYei3zGJm1n0KB2tvth0k0= +github.com/redis/go-redis/extra/rediscmd/v9 v9.23.0/go.mod h1:BzBb5fEjIwijUn8VVkXfQUwFTGyk2vGIVU19zv2GhsM= +github.com/redis/go-redis/extra/redisotel/v9 v9.23.0 h1:EBQ01zUjwarZZ4IoSTQNU9EEc223eB9tpSun6n5EaUU= +github.com/redis/go-redis/extra/redisotel/v9 v9.23.0/go.mod h1:4xBZ7QF+cd90pc58g+cXH1aLJBgOGd4Gp5BBQvNtPn0= +github.com/redis/go-redis/v9 v9.23.0 h1:/TTVdJa8BRNsybwwGGnmiYktHNlUXtbOQxlWpHBPL3s= +github.com/redis/go-redis/v9 v9.23.0/go.mod h1:EWP2UUk+XDaI1s5nQB5mablZN6vccXlmBQTyfnF87D0= +github.com/rs/xid v1.6.0 h1:fV591PaemRlL6JfRxGDEPl69wICngIQ3shQtzfy2gxU= +github.com/rs/xid v1.6.0/go.mod h1:7XoLgs4eV+QndskICGsho+ADou8ySMSjJKDIan90Nz0= +github.com/shirou/gopsutil/v4 v4.26.9 h1:CaBo/hBFqvlJoLvAQEKdHdf5GD97/MN2ACfyv63+2Ig= +github.com/shirou/gopsutil/v4 v4.26.9/go.mod h1:nKH+8wX2zxr/mDbsR+AAy6Qd2z4ZOQ7wfQaEp+yrYmg= +github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME= +github.com/stretchr/objx v0.4.0/go.mod h1:YvHI0jy2hoMjB+UWwv71VJQ9isScKT/TqJzVSSt89Yw= +github.com/stretchr/objx v0.5.0/go.mod h1:Yh+to48EsGEfYuaHDzXPcE3xhTkx73EhmCGUpEOglKo= +github.com/stretchr/objx v0.5.2/go.mod h1:FRsXN1f5AsAjCGJKqEizvkpNtU+EGNCLh3NxZ/8L+MA= +github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI= +github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/stretchr/testify v1.7.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/stretchr/testify v1.8.0/go.mod h1:yNjHg4UonilssWZ8iaSj1OCr/vHnekPRkoO+kdMU+MU= +github.com/stretchr/testify v1.8.4/go.mod h1:sz/lmYIOXD/1dqDmKjjqLyZ2RngseejIcXlSw2iwfAo= +github.com/stretchr/testify v1.11.1/go.mod h1:wZwfW3scLgRK+23gO65QZefKpKQRnfz6sD981Nm4B6U= +github.com/stretchr/testify v1.12.1 h1:EuwCh5fleGS7H32xRwO3wRGT7DxrDhLAT6FF8MpWDWE= +github.com/stretchr/testify v1.12.1/go.mod h1:MDEgiDPPsNp5cuIrHPPCyornHKgEVbtFUmoNlxoYthg= +github.com/tinylib/msgp v1.6.4 h1:mOwYbyYDLPj35mkA2BjjYejgJk9BuHxDdvRnb6v2ZcQ= +github.com/tinylib/msgp v1.6.4/go.mod h1:RSp0LW9oSxFut3KzESt5Voq4GVWyS+PSulT77roAqEA= +github.com/tklauser/go-sysconf v0.4.0 h1:7H0uAN+7RkwWRaxhYXDLqa5V3LPrJeV8wmD9dRUgPQU= +github.com/tklauser/go-sysconf v0.4.0/go.mod h1:8mTNWyog7H+MpKijp4VmKJAd2bbYQ2zuUwkYRbUArPI= +github.com/tklauser/numcpus v0.12.0 h1:NR85qdvHA9pFse3x3weVZ0r0ST8R6l5RHbZrlRaqob4= +github.com/tklauser/numcpus v0.12.0/go.mod h1:ABHeXzJnr/qqwguhClkZKT1/8VABcYrsyUiUGobwWJg= +github.com/yusufpapurcu/wmi v1.2.4 h1:zFUKzehAFReQwLys1b/iSMl+JQGSCSjtVqQn9bBrPo0= +github.com/yusufpapurcu/wmi v1.2.4/go.mod h1:SBZ9tNy3G9/m5Oi98Zks0QjeHVDvuK0qfxQmPyzfmi0= +github.com/zeebo/assert v1.3.0 h1:g7C04CbJuIDKNPFHmsk4hwZDO5O+kntRxzaUoNXj+IQ= +github.com/zeebo/assert v1.3.0/go.mod h1:Pq9JiuJQpG8JLJdtkwrJESF0Foym2/D9XMU5ciN/wJ0= +github.com/zeebo/xxh3 v1.1.0 h1:s7DLGDK45Dyfg7++yxI0khrfwq9661w9EN78eP/UZVs= +github.com/zeebo/xxh3 v1.1.0/go.mod h1:IisAie1LELR4xhVinxWS5+zf1lA4p0MW4T+w+W07F5s= +go.opentelemetry.io/auto/sdk v1.2.1 h1:jXsnJ4Lmnqd11kwkBV2LgLoFMZKizbCi5fNZ/ipaZ64= +go.opentelemetry.io/auto/sdk v1.2.1/go.mod h1:KRTj+aOaElaLi+wW1kO/DZRXwkF4C5xPbEe3ZiIhN7Y= +go.opentelemetry.io/contrib/bridges/otelslog v0.21.0 h1:/CdgE52i1OEPHhsGUqrggYNRaZy4v4YgVenGd52dRBI= +go.opentelemetry.io/contrib/bridges/otelslog v0.21.0/go.mod h1:9pBdbVbuehIDzxN4accnzzxEUPT8Nq7grbZMo+J1VN4= +go.opentelemetry.io/contrib/instrumentation/host v0.72.0 h1:DqxFkQ1eCzAQNPJNog2+tL9k3OaULuiYHiZaz2Waq54= +go.opentelemetry.io/contrib/instrumentation/host v0.72.0/go.mod h1:Jn5AUVzW8ZWjm4S1uRMlio5gZxVpmXRr/2PmdESRE7Y= +go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.72.0 h1:LxwW/9ctSCv+QkE/cLR7M91ZIkXNMqJtEMi1vCw9U8s= +go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.72.0/go.mod h1:tOsftB4SslBwwErVEPaenU2RpThXWPIU8DoJHEC4dyw= +go.opentelemetry.io/contrib/instrumentation/runtime v0.72.0 h1:rv8t3kKjyC2/9D99L1MZt4tJSZO4aYUmHus7L//iKKg= +go.opentelemetry.io/contrib/instrumentation/runtime v0.72.0/go.mod h1:ZzG+JmzLLvKzx6tMeLrw2l7F8ik2GeRZJALoPBqnM0c= +go.opentelemetry.io/otel v1.47.0 h1:j7ALJ/zgkS7Z6aeJW09p8VC9804bC+PpeTfCD4XPnOM= +go.opentelemetry.io/otel v1.47.0/go.mod h1:8wS9O2qfXrYrzp6hIF/HOYJJf/wIhFPhR2xLuP+iXQU= +go.opentelemetry.io/otel/exporters/otlp/otlplog/otlploghttp v0.23.0 h1:5WVp40k2fJHuc5BtNTgKk+EugKFT8Eg3lywFfCPI/nE= +go.opentelemetry.io/otel/exporters/otlp/otlplog/otlploghttp v0.23.0/go.mod h1:59nH0RYCGHRlwt15WyioeSYINBbuObeBpTowPhEKWHY= +go.opentelemetry.io/otel/exporters/otlp/otlpmetric/otlpmetrichttp v1.47.0 h1:7kszRN4Ze5GeAkUnBjBSUIunVBMA+mZIG04auueqguM= +go.opentelemetry.io/otel/exporters/otlp/otlpmetric/otlpmetrichttp v1.47.0/go.mod h1:CLzakYy8jOdkBfcveCWYkeKJxujcF4xPhh2Z7IfE98U= +go.opentelemetry.io/otel/exporters/otlp/otlptrace v1.47.0 h1:julhjPeUH/q/7hinbSdDdqt5h7Zw9YWmRlWRhI0jd54= +go.opentelemetry.io/otel/exporters/otlp/otlptrace v1.47.0/go.mod h1:Ao2mz688LH/tFf0yMAenidq6k2YNSx6SIY2q6jDACck= +go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp v1.47.0 h1:aXZXsZ012wOgVkqaiQv+Z/d8V0xKjmg70F6m4CE94lc= +go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp v1.47.0/go.mod h1:ziu1gUIJhAaxM3EV1e3Ralk5AAyL1UOYz3lJJ4VSI38= +go.opentelemetry.io/otel/log v1.47.0 h1:cOTS1CcLbSQeZKanGJ+0JpF/+t4PELi3O3bbl2lqCcI= +go.opentelemetry.io/otel/log v1.47.0/go.mod h1:9byitSQ5pLC6PpqwGXjqdMKya6ZTswHRZh2vvXT33nw= +go.opentelemetry.io/otel/metric v1.47.0 h1:4PptaldXx3Eat1XjMZ68pPJEs5wrhlemctZE9a3UdWY= +go.opentelemetry.io/otel/metric v1.47.0/go.mod h1:ADGSXxRrXM6bjbvLo535EstVFlPpPYZm4LBKixjDHwU= +go.opentelemetry.io/otel/metric/x v0.69.0 h1:DjRLr15H83v+hCW7JA9NoJvOkYTtmq5YoDRbe9deYpM= +go.opentelemetry.io/otel/metric/x v0.69.0/go.mod h1:uVvsMPMFFyj/HUQfrUnH3JjnOQ1dwFDorgFLRBasM0k= +go.opentelemetry.io/otel/sdk v1.47.0 h1:zWXEr4j2lFefG87TU6Yg8a7ngfohIKFZHKp0Hf5hC6I= +go.opentelemetry.io/otel/sdk v1.47.0/go.mod h1:VUc24kiOeoGsxG8G9ULx3fWKvB7jMhnGE8Oi607lgR0= +go.opentelemetry.io/otel/sdk/log v1.47.0 h1:W4N/ZfgpkRRnmARnqYoQ6BrWA0mrj8IzVDNLlpmUJZY= +go.opentelemetry.io/otel/sdk/log v1.47.0/go.mod h1:Wu74Z2EmOKXi2FleSNAb0Hyau2G+r5kubSEMJw5aAMs= +go.opentelemetry.io/otel/sdk/log/logtest v0.23.0 h1:j3pm42QCrKYYLLkI6OrV1QHFkUfDA6/4EP+Y1PzggLg= +go.opentelemetry.io/otel/sdk/log/logtest v0.23.0/go.mod h1:zt0gEnuTZgDvqvczHwYswz93eqMaIr6upTTsdV/HUlU= +go.opentelemetry.io/otel/sdk/metric v1.47.0 h1:lfISg2j93VT6yqdk9OfUaZmw/GfcZqCCV3jdXtsPnKw= +go.opentelemetry.io/otel/sdk/metric v1.47.0/go.mod h1:ypLp+mW1Nt2x+Szt3b5/i1syodyts49lMOwxpDI3VGw= +go.opentelemetry.io/otel/trace v1.47.0 h1:JOjX/Oci8K94QHddo+bbfya/Ai/nf6/dt9ZfrFNWSrM= +go.opentelemetry.io/otel/trace v1.47.0/go.mod h1:jNaSLa2PZEYFG6fRjJABAu+bw4FS08uDmPg28lTghu0= +go.opentelemetry.io/proto/otlp v1.11.0 h1:5rrYs0Ykyj50sdU/JU0x8etU+LubXWb+gED6TbEdMIk= +go.opentelemetry.io/proto/otlp v1.11.0/go.mod h1:SmVizdCOAm3XBtG1g1NnOdhW6jtddT72hLMhv8VwA8E= +go.uber.org/atomic v1.12.0 h1:BvcXdFKuviU4fTL/f+SxdQ5qJX/Jix8pAkgdUcb3XOE= +go.uber.org/atomic v1.12.0/go.mod h1:I6c4cg+6HCxRjfjSsYtApoFILnpc0CGUdGkXVqbYVNk= +go.uber.org/goleak v1.3.0 h1:2K3zAYmnTNqV73imy9J1T3WC+gmCePx2hEGkimedGto= +go.uber.org/goleak v1.3.0/go.mod h1:CoHD4mav9JJNrW/WLlf7HGZPjdw8EucARQHekz1X6bE= +go.yaml.in/yaml/v3 v3.0.5 h1:N6y/pJk8buWs9NY5ERU2HSMfm+IuD/OtfdAnq6kESPw= +go.yaml.in/yaml/v3 v3.0.5/go.mod h1:HVTZu1O7/Vkt2N+BFy8Zza+lnLsABggaTM2ZpNIGuKg= +golang.org/x/crypto v0.58.0 h1:COkYLr4k7nDI4r6QtMML2AfzeIswWHAJthLS6K/M/54= +golang.org/x/crypto v0.58.0/go.mod h1:Xh+kl5A+M0gMiWDytH2Hhr5Z7WbNCpv/eB/EFgfSk+w= +golang.org/x/image v0.47.0 h1:za/8gVz++PPZqmZJBNSISICN5Rrj5zixP/8K++fgmqo= +golang.org/x/image v0.47.0/go.mod h1:IkN5o4A7vq55vXN8FWjjnhg9Rs2GOtffqsSi9mWAKYE= +golang.org/x/net v0.60.0 h1:79p50tfZlm0J9YfoDsSi639qSXNGVwEzOPLCxM2FsYU= +golang.org/x/net v0.60.0/go.mod h1:2DA/G1UfVbCpQPeWTmMPGY7Cs2PkBkwu743bVX5PIVg= +golang.org/x/net v0.62.0 h1:18ELalfM5+XNRwzM2nYqXsZQ9ByS1uhj2O/U7+5jqRY= +golang.org/x/net v0.62.0/go.mod h1:WgDCOTH8iwtB66T4/GfI94AHo/hhdb7Hah9NDseQfiI= +golang.org/x/sync v0.25.0 h1:dJnifr0nMV8/SBnBvdo4eSGGnrc3O4FFx6IqvtLcmRs= +golang.org/x/sync v0.25.0/go.mod h1:sUUOizhqBxiL6pEWpqNLUiaJn1ShEbZ6BBqskPbjZm0= +golang.org/x/sys v0.0.0-20190916202348-b4ddaad3f8a3/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.0.0-20201204225414-ed752295db88/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.1.0/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg= +golang.org/x/sys v0.49.0 h1:XbzkgYJHdqh/8m2Uu0W/dQv8nktxx4BFHp1M0gROTXA= +golang.org/x/sys v0.49.0/go.mod h1:hNLxWAXmnKAxqDtdwIYC4bM9oQPEecfsnNMuSxOs3og= +golang.org/x/text v0.43.0 h1:1QivrlhwAsnMOcqgOdl9my7s9OyZl8O5/UGUTJVXoWc= +golang.org/x/text v0.43.0/go.mod h1:hbSIYA/amXcRXTFSZqh8tWHEoqRvvbKPJ2uz/KU+a+s= +gonum.org/v1/gonum v0.17.0 h1:VbpOemQlsSMrYmn7T2OUvQ4dqxQXU+ouZFQsZOx50z4= +gonum.org/v1/gonum v0.17.0/go.mod h1:El3tOrEuMpv2UdMrbNlKEh9vd86bmQ6vqIcDwxEOc1E= +google.golang.org/genproto/googleapis/api v0.0.0-20260928230214-8a89bd6388cc h1:rZHRz0ogq4Pid1IKtA/ivHi8XONVF5tqUQXA2TtgpkE= +google.golang.org/genproto/googleapis/api v0.0.0-20260928230214-8a89bd6388cc/go.mod h1:K/n0XLazCJHjD73YuMyNJsN38BPPy1kfFnKxUXaThFU= +google.golang.org/genproto/googleapis/rpc v0.0.0-20260928230214-8a89bd6388cc h1:4bNTbnb44EqGVy9HaQxSY2jnafSUdgV3qHtedvNpDKg= +google.golang.org/genproto/googleapis/rpc v0.0.0-20260928230214-8a89bd6388cc/go.mod h1:OaIUM3+LpYcK2GXM4FTmhWoIq371Owdr+Cc7/BsYHHc= +google.golang.org/grpc v1.83.2 h1:EManeRomTObA0BU7I8vXgg/78uE5MJ9M8B39EX2WscU= +google.golang.org/grpc v1.83.2/go.mod h1:YPI1hK3kDked6iHvgX3tR0y+nX/qpMFKhPgFsokw1S8= +google.golang.org/protobuf v1.36.12 h1:pJOKDDOyeXErUroCihFAd5LQuwXBSpVnKGrj5o/fwxc= +google.golang.org/protobuf v1.36.12/go.mod h1:HTf+CrKn2C3g5S8VImy6tdcUvCska2kB7j23XfzDpco= +gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/ini.v1 v1.67.3 h1:iM9Lhz5MRSGhHVGGwCuzG9KO8PoirCXj/m/qTmOJJQw= +gopkg.in/ini.v1 v1.67.3/go.mod h1:x/cyOwCgZqOkJoDIJ3c1KNHMo10+nLGAhh+kn3Zizss= +gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= diff --git a/infra/RUNBOOKS.md b/infra/RUNBOOKS.md new file mode 100644 index 0000000..f217842 --- /dev/null +++ b/infra/RUNBOOKS.md @@ -0,0 +1,35 @@ +# Runbooks alert-ов мессенджера + +Все шаги выполняются только по сохранённым наблюдениям: Grafana (dashboard «Messenger — API, worker, очередь», Explore → Prometheus / Loki / Tempo). Доступ к контейнерам нужен только для устранения причины, не для поиска. + +## MessengerHighErrorRate + +**Условие:** доля 5xx среди бизнес-запросов (все маршруты, кроме `/health/*`) за 1 минуту > 5% при ≥ 0.5 запроса/с, 30 s подряд. 4xx — ошибки клиента — не учитываются. + +1. Dashboard → «Доля ошибок 5xx и 4xx» и «p95 по маршруту»: один маршрут или все? Если все — общая зависимость (БД, Redis, S3); если один — его обработчик. +2. «Пул БД: занято / ожидания»: `pgxpool_acquired_connections` упёрся в `pgxpool_max_connections` и растут ожидания (`pgxpool_empty_acquire_total`) — БД не отдаёт соединения или запросы висят. +3. Explore → Tempo: `{resource.service.name="messenger-api" && span.http.response.status_code >= 500}`. Открыть трассу и посмотреть, какой дочерний span занимает время: + * длинный `query …` / `acquire` (PostgreSQL) — проблема БД (блокировка, недоступность); подтвердить в БД `pg_stat_activity` (wait_event = Lock); + * длинный `S3 …` — хранилище файлов; + * дочерние spans короткие, а server span длинный — медленный сам обработчик/тело запроса. +4. Explore → Loki: `{service_name="messenger-api"} | detected_level=~"error|ERROR"` за то же окно; по `trace_id` из лога — переход в трассу. +5. Устранить причину; alert перейдёт в resolved, когда окно 1m очистится от ошибок. + +## MessengerQueueLagGrowing + +**Условие:** старейшая незавершённая job (queued/processing) старше 60 s, 30 s подряд. Возраст считается по PostgreSQL (источник истины), не по брокеру. + +1. Dashboard → «Очередь: jobs по состоянию»: растёт `queued` при нулевом `processing` — задания никто не берёт; растёт `processing` — worker берёт, но не завершает. +2. «Jobs по исходу (rate)»: нет `done` — worker стоит; много `retry`/`requeue` — worker работает, но падает на зависимости (S3/БД). +3. `messenger_worker_capacity` есть? Нет серии ≥ 1 мин → worker не запущен (сработает и `MessengerWorkerAbsent`). +4. «RabbitMQ: сообщения в очередях»: ready растёт — сообщения есть, потребителя нет; ready = 0 при queued в БД — relay не публикует outbox (см. «outbox не опубликовано» и возраст outbox). +5. Tempo: последние `attachment.process process` (worker) и `attachment.process publish` (relay) — что выполнялось последним; Loki `{service_name="messenger-worker"}` — последние события (`worker.start`, `job.retry`, `shutdown`). +6. После запуска/починки worker backlog уменьшается (панель возраста падает до 0), alert — resolved. + +## MessengerWorkerAbsent + +Нет метрик ни одного worker 1 минуту (серии исчезают через 1 мин после остановки процесса: `metric_expiration` Collector). Проверить `docker compose ps worker`, логи запуска (`worker.start`) и доступность Collector (если Collector недоступен, исчезают метрики всех сервисов — смотреть `MessengerTelemetryExportFailing` и метрики самого Collector). + +## MessengerTelemetryExportFailing + +Collector не может доставить spans/логи в Tempo/Loki (после ограниченной очереди и 60 s повторов данные отбрасываются, счётчики `otelcol_exporter_send_failed_*`). Бизнес-API не затронут. Проверить доступность Tempo/Loki, `otelcol_exporter_queue_size` относительно `otelcol_exporter_queue_capacity`. Потерянные за время отказа трассы/логи не восстанавливаются; метрики приложения при этом продолжают собираться (Prometheus забирает их напрямую из Collector). diff --git a/infra/grafana/dashboards/messenger.json b/infra/grafana/dashboards/messenger.json new file mode 100644 index 0000000..58c476f --- /dev/null +++ b/infra/grafana/dashboards/messenger.json @@ -0,0 +1,1497 @@ +{ + "uid": "messenger-overview", + "title": "Messenger — API, worker, очередь", + "tags": [ + "lab6", + "messenger" + ], + "timezone": "browser", + "schemaVersion": 39, + "version": 1, + "refresh": "10s", + "time": { + "from": "now-30m", + "to": "now" + }, + "editable": false, + "graphTooltip": 1, + "panels": [ + { + "type": "row", + "title": "Сводка и SLO", + "id": 1, + "collapsed": false, + "gridPos": { + "h": 1, + "w": 24, + "x": 0, + "y": 0 + }, + "panels": [] + }, + { + "type": "stat", + "title": "RPS API (бизнес)", + "id": 2, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "sum(rate(http_server_request_duration_seconds_count)) без /health/*", + "gridPos": { + "h": 4, + "w": 4, + "x": 0, + "y": 1 + }, + "fieldConfig": { + "defaults": { + "unit": "reqps", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ] + }, + "colorMode": "value" + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "messenger:http_requests:rate1m", + "refId": "A" + } + ] + }, + { + "type": "stat", + "title": "Доля 5xx (1m)", + "id": 3, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "5xx / все бизнес-запросы (кроме /health/*). SLO: ≤ 0.5%", + "gridPos": { + "h": 4, + "w": 4, + "x": 4, + "y": 1 + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "orange", + "value": 0.005 + }, + { + "color": "red", + "value": 0.05 + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ] + }, + "colorMode": "value" + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "messenger:http_error_ratio:rate1m", + "refId": "A" + } + ] + }, + { + "type": "stat", + "title": "Быстрее 250 ms (5m)", + "id": 4, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "SLO задержки: ≥ 95% бизнес-запросов быстрее 250 ms", + "gridPos": { + "h": 4, + "w": 4, + "x": 8, + "y": 1 + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "red", + "value": null + }, + { + "color": "green", + "value": 0.95 + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ] + }, + "colorMode": "value" + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "messenger:http_fast_ratio:rate5m", + "refId": "A" + } + ] + }, + { + "type": "stat", + "title": "Ready быстрее 30 s (5m)", + "id": 5, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "SLO времени до ready: ≥ 95% вложений", + "gridPos": { + "h": 4, + "w": 4, + "x": 12, + "y": 1 + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "red", + "value": null + }, + { + "color": "green", + "value": 0.95 + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ] + }, + "colorMode": "value" + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "messenger:time_to_ready_fast_ratio:rate5m", + "refId": "A" + } + ] + }, + { + "type": "stat", + "title": "Старейшая job", + "id": 6, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 4, + "w": 4, + "x": 16, + "y": 1 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "orange", + "value": 30 + }, + { + "color": "red", + "value": 60 + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ] + }, + "colorMode": "value" + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max(messenger_jobs_oldest_age_seconds)", + "refId": "A" + } + ] + }, + { + "type": "stat", + "title": "Alerts firing", + "id": 7, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 4, + "w": 4, + "x": 20, + "y": 1 + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "thresholds": { + "mode": "absolute", + "steps": [ + { + "color": "green", + "value": null + }, + { + "color": "red", + "value": 1 + } + ] + } + }, + "overrides": [] + }, + "options": { + "reduceOptions": { + "calcs": [ + "lastNotNull" + ] + }, + "colorMode": "value" + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "count(ALERTS{alertstate=\"firing\"}) or vector(0)", + "refId": "A" + } + ] + }, + { + "type": "row", + "title": "API (messenger-api)", + "id": 8, + "collapsed": false, + "gridPos": { + "h": 1, + "w": 24, + "x": 0, + "y": 5 + }, + "panels": [] + }, + { + "type": "timeseries", + "title": "RPS по маршруту и классу ответа", + "id": 9, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "Счётчик = _count histogram (одна метрика, не две)", + "gridPos": { + "h": 8, + "w": 8, + "x": 0, + "y": 6 + }, + "fieldConfig": { + "defaults": { + "unit": "reqps", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (http_route, http_response_status_class) (rate(http_server_request_duration_seconds_count{job=\"messenger-api\", http_route!~\"/health/.*\"}[$__rate_interval]))", + "legendFormat": "{{http_route}} {{http_response_status_class}}", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Задержка API p50 / p95 / p99 (все реплики)", + "id": 10, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "histogram_quantile по сумме buckets всех реплик; среднее p99 реплик не используется", + "gridPos": { + "h": 8, + "w": 8, + "x": 8, + "y": 6 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.5, sum by (le) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\", http_route!~\"/health/.*\"}[$__rate_interval])))", + "legendFormat": "p50", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\", http_route!~\"/health/.*\"}[$__rate_interval])))", + "legendFormat": "p95", + "refId": "B", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\", http_route!~\"/health/.*\"}[$__rate_interval])))", + "legendFormat": "p99", + "refId": "C", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Доля ошибок 5xx и 4xx", + "id": 11, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 16, + "y": 6 + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + }, + "min": 0 + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "messenger:http_error_ratio:rate1m", + "legendFormat": "5xx / все", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(http_server_request_duration_seconds_count{job=\"messenger-api\", http_route!~\"/health/.*\", http_response_status_class=\"4xx\"}[1m])) / messenger:http_requests:rate1m", + "legendFormat": "4xx / все (ошибки клиента)", + "refId": "B", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "p95 по маршруту", + "id": 12, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 12, + "x": 0, + "y": 14 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{job=\"messenger-api\", http_route!~\"/health/.*\"}[$__rate_interval])))", + "legendFormat": "{{http_route}}", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Запросы в обработке (in-flight) по реплике", + "id": 13, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 12, + "x": 12, + "y": 14 + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (instance) (http_server_active_requests{job=\"messenger-api\"})", + "legendFormat": "{{instance}}", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "row", + "title": "Worker и очередь", + "id": 14, + "collapsed": false, + "gridPos": { + "h": 1, + "w": 24, + "x": 0, + "y": 22 + }, + "panels": [] + }, + { + "type": "timeseries", + "title": "Jobs по исходу (rate)", + "id": 15, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "done / retry / failed / duplicate / not_due / requeue …", + "gridPos": { + "h": 8, + "w": 8, + "x": 0, + "y": 23 + }, + "fieldConfig": { + "defaults": { + "unit": "ops", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (outcome) (rate(messenger_jobs_processed_total[$__rate_interval]))", + "legendFormat": "{{outcome}}", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Длительность обработки job p50 / p95 / p99", + "id": 16, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 8, + "y": 23 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.5, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome=\"done\"}[$__rate_interval])))", + "legendFormat": "p50", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome=\"done\"}[$__rate_interval])))", + "legendFormat": "p95", + "refId": "B", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.99, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome=\"done\"}[$__rate_interval])))", + "legendFormat": "p99", + "refId": "C", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Время до ready (202 → ready) p50 / p95", + "id": 17, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 16, + "y": 23 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.5, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))", + "legendFormat": "p50", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))", + "legendFormat": "p95", + "refId": "B", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Очередь: jobs по состоянию (PostgreSQL)", + "id": 18, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 0, + "y": 31 + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (state) (messenger_jobs_backlog)", + "legendFormat": "{{state}}", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(messenger_outbox_pending)", + "legendFormat": "outbox не опубликовано", + "refId": "B", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Возраст старейшей job / outbox", + "id": 19, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "Backlog (сколько ждёт) ≠ latency обработки; alert при > 60 s", + "gridPos": { + "h": 8, + "w": 8, + "x": 8, + "y": 31 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max(messenger_jobs_oldest_age_seconds)", + "legendFormat": "job (queued/processing)", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "max(messenger_outbox_oldest_age_seconds)", + "legendFormat": "outbox", + "refId": "B", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "RabbitMQ: сообщения в очередях", + "id": 20, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 16, + "y": 31 + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (queue) (rabbitmq_detailed_queue_messages_ready or rabbitmq_queue_messages_ready)", + "legendFormat": "ready {{queue}}", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (queue) (rabbitmq_detailed_queue_messages_unacked or rabbitmq_queue_messages_unacked)", + "legendFormat": "unacked {{queue}}", + "refId": "B", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Saturation worker (busy / capacity)", + "id": 21, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 0, + "y": 39 + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + }, + "min": 0, + "max": 1 + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(messenger_worker_busy) / sum(messenger_worker_capacity)", + "legendFormat": "занято слотов", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Publish outbox → broker (confirm) p95", + "id": 22, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 8, + "y": 39 + }, + "fieldConfig": { + "defaults": { + "unit": "s", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "histogram_quantile(0.95, sum by (le) (rate(messenger_outbox_publish_duration_seconds_bucket[$__rate_interval])))", + "legendFormat": "p95", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate(messenger_outbox_published_total[$__rate_interval]))", + "legendFormat": "сообщений/с", + "refId": "B", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Пул БД: занято / ожидания", + "id": 23, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "empty_acquire — acquire, которому пришлось ждать свободное соединение", + "gridPos": { + "h": 8, + "w": 8, + "x": 16, + "y": 39 + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job) (pgxpool_acquired_connections)", + "legendFormat": "занято {{job}}", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job) (pgxpool_max_connections)", + "legendFormat": "max {{job}}", + "refId": "B", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job) (rate(pgxpool_empty_acquire_total[$__rate_interval]))", + "legendFormat": "ожиданий/с {{job}}", + "refId": "C", + "exemplar": true + } + ] + }, + { + "type": "row", + "title": "Ресурсы процессов и телеметрии", + "id": 24, + "collapsed": false, + "gridPos": { + "h": 1, + "w": 24, + "x": 0, + "y": 47 + }, + "panels": [] + }, + { + "type": "timeseries", + "title": "CPU процессов", + "id": 25, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "доля одного ядра; лимиты контейнеров в compose.yaml", + "gridPos": { + "h": 8, + "w": 8, + "x": 0, + "y": 48 + }, + "fieldConfig": { + "defaults": { + "unit": "percentunit", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job, instance) (rate(process_cpu_time_seconds_total[$__rate_interval]))", + "legendFormat": "{{job}} {{instance}}", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Память Go (used)", + "id": 26, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 8, + "y": 48 + }, + "fieldConfig": { + "defaults": { + "unit": "bytes", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum by (job, instance) (go_memory_used_bytes)", + "legendFormat": "{{job}} {{instance}}", + "refId": "A", + "exemplar": true + } + ] + }, + { + "type": "timeseries", + "title": "Collector: принято / отправлено / потеряно spans", + "id": 27, + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "description": "", + "gridPos": { + "h": 8, + "w": 8, + "x": 16, + "y": 48 + }, + "fieldConfig": { + "defaults": { + "unit": "none", + "custom": { + "fillOpacity": 10, + "showPoints": "never", + "stacking": { + "mode": "none" + } + } + }, + "overrides": [] + }, + "options": { + "legend": { + "displayMode": "list", + "placement": "bottom" + }, + "tooltip": { + "mode": "multi" + } + }, + "targets": [ + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate({__name__=~\"otelcol_receiver_accepted_spans(_total)?\"}[$__rate_interval]))", + "legendFormat": "принято", + "refId": "A", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate({__name__=~\"otelcol_exporter_sent_spans(_total)?\"}[$__rate_interval]))", + "legendFormat": "отправлено", + "refId": "B", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate({__name__=~\"otelcol_exporter_send_failed_spans(_total)?\"}[$__rate_interval]))", + "legendFormat": "не доставлено", + "refId": "C", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(rate({__name__=~\"otelcol_receiver_refused_spans(_total)?\"}[$__rate_interval]))", + "legendFormat": "отклонено (memory_limiter)", + "refId": "D", + "exemplar": true + }, + { + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "expr": "sum(otelcol_exporter_queue_size)", + "legendFormat": "очередь экспортёров", + "refId": "E", + "exemplar": true + } + ] + }, + { + "type": "row", + "title": "Логи и трассы", + "id": 28, + "collapsed": false, + "gridPos": { + "h": 1, + "w": 24, + "x": 0, + "y": 56 + }, + "panels": [] + }, + { + "type": "logs", + "title": "Логи API и worker (ошибки и предупреждения)", + "id": 29, + "datasource": { + "type": "loki", + "uid": "loki" + }, + "gridPos": { + "h": 10, + "w": 12, + "x": 0, + "y": 57 + }, + "options": { + "showTime": true, + "wrapLogMessage": true, + "enableLogDetails": true, + "sortOrder": "Descending" + }, + "targets": [ + { + "datasource": { + "type": "loki", + "uid": "loki" + }, + "refId": "A", + "expr": "{service_name=~\"messenger-(api|worker|relay)\"} | detected_level=~\"warn|error|WARN|ERROR\"" + } + ] + }, + { + "type": "table", + "title": "Трассы worker (последние)", + "id": 30, + "datasource": { + "type": "tempo", + "uid": "tempo" + }, + "gridPos": { + "h": 10, + "w": 12, + "x": 12, + "y": 57 + }, + "targets": [ + { + "datasource": { + "type": "tempo", + "uid": "tempo" + }, + "refId": "A", + "queryType": "traceql", + "limit": 20, + "query": "{resource.service.name=\"messenger-worker\" && name=\"attachment.process process\"}" + } + ] + } + ], + "templating": { + "list": [] + }, + "annotations": { + "list": [ + { + "name": "Alerts", + "datasource": { + "type": "prometheus", + "uid": "prometheus" + }, + "enable": true, + "iconColor": "red", + "expr": "ALERTS{alertstate=\"firing\"}", + "titleFormat": "{{alertname}}", + "step": "10s" + } + ] + } +} diff --git a/infra/grafana/provisioning/dashboards/dashboards.yaml b/infra/grafana/provisioning/dashboards/dashboards.yaml new file mode 100644 index 0000000..d6b09ae --- /dev/null +++ b/infra/grafana/provisioning/dashboards/dashboards.yaml @@ -0,0 +1,9 @@ +apiVersion: 1 +providers: + - name: messenger + folder: Messenger + type: file + disableDeletion: true + allowUiUpdates: false + options: + path: /var/lib/grafana/dashboards diff --git a/infra/grafana/provisioning/datasources/datasources.yaml b/infra/grafana/provisioning/datasources/datasources.yaml new file mode 100644 index 0000000..24c258f --- /dev/null +++ b/infra/grafana/provisioning/datasources/datasources.yaml @@ -0,0 +1,65 @@ +# Источники Grafana: Grafana сама данные не хранит — только запрашивает. +# Lab7: к каждому источнику — HTTPS с проверкой сервера по CA стенда и клиентским +# сертификатом Grafana (mTLS). +# Связи: метрика (exemplar) → трасса; лог (trace_id) → трасса; трасса → логи. +apiVersion: 1 +datasources: + - name: Prometheus + uid: prometheus + type: prometheus + access: proxy + url: https://prometheus:9090 + isDefault: true + secureJsonData: + tlsCACert: $__file{/run/secrets/ca.crt} + tlsClientCert: $__file{/run/secrets/grafana.crt} + tlsClientKey: $__file{/run/secrets/grafana.key} + jsonData: + tlsAuth: true + tlsAuthWithCACert: true + serverName: prometheus + timeInterval: 5s + exemplarTraceIdDestinations: + - name: trace_id + datasourceUid: tempo + - name: Loki + uid: loki + type: loki + access: proxy + url: https://loki:3100 + secureJsonData: + tlsCACert: $__file{/run/secrets/ca.crt} + tlsClientCert: $__file{/run/secrets/grafana.crt} + tlsClientKey: $__file{/run/secrets/grafana.key} + jsonData: + tlsAuth: true + tlsAuthWithCACert: true + serverName: loki + derivedFields: + - name: trace + matcherType: label + matcherRegex: trace_id + datasourceUid: tempo + url: "$${__value.raw}" + - name: Tempo + uid: tempo + type: tempo + access: proxy + url: https://tempo:3200 + secureJsonData: + tlsCACert: $__file{/run/secrets/ca.crt} + tlsClientCert: $__file{/run/secrets/grafana.crt} + tlsClientKey: $__file{/run/secrets/grafana.key} + jsonData: + tlsAuth: true + tlsAuthWithCACert: true + serverName: tempo + tracesToLogsV2: + datasourceUid: loki + filterByTraceID: true + spanStartTimeShift: "-5m" + spanEndTimeShift: "5m" + serviceMap: + datasourceUid: prometheus + nodeGraph: + enabled: true diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 0000000..e84e08c --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,55 @@ +# HAProxy — единственная публичная точка входа. Lab7: +# клиент → LB: TLS 1.2+ на :8443 (сертификат CN/SAN localhost, 127.0.0.1, CA стенда); +# LB → API: mTLS — LB проверяет сервер (CA + имя api) и предъявляет свой клиентский +# сертификат identity spiffe://messenger/lb (API пускает только её). Plaintext нет. +# Backend-адреса — из встроенного DNS Docker (service name "api"). + +global + log stdout format raw local0 info + maxconn 2048 + ssl-default-bind-options ssl-min-ver TLSv1.2 + ssl-default-server-options ssl-min-ver TLSv1.2 + +defaults + mode http + log global + option httplog + option dontlognull + timeout connect 2s + timeout client 30s + timeout server 15s + timeout http-request 10s + timeout queue 5s + retries 2 + retry-on conn-failure + option redispatch 1 + +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 5s + hold other 5s + hold refused 5s + hold nx 2s + hold timeout 5s + hold obsolete 2s + accepted_payload_size 8192 + +frontend public + bind :8443 ssl crt /run/secrets/lb-public.pem alpn http/1.1 + # Тело больше 11 MiB отклоняется на входе (вложение ≤ 10 MiB, JSON ≤ 64 KiB — в API). + http-request deny deny_status 413 if { req.hdr_val(content-length) gt 11534336 } + # IP клиента — только из соединения; присланный клиентом X-Forwarded-For заменяется. + http-request set-header X-Forwarded-For %[src] + http-request set-header X-Forwarded-Proto https + default_backend api + +backend api + balance "${LB_BALANCE}" + option httpchk + http-check send meth GET uri /health/ready + http-check expect status 200 + default-server check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none ssl verify required ca-file /run/secrets/ca.crt crt /run/secrets/lb.pem verifyhost api sni str(api) + server-template api 8 api:8443 diff --git a/infra/loki/loki.yaml b/infra/loki/loki.yaml new file mode 100644 index 0000000..44174a1 --- /dev/null +++ b/infra/loki/loki.yaml @@ -0,0 +1,45 @@ +# Loki 3 — хранилище логов. Приём OTLP (/otlp) от Collector: service.name и др. +# resource attributes → индексные метки (service_name, …), атрибуты записи +# (event, trace_id, span_id, severity) → structured metadata, без индексации. +auth_enabled: false +# Lab7: HTTP (OTLP-приём от Collector, запросы Grafana) — mTLS по CA стенда. +server: + http_listen_port: 3100 + grpc_listen_port: 9096 + log_level: warn + http_tls_config: + cert_file: /run/secrets/loki.crt + key_file: /run/secrets/loki.key + client_auth_type: RequireAndVerifyClientCert + client_ca_file: /run/secrets/ca.crt +common: + instance_addr: 127.0.0.1 + path_prefix: /loki + storage: + filesystem: + chunks_directory: /loki/chunks + rules_directory: /loki/rules + replication_factor: 1 + ring: + kvstore: + store: inmemory +schema_config: + configs: + - from: 2024-01-01 + store: tsdb + object_store: filesystem + schema: v13 + index: + prefix: index_ + period: 24h +limits_config: + allow_structured_metadata: true + retention_period: 168h + ingestion_rate_mb: 8 + ingestion_burst_size_mb: 16 +compactor: + working_directory: /loki/compactor + retention_enabled: true + delete_request_store: filesystem +analytics: + reporting_enabled: false diff --git a/infra/openbao/config.hcl b/infra/openbao/config.hcl new file mode 100644 index 0000000..b6a35cc --- /dev/null +++ b/infra/openbao/config.hcl @@ -0,0 +1,17 @@ +# OpenBao — не dev-mode: файловое хранилище на volume, TLS listener. +# Unseal: Shamir 3 доли / порог 2, доли у оператора (scripts/bao.sh), не в Git и не рядом с OpenBao. +ui = false +api_addr = "https://openbao:8200" +log_level = "warn" + +storage "file" { + path = "/openbao/file" +} + +listener "tcp" { + address = "0.0.0.0:8200" + tls_cert_file = "/run/secrets/openbao.crt" + tls_key_file = "/run/secrets/openbao.key" + tls_client_ca_file = "/run/secrets/ca.crt" # клиентские сертификаты сервисов → auth/cert + tls_min_version = "tls12" +} diff --git a/infra/openbao/policies/messenger-api.hcl b/infra/openbao/policies/messenger-api.hcl new file mode 100644 index 0000000..94e2a9e --- /dev/null +++ b/infra/openbao/policies/messenger-api.hcl @@ -0,0 +1,5 @@ +# Policy сервиса api: чтение ТОЛЬКО своего секрета KV v2 (mount secret/). +# Нет list/write, нет чужих путей, нет sys/ (политики, unseal, audit). +path "secret/data/messenger/api" { + capabilities = ["read"] +} diff --git a/infra/openbao/policies/messenger-reconciler.hcl b/infra/openbao/policies/messenger-reconciler.hcl new file mode 100644 index 0000000..568feb6 --- /dev/null +++ b/infra/openbao/policies/messenger-reconciler.hcl @@ -0,0 +1,5 @@ +# Policy сервиса reconciler: чтение ТОЛЬКО своего секрета KV v2 (mount secret/). +# Нет list/write, нет чужих путей, нет sys/ (политики, unseal, audit). +path "secret/data/messenger/reconciler" { + capabilities = ["read"] +} diff --git a/infra/openbao/policies/messenger-relay.hcl b/infra/openbao/policies/messenger-relay.hcl new file mode 100644 index 0000000..dfbf299 --- /dev/null +++ b/infra/openbao/policies/messenger-relay.hcl @@ -0,0 +1,5 @@ +# Policy сервиса relay: чтение ТОЛЬКО своего секрета KV v2 (mount secret/). +# Нет list/write, нет чужих путей, нет sys/ (политики, unseal, audit). +path "secret/data/messenger/relay" { + capabilities = ["read"] +} diff --git a/infra/openbao/policies/messenger-worker.hcl b/infra/openbao/policies/messenger-worker.hcl new file mode 100644 index 0000000..81b69cb --- /dev/null +++ b/infra/openbao/policies/messenger-worker.hcl @@ -0,0 +1,5 @@ +# Policy сервиса worker: чтение ТОЛЬКО своего секрета KV v2 (mount secret/). +# Нет list/write, нет чужих путей, нет sys/ (политики, unseal, audit). +path "secret/data/messenger/worker" { + capabilities = ["read"] +} diff --git a/infra/otel/collector-tail.yaml b/infra/otel/collector-tail.yaml new file mode 100644 index 0000000..e417378 --- /dev/null +++ b/infra/otel/collector-tail.yaml @@ -0,0 +1,135 @@ +# ВАРИАНТ ТРЕКА 1 (tail sampling): SDK отправляет 100% spans, Collector хранит +# только трассы с ошибкой, медленные (≥ 250 ms) и 10% остальных. +# +# OpenTelemetry Collector (contrib) — приём OTLP от API/relay/worker и раздача +# по хранилищам: traces → Tempo, logs → Loki (OTLP/HTTP), metrics → Prometheus (pull). +# +# Ограничение памяти и буферов: +# memory_limiter — первым в каждом pipeline: при превышении soft limit Collector +# отказывает receiver-у (SDK получает ошибку и отбрасывает данные по своей +# ограниченной очереди), вместо бесконечного роста RSS; +# batch — пакеты до 1024 элементов / 2 s; +# sending_queue (in-memory, queue_size пакетов) + retry_on_failure (≤ 60 s) — +# размер подобран так, чтобы очередь целиком (20 пакетов × 1024 spans) помещалась +# ниже soft limit memory_limiter: при queue_size 200 и пакетах до 2048 очередь при +# отказе Tempo упиралась в hard limit, и Collector отвергал НОВЫЕ данные (прогон 4); +# при недоступном Tempo/Loki данные ждут ограниченное время в ограниченной +# очереди, затем отбрасываются и считаются в otelcol_exporter_send_failed_*. +# Метрики не буферизуются вовсе: exporter prometheus хранит только текущее +# cumulative-состояние серий, Prometheus забирает его сам (pull). +# Lab7: приём OTLP только по HTTPS с клиентским сертификатом отдельного CA телеметрии +# (tca): сертификаты LB/хранилищ, даже от основного CA стенда, ingest не получают. +receivers: + otlp: + protocols: + http: + endpoint: 0.0.0.0:4318 + tls: + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + client_ca_file: /run/secrets/tca.crt + min_version: "1.2" + +processors: + # Решение по трассе целиком через decision_wait после её первого span; + # num_traces ограничивает память буфера решений. decision_wait должен быть больше + # самой длинной трассы: при 5 s терялась часть ошибок по таймауту обработчика (5 s) — + # решение принималось раньше, чем приходил корневой span со статусом ERROR (прогон 3). + tail_sampling: + decision_wait: 10s + num_traces: 20000 + expected_new_traces_per_sec: 200 + policies: + - name: errors + type: status_code + status_code: { status_codes: [ERROR] } + - name: slow + type: latency + latency: { threshold_ms: 250 } + - name: baseline + type: probabilistic + probabilistic: { sampling_percentage: 10 } + memory_limiter: + check_interval: 1s + limit_mib: 200 + spike_limit_mib: 50 + batch: + send_batch_size: 1024 + send_batch_max_size: 1024 + timeout: 2s + # Защита от утечек на случай ошибки инструментирования: такие ключи не должны + # появляться, но если появятся — удаляются до экспорта. + attributes/scrub: + actions: + - { key: http.request.header.authorization, action: delete } + - { key: http.request.header.cookie, action: delete } + - { key: authorization, action: delete } + - { key: password, action: delete } + - { key: token, action: delete } + - { key: db.query.parameters, action: delete } + +exporters: + otlp/tempo: + endpoint: tempo:4317 + tls: # mTLS к Tempo: CA стенда + сертификат Collector + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + sending_queue: + enabled: true + num_consumers: 2 + queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter + retry_on_failure: + enabled: true + initial_interval: 1s + max_interval: 10s + max_elapsed_time: 60s + otlphttp/loki: + endpoint: https://loki:3100/otlp + tls: # mTLS к Loki + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + sending_queue: + enabled: true + num_consumers: 2 + queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter + retry_on_failure: + enabled: true + initial_interval: 1s + max_interval: 10s + max_elapsed_time: 60s + prometheus: + endpoint: 0.0.0.0:8889 + tls: # Prometheus забирает метрики по mTLS (сертификат CA стенда) + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + client_ca_file: /run/secrets/ca.crt + enable_open_metrics: true # exemplars (trace_id) в histogram buckets + metric_expiration: 1m # серии остановленного процесса исчезают через 1 мин (absent() в alerts) + +service: + telemetry: + logs: + level: warn + metrics: + level: detailed + readers: + - pull: + exporter: + prometheus: + host: 0.0.0.0 + port: 8888 + pipelines: + traces: + receivers: [otlp] + processors: [memory_limiter, tail_sampling, attributes/scrub, batch] + exporters: [otlp/tempo] + metrics: + receivers: [otlp] + processors: [memory_limiter, batch] + exporters: [prometheus] + logs: + receivers: [otlp] + processors: [memory_limiter, attributes/scrub, batch] + exporters: [otlphttp/loki] diff --git a/infra/otel/collector.yaml b/infra/otel/collector.yaml new file mode 100644 index 0000000..de094bb --- /dev/null +++ b/infra/otel/collector.yaml @@ -0,0 +1,114 @@ +# OpenTelemetry Collector (contrib) — приём OTLP от API/relay/worker и раздача +# по хранилищам: traces → Tempo, logs → Loki (OTLP/HTTP), metrics → Prometheus (pull). +# +# Ограничение памяти и буферов: +# memory_limiter — первым в каждом pipeline: при превышении soft limit Collector +# отказывает receiver-у (SDK получает ошибку и отбрасывает данные по своей +# ограниченной очереди), вместо бесконечного роста RSS; +# batch — пакеты до 1024 элементов / 2 s; +# sending_queue (in-memory, queue_size пакетов) + retry_on_failure (≤ 60 s) — +# размер подобран так, чтобы очередь целиком (20 пакетов × 1024 spans) помещалась +# ниже soft limit memory_limiter: при queue_size 200 и пакетах до 2048 очередь при +# отказе Tempo упиралась в hard limit, и Collector отвергал НОВЫЕ данные (прогон 4); +# при недоступном Tempo/Loki данные ждут ограниченное время в ограниченной +# очереди, затем отбрасываются и считаются в otelcol_exporter_send_failed_*. +# Метрики не буферизуются вовсе: exporter prometheus хранит только текущее +# cumulative-состояние серий, Prometheus забирает его сам (pull). +# Lab7: приём OTLP только по HTTPS с клиентским сертификатом отдельного CA телеметрии +# (tca): сертификаты LB/хранилищ, даже от основного CA стенда, ingest не получают. +receivers: + otlp: + protocols: + http: + endpoint: 0.0.0.0:4318 + tls: + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + client_ca_file: /run/secrets/tca.crt + min_version: "1.2" + +processors: + memory_limiter: + check_interval: 1s + limit_mib: 200 + spike_limit_mib: 50 + batch: + send_batch_size: 1024 + send_batch_max_size: 1024 + timeout: 2s + # Защита от утечек на случай ошибки инструментирования: такие ключи не должны + # появляться, но если появятся — удаляются до экспорта. + attributes/scrub: + actions: + - { key: http.request.header.authorization, action: delete } + - { key: http.request.header.cookie, action: delete } + - { key: authorization, action: delete } + - { key: password, action: delete } + - { key: token, action: delete } + - { key: db.query.parameters, action: delete } + +exporters: + otlp/tempo: + endpoint: tempo:4317 + tls: # mTLS к Tempo: CA стенда + сертификат Collector + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + sending_queue: + enabled: true + num_consumers: 2 + queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter + retry_on_failure: + enabled: true + initial_interval: 1s + max_interval: 10s + max_elapsed_time: 60s + otlphttp/loki: + endpoint: https://loki:3100/otlp + tls: # mTLS к Loki + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + sending_queue: + enabled: true + num_consumers: 2 + queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter + retry_on_failure: + enabled: true + initial_interval: 1s + max_interval: 10s + max_elapsed_time: 60s + prometheus: + endpoint: 0.0.0.0:8889 + tls: # Prometheus забирает метрики по mTLS (сертификат CA стенда) + cert_file: /run/secrets/otel-collector.crt + key_file: /run/secrets/otel-collector.key + client_ca_file: /run/secrets/ca.crt + enable_open_metrics: true # exemplars (trace_id) в histogram buckets + metric_expiration: 1m # серии остановленного процесса исчезают через 1 мин (absent() в alerts) + +service: + telemetry: + logs: + level: warn + metrics: + level: detailed + readers: + - pull: + exporter: + prometheus: + host: 0.0.0.0 + port: 8888 + pipelines: + traces: + receivers: [otlp] + processors: [memory_limiter, attributes/scrub, batch] + exporters: [otlp/tempo] + metrics: + receivers: [otlp] + processors: [memory_limiter, batch] + exporters: [prometheus] + logs: + receivers: [otlp] + processors: [memory_limiter, attributes/scrub, batch] + exporters: [otlphttp/loki] diff --git a/infra/postgres/pg_hba.conf b/infra/postgres/pg_hba.conf new file mode 100644 index 0000000..280f92e --- /dev/null +++ b/infra/postgres/pg_hba.conf @@ -0,0 +1,7 @@ +# Lab7: сетевой доступ к PostgreSQL только по TLS (hostssl) и только SCRAM. +# local — psql оператора внутри контейнера (docker compose exec); по сети не доступно. +# TYPE DATABASE USER ADDRESS METHOD +local all all trust +hostssl messenger messenger,app_api,app_worker,app_relay,app_reconciler all scram-sha-256 +hostnossl all all all reject +host all all all reject diff --git a/infra/prometheus/prometheus.yml b/infra/prometheus/prometheus.yml new file mode 100644 index 0000000..8b7baed --- /dev/null +++ b/infra/prometheus/prometheus.yml @@ -0,0 +1,61 @@ +# Prometheus — хранилище метрик (TSDB на volume, retention 7d) и вычисление alerts. +# Lab7: все scrape — HTTPS с проверкой сервера по CA и клиентским сертификатом +# Prometheus (mTLS); UI/API Prometheus — тоже mTLS (web.yml), наружу не публикуется. +# Исключение: внутренние метрики Collector (:8888, только сеть telemetry, без данных приложений). +# Метрики приложения приходят OTLP → Collector → exporter prometheus (:8889): +# honor_labels сохраняет job=service.name и instance=service.instance.id реплики. +global: + scrape_interval: 5s + evaluation_interval: 5s + external_labels: + deployment_environment: lab + +rule_files: + - /etc/prometheus/rules/*.yml + +scrape_configs: + - job_name: otel-collector-app + honor_labels: true + scheme: https + tls_config: + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/prometheus.crt + key_file: /run/secrets/prometheus.key + static_configs: + - targets: ["otel-collector:8889"] + - job_name: otel-collector + static_configs: + - targets: ["otel-collector:8888"] + - job_name: rabbitmq + metrics_path: /metrics/per-object # глубина очередей attachment.process / attachment.dead + scheme: https + tls_config: + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/prometheus.crt + key_file: /run/secrets/prometheus.key + static_configs: + - targets: ["rabbitmq:15691"] + - job_name: loki + scheme: https + tls_config: + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/prometheus.crt + key_file: /run/secrets/prometheus.key + static_configs: + - targets: ["loki:3100"] + - job_name: tempo + scheme: https + tls_config: + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/prometheus.crt + key_file: /run/secrets/prometheus.key + static_configs: + - targets: ["tempo:3200"] + - job_name: prometheus + scheme: https + tls_config: + ca_file: /run/secrets/ca.crt + cert_file: /run/secrets/prometheus.crt + key_file: /run/secrets/prometheus.key + static_configs: + - targets: ["localhost:9090"] diff --git a/infra/prometheus/rules/messenger.yml b/infra/prometheus/rules/messenger.yml new file mode 100644 index 0000000..ea32cee --- /dev/null +++ b/infra/prometheus/rules/messenger.yml @@ -0,0 +1,61 @@ +# Recording rules (SLI) и alert rules. Состояние alerts — локально в Prometheus +# (/api/v1/alerts, Grafana → Alerting); доставка наружу не настроена (не требуется). +# Runbooks: infra/RUNBOOKS.md. +# +# SLI/SLO (окно SLO — 28 дней; на стенде проверяются короткие окна): +# доступность API: доля бизнес-запросов (кроме /health/*) без 5xx ≥ 99.5%; +# задержка API: доля бизнес-запросов быстрее 250 ms ≥ 95%; +# время до ready: доля вложений, ставших ready быстрее 30 s после 202, ≥ 95%. +groups: + - name: messenger-sli + interval: 5s + rules: + - record: messenger:http_requests:rate1m + expr: sum(rate(http_server_request_duration_seconds_count{job="messenger-api", http_route!~"/health/.*"}[1m])) + - record: messenger:http_errors:rate1m + expr: sum(rate(http_server_request_duration_seconds_count{job="messenger-api", http_route!~"/health/.*", http_response_status_class="5xx"}[1m])) or vector(0) + - record: messenger:http_error_ratio:rate1m + expr: messenger:http_errors:rate1m / messenger:http_requests:rate1m + - record: messenger:http_fast_ratio:rate5m + expr: | + sum(rate(http_server_request_duration_seconds_bucket{job="messenger-api", http_route!~"/health/.*", le="0.25"}[5m])) + / sum(rate(http_server_request_duration_seconds_count{job="messenger-api", http_route!~"/health/.*"}[5m])) + - record: messenger:time_to_ready_fast_ratio:rate5m + expr: | + sum(rate(messenger_attachment_time_to_ready_seconds_bucket{le="30"}[5m])) + / sum(rate(messenger_attachment_time_to_ready_seconds_count[5m])) + + - name: messenger-alerts + interval: 5s + rules: + - alert: MessengerHighErrorRate + expr: messenger:http_error_ratio:rate1m > 0.05 and messenger:http_requests:rate1m > 0.5 + for: 30s + labels: { severity: page } + annotations: + summary: "API 5xx > 5% бизнес-запросов (окно 1m, 30s подряд)" + description: "Доля 5xx {{ $value | humanizePercentage }}. Числитель — 5xx, знаменатель — все запросы кроме /health/*; 4xx (ошибки клиента) не считаются." + runbook: "infra/RUNBOOKS.md#messengerhigherrorrate" + - alert: MessengerQueueLagGrowing + expr: max(messenger_jobs_oldest_age_seconds) > 60 + for: 30s + labels: { severity: page } + annotations: + summary: "Старейшая незавершённая job старше 60 s" + description: "Возраст {{ $value | humanizeDuration }}: задания принимаются (202), но не завершаются — worker остановлен/перегружен или broker недоступен." + runbook: "infra/RUNBOOKS.md#messengerqueuelaggrowing" + - alert: MessengerWorkerAbsent + expr: absent(messenger_worker_capacity) + for: 1m + labels: { severity: warning } + annotations: + summary: "Нет метрик ни одного worker 1 минуту" + runbook: "infra/RUNBOOKS.md#messengerworkerabsent" + - alert: MessengerTelemetryExportFailing + expr: (sum(rate({__name__=~"otelcol_exporter_send_failed_spans(_total)?"}[1m])) or vector(0)) + (sum(rate({__name__=~"otelcol_exporter_send_failed_log_records(_total)?"}[1m])) or vector(0)) > 0 + for: 30s + labels: { severity: warning } + annotations: + summary: "Collector не может доставить spans/logs в Tempo/Loki" + description: "Данные отбрасываются после ограниченной очереди и 60 s повторов; API не затронут." + runbook: "infra/RUNBOOKS.md#messengertelemetryexportfailing" diff --git a/infra/prometheus/web.yml b/infra/prometheus/web.yml new file mode 100644 index 0000000..97a43fe --- /dev/null +++ b/infra/prometheus/web.yml @@ -0,0 +1,7 @@ +# Веб/API Prometheus: TLS + обязательный клиентский сертификат CA стенда (Grafana, сам Prometheus). +tls_server_config: + cert_file: /run/secrets/prometheus.crt + key_file: /run/secrets/prometheus.key + client_auth_type: RequireAndVerifyClientCert + client_ca_file: /run/secrets/ca.crt + min_version: TLS12 diff --git a/infra/rabbitmq/definitions.json b/infra/rabbitmq/definitions.json new file mode 100644 index 0000000..2797919 --- /dev/null +++ b/infra/rabbitmq/definitions.json @@ -0,0 +1,17 @@ +{ + "rabbit_version": "4.0.9", + "vhosts": [{"name": "/"}], + "exchanges": [ + {"name": "attachments", "vhost": "/", "type": "direct", "durable": true, "auto_delete": false, "internal": false, "arguments": {}}, + {"name": "attachments.dlx", "vhost": "/", "type": "fanout", "durable": true, "auto_delete": false, "internal": false, "arguments": {}} + ], + "queues": [ + {"name": "attachment.dead", "vhost": "/", "durable": true, "auto_delete": false, "arguments": {"x-queue-type": "quorum"}}, + {"name": "attachment.process", "vhost": "/", "durable": true, "auto_delete": false, + "arguments": {"x-queue-type": "quorum", "x-dead-letter-exchange": "attachments.dlx", "x-delivery-limit": 10}} + ], + "bindings": [ + {"source": "attachments", "vhost": "/", "destination": "attachment.process", "destination_type": "queue", "routing_key": "process", "arguments": {}}, + {"source": "attachments.dlx", "vhost": "/", "destination": "attachment.dead", "destination_type": "queue", "routing_key": "", "arguments": {}} + ] +} diff --git a/infra/rabbitmq/enabled_plugins b/infra/rabbitmq/enabled_plugins new file mode 100644 index 0000000..7818d71 --- /dev/null +++ b/infra/rabbitmq/enabled_plugins @@ -0,0 +1 @@ +[rabbitmq_prometheus,rabbitmq_auth_mechanism_ssl]. diff --git a/infra/rabbitmq/rabbitmq.conf b/infra/rabbitmq/rabbitmq.conf new file mode 100644 index 0000000..333f446 --- /dev/null +++ b/infra/rabbitmq/rabbitmq.conf @@ -0,0 +1,21 @@ +# Lab7: AMQP только по TLS с обязательным клиентским сертификатом (mTLS). +# Аутентификация SASL EXTERNAL: пользователь RabbitMQ = CN сертификата (relay-g1, +# worker-g1). Паролей у сервисных пользователей нет; права — set_permissions (bootstrap). +listeners.tcp = none +listeners.ssl.default = 5671 +ssl_options.cacertfile = /run/secrets/ca.crt +ssl_options.certfile = /run/secrets/rabbitmq.crt +ssl_options.keyfile = /run/secrets/rabbitmq.key +ssl_options.verify = verify_peer +ssl_options.fail_if_no_peer_cert = true +ssl_options.versions.1 = tlsv1.3 +ssl_options.versions.2 = tlsv1.2 +auth_mechanisms.1 = EXTERNAL +ssl_cert_login_from = common_name +# Метрики очередей для Prometheus — по TLS (15691); значения не содержат данных сообщений. +prometheus.ssl.port = 15691 +prometheus.ssl.cacertfile = /run/secrets/ca.crt +prometheus.ssl.certfile = /run/secrets/rabbitmq.crt +prometheus.ssl.keyfile = /run/secrets/rabbitmq.key +prometheus.ssl.verify = verify_peer +prometheus.ssl.fail_if_no_peer_cert = true diff --git a/infra/s3/init.sh b/infra/s3/init.sh new file mode 100644 index 0000000..3bd2f87 --- /dev/null +++ b/infra/s3/init.sh @@ -0,0 +1,59 @@ +#!/bin/sh +# Идемпотентный bootstrap MinIO (lab7): приватный bucket и ОТДЕЛЬНЫЙ пользователь на каждый +# сервис с политикой по префиксам ключей (least privilege). Root — только у s3 и s3-init. +# +# svc-api PUT s/* (staging при загрузке), GET o/* v/* a/* (скачивание), DELETE s/* (компенсация) +# svc-worker GET s/* (исходник), PUT v/* o/* (варианты, публикация оригинала), DELETE s/* +# svc-relay DELETE s/* (очистка staging) +# svc-reconciler LIST bucket, GET/DELETE * — сверка всего bucket (единственная широкая роль) +# +# Ключи сервисов приходят из secrets/operator/s3_users.txt (генерирует scripts/bootstrap.py, +# источник истины — OpenBao). Повторный запуск обновляет секреты (ротация). Значения не печатаются. +set -eu +: "${S3_BUCKET:?}" +ROOT_USER=$(cat /run/secrets/s3_root_user) +ROOT_PASS=$(cat /run/secrets/s3_root_password) +B=$S3_BUCKET + +# mc проверяет сертификат MinIO по CA стенда (каталог certs/CAs конфигурации mc). +mkdir -p "${MC_CONFIG_DIR:-$HOME/.mc}/certs/CAs" && cp /run/secrets/ca.crt "${MC_CONFIG_DIR:-$HOME/.mc}/certs/CAs/ca.crt" +mc alias set local https://s3:9000 "$ROOT_USER" "$ROOT_PASS" >/dev/null +mc mb --ignore-existing "local/$B" +mc anonymous set none "local/$B" >/dev/null + +stmt() { # actions resources + printf '{"Effect":"Allow","Action":[%s],"Resource":[%s]}' "$1" "$2" +} +obj() { for p in "$@"; do printf '"arn:aws:s3:::%s/%s*",' "$B" "$p"; done | sed 's/,$//'; } + +policy() { # name statements... + name=$1; shift + body=$(printf '%s,' "$@" | sed 's/,$//') + printf '{"Version":"2012-10-17","Statement":[%s]}' "$body" > "/tmp/$name.json" + mc admin policy create local "$name" "/tmp/$name.json" >/dev/null +} + +policy messenger-svc-api \ + "$(stmt '"s3:PutObject"' "$(obj s/)")" \ + "$(stmt '"s3:GetObject"' "$(obj o/ v/ a/ s/)")" \ + "$(stmt '"s3:DeleteObject"' "$(obj s/)")" +policy messenger-svc-worker \ + "$(stmt '"s3:GetObject"' "$(obj s/)")" \ + "$(stmt '"s3:PutObject"' "$(obj v/ o/)")" \ + "$(stmt '"s3:DeleteObject"' "$(obj s/)")" +policy messenger-svc-relay \ + "$(stmt '"s3:DeleteObject"' "$(obj s/)")" +policy messenger-svc-reconciler \ + "$(stmt '"s3:ListBucket","s3:GetBucketLocation"' "\"arn:aws:s3:::$B\"")" \ + "$(stmt '"s3:GetObject","s3:DeleteObject"' "$(obj '')")" + +if [ -s /run/secrets/s3_users ]; then + while read -r svc key secret; do + [ -n "$svc" ] || continue + mc admin user add local "$key" "$secret" >/dev/null # для существующего — смена секрета + if ! mc admin policy entities local --user "$key" 2>/dev/null | grep -q "messenger-svc-$svc"; then + mc admin policy attach local "messenger-svc-$svc" --user "$key" >/dev/null + fi + done < /run/secrets/s3_users +fi +echo "s3 bootstrap ok: bucket=$B private, per-service users with prefix policies" diff --git a/infra/tempo/tempo.yaml b/infra/tempo/tempo.yaml new file mode 100644 index 0000000..7e27439 --- /dev/null +++ b/infra/tempo/tempo.yaml @@ -0,0 +1,41 @@ +# Tempo 2 — хранилище трасс (локальный backend на volume). Приём OTLP gRPC от +# Collector; поиск TraceQL и выдача трассы по ID для Grafana. +stream_over_http_enabled: true +# Lab7: HTTP API (Grafana, Prometheus) и OTLP-приём — mTLS по CA стенда. +server: + http_listen_port: 3200 + log_level: warn + http_tls_config: + cert_file: /run/secrets/tempo.crt + key_file: /run/secrets/tempo.key + client_auth_type: RequireAndVerifyClientCert + client_ca_file: /run/secrets/ca.crt +distributor: + receivers: + otlp: + protocols: + grpc: + endpoint: 0.0.0.0:4317 + tls: + cert_file: /run/secrets/tempo.crt + key_file: /run/secrets/tempo.key + client_ca_file: /run/secrets/ca.crt +# Явный адрес frontend для querier в single-binary: автоматическая настройка после +# рестарта Tempo оставляла запросы без ответа (прогон 4, отказ backend). +querier: + frontend_worker: + frontend_address: 127.0.0.1:9095 +ingester: + max_block_duration: 5m +compactor: + compaction: + block_retention: 168h +storage: + trace: + backend: local + wal: + path: /var/tempo/wal + local: + path: /var/tempo/blocks +usage_report: + reporting_enabled: false diff --git a/internal/broker/rabbit.go b/internal/broker/rabbit.go new file mode 100644 index 0000000..99c5555 --- /dev/null +++ b/internal/broker/rabbit.go @@ -0,0 +1,207 @@ +// Package broker — RabbitMQ для заданий обработки вложений. +// +// Топология (объявляется идемпотентно при каждом подключении): +// +// exchange attachments (direct, durable) ──process──► queue attachment.process +// quorum-очередь (реплицируемый журнал на диске), x-delivery-limit=10: +// сообщение, которое 10 раз вернулось без ack (poison), уходит в DLX +// exchange attachments.dlx (fanout, durable) ──► queue attachment.dead (реестр «мёртвых») +// +// Publisher confirm подтверждает, что broker устойчиво ПРИНЯЛ сообщение (записал +// в quorum-журнал); consumer ack подтверждает, что worker устойчиво ОБРАБОТАЛ его. +// Это разные границы: между ними сообщение может быть доставлено несколько раз. +package broker + +import ( + "context" + "crypto/tls" + "errors" + "fmt" + "time" + + amqp "github.com/rabbitmq/amqp091-go" + "go.opentelemetry.io/otel" +) + +// HeaderCarrier — заголовки AMQP как TextMapCarrier (traceparent, tracestate). +type HeaderCarrier amqp.Table + +func (c HeaderCarrier) Get(key string) string { + if v, ok := c[key].(string); ok { + return v + } + return "" +} + +func (c HeaderCarrier) Set(key, value string) { c[key] = value } + +func (c HeaderCarrier) Keys() []string { + keys := make([]string, 0, len(c)) + for k := range c { + keys = append(keys, k) + } + return keys +} + +const ( + Exchange = "attachments" + RoutingKey = "process" + Queue = "attachment.process" + DeadExchange = "attachments.dlx" + DeadQueue = "attachment.dead" + DeliveryLimit = 10 +) + +// Declare объявляет топологию; повторный вызов с теми же аргументами — no-op. +func Declare(ch *amqp.Channel) error { + if err := ch.ExchangeDeclare(Exchange, "direct", true, false, false, false, nil); err != nil { + return fmt.Errorf("declare exchange: %w", err) + } + if err := ch.ExchangeDeclare(DeadExchange, "fanout", true, false, false, false, nil); err != nil { + return fmt.Errorf("declare dlx: %w", err) + } + if _, err := ch.QueueDeclare(DeadQueue, true, false, false, false, amqp.Table{"x-queue-type": "quorum"}); err != nil { + return fmt.Errorf("declare dead queue: %w", err) + } + if err := ch.QueueBind(DeadQueue, "", DeadExchange, false, nil); err != nil { + return fmt.Errorf("bind dead queue: %w", err) + } + args := amqp.Table{ + "x-queue-type": "quorum", + "x-dead-letter-exchange": DeadExchange, + "x-delivery-limit": int32(DeliveryLimit), + } + if _, err := ch.QueueDeclare(Queue, true, false, false, false, args); err != nil { + return fmt.Errorf("declare queue: %w", err) + } + if err := ch.QueueBind(Queue, RoutingKey, Exchange, false, nil); err != nil { + return fmt.Errorf("bind queue: %w", err) + } + return nil +} + +// Publisher публикует с publisher confirms. +type Publisher struct { + conn *amqp.Connection + ch *amqp.Channel +} + +// Dial — соединение с broker. С tc (lab7): amqps, mTLS и SASL EXTERNAL — имя +// пользователя RabbitMQ = CN клиентского сертификата, пароля нет вовсе. +func Dial(url, name string, tc *tls.Config) (*amqp.Connection, error) { + cfg := amqp.Config{Heartbeat: 10 * time.Second, Properties: amqp.Table{"connection_name": name}} + if tc != nil { + cfg.TLSClientConfig = tc + cfg.SASL = []amqp.Authentication{&amqp.ExternalAuth{}} + } + return amqp.DialConfig(url, cfg) +} + +// NewPublisher. declare=true — объявить топологию (relay; права configure только на +// имена топологии). Worker топологию не объявляет (configure "^$"). +func NewPublisher(url string, tc *tls.Config, declare bool) (*Publisher, error) { + conn, err := Dial(url, "relay", tc) + if err != nil { + return nil, fmt.Errorf("dial broker: %w", err) + } + ch, err := conn.Channel() + if err != nil { + conn.Close() + return nil, err + } + if declare { + if err := Declare(ch); err != nil { + conn.Close() + return nil, err + } + } + if err := ch.Confirm(false); err != nil { + conn.Close() + return nil, fmt.Errorf("enable confirms: %w", err) + } + return &Publisher{conn: conn, ch: ch}, nil +} + +func (p *Publisher) Closed() bool { return p.conn.IsClosed() || p.ch.IsClosed() } + +func (p *Publisher) Close() { _ = p.conn.Close() } + +// Publish отправляет persistent-сообщение и ждёт confirm (ack от broker). +// nack или таймаут — ошибка: outbox не помечается опубликованным. +// W3C trace context из ctx (producer span) уходит в заголовки AMQP traceparent/tracestate. +func (p *Publisher) Publish(ctx context.Context, messageID string, body []byte) error { + headers := amqp.Table{} + otel.GetTextMapPropagator().Inject(ctx, HeaderCarrier(headers)) + ctx, cancel := context.WithTimeout(ctx, 10*time.Second) + defer cancel() + dc, err := p.ch.PublishWithDeferredConfirmWithContext(ctx, Exchange, RoutingKey, true, false, amqp.Publishing{ + ContentType: "application/json", + DeliveryMode: amqp.Persistent, + MessageId: messageID, + Timestamp: time.Now(), + Type: "attachment.process.v1", + Headers: headers, + Body: body, + }) + if err != nil { + return fmt.Errorf("publish: %w", err) + } + ok, err := dc.WaitContext(ctx) + if err != nil { + return fmt.Errorf("publish confirm: %w", err) + } + if !ok { + return errors.New("publish nacked by broker") + } + return nil +} + +// Consumer — подписка с ручным ack и prefetch. +type Consumer struct { + conn *amqp.Connection + ch *amqp.Channel +} + +func NewConsumer(url string, prefetch int, name string, tc *tls.Config, declare bool) (*Consumer, <-chan amqp.Delivery, error) { + conn, err := Dial(url, name, tc) + if err != nil { + return nil, nil, fmt.Errorf("dial broker: %w", err) + } + ch, err := conn.Channel() + if err != nil { + conn.Close() + return nil, nil, err + } + if declare { + if err := Declare(ch); err != nil { + conn.Close() + return nil, nil, err + } + } + // prefetch = максимум неподтверждённых сообщений у этого worker: + // ограничивает конкуренцию и не даёт одному worker забрать всю очередь. + if err := ch.Qos(prefetch, 0, false); err != nil { + conn.Close() + return nil, nil, fmt.Errorf("qos: %w", err) + } + deliveries, err := ch.Consume(Queue, name, false, false, false, false, nil) + if err != nil { + conn.Close() + return nil, nil, fmt.Errorf("consume: %w", err) + } + return &Consumer{conn: conn, ch: ch}, deliveries, nil +} + +// Cancel прекращает получение новых сообщений; неподтверждённые вернутся в очередь. +func (c *Consumer) Cancel(name string) { _ = c.ch.Cancel(name, false) } + +func (c *Consumer) Close() { _ = c.conn.Close() } + +// Ping проверяет соединение (для readiness/heartbeat-проверок). +func Ping(url string) error { + conn, err := amqp.DialConfig(url, amqp.Config{Heartbeat: 10 * time.Second}) + if err != nil { + return err + } + return conn.Close() +} diff --git a/internal/config/config.go b/internal/config/config.go new file mode 100644 index 0000000..6493274 --- /dev/null +++ b/internal/config/config.go @@ -0,0 +1,185 @@ +package config + +import ( + "crypto/rand" + "encoding/hex" + "log/slog" + "os" + "strconv" + "strings" + "time" +) + +type Config struct { + Host string + Port string + Env string + SessionTTLSeconds int + DatabaseURL string + CacheURL string + SessionStore string + LogLevel slog.Level + ShutdownTimeout time.Duration + CacheEnabled bool + InstanceID string + IdempotencyTTL time.Duration + DrainDelay time.Duration + DBPoolMax int32 + CacheInvalidation string + InternalAddr string + S3Endpoint string + S3Region string + S3Bucket string + S3AccessKey string + S3SecretKey string + MaxUploadBytes int64 + MaxImagePixels int64 + // Pipeline (lab5) + BrokerURL string + PipelineVersion int + JobMaxAttempts int + JobTimeout time.Duration + WorkerConcurrency int + StagingRetention time.Duration + WebPQuality int + PixelBudget int64 + RetryBaseDelay time.Duration + RetryMaxDelay time.Duration + // Lab7: TLS и OpenBao + TLSCAFile string // CA стенда (проверка серверов и клиентов) + TLSCertFile string // сертификат сервиса (mTLS-клиент / сервер API) + TLSKeyFile string + BaoAddr string + BaoCACert string + BaoRole string // роль auth/cert + BaoKVPath string // messenger/<сервис> в KV v2 secret/ + SecretsRefresh time.Duration + HealthAddr string // локальный plaintext health listener (только 127.0.0.1) + AllowedClients string // identity клиентов API (URI SAN), через запятую +} + +func Load() Config { + return Config{ + Host: getEnv("APP_HOST", "0.0.0.0"), + Port: getEnv("APP_PORT", "8080"), + Env: getEnv("APP_ENV", "lab"), + SessionTTLSeconds: getInt("SESSION_TTL_SECONDS", 3600), + DatabaseURL: readSecretFile("DATABASE_URL_FILE"), + CacheURL: readSecretFile("CACHE_URL_FILE"), + SessionStore: getEnv("SESSION_STORE", "postgres"), + LogLevel: parseLevel(getEnv("LOG_LEVEL", "info")), + ShutdownTimeout: parseDuration(getEnv("SHUTDOWN_TIMEOUT", "8s")), + CacheEnabled: getEnv("CACHE_ENABLED", "true") == "true", + InstanceID: instanceID(), + IdempotencyTTL: time.Duration(getInt("IDEMPOTENCY_TTL_SECONDS", 86400)) * time.Second, + DrainDelay: parseDuration(getEnv("DRAIN_DELAY", "3s")), + DBPoolMax: int32(max(1, getInt("DB_POOL_MAX", 20))), + CacheInvalidation: getEnv("CACHE_INVALIDATION", "version"), + InternalAddr: getEnv("INTERNAL_ADDR", "127.0.0.1:9090"), + S3Endpoint: getEnv("S3_ENDPOINT", "http://s3:9000"), + S3Region: getEnv("S3_REGION", "us-east-1"), + S3Bucket: getEnv("S3_BUCKET", "messenger-attachments"), + S3AccessKey: readSecretFile("S3_ACCESS_KEY_ID_FILE"), + S3SecretKey: readSecretFile("S3_SECRET_ACCESS_KEY_FILE"), + MaxUploadBytes: int64(getInt("MAX_UPLOAD_BYTES", 10*1024*1024)), + MaxImagePixels: int64(getInt("MAX_IMAGE_PIXELS", 40_000_000)), + BrokerURL: firstNonEmpty(getEnv("BROKER_URL", ""), readSecretFile("BROKER_URL_FILE")), // lab7: amqps без пароля (EXTERNAL) + PipelineVersion: max(1, getInt("PIPELINE_VERSION", 1)), + JobMaxAttempts: max(1, getInt("JOB_MAX_ATTEMPTS", 5)), + JobTimeout: time.Duration(max(5, getInt("JOB_TIMEOUT_SECONDS", 60))) * time.Second, + WorkerConcurrency: max(1, getInt("WORKER_CONCURRENCY", 2)), + StagingRetention: time.Duration(max(60, getInt("STAGING_RETENTION_SECONDS", 86400))) * time.Second, + WebPQuality: min(100, max(1, getInt("WEBP_QUALITY", 80))), + PixelBudget: int64(max(1_000_000, getInt("WORKER_PIXEL_BUDGET", 60_000_000))), + RetryBaseDelay: parseDuration(getEnv("RETRY_BASE_DELAY", "2s")), + RetryMaxDelay: parseDuration(getEnv("RETRY_MAX_DELAY", "60s")), + TLSCAFile: getEnv("TLS_CA_FILE", ""), + TLSCertFile: getEnv("TLS_CERT_FILE", ""), + TLSKeyFile: getEnv("TLS_KEY_FILE", ""), + BaoAddr: getEnv("BAO_ADDR", ""), + BaoCACert: getEnv("BAO_CACERT", getEnv("TLS_CA_FILE", "")), + BaoRole: getEnv("BAO_ROLE", ""), + BaoKVPath: getEnv("BAO_KV_PATH", ""), + SecretsRefresh: parseDuration(getEnv("SECRETS_REFRESH", "30s")), + HealthAddr: getEnv("HEALTH_ADDR", "127.0.0.1:8081"), + AllowedClients: getEnv("API_ALLOWED_CLIENTS", "lb"), + } +} + +// instanceID — идентификатор реплики для X-Instance-Id. По умолчанию hostname, +// который в Docker равен короткому ID контейнера: так stop-one.sh однозначно +// находит контейнер. В lab7 его заменит непрозрачный alias. +func instanceID() string { + if v := os.Getenv("INSTANCE_ID"); v != "" { + return v + } + // Lab7: случайный alias реплики (не hostname/IP контейнера). Для stop-one.sh он + // записывается в /tmp/instance-id (tmpfs контейнера). + var b [8]byte + if _, err := rand.Read(b[:]); err != nil { + return "unknown" + } + id := hex.EncodeToString(b[:]) + _ = os.WriteFile(os.TempDir()+"/instance-id", []byte(id), 0o644) + return id +} + +func (c Config) SessionTTL() time.Duration { + return time.Duration(c.SessionTTLSeconds) * time.Second +} + +func (c Config) Addr() string { return c.Host + ":" + c.Port } + +func getEnv(key, def string) string { + if v := os.Getenv(key); v != "" { + return v + } + return def +} + +func getInt(key string, def int) int { + if v := os.Getenv(key); v != "" { + if n, err := strconv.Atoi(v); err == nil { + return n + } + } + return def +} + +func readSecretFile(envKey string) string { + path := os.Getenv(envKey) + if path == "" { + return "" + } + b, err := os.ReadFile(path) + if err != nil { + slog.Warn("secret file not readable", "path", path, "err", err) + return "" + } + return strings.TrimSpace(string(b)) +} + +func parseLevel(s string) slog.Level { + var l slog.Level + if err := l.UnmarshalText([]byte(s)); err != nil { + return slog.LevelInfo + } + return l +} + +func parseDuration(s string) time.Duration { + d, err := time.ParseDuration(s) + if err != nil { + return 8 * time.Second + } + return d +} + +func firstNonEmpty(v ...string) string { + for _, x := range v { + if x != "" { + return x + } + } + return "" +} diff --git a/internal/domain/attachment.go b/internal/domain/attachment.go new file mode 100644 index 0000000..b64511e --- /dev/null +++ b/internal/domain/attachment.go @@ -0,0 +1,95 @@ +package domain + +import ( + "encoding/json" + "time" +) + +const ( + AttachmentUploading = "uploading" // внутреннее намерение до 202, клиенту не видно + AttachmentQueued = "queued" + AttachmentProcessing = "processing" + AttachmentReady = "ready" + AttachmentFailed = "failed" + AttachmentMissing = "missing" // карантин reconciler +) + +// Variant — результат обработки одной версии pipeline. +type Variant struct { + Name string `json:"name"` + ContentType string `json:"content_type"` + SizeBytes int64 `json:"size_bytes"` + Width int `json:"width"` + Height int `json:"height"` + SHA256 string `json:"sha256"` + ObjectKey string `json:"-"` + PipelineVersion int `json:"-"` +} + +// Attachment — метаданные вложения. Ключи S3 никогда не уходят клиенту. +type Attachment struct { + ID string + ChatID string + OwnerID string + Filename string + ObjectKey string // текущее место оригинала: staging до ready, конечный prefix после + StagingKey string // staging-объект, пока он не удалён после публикации + Status string + ContentType string + SizeBytes int64 + SHA256 string + ErrorCode string + PipelineVersion int // версия, чей результат опубликован (0 — ещё нет) + Variants []Variant + CreatedAt time.Time + UpdatedAt time.Time +} + +// MarshalJSON — представление по контракту: queued/processing/ready/failed, +// варианты текущей опубликованной версии, error_code только у failed. +func (a Attachment) MarshalJSON() ([]byte, error) { + variants := a.Variants + if variants == nil { + variants = []Variant{} + } + var errCode *string + if a.Status == AttachmentFailed && a.ErrorCode != "" { + ec := a.ErrorCode + errCode = &ec + } + return json.Marshal(struct { + ID string `json:"id"` + ChatID string `json:"chat_id"` + OwnerID string `json:"owner_id"` + Filename string `json:"filename"` + ContentType string `json:"content_type"` + SizeBytes int64 `json:"size_bytes"` + SHA256 string `json:"sha256"` + Status string `json:"status"` + Variants []Variant `json:"variants"` + ErrorCode *string `json:"error_code"` + CreatedAt string `json:"created_at"` + UpdatedAt string `json:"updated_at"` + }{ + ID: a.ID, ChatID: a.ChatID, OwnerID: a.OwnerID, Filename: a.Filename, + ContentType: a.ContentType, SizeBytes: a.SizeBytes, SHA256: a.SHA256, + Status: a.Status, Variants: variants, ErrorCode: errCode, + CreatedAt: a.CreatedAt.UTC().Truncate(time.Second).Format(time.RFC3339), + UpdatedAt: a.UpdatedAt.UTC().Truncate(time.Second).Format(time.RFC3339), + }) +} + +// Job — сообщение broker по contracts/jobs.schema.json. Только ID и служебные +// поля: ни байтов, ни URL, ни credentials. +type Job struct { + SchemaVersion int `json:"schema_version"` + JobID string `json:"job_id"` + Type string `json:"type"` + AttachmentID string `json:"attachment_id"` + PipelineVersion int `json:"pipeline_version"` + Attempt int `json:"attempt"` + CreatedAt string `json:"created_at"` + Traceparent string `json:"traceparent,omitempty"` +} + +const JobType = "attachment.process.v1" diff --git a/internal/domain/chat.go b/internal/domain/chat.go new file mode 100644 index 0000000..5307e69 --- /dev/null +++ b/internal/domain/chat.go @@ -0,0 +1,30 @@ +package domain + +import ( + "encoding/json" + "time" +) + +type Chat struct { + ID string `json:"id"` + Title string `json:"title"` + MemberIDs []string `json:"member_ids"` + CreatedAt time.Time `json:"created_at"` +} + +func (c Chat) MarshalJSON() ([]byte, error) { + type Alias Chat + members := c.MemberIDs + if members == nil { + members = []string{} + } + return json.Marshal(&struct { + Alias + MemberIDs []string `json:"member_ids"` + CreatedAt string `json:"created_at"` + }{ + Alias: Alias(c), + MemberIDs: members, + CreatedAt: c.CreatedAt.UTC().Truncate(time.Second).Format(time.RFC3339), + }) +} diff --git a/internal/domain/message.go b/internal/domain/message.go new file mode 100644 index 0000000..907a218 --- /dev/null +++ b/internal/domain/message.go @@ -0,0 +1,30 @@ +package domain + +import ( + "encoding/json" + "time" +) + +type Message struct { + ID string `json:"id"` + ChatID string `json:"chat_id"` + SenderID string `json:"sender_id"` + Text string `json:"text"` + CreatedAt time.Time `json:"created_at"` + // AttachmentIDs — в порядке отправки; всегда массив (пустой, если вложений нет). + AttachmentIDs []string `json:"attachment_ids"` +} + +func (m Message) MarshalJSON() ([]byte, error) { + type Alias Message + if m.AttachmentIDs == nil { + m.AttachmentIDs = []string{} + } + return json.Marshal(&struct { + Alias + CreatedAt string `json:"created_at"` + }{ + Alias: Alias(m), + CreatedAt: m.CreatedAt.UTC().Truncate(time.Second).Format(time.RFC3339), + }) +} diff --git a/internal/domain/session.go b/internal/domain/session.go new file mode 100644 index 0000000..2a42b94 --- /dev/null +++ b/internal/domain/session.go @@ -0,0 +1,10 @@ +package domain + +import "time" + +type Session struct { + Token string `json:"token"` + UserID string `json:"-"` + ExpiresAt time.Time `json:"expires_at"` + CreatedAt time.Time `json:"-"` +} diff --git a/internal/domain/user.go b/internal/domain/user.go new file mode 100644 index 0000000..e1d91c4 --- /dev/null +++ b/internal/domain/user.go @@ -0,0 +1,25 @@ +package domain + +import ( + "encoding/json" + "time" +) + +type User struct { + ID string `json:"id"` + Username string `json:"username"` + DisplayName string `json:"display_name"` + CreatedAt time.Time `json:"created_at"` +} + +// MarshalJSON форматирует CreatedAt в RFC3339 без микросекунд. +func (u User) MarshalJSON() ([]byte, error) { + type Alias User + return json.Marshal(&struct { + Alias + CreatedAt string `json:"created_at"` + }{ + Alias: Alias(u), + CreatedAt: u.CreatedAt.UTC().Truncate(time.Second).Format(time.RFC3339), + }) +} diff --git a/internal/imagecheck/imagecheck.go b/internal/imagecheck/imagecheck.go new file mode 100644 index 0000000..fa89b59 --- /dev/null +++ b/internal/imagecheck/imagecheck.go @@ -0,0 +1,592 @@ +// Package imagecheck потоково проверяет PNG/JPEG без декодирования пикселей. +// +// Проверка идёт по мере чтения (используется параллельно с PUT в S3), память +// O(1) от размера изображения: размеры берутся из заголовка (IHDR/SOF) и +// сравниваются с лимитом до чтения тела; PNG — CRC каждого chunk, длина +// распакованного IDAT-потока (zlib → io.Discard) и байт фильтра каждой строки, +// JPEG — структура сегментов и маркер EOI. «Заведомо повреждённые» файлы +// (обрыв, битый CRC, мусор вместо данных, чужой формат) дают ErrInvalid, +// слишком большие по пикселям — ErrTooLarge. +package imagecheck + +import ( + "bufio" + "bytes" + "compress/zlib" + "encoding/binary" + "errors" + "fmt" + "hash/crc32" + "io" +) + +const ( + PNG = "image/png" + JPEG = "image/jpeg" +) + +var ( + ErrInvalid = errors.New("invalid or unsupported image") + ErrTooLarge = errors.New("image dimensions exceed limit") +) + +var pngSignature = []byte("\x89PNG\r\n\x1a\n") + +// Sniff определяет формат по первым байтам (не по заголовку Content-Type клиента). +func Sniff(head []byte) (string, bool) { + switch { + case bytes.HasPrefix(head, pngSignature): + return PNG, true + case len(head) >= 3 && head[0] == 0xFF && head[1] == 0xD8 && head[2] == 0xFF: + return JPEG, true + } + return "", false +} + +// Result — что удалось узнать при проверке. +type Result struct { + Format string + Width int + Height int +} + +// Validate читает r до конца и проверяет изображение формата format. +// maxPixels ограничивает width*height. Хвост после конца изображения +// дочитывается и игнорируется, чтобы не блокировать писателя. +func Validate(r io.Reader, format string, maxPixels int64) (Result, error) { + br := bufio.NewReaderSize(r, 32*1024) + var res Result + var err error + switch format { + case PNG: + res, err = validatePNG(br, maxPixels) + case JPEG: + res, err = validateJPEG(br, maxPixels) + default: + return Result{}, ErrInvalid + } + if err != nil { + return res, err + } + _, _ = io.Copy(io.Discard, br) + return res, nil +} + +func invalid(format string, args ...any) error { + return fmt.Errorf("%w: %s", ErrInvalid, fmt.Sprintf(format, args...)) +} + +// --- PNG --- + +func channels(colorType byte) (int, bool) { + switch colorType { + case 0: + return 1, true // grayscale + case 2: + return 3, true // RGB + case 3: + return 1, true // palette + case 4: + return 2, true // gray + alpha + case 6: + return 4, true // RGBA + } + return 0, false +} + +func validBitDepth(colorType, depth byte) bool { + switch colorType { + case 0: + return depth == 1 || depth == 2 || depth == 4 || depth == 8 || depth == 16 + case 3: + return depth == 1 || depth == 2 || depth == 4 || depth == 8 + case 2, 4, 6: + return depth == 8 || depth == 16 + } + return false +} + +// pngRowLen — длина одной отсканированной строки прохода: 1 байт фильтра + +// данные пикселей. +func pngRowLen(pw, bitsPerPixel int64) int64 { + return 1 + (pw*bitsPerPixel+7)/8 +} + +// expectedRaw — длина распакованного потока IDAT: строки с байтом фильтра. +func expectedRaw(w, h int64, bitsPerPixel int64, interlaced bool) int64 { + if !interlaced { + return h * pngRowLen(w, bitsPerPixel) + } + passes := [7][4]int64{{0, 0, 8, 8}, {4, 0, 8, 8}, {0, 4, 4, 8}, {2, 0, 4, 4}, {0, 2, 2, 4}, {1, 0, 2, 2}, {0, 1, 1, 2}} + var total int64 + for _, p := range passes { + if w <= p[0] || h <= p[1] { + continue + } + pw := (w - p[0] + p[2] - 1) / p[2] + ph := (h - p[1] + p[3] - 1) / p[3] + total += ph * pngRowLen(pw, bitsPerPixel) + } + return total +} + +// pngRows — итератор по (pw, ph) проходов Adam7 или единственного прохода. +// Используется, чтобы валидировать байт фильтра каждой строки, не зная +// заранее, как разбивается распакованный поток на проходы. +type pngPass struct { + pw, ph int64 +} + +func pngPasses(w, h int64, interlaced bool) []pngPass { + if !interlaced { + return []pngPass{{w, h}} + } + coords := [7][4]int64{{0, 0, 8, 8}, {4, 0, 8, 8}, {0, 4, 4, 8}, {2, 0, 4, 4}, {0, 2, 2, 4}, {1, 0, 2, 2}, {0, 1, 1, 2}} + out := make([]pngPass, 0, len(coords)) + for _, p := range coords { + if w <= p[0] || h <= p[1] { + continue + } + pw := (w - p[0] + p[2] - 1) / p[2] + ph := (h - p[1] + p[3] - 1) / p[3] + out = append(out, pngPass{pw, ph}) + } + return out +} + +type pngChunk struct { + length uint32 + typ [4]byte +} + +func readChunkHeader(br *bufio.Reader) (pngChunk, error) { + var hdr [8]byte + if _, err := io.ReadFull(br, hdr[:]); err != nil { + return pngChunk{}, invalid("truncated chunk header") + } + c := pngChunk{length: binary.BigEndian.Uint32(hdr[:4])} + copy(c.typ[:], hdr[4:]) + if c.length > 1<<31-1 { + return c, invalid("chunk too long") + } + for _, b := range c.typ { + if !((b >= 'A' && b <= 'Z') || (b >= 'a' && b <= 'z')) { + return c, invalid("bad chunk type") + } + } + return c, nil +} + +// readChunkData читает тело chunk в dst (если не nil) и проверяет CRC. +func readChunkData(br *bufio.Reader, c pngChunk, dst io.Writer) error { + h := crc32.NewIEEE() + h.Write(c.typ[:]) + w := io.Writer(h) + if dst != nil { + w = io.MultiWriter(h, dst) + } + if _, err := io.CopyN(w, br, int64(c.length)); err != nil { + return invalid("truncated %s chunk", c.typ[:]) + } + var crc [4]byte + if _, err := io.ReadFull(br, crc[:]); err != nil { + return invalid("truncated CRC") + } + if binary.BigEndian.Uint32(crc[:]) != h.Sum32() { + return invalid("CRC mismatch in %s", c.typ[:]) + } + return nil +} + +// idatStream отдаёт данные подряд идущих IDAT-chunk как один поток. +type idatStream struct { + br *bufio.Reader + remaining uint32 + crc uint32 + next *pngChunk // первый chunk после последнего IDAT + err error +} + +func (s *idatStream) Read(p []byte) (int, error) { + for s.remaining == 0 { + if s.err != nil || s.next != nil { + if s.err != nil { + return 0, s.err + } + return 0, io.EOF + } + if err := s.finishChunk(); err != nil { + s.err = err + return 0, err + } + c, err := readChunkHeader(s.br) + if err != nil { + s.err = err + return 0, err + } + if string(c.typ[:]) != "IDAT" { + s.next = &c + return 0, io.EOF + } + s.startChunk(c) + } + if uint32(len(p)) > s.remaining { + p = p[:s.remaining] + } + n, err := s.br.Read(p) + s.crc = crc32.Update(s.crc, crc32.IEEETable, p[:n]) + s.remaining -= uint32(n) + if err != nil && err != io.EOF { + s.err = err + return n, err + } + if n == 0 && err == io.EOF { + s.err = invalid("truncated IDAT") + return 0, s.err + } + return n, nil +} + +func (s *idatStream) startChunk(c pngChunk) { + s.remaining = c.length + s.crc = crc32.Update(0, crc32.IEEETable, c.typ[:]) +} + +func (s *idatStream) finishChunk() error { + var crc [4]byte + if _, err := io.ReadFull(s.br, crc[:]); err != nil { + return invalid("truncated CRC") + } + if binary.BigEndian.Uint32(crc[:]) != s.crc { + return invalid("CRC mismatch in IDAT") + } + return nil +} + +// validatePNGStream проверяет распакованный поток: длину, кратность строкам +// и байты фильтра (0..4) в начале каждой строки каждого прохода. +func validatePNGStream(zr io.Reader, passes []pngPass, bitsPerPixel, want int64) error { + total := int64(0) + buf := make([]byte, 32*1024) + for _, pass := range passes { + rowLen := pngRowLen(pass.pw, bitsPerPixel) + for y := int64(0); y < pass.ph; y++ { + // читаем ровно одну строку, но чанками, чтобы не аллоцировать + // rowLen (может быть большой для широких изображений) + left := rowLen + first := true + for left > 0 { + chunk := int64(len(buf)) + if left < chunk { + chunk = left + } + n, err := io.ReadFull(zr, buf[:chunk]) + if err != nil { + if errors.Is(err, io.ErrUnexpectedEOF) || errors.Is(err, io.EOF) { + return invalid("truncated IDAT (got %d of %d)", total, want) + } + return invalid("corrupt image data") + } + if first { + if buf[0] > 4 { + return invalid("bad row filter %d", buf[0]) + } + first = false + } + total += int64(n) + left -= int64(n) + } + } + } + // Проверяем, что распакованный поток ровно want байт (ни больше, ни меньше). + var extra [1]byte + n, err := zr.Read(extra[:]) + if n != 0 { + return invalid("image data longer than expected") + } + if err != nil && !errors.Is(err, io.EOF) { + return invalid("corrupt image data") + } + if total != want { + return invalid("image data length %d, want %d", total, want) + } + return nil +} + +func validatePNG(br *bufio.Reader, maxPixels int64) (Result, error) { + res := Result{Format: PNG} + sig := make([]byte, 8) + if _, err := io.ReadFull(br, sig); err != nil || !bytes.Equal(sig, pngSignature) { + return res, invalid("not a PNG") + } + c, err := readChunkHeader(br) + if err != nil { + return res, err + } + if string(c.typ[:]) != "IHDR" || c.length != 13 { + return res, invalid("IHDR must be first") + } + var ihdr bytes.Buffer + if err := readChunkData(br, c, &ihdr); err != nil { + return res, err + } + b := ihdr.Bytes() + w := int64(binary.BigEndian.Uint32(b[0:4])) + h := int64(binary.BigEndian.Uint32(b[4:8])) + depth, colorType, compression, filter, interlace := b[8], b[9], b[10], b[11], b[12] + res.Width, res.Height = int(w), int(h) + if w < 1 || h < 1 || w > 1<<31-1 || h > 1<<31-1 { + return res, invalid("bad dimensions") + } + // Лимит пикселей — до чтения и распаковки данных изображения. + if w*h > maxPixels { + return res, ErrTooLarge + } + ch, ok := channels(colorType) + if !ok || !validBitDepth(colorType, depth) || compression != 0 || filter != 0 || interlace > 1 { + return res, invalid("unsupported IHDR") + } + bpp := int64(ch) * int64(depth) + want := expectedRaw(w, h, bpp, interlace == 1) + passes := pngPasses(w, h, interlace == 1) + + sawIDAT := false + for { + c, err := readChunkHeader(br) + if err != nil { + return res, err + } + switch string(c.typ[:]) { + case "IDAT": + if sawIDAT { + return res, invalid("non-consecutive IDAT") + } + sawIDAT = true + s := &idatStream{br: br} + s.startChunk(c) + zr, err := zlib.NewReader(s) + if err != nil { + return res, invalid("bad zlib header") + } + // Распаковка и проверка фильтров строк — без хранения пикселей. + if err := validatePNGStream(zr, passes, bpp, want); err != nil { + // Закрываем zlib, чтобы дочитать хвост CRC в idatStream, но + // игнорируем ошибку закрытия: она не важна для результата. + _ = zr.Close() + return res, err + } + if err := zr.Close(); err != nil && !errors.Is(err, io.EOF) { + return res, invalid("bad zlib trailer") + } + // Остаток IDAT (например, пустые chunk) дочитываем с проверкой CRC. + if _, err := io.Copy(io.Discard, s); err != nil { + return res, err + } + if s.next == nil { + return res, invalid("missing IEND") + } + c = *s.next + if string(c.typ[:]) == "IEND" { + if err := readChunkData(br, c, nil); err != nil { + return res, err + } + return res, nil + } + if err := readChunkData(br, c, nil); err != nil { + return res, err + } + case "IEND": + if !sawIDAT { + return res, invalid("no image data") + } + if err := readChunkData(br, c, nil); err != nil { + return res, err + } + return res, nil + case "IHDR": + return res, invalid("duplicate IHDR") + default: + if err := readChunkData(br, c, nil); err != nil { + return res, err + } + } + } +} + +// --- JPEG --- + +func isSOF(m byte) bool { + switch m { + case 0xC0, 0xC1, 0xC2, 0xC3, 0xC5, 0xC6, 0xC7, 0xC9, 0xCA, 0xCB, 0xCD, 0xCE, 0xCF: + return true + } + return false +} + +// readMarker читает 0xFF (с заполнителями) и код маркера. +func readMarker(br *bufio.Reader) (byte, error) { + b, err := br.ReadByte() + if err != nil { + return 0, invalid("truncated JPEG") + } + if b != 0xFF { + return 0, invalid("expected JPEG marker") + } + for b == 0xFF { + if b, err = br.ReadByte(); err != nil { + return 0, invalid("truncated JPEG") + } + } + return b, nil +} + +func segmentLength(br *bufio.Reader) (int, error) { + var l [2]byte + if _, err := io.ReadFull(br, l[:]); err != nil { + return 0, invalid("truncated JPEG segment") + } + n := int(binary.BigEndian.Uint16(l[:])) + if n < 2 { + return 0, invalid("bad JPEG segment length") + } + return n - 2, nil +} + +// skipEntropy пропускает сжатые данные скана и возвращает следующий маркер. +func skipEntropy(br *bufio.Reader) (byte, error) { + for { + b, err := br.ReadByte() + if err != nil { + return 0, invalid("truncated JPEG scan") + } + if b != 0xFF { + continue + } + for b == 0xFF { + if b, err = br.ReadByte(); err != nil { + return 0, invalid("truncated JPEG scan") + } + } + if b == 0x00 || (b >= 0xD0 && b <= 0xD7) { + continue // байт-заполнитель или RSTn внутри скана + } + return b, nil + } +} + +// readSOF читает сегмент SOF и проверяет его структуру (ITU T.81, B.2.2): +// P(1) Y(2) X(2) Nf(1), затем Nf компонент по 3 байта. n — длина сегмента +// без двух байт поля длины. Возвращает (width, height). +func readSOF(br *bufio.Reader, n int) (int64, int64, error) { + if n < 6 { + return 0, 0, invalid("short SOF") + } + hdr := make([]byte, 6) + if _, err := io.ReadFull(br, hdr); err != nil { + return 0, 0, invalid("truncated SOF") + } + // hdr[0] — точность выборки (precision), не число компонент. + h := int64(binary.BigEndian.Uint16(hdr[1:3])) + w := int64(binary.BigEndian.Uint16(hdr[3:5])) + nf := int(hdr[5]) + if nf == 0 { + return 0, 0, invalid("SOF without components") + } + if n != 6+3*nf { + return 0, 0, invalid("SOF length %d, want %d", n, 6+3*nf) + } + if _, err := br.Discard(3 * nf); err != nil { + return 0, 0, invalid("truncated SOF") + } + return w, h, nil +} + +func validateJPEG(br *bufio.Reader, maxPixels int64) (Result, error) { + res := Result{Format: JPEG} + var soi [2]byte + if _, err := io.ReadFull(br, soi[:]); err != nil || soi != [2]byte{0xFF, 0xD8} { + return res, invalid("not a JPEG") + } + sawSOF, sawSOS := false, false + marker, err := readMarker(br) + if err != nil { + return res, err + } + for { + switch { + case marker == 0xD9: // EOI + if !sawSOF || !sawSOS { + return res, invalid("JPEG without frame or scan") + } + return res, nil + case marker == 0xD8: + return res, invalid("unexpected SOI") + case marker == 0x01 || (marker >= 0xD0 && marker <= 0xD7): + // маркеры без длины + case isSOF(marker): + n, err := segmentLength(br) + if err != nil { + return res, err + } + if sawSOF { + // читаем сегмент, но так и так вернём ошибку + _, _, _ = readSOF(br, n) + return res, invalid("multiple frames") + } + w, h, err := readSOF(br, n) + if err != nil { + return res, err + } + res.Width, res.Height = int(w), int(h) + if w < 1 || h < 1 { + return res, invalid("bad JPEG dimensions") + } + if w*h > maxPixels { + return res, ErrTooLarge + } + sawSOF = true + case marker == 0xDA: // SOS + if !sawSOF { + return res, invalid("scan before frame") + } + n, err := segmentLength(br) + if err != nil { + return res, err + } + // SOS: Ns + Ss + Se + Ah/Al + 2*Ns = 1 + 3 + 2*Ns = 4 + 2*Ns + if n < 4 { + return res, invalid("short SOS") + } + nsBuf := make([]byte, 1) + if _, err := io.ReadFull(br, nsBuf); err != nil { + return res, invalid("truncated SOS") + } + ns := int(nsBuf[0]) + if ns < 1 { + return res, invalid("SOS without components") + } + if n != 4+2*ns { + return res, invalid("SOS length %d, want %d", n, 4+2*ns) + } + if _, err := br.Discard(n - 1); err != nil { + return res, invalid("truncated SOS") + } + sawSOS = true + if marker, err = skipEntropy(br); err != nil { + return res, err + } + continue + default: + n, err := segmentLength(br) + if err != nil { + return res, err + } + if _, err := br.Discard(n); err != nil { + return res, invalid("truncated JPEG segment") + } + } + if marker, err = readMarker(br); err != nil { + return res, err + } + } +} diff --git a/internal/imagecheck/imagecheck_test.go b/internal/imagecheck/imagecheck_test.go new file mode 100644 index 0000000..393d415 --- /dev/null +++ b/internal/imagecheck/imagecheck_test.go @@ -0,0 +1,187 @@ +package imagecheck + +import ( + "bytes" + "compress/zlib" + "encoding/binary" + "errors" + "hash/crc32" + "image" + "image/color" + "image/jpeg" + "image/png" + "os" + "testing" +) + +const limit = 40_000_000 + +func testImage(w, h int) *image.RGBA { + img := image.NewRGBA(image.Rect(0, 0, w, h)) + for y := 0; y < h; y++ { + for x := 0; x < w; x++ { + img.Set(x, y, color.RGBA{uint8(x * 7), uint8(y * 3), uint8(x ^ y), 255}) + } + } + return img +} + +func encodePNG(t *testing.T, w, h int) []byte { + var b bytes.Buffer + if err := png.Encode(&b, testImage(w, h)); err != nil { + t.Fatal(err) + } + return b.Bytes() +} + +func encodeJPEG(t *testing.T, w, h int, progressive bool) []byte { + var b bytes.Buffer + if err := jpeg.Encode(&b, testImage(w, h), &jpeg.Options{Quality: 80}); err != nil { + t.Fatal(err) + } + return b.Bytes() +} + +func chunk(typ string, data []byte) []byte { + var b bytes.Buffer + binary.Write(&b, binary.BigEndian, uint32(len(data))) + b.WriteString(typ) + b.Write(data) + crc := crc32.NewIEEE() + crc.Write([]byte(typ)) + crc.Write(data) + binary.Write(&b, binary.BigEndian, crc.Sum32()) + return b.Bytes() +} + +// craftPNG собирает PNG вручную: так можно задать любые IHDR и поток данных. +func craftPNG(w, h uint32, colorType, depth, interlace byte, raw []byte) []byte { + var b bytes.Buffer + b.Write(pngSignature) + ihdr := make([]byte, 13) + binary.BigEndian.PutUint32(ihdr[0:], w) + binary.BigEndian.PutUint32(ihdr[4:], h) + ihdr[8], ihdr[9], ihdr[12] = depth, colorType, interlace + b.Write(chunk("IHDR", ihdr)) + var z bytes.Buffer + zw := zlib.NewWriter(&z) + zw.Write(raw) + zw.Close() + b.Write(chunk("IDAT", z.Bytes())) + b.Write(chunk("IEND", nil)) + return b.Bytes() +} + +func check(t *testing.T, name string, data []byte, format string, want error) { + t.Helper() + _, err := Validate(bytes.NewReader(data), format, limit) + if want == nil && err != nil { + t.Errorf("%s: unexpected error %v", name, err) + } + if want != nil && !errors.Is(err, want) { + t.Errorf("%s: got %v, want %v", name, err, want) + } +} + +func TestValidPNGAndJPEG(t *testing.T) { + p := encodePNG(t, 320, 200) + res, err := Validate(bytes.NewReader(p), PNG, limit) + if err != nil || res.Width != 320 || res.Height != 200 { + t.Fatalf("png: %+v %v", res, err) + } + j := encodeJPEG(t, 321, 199, false) + res, err = Validate(bytes.NewReader(j), JPEG, limit) + if err != nil || res.Width != 321 || res.Height != 199 { + t.Fatalf("jpeg: %+v %v", res, err) + } + check(t, "png with trailing bytes", append(p, []byte("trailer")...), PNG, nil) +} + +func TestCourseFixture(t *testing.T) { + data, err := os.ReadFile("../../tests/fixtures/sample.png") + if err != nil { + t.Skip("fixture not found") + } + res, err := Validate(bytes.NewReader(data), PNG, limit) + if err != nil || res.Width != 320 || res.Height != 200 { + t.Fatalf("fixture: %+v %v", res, err) + } +} + +func TestInterlacedPNG(t *testing.T) { + // 10×7 RGB, Adam7: длина сырых данных по семи проходам. + w, h := int64(10), int64(7) + raw := make([]byte, expectedRaw(w, h, 24, true)) + check(t, "interlaced", craftPNG(uint32(w), uint32(h), 2, 8, 1, raw), PNG, nil) + check(t, "interlaced short data", craftPNG(uint32(w), uint32(h), 2, 8, 1, raw[:len(raw)-1]), PNG, ErrInvalid) +} + +func TestBrokenImages(t *testing.T) { + p := encodePNG(t, 64, 64) + j := encodeJPEG(t, 64, 64, false) + + check(t, "png truncated", p[:len(p)/2], PNG, ErrInvalid) + check(t, "png without IEND", p[:len(p)-12], PNG, ErrInvalid) + bad := bytes.Clone(p) + bad[len(bad)/2] ^= 0xFF + check(t, "png corrupted byte", bad, PNG, ErrInvalid) + check(t, "jpeg truncated", j[:len(j)/2], JPEG, ErrInvalid) + check(t, "jpeg without EOI", j[:len(j)-2], JPEG, ErrInvalid) + check(t, "png declared as jpeg", p, JPEG, ErrInvalid) + check(t, "text as png", []byte("hello, not an image at all"), PNG, ErrInvalid) + check(t, "empty", nil, PNG, ErrInvalid) + check(t, "png short raw data", craftPNG(8, 8, 2, 8, 0, make([]byte, 8*(1+24)-1)), PNG, ErrInvalid) + check(t, "png bad bit depth", craftPNG(8, 8, 2, 4, 0, make([]byte, 8*(1+12))), PNG, ErrInvalid) +} + +func TestPixelLimitBeforeData(t *testing.T) { + // «Бомба»: IHDR на 100000×100000, данных почти нет. Должно быть ErrTooLarge, + // а не попытка распаковать 30 ГБ. + bomb := craftPNG(100000, 100000, 2, 8, 0, []byte{0}) + check(t, "png bomb", bomb, PNG, ErrTooLarge) + // Ровно на границе лимита — допустимо по пикселям (данных не хватает → invalid). + check(t, "png at limit", craftPNG(8000, 5000, 0, 1, 0, nil), PNG, ErrInvalid) + check(t, "png over limit", craftPNG(8000, 5001, 0, 1, 0, nil), PNG, ErrTooLarge) + + // JPEG: подменяем размеры в SOF0 на 60000×60000. + j := encodeJPEG(t, 16, 16, false) + i := bytes.Index(j, []byte{0xFF, 0xC0}) + if i < 0 { + t.Fatal("no SOF0") + } + big := bytes.Clone(j) + binary.BigEndian.PutUint16(big[i+5:], 60000) + binary.BigEndian.PutUint16(big[i+7:], 60000) + check(t, "jpeg bomb", big, JPEG, ErrTooLarge) +} + +func TestJPEGSOFStructure(t *testing.T) { + // Серый JPEG: одна компонента (Nf=1), длина SOF = 6 + 3*1. + var g bytes.Buffer + gray := image.NewGray(image.Rect(0, 0, 33, 17)) + if err := jpeg.Encode(&g, gray, nil); err != nil { + t.Fatal(err) + } + res, err := Validate(bytes.NewReader(g.Bytes()), JPEG, limit) + if err != nil || res.Width != 33 || res.Height != 17 { + t.Fatalf("grayscale jpeg: %+v %v", res, err) + } + // Цветной JPEG с испорченным Nf (длина сегмента больше не сходится). + j := encodeJPEG(t, 16, 16, false) + i := bytes.Index(j, []byte{0xFF, 0xC0}) + bad := bytes.Clone(j) + bad[i+9] = 7 // Nf: было 3 + check(t, "jpeg SOF length mismatch", bad, JPEG, ErrInvalid) +} + +func TestSniff(t *testing.T) { + if f, ok := Sniff(encodePNG(t, 2, 2)); !ok || f != PNG { + t.Error("png sniff") + } + if f, ok := Sniff(encodeJPEG(t, 2, 2, false)); !ok || f != JPEG { + t.Error("jpeg sniff") + } + if _, ok := Sniff([]byte("GIF89a")); ok { + t.Error("gif must not be accepted") + } +} diff --git a/internal/imaging/imaging.go b/internal/imaging/imaging.go new file mode 100644 index 0000000..8f3d85d --- /dev/null +++ b/internal/imaging/imaging.go @@ -0,0 +1,291 @@ +// Package imaging строит варианты вложения по контракту lab5. +// +// thumbnail JPEG, вписан в 256×256 с сохранением пропорций, без увеличения, +// EXIF orientation применён, alpha компонуется на белый, +// размеры округляются вниз, минимум 1 px (320×200 → 256×160) +// crop JPEG, центрированный квадрат 128×128 (маленькие увеличиваются) +// optimized WebP, вписан в 1280×1280 без увеличения; lossy, качество WEBP_QUALITY, +// метаданные удалены (cwebp -metadata none; пиксели и так +// перекодированы из декодированного изображения, EXIF не переносится) +// +// Все кодировщики детерминированы: одинаковый вход даёт одинаковые байты, поэтому +// повтор job перезаписывает объект тем же содержимым. +package imaging + +import ( + "bytes" + "context" + "crypto/sha256" + "encoding/binary" + "encoding/hex" + "errors" + "fmt" + "image" + "image/color" + "image/draw" + "image/jpeg" + "image/png" + "os" + "os/exec" + "path/filepath" + + xdraw "golang.org/x/image/draw" +) + +// ErrDecode — изображение не декодируется: постоянная ошибка (повтор не поможет). +var ErrDecode = errors.New("cannot decode image") + +// Params — параметры версии pipeline. Новая версия может менять их, не трогая +// уже опубликованные результаты старой (ключ эффекта включает версию). +type Params struct { + ThumbQuality int + CropQuality int + WebPQuality int +} + +// ParamsFor — параметры по номеру версии pipeline. +func ParamsFor(version, webpQuality int) Params { + p := Params{ThumbQuality: 85, CropQuality: 85, WebPQuality: webpQuality} + if version >= 2 { + // v2 (трек 5): чуть выше качество превью — другой, но детерминированный результат. + p.ThumbQuality, p.CropQuality = 92, 92 + } + return p +} + +// Output — закодированный вариант. +type Output struct { + Name string + ContentType string + Data []byte + Width int + Height int + SHA256 string +} + +func newOutput(name, ctype string, data []byte, w, h int) Output { + sum := sha256.Sum256(data) + return Output{Name: name, ContentType: ctype, Data: data, Width: w, Height: h, SHA256: hex.EncodeToString(sum[:])} +} + +// Decode декодирует оригинал, применяет EXIF orientation (JPEG) и компонует +// прозрачность на белый фон. +func Decode(data []byte) (*image.RGBA, error) { + src, _, err := image.Decode(bytes.NewReader(data)) + if err != nil { + return nil, fmt.Errorf("%w: %v", ErrDecode, err) + } + b := src.Bounds() + // Непрозрачный RGBA (типичный PNG RGB) уже готов: вторая полноразмерная копия + // (4 байта × пиксель) не нужна — для 36 Мпикс это 137 MiB памяти worker. + if rgba, ok := src.(*image.RGBA); ok && b.Min == (image.Point{}) && rgba.Opaque() { + return Orient(rgba, ExifOrientation(data)), nil + } + out := image.NewRGBA(image.Rect(0, 0, b.Dx(), b.Dy())) + draw.Draw(out, out.Bounds(), image.NewUniform(color.White), image.Point{}, draw.Src) + draw.Draw(out, out.Bounds(), src, b.Min, draw.Over) // alpha → на белый + return Orient(out, ExifOrientation(data)), nil +} + +// FitSize — вписать w×h в box×box с сохранением пропорций; без увеличения, +// если allowUpscale=false; округление вниз, минимум 1. +func FitSize(w, h, box int, allowUpscale bool) (int, int) { + if !allowUpscale && w <= box && h <= box { + return w, h + } + if w >= h { + nh := h * box / w + return box, max(1, nh) + } + nw := w * box / h + return max(1, nw), box +} + +func resize(src image.Image, w, h int) *image.RGBA { + dst := image.NewRGBA(image.Rect(0, 0, w, h)) + xdraw.CatmullRom.Scale(dst, dst.Bounds(), src, src.Bounds(), xdraw.Src, nil) + return dst +} + +func encodeJPEG(img image.Image, quality int) ([]byte, error) { + var b bytes.Buffer + if err := jpeg.Encode(&b, img, &jpeg.Options{Quality: quality}); err != nil { + return nil, err + } + return b.Bytes(), nil +} + +// Thumbnail — JPEG, вписан в 256×256 без увеличения. +func Thumbnail(img *image.RGBA, p Params) (Output, error) { + w, h := FitSize(img.Bounds().Dx(), img.Bounds().Dy(), 256, false) + var src image.Image = img + if w != img.Bounds().Dx() || h != img.Bounds().Dy() { + src = resize(img, w, h) + } + data, err := encodeJPEG(src, p.ThumbQuality) + if err != nil { + return Output{}, err + } + return newOutput("thumbnail", "image/jpeg", data, w, h), nil +} + +// Crop — JPEG, центрированный квадрат 128×128 (маленькие исходники увеличиваются). +func Crop(img *image.RGBA, p Params) (Output, error) { + b := img.Bounds() + side := min(b.Dx(), b.Dy()) + x0 := b.Min.X + (b.Dx()-side)/2 + y0 := b.Min.Y + (b.Dy()-side)/2 + sq := img.SubImage(image.Rect(x0, y0, x0+side, y0+side)) + data, err := encodeJPEG(resize(sq, 128, 128), p.CropQuality) + if err != nil { + return Output{}, err + } + return newOutput("crop", "image/jpeg", data, 128, 128), nil +} + +// WebPEncoder кодирует RGBA в WebP. +type WebPEncoder func(ctx context.Context, img image.Image, quality int) ([]byte, error) + +// CWebP — кодировщик через cwebp (libwebp-tools): lossy, -metadata none. +// Вход — PNG во временном каталоге процесса (эфемерный, удаляется сразу). +func CWebP(ctx context.Context, img image.Image, quality int) ([]byte, error) { + dir, err := os.MkdirTemp("", "webp-") + if err != nil { + return nil, err + } + defer os.RemoveAll(dir) + in, out := filepath.Join(dir, "in.png"), filepath.Join(dir, "out.webp") + f, err := os.Create(in) + if err != nil { + return nil, err + } + enc := png.Encoder{CompressionLevel: png.BestSpeed} + if err := enc.Encode(f, img); err != nil { + f.Close() + return nil, err + } + f.Close() + cmd := exec.CommandContext(ctx, "cwebp", "-quiet", "-q", fmt.Sprint(quality), "-m", "4", "-metadata", "none", in, "-o", out) + if msg, err := cmd.CombinedOutput(); err != nil { + return nil, fmt.Errorf("cwebp: %v: %s", err, bytes.TrimSpace(msg)) + } + return os.ReadFile(out) +} + +// Optimized — WebP, вписан в 1280×1280 без увеличения. +func Optimized(ctx context.Context, img *image.RGBA, p Params, enc WebPEncoder) (Output, error) { + w, h := FitSize(img.Bounds().Dx(), img.Bounds().Dy(), 1280, false) + var src image.Image = img + if w != img.Bounds().Dx() || h != img.Bounds().Dy() { + src = resize(img, w, h) + } + data, err := enc(ctx, src, p.WebPQuality) + if err != nil { + return Output{}, err + } + if len(data) < 12 || string(data[0:4]) != "RIFF" || string(data[8:12]) != "WEBP" { + return Output{}, errors.New("encoder produced non-WebP data") + } + return newOutput("optimized", "image/webp", data, w, h), nil +} + +// --- EXIF orientation --- + +// ExifOrientation возвращает тег 0x0112 из APP1 Exif JPEG (1 — нет поворота). +func ExifOrientation(data []byte) int { + if len(data) < 4 || data[0] != 0xFF || data[1] != 0xD8 { + return 1 + } + i := 2 + for i+4 <= len(data) && data[i] == 0xFF { + marker := data[i+1] + if marker == 0xDA || marker == 0xD9 { + break + } + segLen := int(binary.BigEndian.Uint16(data[i+2 : i+4])) + if segLen < 2 || i+2+segLen > len(data) { + break + } + seg := data[i+4 : i+2+segLen] + if marker == 0xE1 && len(seg) > 14 && string(seg[:6]) == "Exif\x00\x00" { + if o := tiffOrientation(seg[6:]); o >= 1 && o <= 8 { + return o + } + } + i += 2 + segLen + } + return 1 +} + +func tiffOrientation(t []byte) int { + if len(t) < 8 { + return 1 + } + var bo binary.ByteOrder + switch string(t[:2]) { + case "II": + bo = binary.LittleEndian + case "MM": + bo = binary.BigEndian + default: + return 1 + } + off := int(bo.Uint32(t[4:8])) + if off+2 > len(t) { + return 1 + } + n := int(bo.Uint16(t[off : off+2])) + for k := 0; k < n; k++ { + e := off + 2 + 12*k + if e+12 > len(t) { + return 1 + } + if bo.Uint16(t[e:e+2]) == 0x0112 { + return int(bo.Uint16(t[e+8 : e+10])) + } + } + return 1 +} + +// Orient применяет EXIF orientation 1..8 (поворот/отражение). +func Orient(src *image.RGBA, o int) *image.RGBA { + if o <= 1 || o > 8 { + return src + } + b := src.Bounds() + w, h := b.Dx(), b.Dy() + dw, dh := w, h + if o >= 5 { + dw, dh = h, w + } + dst := image.NewRGBA(image.Rect(0, 0, dw, dh)) + for y := 0; y < h; y++ { + for x := 0; x < w; x++ { + var dx, dy int + switch o { + case 2: + dx, dy = w-1-x, y + case 3: + dx, dy = w-1-x, h-1-y + case 4: + dx, dy = x, h-1-y + case 5: + dx, dy = y, x + case 6: + dx, dy = h-1-y, x + case 7: + dx, dy = h-1-y, w-1-x + case 8: + dx, dy = y, w-1-x + } + dst.SetRGBA(dx, dy, src.RGBAAt(b.Min.X+x, b.Min.Y+y)) + } + } + return dst +} + +// SHA256Hex — lowercase hex SHA-256. +func SHA256Hex(data []byte) string { + sum := sha256.Sum256(data) + return hex.EncodeToString(sum[:]) +} diff --git a/internal/imaging/imaging_test.go b/internal/imaging/imaging_test.go new file mode 100644 index 0000000..9a71831 --- /dev/null +++ b/internal/imaging/imaging_test.go @@ -0,0 +1,208 @@ +package imaging + +import ( + "bytes" + "context" + "encoding/binary" + "image" + "image/color" + "image/jpeg" + "image/png" + "os" + "os/exec" + "testing" +) + +func solid(w, h int, c color.Color) *image.NRGBA { + m := image.NewNRGBA(image.Rect(0, 0, w, h)) + for y := 0; y < h; y++ { + for x := 0; x < w; x++ { + m.Set(x, y, c) + } + } + return m +} + +func encPNG(t *testing.T, img image.Image) []byte { + var b bytes.Buffer + if err := png.Encode(&b, img); err != nil { + t.Fatal(err) + } + return b.Bytes() +} + +func TestFitSize(t *testing.T) { + cases := []struct { + w, h, box int + up bool + ww, wh int + }{ + {320, 200, 256, false, 256, 160}, // fixture курса + {200, 320, 256, false, 160, 256}, + {100, 50, 256, false, 100, 50}, // без увеличения + {5000, 1, 256, false, 256, 1}, // минимум 1 px + {1, 5000, 256, false, 1, 256}, + {257, 255, 256, false, 256, 254}, // округление вниз + {40, 30, 128, true, 128, 96}, + {3000, 2000, 1280, false, 1280, 853}, + } + for _, c := range cases { + if w, h := FitSize(c.w, c.h, c.box, c.up); w != c.ww || h != c.wh { + t.Errorf("FitSize(%d,%d,%d,%v)=%d×%d want %d×%d", c.w, c.h, c.box, c.up, w, h, c.ww, c.wh) + } + } +} + +func jpegSize(t *testing.T, data []byte) (int, int) { + cfg, err := jpeg.DecodeConfig(bytes.NewReader(data)) + if err != nil { + t.Fatal(err) + } + return cfg.Width, cfg.Height +} + +func TestCourseFixtureThumbnail(t *testing.T) { + data, err := os.ReadFile("../../tests/fixtures/sample.png") + if err != nil { + t.Skip("fixture not found") + } + img, err := Decode(data) + if err != nil { + t.Fatal(err) + } + th, err := Thumbnail(img, ParamsFor(1, 80)) + if err != nil { + t.Fatal(err) + } + if w, h := jpegSize(t, th.Data); w != 256 || h != 160 || th.Width != 256 || th.Height != 160 { + t.Fatalf("thumbnail %d×%d (meta %d×%d), want 256×160", w, h, th.Width, th.Height) + } + again, _ := Thumbnail(img, ParamsFor(1, 80)) + if !bytes.Equal(th.Data, again.Data) { + t.Error("thumbnail encoding is not deterministic") + } + cr, err := Crop(img, ParamsFor(1, 80)) + if err != nil { + t.Fatal(err) + } + if w, h := jpegSize(t, cr.Data); w != 128 || h != 128 { + t.Fatalf("crop %d×%d", w, h) + } + v2, _ := Thumbnail(img, ParamsFor(2, 80)) + if bytes.Equal(v2.Data, th.Data) { + t.Error("pipeline v2 must produce a different thumbnail") + } +} + +func TestSmallImageNotUpscaledButCropIs(t *testing.T) { + img, err := Decode(encPNG(t, solid(40, 30, color.RGBA{10, 20, 30, 255}))) + if err != nil { + t.Fatal(err) + } + th, _ := Thumbnail(img, ParamsFor(1, 80)) + if th.Width != 40 || th.Height != 30 { + t.Errorf("small thumbnail upscaled to %d×%d", th.Width, th.Height) + } + cr, _ := Crop(img, ParamsFor(1, 80)) + if w, h := jpegSize(t, cr.Data); w != 128 || h != 128 { + t.Errorf("crop of small image %d×%d", w, h) + } +} + +func TestAlphaOnWhite(t *testing.T) { + img, err := Decode(encPNG(t, solid(10, 10, color.NRGBA{0, 0, 0, 0}))) + if err != nil { + t.Fatal(err) + } + if c := img.RGBAAt(5, 5); c.R != 255 || c.G != 255 || c.B != 255 { + t.Errorf("transparent pixel composited to %v, want white", c) + } + half, _ := Decode(encPNG(t, solid(4, 4, color.NRGBA{0, 0, 0, 128}))) + if c := half.RGBAAt(1, 1); c.R < 120 || c.R > 135 { + t.Errorf("50%% black over white = %v, want ~127", c) + } +} + +// withExif вставляет APP1 Exif с orientation сразу после SOI. +func withExif(jpg []byte, orientation uint16) []byte { + var tiff bytes.Buffer + tiff.WriteString("MM\x00\x2a") + binary.Write(&tiff, binary.BigEndian, uint32(8)) + binary.Write(&tiff, binary.BigEndian, uint16(1)) + binary.Write(&tiff, binary.BigEndian, uint16(0x0112)) + binary.Write(&tiff, binary.BigEndian, uint16(3)) + binary.Write(&tiff, binary.BigEndian, uint32(1)) + binary.Write(&tiff, binary.BigEndian, orientation) + tiff.Write([]byte{0, 0}) + binary.Write(&tiff, binary.BigEndian, uint32(0)) + seg := append([]byte("Exif\x00\x00"), tiff.Bytes()...) + var out bytes.Buffer + out.Write(jpg[:2]) + out.Write([]byte{0xFF, 0xE1}) + binary.Write(&out, binary.BigEndian, uint16(len(seg)+2)) + out.Write(seg) + out.Write(jpg[2:]) + return out.Bytes() +} + +func TestExifOrientation(t *testing.T) { + // 300×100: слева красный, справа синий. + src := image.NewRGBA(image.Rect(0, 0, 300, 100)) + for y := 0; y < 100; y++ { + for x := 0; x < 300; x++ { + c := color.RGBA{255, 0, 0, 255} + if x >= 150 { + c = color.RGBA{0, 0, 255, 255} + } + src.Set(x, y, c) + } + } + var b bytes.Buffer + jpeg.Encode(&b, src, &jpeg.Options{Quality: 95}) + data := withExif(b.Bytes(), 6) // 90° по часовой + if o := ExifOrientation(data); o != 6 { + t.Fatalf("orientation %d, want 6", o) + } + img, err := Decode(data) + if err != nil { + t.Fatal(err) + } + if img.Bounds().Dx() != 100 || img.Bounds().Dy() != 300 { + t.Fatalf("rotated size %v, want 100×300", img.Bounds()) + } + // После поворота на 90° по часовой левая (красная) половина оказывается сверху. + if c := img.RGBAAt(50, 20); c.R < 200 || c.B > 60 { + t.Errorf("top after rotation = %v, want red", c) + } + th, _ := Thumbnail(img, ParamsFor(1, 80)) + if th.Width != 85 || th.Height != 256 { + t.Errorf("thumbnail of rotated %d×%d, want 85×256", th.Width, th.Height) + } + if ExifOrientation(b.Bytes()) != 1 { + t.Error("no exif must mean orientation 1") + } +} + +func TestDecodeGarbage(t *testing.T) { + if _, err := Decode([]byte("not an image")); err == nil { + t.Fatal("garbage decoded") + } +} + +func TestOptimizedWebP(t *testing.T) { + if _, err := exec.LookPath("cwebp"); err != nil { + t.Skip("cwebp not installed (worker image has libwebp-tools)") + } + img, _ := Decode(encPNG(t, solid(2000, 1000, color.RGBA{200, 100, 50, 255}))) + out, err := Optimized(context.Background(), img, ParamsFor(1, 80), CWebP) + if err != nil { + t.Fatal(err) + } + if out.Width != 1280 || out.Height != 640 || out.ContentType != "image/webp" { + t.Fatalf("optimized %+v", out) + } + again, _ := Optimized(context.Background(), img, ParamsFor(1, 80), CWebP) + if !bytes.Equal(out.Data, again.Data) { + t.Error("cwebp output not deterministic") + } +} diff --git a/internal/platform/platform.go b/internal/platform/platform.go new file mode 100644 index 0000000..9307b55 --- /dev/null +++ b/internal/platform/platform.go @@ -0,0 +1,241 @@ +// Package platform собирает клиентов зависимостей lab7 по trust matrix: +// +// PostgreSQL TLS verify-full (CA стенда, имя postgres), роль и пароль сервиса из OpenBao; +// пароль берётся при КАЖДОМ новом соединении (BeforeConnect) — ротация +// не требует рестарта, старые соединения закрываются по lifetime/отзыву +// Redis TLS (проверка сервера), ACL-пользователь сервиса из OpenBao (CredentialsProvider) +// S3 (MinIO) TLS (CA стенда), ключ сервиса из OpenBao; при смене версии секрета minio-go +// перечитывает ключ (credentials.Provider.IsExpired) +// RabbitMQ TLS + mTLS, SASL EXTERNAL: пользователь = CN клиентского сертификата +// OpenBao TLS + cert auth тем же клиентским сертификатом сервиса +// +// Без BAO_ADDR (локальные тесты) — прежнее поведение lab6: URL и ключи из файлов. +package platform + +import ( + "context" + "crypto/tls" + "crypto/x509" + "fmt" + "io" + "log/slog" + "net/url" + "os" + "strings" + "sync" + "time" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" + "github.com/minio/minio-go/v7/pkg/credentials" + "github.com/redis/go-redis/v9" + + "github.com/charawein/mtusi2026lab7/internal/config" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" + redisrepo "github.com/charawein/mtusi2026lab7/internal/repository/redis" + "github.com/charawein/mtusi2026lab7/internal/secrets" + "github.com/charawein/mtusi2026lab7/internal/storage" + "github.com/charawein/mtusi2026lab7/internal/tlsutil" +) + +type Platform struct { + Cfg config.Config + Secrets *secrets.Manager // nil — режим без OpenBao + KP *tlsutil.KeyPair // клиентский сертификат сервиса +} + +func env(k, def string) string { + if v := os.Getenv(k); v != "" { + return v + } + return def +} + +// New: сертификат сервиса + вход в OpenBao (cert auth, роль = BAO_ROLE). +func New(ctx context.Context, cfg config.Config) (*Platform, error) { + p := &Platform{Cfg: cfg} + if cfg.TLSCertFile != "" { + kp, err := tlsutil.NewKeyPair(cfg.TLSCertFile, cfg.TLSKeyFile) + if err != nil { + return nil, fmt.Errorf("service certificate: %w", err) + } + p.KP = kp + } + if cfg.BaoAddr == "" { + return p, nil + } + if p.KP == nil { + return nil, fmt.Errorf("BAO_ADDR set but no service certificate for cert auth") + } + tc, err := tlsutil.Client(cfg.BaoCACert, p.KP, "") + if err != nil { + return nil, err + } + p.Secrets = secrets.New(secrets.Config{Addr: cfg.BaoAddr, Role: cfg.BaoRole, Path: cfg.BaoKVPath, TLS: tc, + Refresh: cfg.SecretsRefresh}) + if err := p.Secrets.Start(ctx); err != nil { + return nil, fmt.Errorf("openbao: %w", err) + } + return p, nil +} + +// PG — пул с TLS verify-full и динамическими credentials. +func (p *Platform) PG(ctx context.Context, maxConns int32) (*pgxpool.Pool, error) { + if p.Secrets == nil { + return postgres.NewPool(ctx, p.Cfg.DatabaseURL, maxConns) + } + dsn := fmt.Sprintf("postgres://%s:%s/%s?sslmode=verify-full&sslrootcert=%s", + env("DATABASE_HOST", "postgres"), env("DATABASE_PORT", "5432"), env("DATABASE_NAME", "messenger"), + url.QueryEscape(p.Cfg.TLSCAFile)) + pc, err := pgxpool.ParseConfig(dsn) + if err != nil { + return nil, err + } + pc.MaxConnLifetime = 10 * time.Minute // после ротации старые соединения уходят за ≤ 10 мин + pc.BeforeConnect = func(_ context.Context, cc *pgx.ConnConfig) error { + cc.User, cc.Password = p.Secrets.Get("db_user"), p.Secrets.Get("db_password") + return nil + } + return postgres.NewPoolFromConfig(ctx, pc, maxConns) +} + +// Redis — TLS + ACL-пользователь сервиса. +func (p *Platform) Redis(ctx context.Context) (*redis.Client, error) { + if p.Secrets == nil { + return redisrepo.NewClient(ctx, p.Cfg.CacheURL) + } + tc, err := tlsutil.Client(p.Cfg.TLSCAFile, nil, "redis") + if err != nil { + return nil, err + } + return redisrepo.NewClientFromOptions(ctx, &redis.Options{ + Addr: env("REDIS_ADDR", "redis:6379"), + TLSConfig: tc, + CredentialsProvider: func() (string, string) { + return p.Secrets.Get("redis_user"), p.Secrets.Get("redis_password") + }, + }) +} + +// S3 — TLS к MinIO, ключ сервиса из OpenBao. +func (p *Platform) S3() (storage.Store, error) { + if p.Secrets == nil { + return storage.NewS3(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, p.Cfg.S3AccessKey, p.Cfg.S3SecretKey) + } + pool, err := tlsutil.Pool(p.Cfg.TLSCAFile) + if err != nil { + return nil, err + } + st, err := storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, + credentials.New(&s3Provider{m: p.Secrets}), pool) + if err != nil { + return nil, err + } + return authRetryStore{Store: st, m: p.Secrets}, nil +} + +// BrokerTLS — mTLS к RabbitMQ (пользователь = CN сертификата, SASL EXTERNAL). +func (p *Platform) BrokerTLS() (*tls.Config, error) { + if p.KP == nil || !strings.HasPrefix(p.Cfg.BrokerURL, "amqps://") { + return nil, nil + } + return tlsutil.Client(p.Cfg.TLSCAFile, p.KP, "") +} + +// CAPool — для проверок в других местах. +func (p *Platform) CAPool() (*x509.CertPool, error) { return tlsutil.Pool(p.Cfg.TLSCAFile) } + +type s3Provider struct { + m *secrets.Manager + mu sync.Mutex + ver int +} + +func (s *s3Provider) Retrieve() (credentials.Value, error) { + s.mu.Lock() + defer s.mu.Unlock() + s.ver = s.m.Version() + return credentials.Value{AccessKeyID: s.m.Get("s3_access_key"), SecretAccessKey: s.m.Get("s3_secret_key"), + SignerType: credentials.SignatureV4}, nil +} + +func (s *s3Provider) RetrieveWithCredContext(*credentials.CredContext) (credentials.Value, error) { + return s.Retrieve() +} + +// IsExpired — после ротации (новая версия KV) minio-go запросит ключ заново. +func (s *s3Provider) IsExpired() bool { + s.mu.Lock() + defer s.mu.Unlock() + return s.m.Version() != s.ver +} + +// authRetryStore: S3 отверг ключ (InvalidAccessKeyId/SignatureDoesNotMatch) → +// внеочередное чтение секрета из OpenBao и один повтор, если версия сменилась. +// Так ротация/отзыв ключа S3 (сначала MinIO, затем KV) не сжигает попытки работ +// в окне до планового обновления секретов (SECRETS_REFRESH). +type authRetryStore struct { + storage.Store + m *secrets.Manager +} + +func (s authRetryStore) retry(ctx context.Context, err error) bool { + if err == nil || !storage.IsAuthError(err) { + return false + } + changed := s.m.SyncNow(ctx) + if changed { + slog.Info("s3 credentials refreshed after auth error", "event", "secrets.s3_auth_retry", "version", s.m.Version()) + } + return changed +} + +func (s authRetryStore) Put(ctx context.Context, key string, r io.Reader, size int64, ct string) error { + err := s.Store.Put(ctx, key, r, size, ct) + if sk, ok := r.(io.Seeker); ok && s.retry(ctx, err) { + if _, serr := sk.Seek(0, io.SeekStart); serr == nil { + return s.Store.Put(ctx, key, r, size, ct) + } + } + return err +} + +func (s authRetryStore) Get(ctx context.Context, key string) (io.ReadCloser, int64, error) { + rc, n, err := s.Store.Get(ctx, key) + if s.retry(ctx, err) { + return s.Store.Get(ctx, key) + } + return rc, n, err +} + +func (s authRetryStore) Stat(ctx context.Context, key string) (storage.Object, error) { + o, err := s.Store.Stat(ctx, key) + if s.retry(ctx, err) { + return s.Store.Stat(ctx, key) + } + return o, err +} + +func (s authRetryStore) Delete(ctx context.Context, key string) error { + err := s.Store.Delete(ctx, key) + if s.retry(ctx, err) { + return s.Store.Delete(ctx, key) + } + return err +} + +func (s authRetryStore) Copy(ctx context.Context, src, dst string) error { + err := s.Store.Copy(ctx, src, dst) + if s.retry(ctx, err) { + return s.Store.Copy(ctx, src, dst) + } + return err +} + +func (s authRetryStore) List(ctx context.Context, prefix string, fn func(storage.Object) error) error { + err := s.Store.List(ctx, prefix, fn) + if s.retry(ctx, err) { + return s.Store.List(ctx, prefix, fn) + } + return err +} diff --git a/internal/reconcile/reconcile.go b/internal/reconcile/reconcile.go new file mode 100644 index 0000000..c1c4058 --- /dev/null +++ b/internal/reconcile/reconcile.go @@ -0,0 +1,404 @@ +// Package reconcile сверяет метаданные вложений (PostgreSQL) и объекты (S3). +// +// Обход — один merge-проход по двум потокам, отсортированным одинаково +// (object_key COLLATE "C" и лексикографический листинг S3), поэтому память +// O(1) от числа вложений, а стоимость — O(N) строк + ceil(N/1000) LIST-запросов. +// +// Расхождения и безопасные действия: +// +// stale_intent строка uploading старше grace (брошенная загрузка) → удалить объект, затем строку +// orphan_object объект без строки, старше grace → удалить объект (после перепроверки строки) +// missing_object строка ready без объекта → карантин: status=missing (после перепроверки Stat) +// size_mismatch строка ready, размер объекта другой → карантин: status=missing +// restored строка missing, объект снова есть и размер совпадает → status=ready +// purge_missing строка missing старше grace, ни одно сообщение не ссылается → удалить строку +// missing_variant у ready-варианта нет объекта → только отчёт (без автоисправления) +// +// С lab5 вложения в queued/processing/failed и их staging принадлежат pipeline +// (lease, retry, retention): reconciler их не трогает. Объекты без строки +// (например, частичные результаты попытки, закончившейся failed) удаляются как +// orphan после grace — так же, как в lab4. +// +// Свежие объекты и намерения (моложе grace) и вложения, на которые ссылаются +// сообщения, не удаляются никогда. Режим по умолчанию — dry-run (только отчёт). +package reconcile + +import ( + "context" + "errors" + "fmt" + "runtime" + "time" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/storage" +) + +// Repo — нужные reconciler операции над метаданными. +type Repo interface { + StreamByKey(ctx context.Context, prefix string, fn func(*domain.Attachment) error) error + HasKey(ctx context.Context, key string) (bool, error) + DeleteStaleIntent(ctx context.Context, id string, cutoff time.Time) (bool, error) + SetStatus(ctx context.Context, id, from, to string) (bool, error) + DeleteUnreferencedMissing(ctx context.Context, id string, cutoff time.Time) (bool, error) + IsReferenced(ctx context.Context, id string) (bool, error) +} + +type Options struct { + Prefix string + Grace time.Duration + Apply bool + Now time.Time // общий «сейчас» для строк и объектов (время БД) + // MaxItems ограничивает список примеров в отчёте на каждый вид расхождения. + MaxItems int +} + +type Item struct { + Kind string `json:"kind"` + Key string `json:"key"` + AttachmentID string `json:"attachment_id,omitempty"` + Action string `json:"action"` + Detail string `json:"detail,omitempty"` +} + +type Report struct { + DryRun bool `json:"dry_run"` + GraceSeconds float64 `json:"grace_seconds"` + Cutoff time.Time `json:"cutoff"` + DurationMS int64 `json:"duration_ms"` + RowsScanned int `json:"rows_scanned"` + ObjectsScanned int `json:"objects_scanned"` + Consistent int `json:"consistent"` + Found map[string]int `json:"found"` + Fixed map[string]int `json:"fixed"` + Skipped map[string]int `json:"skipped"` + Calls map[string]int `json:"calls"` + HeapAllocMB float64 `json:"heap_alloc_mb"` + // WaitMS — сколько merge-цикл простоял в ожидании очередного элемента каждого + // потока: показывает, кто (S3-листинг или запрос к БД) задаёт время обхода. + WaitMS map[string]int64 `json:"wait_ms"` + Errors []string `json:"errors"` + Items []Item `json:"items"` +} + +type reconciler struct { + repo Repo + store storage.Store + opt Options + rep *Report + items map[string]int +} + +func (r *reconciler) note(kind string, it Item) { + r.rep.Found[kind]++ + if r.items[kind] < r.opt.MaxItems { + r.items[kind]++ + r.rep.Items = append(r.rep.Items, it) + } +} + +func (r *reconciler) fail(format string, args ...any) { + if len(r.rep.Errors) < 100 { + r.rep.Errors = append(r.rep.Errors, fmt.Sprintf(format, args...)) + } +} + +// Run выполняет один проход. Ошибки отдельных действий попадают в отчёт и не +// прерывают обход; ошибка листинга/запроса прерывает проход целиком. +func Run(ctx context.Context, repo Repo, store storage.Store, opt Options) (*Report, error) { + start := time.Now() + if opt.MaxItems == 0 { + opt.MaxItems = 50 + } + cutoff := opt.Now.Add(-opt.Grace) + rep := &Report{ + DryRun: !opt.Apply, GraceSeconds: opt.Grace.Seconds(), Cutoff: cutoff, + Found: map[string]int{}, Fixed: map[string]int{}, Skipped: map[string]int{}, Calls: map[string]int{}, + Errors: []string{}, Items: []Item{}, WaitMS: map[string]int64{}, + } + rc := &reconciler{repo: repo, store: store, opt: opt, rep: rep, items: map[string]int{}} + + ctx, cancel := context.WithCancel(ctx) + defer cancel() + + objs := make(chan storage.Object, 512) + objErr := make(chan error, 1) + go func() { + defer close(objs) + objErr <- store.List(ctx, opt.Prefix, func(o storage.Object) error { + select { + case objs <- o: + return nil + case <-ctx.Done(): + return ctx.Err() + } + }) + }() + rows := make(chan *domain.Attachment, 512) + rowErr := make(chan error, 1) + go func() { + defer close(rows) + rowErr <- repo.StreamByKey(ctx, opt.Prefix, func(a *domain.Attachment) error { + select { + case rows <- a: + return nil + case <-ctx.Done(): + return ctx.Err() + } + }) + }() + + var waitS3, waitDB time.Duration + nextObj := func() (storage.Object, bool) { + t := time.Now() + o, ok := <-objs + waitS3 += time.Since(t) + return o, ok + } + nextRow := func() (*domain.Attachment, bool) { + t := time.Now() + a, ok := <-rows + waitDB += time.Since(t) + return a, ok + } + o, okO := nextObj() + a, okA := nextRow() + for okO || okA { + switch { + case okA && (!okO || a.ObjectKey < o.Key): + rep.RowsScanned++ + rc.rowWithoutObject(ctx, a, cutoff) + a, okA = nextRow() + case okO && (!okA || o.Key < a.ObjectKey): + rep.ObjectsScanned++ + rc.objectWithoutRow(ctx, o, cutoff) + o, okO = nextObj() + default: + rep.RowsScanned++ + rep.ObjectsScanned++ + rc.both(ctx, a, o, cutoff) + a, okA = nextRow() + o, okO = nextObj() + } + } + rep.WaitMS["s3_list"] = waitS3.Milliseconds() + rep.WaitMS["db_stream"] = waitDB.Milliseconds() + if err := <-objErr; err != nil { + return rep, fmt.Errorf("list objects: %w", err) + } + if err := <-rowErr; err != nil { + return rep, fmt.Errorf("stream rows: %w", err) + } + rep.Calls["s3_list_pages"] = (rep.ObjectsScanned + 999) / 1000 + var ms runtime.MemStats + runtime.ReadMemStats(&ms) + rep.HeapAllocMB = float64(ms.HeapAlloc) / (1 << 20) + rep.DurationMS = time.Since(start).Milliseconds() + return rep, nil +} + +func (r *reconciler) rowWithoutObject(ctx context.Context, a *domain.Attachment, cutoff time.Time) { + switch a.Status { + case "variant": + if r.objectExists(ctx, a.ObjectKey) { + r.rep.Skipped["recheck_object_present"]++ + return + } + r.note("missing_variant", Item{Kind: "missing_variant", Key: a.ObjectKey, AttachmentID: a.ID, Action: "report"}) + case "staging", domain.AttachmentQueued, domain.AttachmentProcessing, domain.AttachmentFailed: + r.rep.Skipped["owned_by_pipeline"]++ + case domain.AttachmentUploading: + if !a.UpdatedAt.Before(cutoff) { + r.rep.Skipped["fresh_intent"]++ // загрузка может быть в процессе + return + } + r.staleIntent(ctx, a, false) + case domain.AttachmentReady: + // Листинг мог начаться раньше, чем объект записан: перепроверяем точечно. + if r.objectExists(ctx, a.ObjectKey) { + r.rep.Skipped["recheck_object_present"]++ + return + } + r.quarantine(ctx, a, "missing_object", "") + case domain.AttachmentMissing: + r.purgeMissing(ctx, a, cutoff) + } +} + +func (r *reconciler) objectWithoutRow(ctx context.Context, o storage.Object, cutoff time.Time) { + if !o.LastModified.Before(cutoff) { + r.rep.Skipped["fresh_object"]++ + return + } + // Строка могла появиться после начала обхода — перепроверяем перед удалением. + r.rep.Calls["db_haskey"]++ + has, err := r.repo.HasKey(ctx, o.Key) + if err != nil { + r.fail("haskey %s: %v", o.Key, err) + return + } + if has { + r.rep.Skipped["recheck_row_present"]++ + return + } + it := Item{Kind: "orphan_object", Key: o.Key, Action: "delete_object", + Detail: fmt.Sprintf("size=%d modified=%s", o.Size, o.LastModified.UTC().Format(time.RFC3339))} + if !r.opt.Apply { + it.Action = "would_delete_object" + r.note("orphan_object", it) + return + } + r.rep.Calls["s3_delete"]++ + if err := r.store.Delete(ctx, o.Key); err != nil { + r.fail("delete orphan %s: %v", o.Key, err) + return + } + r.note("orphan_object", it) + r.rep.Fixed["orphan_object"]++ +} + +func (r *reconciler) both(ctx context.Context, a *domain.Attachment, o storage.Object, cutoff time.Time) { + switch a.Status { + case "variant": + if o.Size != a.SizeBytes { + r.note("variant_size_mismatch", Item{Kind: "variant_size_mismatch", Key: a.ObjectKey, AttachmentID: a.ID, + Action: "report", Detail: fmt.Sprintf("db=%d s3=%d", a.SizeBytes, o.Size)}) + return + } + r.rep.Consistent++ + case "staging", domain.AttachmentQueued, domain.AttachmentProcessing, domain.AttachmentFailed: + r.rep.Consistent++ + case domain.AttachmentUploading: + if !a.UpdatedAt.Before(cutoff) { + r.rep.Skipped["fresh_intent"]++ + return + } + r.staleIntent(ctx, a, true) + case domain.AttachmentReady: + if o.Size != a.SizeBytes { + r.quarantine(ctx, a, "size_mismatch", fmt.Sprintf("db=%d s3=%d", a.SizeBytes, o.Size)) + return + } + r.rep.Consistent++ + case domain.AttachmentMissing: + if o.Size != a.SizeBytes { + r.purgeMissing(ctx, a, cutoff) + return + } + it := Item{Kind: "restored", Key: a.ObjectKey, AttachmentID: a.ID, Action: "set_ready"} + if !r.opt.Apply { + it.Action = "would_set_ready" + r.note("restored", it) + return + } + r.rep.Calls["db_update"]++ + ok, err := r.repo.SetStatus(ctx, a.ID, domain.AttachmentMissing, domain.AttachmentReady) + if err != nil { + r.fail("restore %s: %v", a.ID, err) + return + } + r.note("restored", it) + if ok { + r.rep.Fixed["restored"]++ + } + } +} + +func (r *reconciler) objectExists(ctx context.Context, key string) bool { + r.rep.Calls["s3_stat"]++ + _, err := r.store.Stat(ctx, key) + if err == nil { + return true + } + if !errors.Is(err, storage.ErrNotFound) { + r.fail("stat %s: %v", key, err) + return true // при ошибке хранилища ничего не трогаем + } + return false +} + +func (r *reconciler) staleIntent(ctx context.Context, a *domain.Attachment, hasObject bool) { + it := Item{Kind: "stale_intent", Key: a.ObjectKey, AttachmentID: a.ID, Action: "delete_intent", + Detail: "updated_at=" + a.UpdatedAt.UTC().Format(time.RFC3339)} + if hasObject { + it.Action = "delete_object_and_intent" + } + if !r.opt.Apply { + it.Action = "would_" + it.Action + r.note("stale_intent", it) + return + } + // Сначала объект: если упадём между шагами, останется намерение без объекта, + // и следующий проход его доберёт (обратный порядок оставил бы сироту без учёта). + if hasObject { + r.rep.Calls["s3_delete"]++ + if err := r.store.Delete(ctx, a.ObjectKey); err != nil { + r.fail("delete intent object %s: %v", a.ObjectKey, err) + return + } + } + r.rep.Calls["db_delete"]++ + ok, err := r.repo.DeleteStaleIntent(ctx, a.ID, r.opt.Now.Add(-r.opt.Grace)) + if err != nil { + r.fail("delete intent %s: %v", a.ID, err) + return + } + r.note("stale_intent", it) + if ok { + r.rep.Fixed["stale_intent"]++ + } +} + +func (r *reconciler) quarantine(ctx context.Context, a *domain.Attachment, kind, detail string) { + it := Item{Kind: kind, Key: a.ObjectKey, AttachmentID: a.ID, Action: "quarantine", Detail: detail} + if !r.opt.Apply { + it.Action = "would_quarantine" + r.note(kind, it) + return + } + r.rep.Calls["db_update"]++ + ok, err := r.repo.SetStatus(ctx, a.ID, domain.AttachmentReady, domain.AttachmentMissing) + if err != nil { + r.fail("quarantine %s: %v", a.ID, err) + return + } + r.note(kind, it) + if ok { + r.rep.Fixed[kind]++ + } +} + +// purgeMissing удаляет запись карантина, только если она старше grace и на неё +// не ссылается ни одно сообщение. Используемые вложения остаются (их история цела). +func (r *reconciler) purgeMissing(ctx context.Context, a *domain.Attachment, cutoff time.Time) { + if !a.UpdatedAt.Before(cutoff) { + r.rep.Skipped["fresh_missing"]++ + return + } + r.rep.Calls["db_referenced"]++ + ref, err := r.repo.IsReferenced(ctx, a.ID) + if err != nil { + r.fail("referenced %s: %v", a.ID, err) + return + } + if ref { + r.rep.Skipped["referenced_missing_kept"]++ + return + } + it := Item{Kind: "purge_missing", Key: a.ObjectKey, AttachmentID: a.ID, Action: "delete_row"} + if !r.opt.Apply { + it.Action = "would_delete_row" + r.note("purge_missing", it) + return + } + r.rep.Calls["db_delete"]++ + ok, err := r.repo.DeleteUnreferencedMissing(ctx, a.ID, cutoff) + if err != nil { + r.fail("purge %s: %v", a.ID, err) + return + } + r.note("purge_missing", it) + if ok { + r.rep.Fixed["purge_missing"]++ + } +} diff --git a/internal/reconcile/reconcile_test.go b/internal/reconcile/reconcile_test.go new file mode 100644 index 0000000..9570dd5 --- /dev/null +++ b/internal/reconcile/reconcile_test.go @@ -0,0 +1,241 @@ +package reconcile + +import ( + "bytes" + "context" + "io" + "sort" + "testing" + "time" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/storage" +) + +type fakeStore struct{ objs map[string]storage.Object } + +func (f *fakeStore) Put(_ context.Context, key string, r io.Reader, size int64, _ string) error { + f.objs[key] = storage.Object{Key: key, Size: size, LastModified: time.Now()} + return nil +} +func (f *fakeStore) Get(context.Context, string) (io.ReadCloser, int64, error) { + return io.NopCloser(bytes.NewReader(nil)), 0, nil +} +func (f *fakeStore) Stat(_ context.Context, key string) (storage.Object, error) { + o, ok := f.objs[key] + if !ok { + return o, storage.ErrNotFound + } + return o, nil +} +func (f *fakeStore) Delete(_ context.Context, key string) error { delete(f.objs, key); return nil } +func (f *fakeStore) Copy(_ context.Context, src, dst string) error { + o, ok := f.objs[src] + if !ok { + return storage.ErrNotFound + } + o.Key = dst + f.objs[dst] = o + return nil +} +func (f *fakeStore) List(_ context.Context, prefix string, fn func(storage.Object) error) error { + keys := make([]string, 0, len(f.objs)) + for k := range f.objs { + keys = append(keys, k) + } + sort.Strings(keys) + for _, k := range keys { + if err := fn(f.objs[k]); err != nil { + return err + } + } + return nil +} + +type fakeRepo struct { + rows map[string]*domain.Attachment // by id + refs map[string]bool +} + +func (f *fakeRepo) StreamByKey(_ context.Context, _ string, fn func(*domain.Attachment) error) error { + list := make([]*domain.Attachment, 0, len(f.rows)) + for _, a := range f.rows { + c := *a + list = append(list, &c) + } + sort.Slice(list, func(i, j int) bool { return list[i].ObjectKey < list[j].ObjectKey }) + for _, a := range list { + if err := fn(a); err != nil { + return err + } + } + return nil +} +func (f *fakeRepo) HasKey(_ context.Context, key string) (bool, error) { + for _, a := range f.rows { + if a.ObjectKey == key { + return true, nil + } + } + return false, nil +} +func (f *fakeRepo) DeleteStaleIntent(_ context.Context, id string, cutoff time.Time) (bool, error) { + a, ok := f.rows[id] + if !ok || a.Status != domain.AttachmentUploading || !a.UpdatedAt.Before(cutoff) { + return false, nil + } + delete(f.rows, id) + return true, nil +} +func (f *fakeRepo) SetStatus(_ context.Context, id, from, to string) (bool, error) { + a, ok := f.rows[id] + if !ok || a.Status != from { + return false, nil + } + a.Status = to + a.UpdatedAt = now + return true, nil +} +func (f *fakeRepo) DeleteUnreferencedMissing(_ context.Context, id string, cutoff time.Time) (bool, error) { + a, ok := f.rows[id] + if !ok || a.Status != domain.AttachmentMissing || !a.UpdatedAt.Before(cutoff) || f.refs[id] { + return false, nil + } + delete(f.rows, id) + return true, nil +} +func (f *fakeRepo) IsReferenced(_ context.Context, id string) (bool, error) { return f.refs[id], nil } + +var now = time.Date(2026, 10, 30, 12, 0, 0, 0, time.UTC) + +const grace = time.Hour + +func old() time.Time { return now.Add(-2 * grace) } +func fresh() time.Time { return now.Add(-time.Minute) } + +func setup() (*fakeRepo, *fakeStore) { + r := &fakeRepo{rows: map[string]*domain.Attachment{}, refs: map[string]bool{}} + s := &fakeStore{objs: map[string]storage.Object{}} + row := func(id, status string, size int64, at time.Time) { + r.rows[id] = &domain.Attachment{ID: id, ObjectKey: "a/c/" + id, Status: status, SizeBytes: size, UpdatedAt: at} + } + obj := func(id string, size int64, at time.Time) { + s.objs["a/c/"+id] = storage.Object{Key: "a/c/" + id, Size: size, LastModified: at} + } + // согласованное + row("ok", domain.AttachmentReady, 10, old()) + obj("ok", 10, old()) + // брошенная загрузка с объектом и без + row("stale1", domain.AttachmentUploading, 0, old()) + obj("stale1", 7, old()) + row("stale2", domain.AttachmentUploading, 0, old()) + // загрузка в процессе — не трогать + row("inflight", domain.AttachmentUploading, 0, fresh()) + obj("inflight", 5, fresh()) + // сирота старая и свежая + obj("orphan", 3, old()) + obj("orphan-fresh", 3, fresh()) + // ready без объекта: используемое и нет + row("lost-used", domain.AttachmentReady, 9, old()) + r.refs["lost-used"] = true + row("lost-free", domain.AttachmentReady, 9, old()) + // подменённый размер + row("resized", domain.AttachmentReady, 10, old()) + obj("resized", 11, old()) + return r, s +} + +func run(t *testing.T, r *fakeRepo, s *fakeStore, apply bool, at time.Time) *Report { + t.Helper() + rep, err := Run(context.Background(), r, s, Options{Prefix: "a/", Grace: grace, Apply: apply, Now: at}) + if err != nil { + t.Fatal(err) + } + if len(rep.Errors) > 0 { + t.Fatalf("errors: %v", rep.Errors) + } + return rep +} + +func TestDryRunChangesNothing(t *testing.T) { + r, s := setup() + nRows, nObjs := len(r.rows), len(s.objs) + rep := run(t, r, s, false, now) + if len(r.rows) != nRows || len(s.objs) != nObjs || r.rows["lost-free"].Status != domain.AttachmentReady { + t.Fatal("dry-run mutated state") + } + want := map[string]int{"stale_intent": 2, "orphan_object": 1, "missing_object": 2, "size_mismatch": 1} + for k, v := range want { + if rep.Found[k] != v { + t.Errorf("found[%s]=%d want %d (%v)", k, rep.Found[k], v, rep.Found) + } + } + if len(rep.Fixed) != 0 { + t.Errorf("dry-run fixed %v", rep.Fixed) + } +} + +func TestApplyFixesAndIsIdempotent(t *testing.T) { + r, s := setup() + run(t, r, s, true, now) + + for _, id := range []string{"stale1", "stale2"} { + if _, ok := r.rows[id]; ok { + t.Errorf("stale intent %s not removed", id) + } + } + if _, ok := s.objs["a/c/stale1"]; ok { + t.Error("stale intent object not removed") + } + if _, ok := s.objs["a/c/orphan"]; ok { + t.Error("old orphan not removed") + } + // Свежие — никогда. + if _, ok := s.objs["a/c/orphan-fresh"]; !ok { + t.Error("fresh orphan deleted") + } + if _, ok := r.rows["inflight"]; !ok { + t.Error("in-flight intent deleted") + } + if _, ok := s.objs["a/c/inflight"]; !ok { + t.Error("in-flight object deleted") + } + for _, id := range []string{"lost-used", "lost-free", "resized"} { + if r.rows[id].Status != domain.AttachmentMissing { + t.Errorf("%s not quarantined", id) + } + } + if r.rows["ok"].Status != domain.AttachmentReady { + t.Error("consistent row touched") + } + + // Повтор сразу: исправлять нечего, карантин ещё моложе grace. + rep := run(t, r, s, true, now) + if len(rep.Fixed) != 0 { + t.Errorf("second pass fixed %v", rep.Fixed) + } + + // Через grace: неиспользуемая запись карантина удаляется, используемая остаётся. + later := now.Add(2 * grace) + run(t, r, s, true, later) + if _, ok := r.rows["lost-free"]; ok { + t.Error("unreferenced missing row not purged") + } + if _, ok := r.rows["lost-used"]; !ok { + t.Error("referenced missing row deleted") + } + if _, ok := s.objs["a/c/orphan-fresh"]; ok { + t.Error("orphan not removed after grace") + } +} + +func TestRestoredObjectLeavesQuarantine(t *testing.T) { + r, s := setup() + run(t, r, s, true, now) + // Объект вернули (например, из бэкапа) с правильным размером. + s.objs["a/c/lost-used"] = storage.Object{Key: "a/c/lost-used", Size: 9, LastModified: now} + rep := run(t, r, s, true, now) + if rep.Fixed["restored"] != 1 || r.rows["lost-used"].Status != domain.AttachmentReady { + t.Errorf("restore failed: %v %s", rep.Fixed, r.rows["lost-used"].Status) + } +} diff --git a/internal/repository/postgres/attachment.go b/internal/repository/postgres/attachment.go new file mode 100644 index 0000000..886a8f3 --- /dev/null +++ b/internal/repository/postgres/attachment.go @@ -0,0 +1,242 @@ +package postgres + +import ( + "context" + "errors" + "fmt" + "time" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type AttachmentRepository struct { + pool *pgxpool.Pool +} + +func NewAttachmentRepository(pool *pgxpool.Pool) *AttachmentRepository { + return &AttachmentRepository{pool: pool} +} + +const attachmentColumns = `id, chat_id, owner_id, filename, object_key, status, + COALESCE(content_type, ''), COALESCE(size_bytes, 0), COALESCE(sha256, ''), created_at, updated_at, + COALESCE(error_code, ''), pipeline_version, COALESCE(staging_key, '')` + +func scanAttachment(row pgx.Row) (*domain.Attachment, error) { + var a domain.Attachment + err := row.Scan(&a.ID, &a.ChatID, &a.OwnerID, &a.Filename, &a.ObjectKey, &a.Status, + &a.ContentType, &a.SizeBytes, &a.SHA256, &a.CreatedAt, &a.UpdatedAt, + &a.ErrorCode, &a.PipelineVersion, &a.StagingKey) + if err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return nil, repository.ErrNotFound + } + return nil, err + } + return &a, nil +} + +// CreateIntent записывает намерение загрузки (status=uploading) ДО записи в S3. +func (r *AttachmentRepository) CreateIntent(ctx context.Context, a *domain.Attachment) error { + const q = ` + INSERT INTO attachments (id, chat_id, owner_id, filename, object_key, staging_key, status, created_at, updated_at) + VALUES ($1::uuid, $2::uuid, $3::uuid, $4, $5, $5, 'uploading', $6, $6) + ` + if _, err := r.pool.Exec(ctx, q, a.ID, a.ChatID, a.OwnerID, a.Filename, a.ObjectKey, a.CreatedAt); err != nil { + return fmt.Errorf("insert attachment intent: %w", err) + } + return nil +} + +// MarkQueued — точка 202. В ОДНОЙ транзакции: метаданные проверенного оригинала +// и status=queued, логическое задание (jobs) и сообщение для broker (outbox). +// После COMMIT работа не теряется: даже если broker недоступен или relay упал, +// outbox будет опубликован позже. Если строки uploading уже нет — ErrNotFound. +func (r *AttachmentRepository) MarkQueued(ctx context.Context, a *domain.Attachment, pipelineVersion, maxAttempts int) (string, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return "", fmt.Errorf("begin tx: %w", err) + } + defer func() { _ = tx.Rollback(ctx) }() + const q = ` + UPDATE attachments + SET status = 'queued', content_type = $2, size_bytes = $3, sha256 = $4, updated_at = $5 + WHERE id = $1::uuid AND status = 'uploading' + ` + tag, err := tx.Exec(ctx, q, a.ID, a.ContentType, a.SizeBytes, a.SHA256, a.UpdatedAt) + if err != nil { + return "", fmt.Errorf("mark attachment queued: %w", err) + } + if tag.RowsAffected() != 1 { + return "", repository.ErrNotFound + } + jobID, err := EnqueueJobTx(ctx, tx, a.ID, pipelineVersion, maxAttempts, "upload") + if err != nil { + return "", err + } + if err := tx.Commit(ctx); err != nil { + return "", fmt.Errorf("commit tx: %w", err) + } + return jobID, nil +} + +// Variants — варианты указанной версии pipeline. +func (r *AttachmentRepository) Variants(ctx context.Context, attachmentID string, version int) ([]domain.Variant, error) { + const q = ` + SELECT name, content_type, size_bytes, width, height, sha256, object_key, pipeline_version + FROM attachment_variants + WHERE attachment_id = $1::uuid AND pipeline_version = $2 + ORDER BY CASE name WHEN 'thumbnail' THEN 1 WHEN 'crop' THEN 2 ELSE 3 END + ` + rows, err := r.pool.Query(ctx, q, attachmentID, version) + if err != nil { + return nil, fmt.Errorf("select variants: %w", err) + } + defer rows.Close() + out := []domain.Variant{} + for rows.Next() { + var v domain.Variant + if err := rows.Scan(&v.Name, &v.ContentType, &v.SizeBytes, &v.Width, &v.Height, &v.SHA256, &v.ObjectKey, &v.PipelineVersion); err != nil { + return nil, fmt.Errorf("scan variant: %w", err) + } + out = append(out, v) + } + return out, rows.Err() +} + +// DeleteIntent убирает намерение, если загрузка не удалась (компенсация). +func (r *AttachmentRepository) DeleteIntent(ctx context.Context, id string) error { + const q = `DELETE FROM attachments WHERE id = $1::uuid AND status = 'uploading'` + if _, err := r.pool.Exec(ctx, q, id); err != nil { + return fmt.Errorf("delete attachment intent: %w", err) + } + return nil +} + +// GetForMember возвращает вложение, если пользователь — участник его чата. +// Чужое и несуществующее вложение неразличимы (ErrNotFound). +func (r *AttachmentRepository) GetForMember(ctx context.Context, id, userID string) (*domain.Attachment, error) { + q := `SELECT ` + attachmentColumns + ` + FROM attachments a + WHERE a.id = $1::uuid + AND EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = a.chat_id AND m.user_id = $2::uuid)` + a, err := scanAttachment(r.pool.QueryRow(ctx, q, id, userID)) + if err != nil && !errors.Is(err, repository.ErrNotFound) { + return nil, fmt.Errorf("select attachment: %w", err) + } + return a, err +} + +// --- для reconciler --- + +// StreamByKey отдаёт все известные БД ключи объектов в байтовом порядке (как +// ListObjectsV2): оригинал вложения (object_key), отдельный staging-объект и +// объекты вариантов. Для staging и вариантов Status — «staging»/«variant», чтобы +// reconciler не путал их с оригиналом. +func (r *AttachmentRepository) StreamByKey(ctx context.Context, prefix string, fn func(*domain.Attachment) error) error { + const q = ` + SELECT key, id::text, status, size_bytes, updated_at FROM ( + SELECT object_key AS key, id, status, COALESCE(size_bytes, 0) AS size_bytes, updated_at FROM attachments + UNION ALL + SELECT staging_key, id, 'staging', COALESCE(size_bytes, 0), updated_at FROM attachments + WHERE staging_key IS NOT NULL AND staging_key <> object_key + UNION ALL + SELECT object_key, attachment_id, 'variant', size_bytes, created_at FROM attachment_variants + ) k + WHERE starts_with(key, $1) + ORDER BY key COLLATE "C"` + rows, err := r.pool.Query(ctx, q, prefix) + if err != nil { + return fmt.Errorf("stream object keys: %w", err) + } + defer rows.Close() + for rows.Next() { + var a domain.Attachment + if err := rows.Scan(&a.ObjectKey, &a.ID, &a.Status, &a.SizeBytes, &a.UpdatedAt); err != nil { + return fmt.Errorf("scan object key: %w", err) + } + if err := fn(&a); err != nil { + return err + } + } + return rows.Err() +} + +// HasKey — есть ли строка с этим object_key (повторная проверка перед удалением объекта). +func (r *AttachmentRepository) HasKey(ctx context.Context, key string) (bool, error) { + var ok bool + err := r.pool.QueryRow(ctx, `SELECT EXISTS (SELECT 1 FROM attachments WHERE object_key = $1 OR staging_key = $1) + OR EXISTS (SELECT 1 FROM attachment_variants WHERE object_key = $1)`, key).Scan(&ok) + return ok, err +} + +// DeleteStaleIntent удаляет намерение, только если оно всё ещё uploading и старше cutoff. +func (r *AttachmentRepository) DeleteStaleIntent(ctx context.Context, id string, cutoff time.Time) (bool, error) { + const q = `DELETE FROM attachments WHERE id = $1::uuid AND status = 'uploading' AND updated_at < $2` + tag, err := r.pool.Exec(ctx, q, id, cutoff) + return tag.RowsAffected() == 1, err +} + +// SetStatus меняет статус ready↔missing (карантин и восстановление). +func (r *AttachmentRepository) SetStatus(ctx context.Context, id, from, to string) (bool, error) { + const q = `UPDATE attachments SET status = $3, updated_at = now() WHERE id = $1::uuid AND status = $2` + tag, err := r.pool.Exec(ctx, q, id, from, to) + return tag.RowsAffected() == 1, err +} + +// DeleteUnreferencedMissing удаляет запись карантина старше cutoff, если на неё +// не ссылается ни одно сообщение. Блокировка строки (FOR UPDATE) конфликтует с +// FOR SHARE при создании сообщения, поэтому гонки «удалили, пока прикрепляли» нет. +func (r *AttachmentRepository) DeleteUnreferencedMissing(ctx context.Context, id string, cutoff time.Time) (bool, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return false, err + } + defer func() { _ = tx.Rollback(ctx) }() + var locked string + err = tx.QueryRow(ctx, `SELECT id FROM attachments WHERE id = $1::uuid AND status = 'missing' AND updated_at < $2 FOR UPDATE`, id, cutoff).Scan(&locked) + if errors.Is(err, pgx.ErrNoRows) { + return false, nil + } + if err != nil { + return false, err + } + var referenced bool + if err := tx.QueryRow(ctx, `SELECT EXISTS (SELECT 1 FROM message_attachments WHERE attachment_id = $1::uuid)`, id).Scan(&referenced); err != nil { + return false, err + } + if referenced { + return false, nil + } + if _, err := tx.Exec(ctx, `DELETE FROM attachments WHERE id = $1::uuid`, id); err != nil { + return false, err + } + return true, tx.Commit(ctx) +} + +// IsReferenced — используется ли вложение каким-либо сообщением. +func (r *AttachmentRepository) IsReferenced(ctx context.Context, id string) (bool, error) { + var ok bool + err := r.pool.QueryRow(ctx, `SELECT EXISTS (SELECT 1 FROM message_attachments WHERE attachment_id = $1::uuid)`, id).Scan(&ok) + return ok, err +} + +// TryLock — advisory lock, чтобы одновременно работал один reconciler. +func (r *AttachmentRepository) TryLock(ctx context.Context) (func(), bool, error) { + conn, err := r.pool.Acquire(ctx) + if err != nil { + return nil, false, err + } + var ok bool + if err := conn.QueryRow(ctx, `SELECT pg_try_advisory_lock(4242004)`).Scan(&ok); err != nil || !ok { + conn.Release() + return nil, false, err + } + return func() { + _, _ = conn.Exec(context.Background(), `SELECT pg_advisory_unlock(4242004)`) + conn.Release() + }, true, nil +} diff --git a/internal/repository/postgres/chat.go b/internal/repository/postgres/chat.go new file mode 100644 index 0000000..59f5fd0 --- /dev/null +++ b/internal/repository/postgres/chat.go @@ -0,0 +1,180 @@ +package postgres + +import ( + "context" + "errors" + "fmt" + "time" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type ChatRepository struct { + pool *pgxpool.Pool +} + +func NewChatRepository(pool *pgxpool.Pool) *ChatRepository { + return &ChatRepository{pool: pool} +} + +func (r *ChatRepository) Create(ctx context.Context, chat *domain.Chat) error { + tx, err := r.pool.Begin(ctx) + if err != nil { + return fmt.Errorf("begin tx: %w", err) + } + defer func() { _ = tx.Rollback(ctx) }() + + const insertChat = `INSERT INTO chats (id, title, created_at) VALUES ($1::uuid, $2, $3)` + if _, err := tx.Exec(ctx, insertChat, chat.ID, chat.Title, chat.CreatedAt); err != nil { + return fmt.Errorf("insert chat: %w", err) + } + + const insertMember = `INSERT INTO chat_members (chat_id, user_id) VALUES ($1::uuid, $2::uuid)` + for _, uid := range chat.MemberIDs { + if _, err := tx.Exec(ctx, insertMember, chat.ID, uid); err != nil { + return fmt.Errorf("insert member %s: %w", uid, err) + } + } + + if err := tx.Commit(ctx); err != nil { + return fmt.Errorf("commit tx: %w", err) + } + return nil +} + +func (r *ChatRepository) GetByID(ctx context.Context, id string) (*domain.Chat, error) { + const q = `SELECT id, title, created_at FROM chats WHERE id = $1::uuid` + var c domain.Chat + err := r.pool.QueryRow(ctx, q, id).Scan(&c.ID, &c.Title, &c.CreatedAt) + if err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return nil, repository.ErrNotFound + } + return nil, fmt.Errorf("select chat: %w", err) + } + + const qMembers = `SELECT user_id FROM chat_members WHERE chat_id = $1::uuid ORDER BY user_id` + rows, err := r.pool.Query(ctx, qMembers, id) + if err != nil { + return nil, fmt.Errorf("select members: %w", err) + } + defer rows.Close() + c.MemberIDs = []string{} + for rows.Next() { + var uid string + if err := rows.Scan(&uid); err != nil { + return nil, fmt.Errorf("scan member: %w", err) + } + c.MemberIDs = append(c.MemberIDs, uid) + } + if err := rows.Err(); err != nil { + return nil, fmt.Errorf("iterate members: %w", err) + } + return &c, nil +} + +func (r *ChatRepository) IsMember(ctx context.Context, chatID, userID string) (bool, error) { + const q = `SELECT 1 FROM chat_members WHERE chat_id = $1::uuid AND user_id = $2::uuid` + var one int + err := r.pool.QueryRow(ctx, q, chatID, userID).Scan(&one) + if err == nil { + return true, nil + } + if !errors.Is(err, pgx.ErrNoRows) { + return false, fmt.Errorf("check membership: %w", err) + } + const qChat = `SELECT 1 FROM chats WHERE id = $1::uuid` + err = r.pool.QueryRow(ctx, qChat, chatID).Scan(&one) + if err == nil { + return false, nil + } + if errors.Is(err, pgx.ErrNoRows) { + return false, repository.ErrNotFound + } + return false, fmt.Errorf("check chat exists: %w", err) +} + +// MemberVersion одним запросом возвращает версию истории чата и признак членства. +// Несуществующий чат — ErrNotFound. +func (r *ChatRepository) MemberVersion(ctx context.Context, chatID, userID string) (int64, bool, error) { + const q = ` + SELECT c.version, + EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = $2::uuid) + FROM chats c + WHERE c.id = $1::uuid + ` + var version int64 + var member bool + err := r.pool.QueryRow(ctx, q, chatID, userID).Scan(&version, &member) + if err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return 0, false, repository.ErrNotFound + } + return 0, false, fmt.Errorf("select chat version: %w", err) + } + return version, member, nil +} + +func (r *ChatRepository) ListByMember(ctx context.Context, userID string, cursor time.Time, cursorID string, limit int) ([]*domain.Chat, error) { + const qChats = ` + SELECT c.id, c.title, c.created_at + FROM chats c + JOIN chat_members m ON m.chat_id = c.id + WHERE m.user_id = $1::uuid + AND (c.created_at, c.id) > ($2::timestamptz, $3::uuid) + ORDER BY c.created_at, c.id + LIMIT $4 + ` + rows, err := r.pool.Query(ctx, qChats, userID, cursor, cursorID, limit) + if err != nil { + return nil, fmt.Errorf("list chats: %w", err) + } + defer rows.Close() + + chats := []*domain.Chat{} + var chatIDs []string + for rows.Next() { + var c domain.Chat + if err := rows.Scan(&c.ID, &c.Title, &c.CreatedAt); err != nil { + return nil, fmt.Errorf("scan chat: %w", err) + } + c.MemberIDs = []string{} + chats = append(chats, &c) + chatIDs = append(chatIDs, c.ID) + } + if err := rows.Err(); err != nil { + return nil, fmt.Errorf("iterate chats: %w", err) + } + if len(chats) == 0 { + return chats, nil + } + + const qMembers = `SELECT chat_id, user_id FROM chat_members WHERE chat_id = ANY($1::uuid[]) ORDER BY chat_id, user_id` + memberRows, err := r.pool.Query(ctx, qMembers, chatIDs) + if err != nil { + return nil, fmt.Errorf("list members: %w", err) + } + defer memberRows.Close() + + byChat := make(map[string][]string) + for memberRows.Next() { + var chatID, uid string + if err := memberRows.Scan(&chatID, &uid); err != nil { + return nil, fmt.Errorf("scan member: %w", err) + } + byChat[chatID] = append(byChat[chatID], uid) + } + if err := memberRows.Err(); err != nil { + return nil, fmt.Errorf("iterate members: %w", err) + } + for _, c := range chats { + if members, ok := byChat[c.ID]; ok { + c.MemberIDs = members + } + } + return chats, nil +} diff --git a/internal/repository/postgres/message.go b/internal/repository/postgres/message.go new file mode 100644 index 0000000..b824eea --- /dev/null +++ b/internal/repository/postgres/message.go @@ -0,0 +1,201 @@ +package postgres + +import ( + "context" + "fmt" + "time" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type MessageRepository struct { + pool *pgxpool.Pool +} + +func NewMessageRepository(pool *pgxpool.Pool) *MessageRepository { + return &MessageRepository{pool: pool} +} + +func (r *MessageRepository) Create(ctx context.Context, msg *domain.Message) error { + const q = ` + INSERT INTO messages (id, chat_id, sender_id, text, created_at) + VALUES ($1::uuid, $2::uuid, $3::uuid, $4, $5) + ` + if _, err := r.pool.Exec(ctx, q, msg.ID, msg.ChatID, msg.SenderID, msg.Text, msg.CreatedAt); err != nil { + return fmt.Errorf("insert message: %w", err) + } + return nil +} + +// CreateIdempotent вставляет сообщение и ключ в одной транзакции. +// Конкурентные запросы с одним ключом сериализуются уникальным индексом +// idempotency_keys: второй INSERT ждёт завершения первой транзакции, после +// COMMIT получает конфликт (DO NOTHING), откатывает своё сообщение и читает +// уже сохранённое. Если первая транзакция откатилась (транзиентная ошибка), +// вторая просто продолжает — неуспешный результат не фиксируется. +func (r *MessageRepository) CreateIdempotent(ctx context.Context, msg *domain.Message, key, requestHash string, ttl time.Duration) (*domain.Message, bool, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return nil, false, fmt.Errorf("begin tx: %w", err) + } + defer func() { _ = tx.Rollback(ctx) }() + + // Ключ старше TTL больше не защищает от повтора — освобождаем его. + const deleteExpired = ` + DELETE FROM idempotency_keys + WHERE user_id = $1::uuid AND chat_id = $2::uuid AND key = $3 + AND created_at < now() - make_interval(secs => $4) + ` + if _, err := tx.Exec(ctx, deleteExpired, msg.SenderID, msg.ChatID, key, ttl.Seconds()); err != nil { + return nil, false, fmt.Errorf("delete expired key: %w", err) + } + + const insertMsg = ` + INSERT INTO messages (id, chat_id, sender_id, text, created_at) + VALUES ($1::uuid, $2::uuid, $3::uuid, $4, $5) + ` + if _, err := tx.Exec(ctx, insertMsg, msg.ID, msg.ChatID, msg.SenderID, msg.Text, msg.CreatedAt); err != nil { + return nil, false, fmt.Errorf("insert message: %w", err) + } + + if len(msg.AttachmentIDs) > 0 { + if err := attachToMessage(ctx, tx, msg); err != nil { + return nil, false, err + } + } + + const insertKey = ` + INSERT INTO idempotency_keys (user_id, chat_id, key, request_hash, message_id) + VALUES ($1::uuid, $2::uuid, $3, $4, $5::uuid) + ON CONFLICT (user_id, chat_id, key) DO NOTHING + ` + tag, err := tx.Exec(ctx, insertKey, msg.SenderID, msg.ChatID, key, requestHash, msg.ID) + if err != nil { + return nil, false, fmt.Errorf("insert idempotency key: %w", err) + } + if tag.RowsAffected() == 1 { + // Версия истории растёт атомарно с сообщением: после COMMIT любое чтение + // увидит новую версию и не попадёт в кэш, записанный до этого сообщения. + const bumpVersion = `UPDATE chats SET version = version + 1 WHERE id = $1::uuid` + if _, err := tx.Exec(ctx, bumpVersion, msg.ChatID); err != nil { + return nil, false, fmt.Errorf("bump chat version: %w", err) + } + if err := tx.Commit(ctx); err != nil { + return nil, false, fmt.Errorf("commit tx: %w", err) + } + return msg, true, nil + } + + // Ключ уже занят подтверждённой записью: наше сообщение не сохраняем. + _ = tx.Rollback(ctx) + + const selectStored = ` + SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.created_at, + ` + attachmentIDsExpr + ` + FROM idempotency_keys k + JOIN messages m ON m.id = k.message_id + WHERE k.user_id = $1::uuid AND k.chat_id = $2::uuid AND k.key = $3 + ` + var storedHash string + var m domain.Message + err = r.pool.QueryRow(ctx, selectStored, msg.SenderID, msg.ChatID, key). + Scan(&storedHash, &m.ID, &m.ChatID, &m.SenderID, &m.Text, &m.CreatedAt, &m.AttachmentIDs) + if err != nil { + return nil, false, fmt.Errorf("select stored message: %w", err) + } + if storedHash != requestHash { + return nil, false, repository.ErrConflict + } + return &m, false, nil +} + +// DeleteExpiredKeys удаляет ключи старше TTL. Безопасно выполнять с любой реплики. +func (r *MessageRepository) DeleteExpiredKeys(ctx context.Context, ttl time.Duration) (int64, error) { + const q = `DELETE FROM idempotency_keys WHERE created_at < now() - make_interval(secs => $1)` + tag, err := r.pool.Exec(ctx, q, ttl.Seconds()) + if err != nil { + return 0, fmt.Errorf("delete expired keys: %w", err) + } + return tag.RowsAffected(), nil +} + +func (r *MessageRepository) ListByChat(ctx context.Context, chatID string, cursor time.Time, cursorID string, limit int) ([]*domain.Message, error) { + q := ` + SELECT m.id, m.chat_id, m.sender_id, m.text, m.created_at, ` + attachmentIDsExpr + ` + FROM messages m + WHERE m.chat_id = $1::uuid + AND (m.created_at, m.id) > ($2::timestamptz, $3::uuid) + ORDER BY m.created_at, m.id + LIMIT $4 + ` + rows, err := r.pool.Query(ctx, q, chatID, cursor, cursorID, limit) + if err != nil { + return nil, fmt.Errorf("list messages: %w", err) + } + defer rows.Close() + msgs := []*domain.Message{} + for rows.Next() { + var m domain.Message + if err := rows.Scan(&m.ID, &m.ChatID, &m.SenderID, &m.Text, &m.CreatedAt, &m.AttachmentIDs); err != nil { + return nil, fmt.Errorf("scan message: %w", err) + } + msgs = append(msgs, &m) + } + return msgs, rows.Err() +} + +// attachmentIDsExpr — id вложений сообщения m в порядке отправки (всегда массив). +const attachmentIDsExpr = `ARRAY(SELECT ma.attachment_id::text FROM message_attachments ma + WHERE ma.message_id = m.id ORDER BY ma.position)` + +// attachToMessage проверяет и привязывает вложения в транзакции сообщения. +// FOR SHARE блокирует строки вложений до COMMIT: reconciler (FOR UPDATE) не +// удалит вложение, которое сейчас прикрепляют. Вложение должно быть из того же +// чата и в статусе ready; чужое, неизвестное и незавершённое — ErrNotFound. +func attachToMessage(ctx context.Context, tx pgx.Tx, msg *domain.Message) error { + const q = ` + SELECT id::text, status FROM attachments + WHERE id = ANY($1::uuid[]) AND chat_id = $2::uuid + FOR SHARE + ` + rows, err := tx.Query(ctx, q, msg.AttachmentIDs, msg.ChatID) + if err != nil { + return fmt.Errorf("select attachments: %w", err) + } + status := map[string]string{} + for rows.Next() { + var id, st string + if err := rows.Scan(&id, &st); err != nil { + rows.Close() + return fmt.Errorf("scan attachment: %w", err) + } + status[id] = st + } + rows.Close() + if err := rows.Err(); err != nil { + return fmt.Errorf("select attachments: %w", err) + } + for _, id := range msg.AttachmentIDs { + switch status[id] { + case domain.AttachmentReady, domain.AttachmentQueued, domain.AttachmentProcessing: + // с lab5 можно ссылаться на ещё обрабатываемое вложение + case domain.AttachmentFailed, domain.AttachmentMissing: + return repository.ErrConflict + default: + return repository.ErrNotFound // чужое, неизвестное, не принятое (uploading) + } + } + batch := &pgx.Batch{} + for i, id := range msg.AttachmentIDs { + batch.Queue(`INSERT INTO message_attachments (message_id, attachment_id, position) VALUES ($1::uuid, $2::uuid, $3)`, + msg.ID, id, i) + } + if err := tx.SendBatch(ctx, batch).Close(); err != nil { + return fmt.Errorf("insert message attachments: %w", err) + } + return nil +} diff --git a/internal/repository/postgres/pipeline.go b/internal/repository/postgres/pipeline.go new file mode 100644 index 0000000..9fc4797 --- /dev/null +++ b/internal/repository/postgres/pipeline.go @@ -0,0 +1,616 @@ +package postgres + +import ( + "github.com/charawein/mtusi2026lab7/internal/telemetry" + + "context" + "encoding/json" + "errors" + "fmt" + "time" + + "github.com/google/uuid" + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +// PipelineRepository — задания, outbox и фиксация результатов обработки. +// +// Все переходы job выполняются в транзакциях с блокировкой строки job (FOR UPDATE), +// а фиксация результата защищена fencing-токеном (lease_owner + attempt): worker, +// потерявший lease, не может опубликовать результат поверх новой попытки. +type PipelineRepository struct { + pool *pgxpool.Pool +} + +func NewPipelineRepository(pool *pgxpool.Pool) *PipelineRepository { + return &PipelineRepository{pool: pool} +} + +// JobRow — состояние логической работы. +type JobRow struct { + JobID string + AttachmentID string + PipelineVersion int + State string + Attempt int + MaxAttempts int + NextAttemptAt time.Time + LeaseUntil *time.Time + LeaseOwner string + LastError string + CreatedAt time.Time // приём работы (durable acceptance) — для time_to_ready +} + +func jobPayload(jobID, attachmentID string, version, attempt int, created time.Time) ([]byte, error) { + return json.Marshal(domain.Job{ + SchemaVersion: 1, JobID: jobID, Type: domain.JobType, AttachmentID: attachmentID, + PipelineVersion: version, Attempt: attempt, + CreatedAt: created.UTC().Truncate(time.Second).Format(time.RFC3339), + }) +} + +func event(ctx context.Context, tx pgx.Tx, jobID, ev, detail string) error { + _, err := tx.Exec(ctx, `INSERT INTO job_events (job_id, event, detail) VALUES ($1::uuid, $2, NULLIF($3, ''))`, jobID, ev, detail) + return err +} + +func outboxTx(ctx context.Context, tx pgx.Tx, jobID, attachmentID string, version, attempt int, available time.Time) error { + payload, err := jobPayload(jobID, attachmentID, version, attempt, time.Now()) + if err != nil { + return err + } + // Контекст трассы: активный span (upload, попытка worker) или, если его нет + // (sweeper), исходный контекст работы из jobs. + _, err = tx.Exec(ctx, ` + INSERT INTO outbox (job_id, payload, available_at, trace_context) + VALUES ($1::uuid, $2, $3, COALESCE($4::jsonb, (SELECT trace_context FROM jobs WHERE job_id = $1::uuid)))`, + jobID, payload, available, traceJSON(ctx)) + if err != nil { + return fmt.Errorf("insert outbox: %w", err) + } + return nil +} + +// EnqueueJobTx создаёт логическую работу (attachment, version) и её первое +// сообщение в outbox. Если работа этой версии уже есть — ничего не создаёт и +// возвращает существующий job_id (ключ эффекта не дублируется). +func EnqueueJobTx(ctx context.Context, tx pgx.Tx, attachmentID string, version, maxAttempts int, reason string) (string, error) { + jobID := uuid.NewString() + var got string + err := tx.QueryRow(ctx, ` + INSERT INTO jobs (job_id, attachment_id, pipeline_version, state, max_attempts, trace_context) + VALUES ($1::uuid, $2::uuid, $3, 'queued', $4, $5::jsonb) + ON CONFLICT (attachment_id, pipeline_version) DO NOTHING + RETURNING job_id::text`, jobID, attachmentID, version, maxAttempts, traceJSON(ctx)).Scan(&got) + if errors.Is(err, pgx.ErrNoRows) { + err = tx.QueryRow(ctx, `SELECT job_id::text FROM jobs WHERE attachment_id = $1::uuid AND pipeline_version = $2`, + attachmentID, version).Scan(&got) + return got, err + } + if err != nil { + return "", fmt.Errorf("insert job: %w", err) + } + if err := outboxTx(ctx, tx, got, attachmentID, version, 1, time.Now()); err != nil { + return "", err + } + return got, event(ctx, tx, got, "enqueued", reason) +} + +func lockJob(ctx context.Context, tx pgx.Tx, jobID string) (*JobRow, error) { + var j JobRow + var owner, lastErr *string + err := tx.QueryRow(ctx, ` + SELECT job_id::text, attachment_id::text, pipeline_version, state, attempt, max_attempts, + next_attempt_at, lease_until, lease_owner, last_error, created_at + FROM jobs WHERE job_id = $1::uuid FOR UPDATE`, jobID). + Scan(&j.JobID, &j.AttachmentID, &j.PipelineVersion, &j.State, &j.Attempt, &j.MaxAttempts, + &j.NextAttemptAt, &j.LeaseUntil, &owner, &lastErr, &j.CreatedAt) + if errors.Is(err, pgx.ErrNoRows) { + return nil, repository.ErrNotFound + } + if err != nil { + return nil, fmt.Errorf("lock job: %w", err) + } + if owner != nil { + j.LeaseOwner = *owner + } + if lastErr != nil { + j.LastError = *lastErr + } + return &j, nil +} + +// ClaimOutcome — решение worker по доставленному сообщению. +type ClaimOutcome int + +const ( + Claimed ClaimOutcome = iota // аренда получена — обрабатывать + AlreadyDone // эффект уже опубликован — ack без работы + Busy // валидная аренда у другого worker — ack (дубль) + NotDue // ранняя доставка до next_attempt_at — ack, outbox доставит позже + Terminal // failed / задания нет — ack + ExhaustedNow // попытки исчерпаны при захвате — уже помечено failed +) + +// Claim захватывает работу: queued (и уже наступило next_attempt_at) или +// processing с истёкшим lease. Номер попытки растёт при каждом захвате. +func (r *PipelineRepository) Claim(ctx context.Context, jobID, owner string, lease time.Duration) (ClaimOutcome, *JobRow, *domain.Attachment, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return 0, nil, nil, err + } + defer func() { _ = tx.Rollback(ctx) }() + j, err := lockJob(ctx, tx, jobID) + if errors.Is(err, repository.ErrNotFound) { + return Terminal, nil, nil, nil + } + if err != nil { + return 0, nil, nil, err + } + var now time.Time + if err := tx.QueryRow(ctx, `SELECT now()`).Scan(&now); err != nil { + return 0, nil, nil, err + } + switch { + case j.State == "done": + return AlreadyDone, j, nil, nil + case j.State == "failed": + return Terminal, j, nil, nil + case j.State == "processing" && j.LeaseUntil != nil && j.LeaseUntil.After(now): + return Busy, j, nil, nil + case j.State == "queued" && j.NextAttemptAt.After(now): // время relay и claim — одно (часы PostgreSQL) + return NotDue, j, nil, nil + } + a, err := scanAttachment(tx.QueryRow(ctx, `SELECT `+attachmentColumns+` FROM attachments WHERE id = $1::uuid FOR UPDATE`, j.AttachmentID)) + if errors.Is(err, repository.ErrNotFound) { + return Terminal, j, nil, nil + } + if err != nil { + return 0, nil, nil, err + } + // Результат этой или более новой версии уже опубликован — повтор не нужен. + if a.Status == domain.AttachmentReady && a.PipelineVersion >= j.PipelineVersion { + if _, err := tx.Exec(ctx, `UPDATE jobs SET state = 'done', lease_until = NULL, updated_at = now() WHERE job_id = $1::uuid`, jobID); err != nil { + return 0, nil, nil, err + } + if err := event(ctx, tx, jobID, "noop_already_published", fmt.Sprintf("published_version=%d", a.PipelineVersion)); err != nil { + return 0, nil, nil, err + } + return AlreadyDone, j, a, tx.Commit(ctx) + } + takeover := j.State == "processing" + j.Attempt++ + if j.Attempt > j.MaxAttempts { + if err := failTx(ctx, tx, j, "retry_exhausted", "attempts exhausted at claim"); err != nil { + return 0, nil, nil, err + } + return ExhaustedNow, j, a, tx.Commit(ctx) + } + until := now.Add(lease) + if _, err := tx.Exec(ctx, ` + UPDATE jobs SET state = 'processing', attempt = $2, lease_until = $3, lease_owner = $4, updated_at = now() + WHERE job_id = $1::uuid`, jobID, j.Attempt, until, owner); err != nil { + return 0, nil, nil, err + } + if a.Status == domain.AttachmentQueued { + if _, err := tx.Exec(ctx, `UPDATE attachments SET status = 'processing', updated_at = now() WHERE id = $1::uuid`, a.ID); err != nil { + return 0, nil, nil, err + } + } + ev := "claimed" + if takeover { + ev = "claimed_after_lease_expiry" + } + if err := event(ctx, tx, jobID, ev, fmt.Sprintf("attempt=%d owner=%s", j.Attempt, owner)); err != nil { + return 0, nil, nil, err + } + j.State, j.LeaseUntil, j.LeaseOwner = "processing", &until, owner + return Claimed, j, a, tx.Commit(ctx) +} + +// ExtendLease продлевает аренду (heartbeat), пока worker действительно работает. +// false — аренда потеряна (её забрал другой worker после истечения). +func (r *PipelineRepository) ExtendLease(ctx context.Context, jobID, owner string, attempt int, lease time.Duration) (bool, error) { + tag, err := r.pool.Exec(ctx, ` + UPDATE jobs SET lease_until = now() + make_interval(secs => $4), updated_at = now() + WHERE job_id = $1::uuid AND state = 'processing' AND lease_owner = $2 AND attempt = $3`, + jobID, owner, attempt, lease.Seconds()) + return tag.RowsAffected() == 1, err +} + +// CompleteResult — что сделала фиксация. +type CompleteResult struct { + Applied bool // результат этой попытки зафиксирован + Published bool // attachment переведён на эту версию + LostLease bool // fencing: попытка уже не владеет job + NewerPublished int // если опубликована более новая версия — её номер +} + +// Complete атомарно публикует результат: варианты (ON CONFLICT DO NOTHING по +// ключу эффекта), attachment → ready на этой версии (только если опубликованная +// версия меньше — старый результат не перезаписывает новый), job → done. +func (r *PipelineRepository) Complete(ctx context.Context, jobID, owner string, attempt int, finalKey string, variants []domain.Variant) (CompleteResult, error) { + var res CompleteResult + tx, err := r.pool.Begin(ctx) + if err != nil { + return res, err + } + defer func() { _ = tx.Rollback(ctx) }() + j, err := lockJob(ctx, tx, jobID) + if err != nil { + return res, err + } + if j.State != "processing" || j.LeaseOwner != owner || j.Attempt != attempt { + res.LostLease = true + return res, event(ctx, tx, jobID, "result_rejected_lost_lease", fmt.Sprintf("attempt=%d owner=%s", attempt, owner)) + } + batch := &pgx.Batch{} + for _, v := range variants { + batch.Queue(` + INSERT INTO attachment_variants (attachment_id, pipeline_version, name, object_key, content_type, size_bytes, width, height, sha256) + VALUES ($1::uuid, $2, $3, $4, $5, $6, $7, $8, $9) + ON CONFLICT (attachment_id, pipeline_version, name) DO NOTHING`, + j.AttachmentID, j.PipelineVersion, v.Name, v.ObjectKey, v.ContentType, v.SizeBytes, v.Width, v.Height, v.SHA256) + } + if err := tx.SendBatch(ctx, batch).Close(); err != nil { + return res, fmt.Errorf("insert variants: %w", err) + } + tag, err := tx.Exec(ctx, ` + UPDATE attachments + SET status = 'ready', pipeline_version = $2, object_key = $3, error_code = NULL, updated_at = now() + WHERE id = $1::uuid AND pipeline_version < $2 AND status <> 'missing'`, + j.AttachmentID, j.PipelineVersion, finalKey) + if err != nil { + return res, fmt.Errorf("publish attachment: %w", err) + } + res.Published = tag.RowsAffected() == 1 + if !res.Published { + _ = tx.QueryRow(ctx, `SELECT pipeline_version FROM attachments WHERE id = $1::uuid`, j.AttachmentID).Scan(&res.NewerPublished) + } + if _, err := tx.Exec(ctx, `UPDATE jobs SET state = 'done', lease_until = NULL, last_error = NULL, updated_at = now() WHERE job_id = $1::uuid`, jobID); err != nil { + return res, err + } + ev, detail := "done", fmt.Sprintf("attempt=%d", attempt) + if !res.Published { + ev, detail = "done_not_published_newer_exists", fmt.Sprintf("attempt=%d published_version=%d", attempt, res.NewerPublished) + } + if err := event(ctx, tx, jobID, ev, detail); err != nil { + return res, err + } + res.Applied = true + return res, tx.Commit(ctx) +} + +func failTx(ctx context.Context, tx pgx.Tx, j *JobRow, code, detail string) error { + if _, err := tx.Exec(ctx, ` + UPDATE jobs SET state = 'failed', lease_until = NULL, last_error = $2, updated_at = now() + WHERE job_id = $1::uuid`, j.JobID, code+": "+detail); err != nil { + return err + } + // Ready-вложение (переобработка новой версии) не роняется в failed: старый + // результат остаётся опубликованным. + if _, err := tx.Exec(ctx, ` + UPDATE attachments SET status = 'failed', error_code = $2, updated_at = now() + WHERE id = $1::uuid AND status IN ('queued', 'processing')`, j.AttachmentID, code); err != nil { + return err + } + return event(ctx, tx, j.JobID, "failed", code+": "+detail) +} + +// RetryOrFail: временная ошибка с оставшимися попытками → queued с backoff и +// новым сообщением outbox (available_at в будущем); иначе → failed. +func (r *PipelineRepository) RetryOrFail(ctx context.Context, jobID, owner string, attempt int, code, detail string, permanent bool, backoff time.Duration) (failed bool, err error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return false, err + } + defer func() { _ = tx.Rollback(ctx) }() + j, err := lockJob(ctx, tx, jobID) + if err != nil { + return false, err + } + if j.State != "processing" || j.LeaseOwner != owner || j.Attempt != attempt { + return false, event(ctx, tx, jobID, "error_ignored_lost_lease", code) + } + if permanent || j.Attempt >= j.MaxAttempts { + if !permanent { + code = "retry_exhausted" + } + if err := failTx(ctx, tx, j, code, detail); err != nil { + return false, err + } + return true, tx.Commit(ctx) + } + var next time.Time + if err := tx.QueryRow(ctx, ` + UPDATE jobs SET state = 'queued', lease_until = NULL, lease_owner = NULL, last_error = $2, + next_attempt_at = now() + make_interval(secs => $3), updated_at = now() + WHERE job_id = $1::uuid RETURNING next_attempt_at`, jobID, code+": "+detail, backoff.Seconds()).Scan(&next); err != nil { + return false, err + } + if _, err := tx.Exec(ctx, `UPDATE attachments SET status = 'queued', updated_at = now() WHERE id = $1::uuid AND status = 'processing'`, j.AttachmentID); err != nil { + return false, err + } + if err := outboxTx(ctx, tx, jobID, j.AttachmentID, j.PipelineVersion, j.Attempt+1, next); err != nil { + return false, err + } + if err := event(ctx, tx, jobID, "retry_scheduled", fmt.Sprintf("%s; next_attempt=%d in %s", code, j.Attempt+1, backoff.Round(time.Millisecond))); err != nil { + return false, err + } + return false, tx.Commit(ctx) +} + +// SweepExpiredLeases возвращает в очередь работу, чей worker умер (lease истёк). +func (r *PipelineRepository) SweepExpiredLeases(ctx context.Context) (int, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return 0, err + } + defer func() { _ = tx.Rollback(ctx) }() + rows, err := tx.Query(ctx, ` + SELECT job_id::text FROM jobs + WHERE state = 'processing' AND lease_until < now() + ORDER BY lease_until LIMIT 100 FOR UPDATE SKIP LOCKED`) + if err != nil { + return 0, err + } + var ids []string + for rows.Next() { + var id string + if err := rows.Scan(&id); err != nil { + rows.Close() + return 0, err + } + ids = append(ids, id) + } + rows.Close() + for _, id := range ids { + j, err := lockJob(ctx, tx, id) + if err != nil { + return 0, err + } + if j.Attempt >= j.MaxAttempts { + if err := failTx(ctx, tx, j, "retry_exhausted", "lease expired on last attempt"); err != nil { + return 0, err + } + continue + } + if _, err := tx.Exec(ctx, ` + UPDATE jobs SET state = 'queued', lease_until = NULL, lease_owner = NULL, next_attempt_at = now(), + last_error = 'lease_expired', updated_at = now() WHERE job_id = $1::uuid`, id); err != nil { + return 0, err + } + if _, err := tx.Exec(ctx, `UPDATE attachments SET status = 'queued', updated_at = now() WHERE id = $1::uuid AND status = 'processing'`, j.AttachmentID); err != nil { + return 0, err + } + if err := outboxTx(ctx, tx, id, j.AttachmentID, j.PipelineVersion, j.Attempt+1, time.Now()); err != nil { + return 0, err + } + if err := event(ctx, tx, id, "lease_expired_requeued", fmt.Sprintf("owner=%s attempt=%d", j.LeaseOwner, j.Attempt)); err != nil { + return 0, err + } + } + return len(ids), tx.Commit(ctx) +} + +// OutboxMessage — неопубликованное сообщение. +type OutboxMessage struct { + ID int64 + JobID string + Payload []byte + Trace map[string]string // W3C trace context родителя (upload / попытка) + Created time.Time +} + +// PublishDue публикует созревшие сообщения outbox. Строки блокируются +// FOR UPDATE SKIP LOCKED (несколько relay не мешают друг другу); published_at +// ставится только после publisher confirm. Падение между confirm и COMMIT даёт +// повторную публикацию — это допустимо: consumer идемпотентен. +func (r *PipelineRepository) PublishDue(ctx context.Context, limit int, publish func(context.Context, OutboxMessage) error, afterPublish func()) (int, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return 0, err + } + defer func() { _ = tx.Rollback(ctx) }() + rows, err := tx.Query(ctx, ` + SELECT id, job_id::text, payload, trace_context, created_at FROM outbox + WHERE published_at IS NULL AND available_at <= now() + ORDER BY id LIMIT $1 FOR UPDATE SKIP LOCKED`, limit) + if err != nil { + return 0, err + } + var msgs []OutboxMessage + for rows.Next() { + var m OutboxMessage + if err := rows.Scan(&m.ID, &m.JobID, &m.Payload, &m.Trace, &m.Created); err != nil { + rows.Close() + return 0, err + } + msgs = append(msgs, m) + } + rows.Close() + sent := 0 + for _, m := range msgs { + if err := publish(ctx, m); err != nil { + _, _ = tx.Exec(ctx, `UPDATE outbox SET publish_attempts = publish_attempts + 1 WHERE id = $1`, m.ID) + _ = tx.Commit(ctx) + return sent, err + } + if afterPublish != nil { + afterPublish() // точка внедрения сбоя «после confirm до COMMIT» + } + if _, err := tx.Exec(ctx, `UPDATE outbox SET published_at = now(), publish_attempts = publish_attempts + 1 WHERE id = $1`, m.ID); err != nil { + return sent, err + } + sent++ + } + return sent, tx.Commit(ctx) +} + +// Replay — явный операторский повтор failed-работы (failed → queued) с аудитом. +// Успешную работу повторить нельзя: «повторить» не означает исполнить дубль. +func (r *PipelineRepository) Replay(ctx context.Context, attachmentID string, version int, actor string) (string, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return "", err + } + defer func() { _ = tx.Rollback(ctx) }() + var jobID string + if err := tx.QueryRow(ctx, `SELECT job_id::text FROM jobs WHERE attachment_id = $1::uuid AND pipeline_version = $2`, + attachmentID, version).Scan(&jobID); err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return "", repository.ErrNotFound + } + return "", err + } + j, err := lockJob(ctx, tx, jobID) + if err != nil { + return "", err + } + if j.State != "failed" { + _ = event(ctx, tx, jobID, "replay_refused", "state="+j.State+" actor="+actor) + _ = tx.Commit(ctx) + return jobID, fmt.Errorf("%w: job is %s, only failed jobs can be replayed", repository.ErrConflict, j.State) + } + var staging *string + if err := tx.QueryRow(ctx, `SELECT staging_key FROM attachments WHERE id = $1::uuid FOR UPDATE`, attachmentID).Scan(&staging); err != nil { + return "", err + } + if staging == nil { + _ = event(ctx, tx, jobID, "replay_refused", "staging removed by retention, actor="+actor) + _ = tx.Commit(ctx) + return jobID, fmt.Errorf("%w: source removed by staging retention", repository.ErrConflict) + } + if _, err := tx.Exec(ctx, ` + UPDATE jobs SET state = 'queued', attempt = 0, next_attempt_at = now(), last_error = NULL, updated_at = now() + WHERE job_id = $1::uuid`, jobID); err != nil { + return "", err + } + if _, err := tx.Exec(ctx, `UPDATE attachments SET status = 'queued', error_code = NULL, updated_at = now() WHERE id = $1::uuid AND status = 'failed'`, attachmentID); err != nil { + return "", err + } + if err := outboxTx(ctx, tx, jobID, attachmentID, version, 1, time.Now()); err != nil { + return "", err + } + if err := event(ctx, tx, jobID, "replay", "actor="+actor); err != nil { + return "", err + } + return jobID, tx.Commit(ctx) +} + +// Reprocess ставит работу новой версии pipeline для уже обработанного вложения +// (трек 2). Вложение остаётся ready со старыми вариантами до публикации новых. +func (r *PipelineRepository) Reprocess(ctx context.Context, attachmentID string, version, maxAttempts int) (string, error) { + tx, err := r.pool.Begin(ctx) + if err != nil { + return "", err + } + defer func() { _ = tx.Rollback(ctx) }() + id, err := EnqueueJobTx(ctx, tx, attachmentID, version, maxAttempts, "reprocess") + if err != nil { + return "", err + } + return id, tx.Commit(ctx) +} + +// FailedJobs — реестр failed для оператора. +func (r *PipelineRepository) FailedJobs(ctx context.Context, limit int) ([]JobRow, error) { + rows, err := r.pool.Query(ctx, ` + SELECT job_id::text, attachment_id::text, pipeline_version, state, attempt, max_attempts, COALESCE(last_error, '') + FROM jobs WHERE state = 'failed' ORDER BY updated_at DESC LIMIT $1`, limit) + if err != nil { + return nil, err + } + defer rows.Close() + var out []JobRow + for rows.Next() { + var j JobRow + if err := rows.Scan(&j.JobID, &j.AttachmentID, &j.PipelineVersion, &j.State, &j.Attempt, &j.MaxAttempts, &j.LastError); err != nil { + return nil, err + } + out = append(out, j) + } + return out, rows.Err() +} + +// StagingCandidate — staging-объект, который можно удалить. +type StagingCandidate struct { + AttachmentID string + Key string + Status string +} + +// StagingToClean: ready с отдельным staging-объектом (результат уже опубликован +// не менее readyGrace назад) и failed старше retention (replay больше невозможен). +func (r *PipelineRepository) StagingToClean(ctx context.Context, readyGrace, failedRetention time.Duration, limit int) ([]StagingCandidate, error) { + rows, err := r.pool.Query(ctx, ` + SELECT id::text, staging_key, status FROM attachments + WHERE staging_key IS NOT NULL AND ( + (status = 'ready' AND staging_key <> object_key AND updated_at < now() - make_interval(secs => $1)) + OR (status = 'failed' AND updated_at < now() - make_interval(secs => $2))) + ORDER BY updated_at LIMIT $3`, readyGrace.Seconds(), failedRetention.Seconds(), limit) + if err != nil { + return nil, err + } + defer rows.Close() + var out []StagingCandidate + for rows.Next() { + var c StagingCandidate + if err := rows.Scan(&c.AttachmentID, &c.Key, &c.Status); err != nil { + return nil, err + } + out = append(out, c) + } + return out, rows.Err() +} + +// ClearStaging отмечает, что staging-объект удалён (только если ключ не менялся). +func (r *PipelineRepository) ClearStaging(ctx context.Context, attachmentID, key string) error { + _, err := r.pool.Exec(ctx, `UPDATE attachments SET staging_key = NULL WHERE id = $1::uuid AND staging_key = $2`, attachmentID, key) + return err +} + +// Attachment — доверенные метаданные для worker. +func (r *PipelineRepository) Attachment(ctx context.Context, id string) (*domain.Attachment, error) { + return scanAttachment(r.pool.QueryRow(ctx, `SELECT `+attachmentColumns+` FROM attachments WHERE id = $1::uuid`, id)) +} + +// traceJSON — W3C trace context активного span для колонки trace_context (nil, если span нет). +func traceJSON(ctx context.Context) []byte { + m := telemetry.InjectMap(ctx) + if m == nil { + return nil + } + b, _ := json.Marshal(m) + return b +} + +// QueueStats — состояние очереди по источнику истины (PostgreSQL), для метрик: +// число работ по состояниям и возраст старейшей незавершённой работы/сообщения. +type QueueStats struct { + Queued, Processing, Failed int64 + OldestQueuedAge float64 // s, 0 если очередь пуста + OutboxPending int64 + OldestOutboxAge float64 // s +} + +func (r *PipelineRepository) QueueStats(ctx context.Context) (QueueStats, error) { + var s QueueStats + err := r.pool.QueryRow(ctx, ` + SELECT count(*) FILTER (WHERE state = 'queued'), + count(*) FILTER (WHERE state = 'processing'), + count(*) FILTER (WHERE state = 'failed'), + COALESCE(EXTRACT(EPOCH FROM now() - min(created_at) FILTER (WHERE state IN ('queued', 'processing'))), 0) + FROM jobs`).Scan(&s.Queued, &s.Processing, &s.Failed, &s.OldestQueuedAge) + if err != nil { + return s, err + } + err = r.pool.QueryRow(ctx, ` + SELECT count(*), COALESCE(EXTRACT(EPOCH FROM now() - min(created_at)), 0) + FROM outbox WHERE published_at IS NULL AND available_at <= now()`).Scan(&s.OutboxPending, &s.OldestOutboxAge) + return s, err +} diff --git a/internal/repository/postgres/pool.go b/internal/repository/postgres/pool.go new file mode 100644 index 0000000..f45de45 --- /dev/null +++ b/internal/repository/postgres/pool.go @@ -0,0 +1,56 @@ +package postgres + +import ( + "github.com/exaring/otelpgx" + + "context" + "fmt" + "time" + + "github.com/jackc/pgx/v5/pgxpool" +) + +// NewPool создаёт пул соединений с PostgreSQL. +// Параметры ограничены, чтобы не перегрузить БД. +func NewPool(ctx context.Context, dsn string, maxConns int32) (*pgxpool.Pool, error) { + cfg, err := pgxpool.ParseConfig(dsn) + if err != nil { + return nil, fmt.Errorf("parse dsn: %w", err) + } + return NewPoolFromConfig(ctx, cfg, maxConns) +} + +// NewPoolFromConfig — пул из готовой конфигурации (lab7: TLS verify-full и +// credentials из OpenBao через BeforeConnect). +func NewPoolFromConfig(ctx context.Context, cfg *pgxpool.Config, maxConns int32) (*pgxpool.Pool, error) { + + cfg.MaxConns = maxConns + cfg.MinConns = min(2, maxConns) + cfg.MaxConnIdleTime = 5 * time.Minute + if cfg.MaxConnLifetime == 0 || cfg.MaxConnLifetime > 30*time.Minute { + cfg.MaxConnLifetime = 30 * time.Minute + } + cfg.HealthCheckPeriod = 30 * time.Second + // Трассы запросов (SQL-текст с плейсхолдерами, без значений параметров) + // и ожидания соединения из пула (acquire) — видно, что медленная именно БД. + cfg.ConnConfig.Tracer = otelpgx.NewTracer(otelpgx.WithTrimSQLInSpanName()) + + pool, err := pgxpool.NewWithConfig(ctx, cfg) + if err != nil { + return nil, fmt.Errorf("create pool: %w", err) + } + + // Проверяем, что соединение работает. + pingCtx, cancel := context.WithTimeout(ctx, 5*time.Second) + defer cancel() + if err := pool.Ping(pingCtx); err != nil { + pool.Close() + return nil, fmt.Errorf("ping: %w", err) + } + + // Метрики пула: pgxpool.acquired_connections, idle, max, empty_acquire (ожидания). + if err := otelpgx.RecordStats(pool); err != nil { + return nil, fmt.Errorf("pool metrics: %w", err) + } + return pool, nil +} diff --git a/internal/repository/postgres/user.go b/internal/repository/postgres/user.go new file mode 100644 index 0000000..5e1571c --- /dev/null +++ b/internal/repository/postgres/user.go @@ -0,0 +1,85 @@ +package postgres + +import ( + "context" + "errors" + "fmt" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgconn" + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type UserRepository struct { + pool *pgxpool.Pool +} + +func NewUserRepository(pool *pgxpool.Pool) *UserRepository { + return &UserRepository{pool: pool} +} + +func (r *UserRepository) Create(ctx context.Context, user *domain.User, passwordHash string) error { + const q = ` + INSERT INTO users (id, username, display_name, password_hash, created_at) + VALUES ($1::uuid, $2, $3, $4, $5) + ` + _, err := r.pool.Exec(ctx, q, user.ID, user.Username, user.DisplayName, passwordHash, user.CreatedAt) + if err != nil { + var pgErr *pgconn.PgError + if errors.As(err, &pgErr) && pgErr.Code == "23505" { + return repository.ErrConflict + } + return fmt.Errorf("insert user: %w", err) + } + return nil +} + +func (r *UserRepository) GetByID(ctx context.Context, id string) (*domain.User, error) { + const q = `SELECT id, username, display_name, created_at FROM users WHERE id = $1::uuid` + var u domain.User + err := r.pool.QueryRow(ctx, q, id).Scan(&u.ID, &u.Username, &u.DisplayName, &u.CreatedAt) + if err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return nil, repository.ErrNotFound + } + return nil, fmt.Errorf("select user by id: %w", err) + } + return &u, nil +} + +func (r *UserRepository) GetByUsername(ctx context.Context, username string) (*domain.User, error) { + const q = `SELECT id, username, display_name, created_at FROM users WHERE username = $1` + var u domain.User + err := r.pool.QueryRow(ctx, q, username).Scan(&u.ID, &u.Username, &u.DisplayName, &u.CreatedAt) + if err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return nil, repository.ErrNotFound + } + return nil, fmt.Errorf("select user by username: %w", err) + } + return &u, nil +} + +// UpdatePasswordHash — rehash при входе; условие по старому значению защищает от +// гонки с параллельной сменой пароля. +func (r *UserRepository) UpdatePasswordHash(ctx context.Context, userID, oldHash, newHash string) error { + _, err := r.pool.Exec(ctx, `UPDATE users SET password_hash = $3 WHERE id = $1::uuid AND password_hash = $2`, + userID, oldHash, newHash) + return err +} + +func (r *UserRepository) GetPasswordHash(ctx context.Context, userID string) (string, error) { + const q = `SELECT password_hash FROM users WHERE id = $1::uuid` + var hash string + err := r.pool.QueryRow(ctx, q, userID).Scan(&hash) + if err != nil { + if errors.Is(err, pgx.ErrNoRows) { + return "", repository.ErrNotFound + } + return "", fmt.Errorf("select password hash: %w", err) + } + return hash, nil +} diff --git a/internal/repository/redis/message_cache.go b/internal/repository/redis/message_cache.go new file mode 100644 index 0000000..55f1c25 --- /dev/null +++ b/internal/repository/redis/message_cache.go @@ -0,0 +1,93 @@ +package redis + +import ( + "context" + "encoding/json" + "fmt" + "log/slog" + "time" + + "github.com/redis/go-redis/v9" + + "github.com/charawein/mtusi2026lab7/internal/domain" +) + +// Ключ кэша истории всегда содержит версию чата из PostgreSQL (chats.version), +// которая растёт в одной транзакции с сообщением. Поэтому после подтверждённой +// записи следующее чтение идёт по новому ключу, даже если Redis отказал в +// любой команде: устаревшие ключи просто истекают по TTL. +// +// CACHE_INVALIDATION влияет только на стоимость записи (эксперимент трека 1): +// - "version": запись не обращается к Redis; +// - "scan": дополнительно удаляет ключи чата через SCAN, как в lab2 — +// O(размер keyspace/100) запросов к Redis на запись. На корректность не влияет. +const ( + InvalidationScan = "scan" + InvalidationVersion = "version" +) + +type MessageCache struct { + client *redis.Client + scanOnSet bool +} + +func NewMessageCache(client *redis.Client, mode string) *MessageCache { + return &MessageCache{client: client, scanOnSet: mode == InvalidationScan} +} + +type cacheEntry struct { + Items []*domain.Message `json:"items"` + NextCursor string `json:"next_cursor"` +} + +func cacheKey(chatID string, version int64, cursor string, limit int) string { + return fmt.Sprintf("messages:%s:v%d:%s:%d", chatID, version, cursor, limit) +} + +func (c *MessageCache) Get(ctx context.Context, chatID string, version int64, cursor string, limit int) ([]*domain.Message, string, bool) { + raw, err := c.client.Get(ctx, cacheKey(chatID, version, cursor, limit)).Bytes() + if err != nil { + return nil, "", false + } + var e cacheEntry + if err := json.Unmarshal(raw, &e); err != nil { + return nil, "", false + } + return e.Items, e.NextCursor, true +} + +func (c *MessageCache) Set(ctx context.Context, chatID string, version int64, cursor string, limit int, items []*domain.Message, next string) { + e := cacheEntry{Items: items, NextCursor: next} + raw, err := json.Marshal(e) + if err != nil { + slog.Warn("marshal cache entry failed", "err", err) + return + } + if err := c.client.Set(ctx, cacheKey(chatID, version, cursor, limit), raw, 30*time.Second).Err(); err != nil { + // Redis недоступен — не падаем, работаем без кэша. + slog.Warn("redis set failed", "chat_id", chatID, "err", err) + } +} + +// OnWrite вызывается после успешной записи сообщения. Свежесть чтения уже +// обеспечена ростом chats.version в транзакции записи; в режиме scan здесь +// только воспроизводится стоимость удаления старых ключей (lab2), и ошибка +// Redis не может сделать историю устаревшей. +func (c *MessageCache) OnWrite(ctx context.Context, chatID string) { + if !c.scanOnSet { + return + } + if err := c.Invalidate(ctx, chatID); err != nil { + slog.Warn("redis scan invalidation failed", "chat_id", chatID, "err", err) + } +} + +// Invalidate удаляет все ключи messages:{chatID}:* через SCAN. +func (c *MessageCache) Invalidate(ctx context.Context, chatID string) error { + pattern := fmt.Sprintf("messages:%s:*", chatID) + iter := c.client.Scan(ctx, 0, pattern, 100).Iterator() + for iter.Next(ctx) { + _ = c.client.Del(ctx, iter.Val()).Err() + } + return iter.Err() +} diff --git a/internal/repository/redis/session.go b/internal/repository/redis/session.go new file mode 100644 index 0000000..a4fac4f --- /dev/null +++ b/internal/repository/redis/session.go @@ -0,0 +1,92 @@ +package redis + +import ( + "github.com/redis/go-redis/extra/redisotel/v9" + + "context" + "crypto/sha256" + "encoding/hex" + "errors" + "fmt" + "time" + + "github.com/redis/go-redis/v9" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type SessionRepository struct { + client *redis.Client +} + +// sessionKey — ключ Redis по SHA-256 токена: в хранилище нет пригодных для входа токенов. +func sessionKey(token string) string { + sum := sha256.Sum256([]byte(token)) + return "session:" + hex.EncodeToString(sum[:]) +} + +func NewSessionRepository(client *redis.Client) *SessionRepository { + return &SessionRepository{client: client} +} + +func (r *SessionRepository) Create(ctx context.Context, s *domain.Session) error { + key := sessionKey(s.Token) + ttl := time.Until(s.ExpiresAt) + if ttl <= 0 { + return fmt.Errorf("session already expired") + } + if err := r.client.Set(ctx, key, s.UserID, ttl).Err(); err != nil { + return fmt.Errorf("set session: %w", err) + } + return nil +} + +func (r *SessionRepository) GetByToken(ctx context.Context, token string) (*domain.Session, error) { + key := sessionKey(token) + userID, err := r.client.Get(ctx, key).Result() + if err != nil { + if errors.Is(err, redis.Nil) { + return nil, repository.ErrNotFound + } + return nil, fmt.Errorf("get session: %w", err) + } + ttl, err := r.client.TTL(ctx, key).Result() + if err != nil { + return nil, fmt.Errorf("ttl: %w", err) + } + return &domain.Session{ + Token: token, + UserID: userID, + ExpiresAt: time.Now().UTC().Add(ttl), + }, nil +} + +func (r *SessionRepository) Delete(ctx context.Context, token string) error { + return r.client.Del(ctx, sessionKey(token)).Err() +} + +func (r *SessionRepository) DeleteExpired(ctx context.Context) error { + return nil +} + +func NewClient(ctx context.Context, url string) (*redis.Client, error) { + opts, err := redis.ParseURL(url) + if err != nil { + return nil, fmt.Errorf("parse redis url: %w", err) + } + return NewClientFromOptions(ctx, opts) +} + +// NewClientFromOptions — lab7: TLS и ACL-пользователь из OpenBao. +func NewClientFromOptions(ctx context.Context, opts *redis.Options) (*redis.Client, error) { + client := redis.NewClient(opts) + // Spans команд Redis (имя команды; аргументы — ключи сессий — не пишутся). + if err := redisotel.InstrumentTracing(client, redisotel.WithDBStatement(false)); err != nil { + return nil, fmt.Errorf("redis tracing: %w", err) + } + if err := client.Ping(ctx).Err(); err != nil { + return nil, fmt.Errorf("ping redis: %w", err) + } + return client, nil +} diff --git a/internal/repository/repository.go b/internal/repository/repository.go new file mode 100644 index 0000000..9502a6d --- /dev/null +++ b/internal/repository/repository.go @@ -0,0 +1,58 @@ +package repository + +import ( + "context" + "time" + + "github.com/charawein/mtusi2026lab7/internal/domain" +) + +var ErrNotFound = errNotFound{} + +type errNotFound struct{} + +func (errNotFound) Error() string { return "not found" } + +var ErrConflict = errConflict{} + +type errConflict struct{} + +func (errConflict) Error() string { return "conflict" } + +// UserRepository +type UserRepository interface { + Create(ctx context.Context, user *domain.User, passwordHash string) error + UpdatePasswordHash(ctx context.Context, userID, oldHash, newHash string) error + GetByID(ctx context.Context, id string) (*domain.User, error) + GetByUsername(ctx context.Context, username string) (*domain.User, error) + GetPasswordHash(ctx context.Context, userID string) (string, error) +} + +// ChatRepository +type ChatRepository interface { + Create(ctx context.Context, chat *domain.Chat) error + GetByID(ctx context.Context, id string) (*domain.Chat, error) + IsMember(ctx context.Context, chatID, userID string) (bool, error) + // MemberVersion — версия истории чата (растёт с каждым сообщением) и членство. + MemberVersion(ctx context.Context, chatID, userID string) (version int64, member bool, err error) + ListByMember(ctx context.Context, userID string, cursor time.Time, cursorID string, limit int) ([]*domain.Chat, error) +} + +// MessageRepository +type MessageRepository interface { + Create(ctx context.Context, msg *domain.Message) error + // CreateIdempotent атомарно создаёт сообщение и запись ключа идемпотентности. + // Если ключ уже есть с тем же requestHash — возвращает ранее созданное сообщение + // и created=false; с другим requestHash — ErrConflict. + CreateIdempotent(ctx context.Context, msg *domain.Message, key, requestHash string, ttl time.Duration) (stored *domain.Message, created bool, err error) + DeleteExpiredKeys(ctx context.Context, ttl time.Duration) (int64, error) + ListByChat(ctx context.Context, chatID string, cursor time.Time, cursorID string, limit int) ([]*domain.Message, error) +} + +// SessionRepository +type SessionRepository interface { + Create(ctx context.Context, s *domain.Session) error + GetByToken(ctx context.Context, token string) (*domain.Session, error) + Delete(ctx context.Context, token string) error + DeleteExpired(ctx context.Context) error +} diff --git a/internal/secrets/openbao.go b/internal/secrets/openbao.go new file mode 100644 index 0000000..202c9d5 --- /dev/null +++ b/internal/secrets/openbao.go @@ -0,0 +1,273 @@ +// Package secrets — получение credentials сервиса из OpenBao. +// +// Цепочка доверия (bootstrap trust): +// +// PKI оператора → leaf-сертификат сервиса (файл, короткий срок) → +// OpenBao auth/cert (mTLS, роль сервиса, allowed_common_names) → +// token с policy только на secret/data/messenger/<сервис> (TTL 15 min, renewable до 1 h) → +// KV v2 secret сервиса (пароль БД, ключ S3, пароль Redis). +// +// Отдельного «секрета для получения секретов» в образе и окружении нет: identity — +// это сертификат, который нужен сервису для mTLS и так. Root token, unseal shares и +// CA key остаются у оператора. +// +// Manager держит последнюю успешно прочитанную версию в памяти: если OpenBao +// запечатан или недоступен, работа продолжается на ней (новые подключения к БД/S3 +// используют кэш), а повтор идёт с backoff. Изменение версии KV (ротация) видно +// подписчикам через Version()/Get() — новые подключения берут новые значения. +package secrets + +import ( + "bytes" + "context" + "crypto/tls" + "encoding/json" + "errors" + "fmt" + "io" + "log/slog" + "net/http" + "sync" + "time" +) + +type Manager struct { + addr, role, path string + http *http.Client + refresh time.Duration + + mu sync.RWMutex + token string + tokenExp time.Time + renewable bool + data map[string]string + version int + lastOK time.Time + lastErr string + + syncMu sync.Mutex // фоновый цикл и SyncNow не синхронизируются одновременно + lastSync time.Time +} + +// Config — адрес OpenBao (https), роль cert-auth и путь KV v2 (mount secret). +type Config struct { + Addr string + Role string + Path string // например messenger/worker → secret/data/messenger/worker + TLS *tls.Config + Refresh time.Duration +} + +func New(cfg Config) *Manager { + if cfg.Refresh <= 0 { + cfg.Refresh = 30 * time.Second + } + return &Manager{addr: cfg.Addr, role: cfg.Role, path: cfg.Path, refresh: cfg.Refresh, + http: &http.Client{Timeout: 10 * time.Second, Transport: &http.Transport{TLSClientConfig: cfg.TLS}}} +} + +// Start — первое чтение (обязательно успешное, иначе процесс не стартует без +// credentials) и фоновое обновление токена и секрета. +func (m *Manager) Start(ctx context.Context) error { + var err error + for i := 0; i < 30; i++ { + if err = m.sync(ctx); err == nil { + break + } + slog.Warn("openbao not ready, retrying", "event", "secrets.retry", "err", err) + select { + case <-ctx.Done(): + return ctx.Err() + case <-time.After(2 * time.Second): + } + } + if err != nil { + return err + } + // цикл живёт дольше контекста запуска (у api это bootCtx с таймаутом 90 s) + go m.loop(context.WithoutCancel(ctx)) + return nil +} + +func (m *Manager) loop(ctx context.Context) { + t := time.NewTicker(m.refresh) + defer t.Stop() + for { + select { + case <-ctx.Done(): + return + case <-t.C: + m.syncMu.Lock() + err := m.sync(ctx) + m.lastSync = time.Now() + m.syncMu.Unlock() + if err != nil { + m.mu.Lock() + m.lastErr = err.Error() + m.mu.Unlock() + slog.Warn("secrets refresh failed; using cached version", "event", "secrets.refresh_failed", + "err", err, "version", m.Version()) + } + } + } +} + +// sync: продлить/получить token, прочитать KV. +func (m *Manager) sync(ctx context.Context) error { + if err := m.ensureToken(ctx); err != nil { + return err + } + data, ver, err := m.readKV(ctx) + if errors.Is(err, errForbidden) { + // token отозван (компрометация, смена policy) — новый login и повтор + m.mu.Lock() + m.token = "" + m.mu.Unlock() + if err := m.ensureToken(ctx); err != nil { + return err + } + data, ver, err = m.readKV(ctx) + } + if err != nil { + return err + } + m.mu.Lock() + changed := ver != m.version + m.data, m.version, m.lastOK, m.lastErr = data, ver, time.Now(), "" + m.mu.Unlock() + if changed { + slog.Info("secrets loaded", "event", "secrets.version", "path", m.path, "version", ver) + } + return nil +} + +func (m *Manager) ensureToken(ctx context.Context) error { + m.mu.RLock() + tok, exp, ren := m.token, m.tokenExp, m.renewable + m.mu.RUnlock() + if tok != "" && time.Until(exp) > m.refresh*2 { + return nil + } + if tok != "" && ren { + var out authResp + if err := m.call(ctx, "POST", "/v1/auth/token/renew-self", tok, map[string]any{}, &out); err == nil && out.Auth.ClientToken != "" { + m.setToken(out) + return nil + } + } + // cert auth проверяет сертификат TLS-соединения. Keep-alive соединение несёт + // сертификат, предъявленный при его рукопожатии, — после ротации identity + // (worker-g1 → g2) это был бы старый, уже отозванный. Новое рукопожатие берёт + // текущий файл сертификата (KeyPair перечитывает его). + m.http.CloseIdleConnections() + var out authResp + if err := m.call(ctx, "POST", "/v1/auth/cert/login", "", map[string]any{"name": m.role}, &out); err != nil { + return fmt.Errorf("cert login: %w", err) + } + m.setToken(out) + slog.Info("openbao login", "event", "secrets.login", "role", m.role, "ttl_s", out.Auth.LeaseDuration) + return nil +} + +type authResp struct { + Auth struct { + ClientToken string `json:"client_token"` + LeaseDuration int `json:"lease_duration"` + Renewable bool `json:"renewable"` + } `json:"auth"` +} + +func (m *Manager) setToken(a authResp) { + m.mu.Lock() + m.token = a.Auth.ClientToken + m.tokenExp = time.Now().Add(time.Duration(a.Auth.LeaseDuration) * time.Second) + m.renewable = a.Auth.Renewable + m.mu.Unlock() +} + +var errForbidden = errors.New("permission denied") + +func (m *Manager) readKV(ctx context.Context) (map[string]string, int, error) { + m.mu.RLock() + tok := m.token + m.mu.RUnlock() + var out struct { + Data struct { + Data map[string]string `json:"data"` + Metadata struct { + Version int `json:"version"` + } `json:"metadata"` + } `json:"data"` + } + if err := m.call(ctx, "GET", "/v1/secret/data/"+m.path, tok, nil, &out); err != nil { + return nil, 0, err + } + return out.Data.Data, out.Data.Metadata.Version, nil +} + +func (m *Manager) call(ctx context.Context, method, path, token string, body any, out any) error { + var rd io.Reader + if body != nil { + b, _ := json.Marshal(body) + rd = bytes.NewReader(b) + } + req, err := http.NewRequestWithContext(ctx, method, m.addr+path, rd) + if err != nil { + return err + } + if token != "" { + req.Header.Set("X-Vault-Token", token) + } + resp, err := m.http.Do(req) + if err != nil { + return err + } + defer resp.Body.Close() + raw, _ := io.ReadAll(io.LimitReader(resp.Body, 1<<20)) + switch { + case resp.StatusCode == http.StatusForbidden: + return errForbidden + case resp.StatusCode == http.StatusServiceUnavailable: + return errors.New("openbao sealed or unavailable (503)") + case resp.StatusCode >= 300: + return fmt.Errorf("openbao %s %s: %d", method, path, resp.StatusCode) // тело не логируем + } + return json.Unmarshal(raw, out) +} + +// SyncNow — внеочередное чтение секрета, когда зависимость отвергла credentials +// (оператор уже сменил ключ в хранилище, а плановое обновление ещё не наступило). +// Не чаще раза в 2 s: волна ошибок не превращается в волну запросов к OpenBao. +// Возвращает true, если версия секрета изменилась. +func (m *Manager) SyncNow(ctx context.Context) bool { + m.syncMu.Lock() + defer m.syncMu.Unlock() + before := m.Version() + if time.Since(m.lastSync) >= 2*time.Second { + m.lastSync = time.Now() + if err := m.sync(ctx); err != nil { + slog.Warn("secrets sync on auth error failed", "event", "secrets.refresh_failed", "err", err) + } + } + return m.Version() != before +} + +// Get — текущее значение ключа (из последней успешной версии). +func (m *Manager) Get(key string) string { + m.mu.RLock() + defer m.mu.RUnlock() + return m.data[key] +} + +func (m *Manager) Version() int { + m.mu.RLock() + defer m.mu.RUnlock() + return m.version +} + +// Status — для метрик и readiness: возраст последнего успешного чтения. +func (m *Manager) Status() (version int, age time.Duration, lastErr string) { + m.mu.RLock() + defer m.mu.RUnlock() + return m.version, time.Since(m.lastOK), m.lastErr +} diff --git a/internal/service/attachment.go b/internal/service/attachment.go new file mode 100644 index 0000000..71424fd --- /dev/null +++ b/internal/service/attachment.go @@ -0,0 +1,370 @@ +package service + +import ( + "bufio" + "bytes" + "context" + "crypto/sha256" + "encoding/hex" + "errors" + "image" + _ "image/jpeg" // DecodeConfig для раннего отказа по размерам + _ "image/png" + "io" + "log/slog" + "mime" + "strings" + "time" + "unicode" + "unicode/utf8" + + "github.com/google/uuid" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/imagecheck" + "github.com/charawein/mtusi2026lab7/internal/repository" + "github.com/charawein/mtusi2026lab7/internal/storage" +) + +// Раскладка bucket (все ключи назначает сервер, filename в них не попадает): +// +// s/{chat}/{id} — staging: проверенный оригинал до обработки +// o/{chat}/{id} — опубликованный оригинал (worker копирует из staging) +// v/{chat}/{id}/p{ver}/{variant} — варианты версии pipeline ver +// a/{chat}/{id} — оригиналы lab4 (остаются на месте) +const ( + ObjectPrefix = "a/" + StagingPrefix = "s/" + OriginalPrefix = "o/" + VariantPrefix = "v/" +) + +type AttachmentRepository interface { + CreateIntent(ctx context.Context, a *domain.Attachment) error + MarkQueued(ctx context.Context, a *domain.Attachment, pipelineVersion, maxAttempts int) (string, error) + DeleteIntent(ctx context.Context, id string) error + GetForMember(ctx context.Context, id, userID string) (*domain.Attachment, error) + Variants(ctx context.Context, attachmentID string, version int) ([]domain.Variant, error) +} + +type AttachmentService struct { + repo AttachmentRepository + chats repository.ChatRepository + store storage.Store + maxBytes int64 + maxPixels int64 + pipelineVersion int + maxAttempts int +} + +func NewAttachmentService(repo AttachmentRepository, chats repository.ChatRepository, store storage.Store, maxBytes, maxPixels int64, pipelineVersion, maxAttempts int) *AttachmentService { + return &AttachmentService{repo: repo, chats: chats, store: store, maxBytes: maxBytes, maxPixels: maxPixels, + pipelineVersion: pipelineVersion, maxAttempts: maxAttempts} +} + +// validateFilename: 1–255 code points, не только пробелы, без / \ NUL и управляющих. +func validateFilename(s string) bool { + if !utf8.ValidString(s) || strings.TrimSpace(s) == "" { + return false + } + if n := utf8.RuneCountInString(s); n < 1 || n > 255 { + return false + } + for _, r := range s { + if r == '/' || r == '\\' || r == 0 || unicode.IsControl(r) { + return false + } + } + return true +} + +// declaredType нормализует Content-Type запроса; допустимы только PNG/JPEG. +func declaredType(h string) (string, bool) { + mt, _, err := mime.ParseMediaType(h) + if err != nil { + return "", false + } + mt = strings.ToLower(mt) + return mt, mt == imagecheck.PNG || mt == imagecheck.JPEG +} + +// Upload принимает сырые байты одного изображения и возвращает снимок queued (202). +// +// Порядок: намерение в PostgreSQL (uploading) → потоковый PUT в S3-staging, +// параллельно SHA-256 и структурная проверка изображения → ОДНА транзакция: +// status=queued + задание + сообщение outbox. 202 возвращается только после +// COMMIT: в этот момент устойчиво сохранены проверенный оригинал (staging), +// метаданные и намерение обработки; broker для 202 не нужен (outbox опубликует). +// +// Ошибка до MarkQueued (проверка, PUT, обрыв клиента) компенсируется сразу: +// удаляются объект и намерение. Ошибка самого MarkQueued — неопределённый исход +// (COMMIT мог пройти): объект НЕ удаляется; остаток uploading+объект уберёт +// reconciler после grace. Состояния «queued без оригинала» не бывает. +func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filename, contentType string, body io.Reader, contentLength int64) (*domain.Attachment, error) { + parsed, err := uuid.Parse(chatID) + if err != nil { + return nil, ErrInvalidInput + } + chatID = parsed.String() + ok, err := s.chats.IsMember(ctx, chatID, ownerID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrNotFound + } + return nil, err + } + if !ok { + return nil, ErrNotFound + } + if !validateFilename(filename) { + return nil, ErrInvalidInput + } + declared, ok := declaredType(contentType) + if !ok { + return nil, ErrUnsupportedMedia + } + // Лимит размера — до чтения тела. + if contentLength > s.maxBytes { + return nil, ErrPayloadTooLarge + } + size := contentLength + if size < 0 { + // Без Content-Length (chunked): буфер не больше лимита + 1 байт. + buf, err := io.ReadAll(io.LimitReader(body, s.maxBytes+1)) + if err != nil { + return nil, ErrInvalidInput + } + if int64(len(buf)) > s.maxBytes { + return nil, ErrPayloadTooLarge + } + body, size = bytes.NewReader(buf), int64(len(buf)) + } + if size == 0 { + return nil, ErrUnsupportedMedia + } + + // Формат — по содержимому; подмена Content-Type → 415. + br := bufio.NewReaderSize(body, 64*1024) + head, _ := br.Peek(int(min(size, 64*1024))) + format, ok := imagecheck.Sniff(head) + if !ok || format != declared { + return nil, ErrUnsupportedMedia + } + // Ранний отказ по пикселям, если заголовок уместился в первые 64 KiB. + if cfg, _, err := image.DecodeConfig(bytes.NewReader(head)); err == nil { + if int64(cfg.Width)*int64(cfg.Height) > s.maxPixels { + return nil, ErrPayloadTooLarge + } + } + + now := nowUTC() + id := newID() + a := &domain.Attachment{ + ID: id, ChatID: chatID, OwnerID: ownerID, Filename: filename, + ObjectKey: StagingPrefix + chatID + "/" + id, + Status: domain.AttachmentUploading, CreatedAt: now, UpdatedAt: now, + } + if err := s.repo.CreateIntent(ctx, a); err != nil { + return nil, err + } + + sum, putErr := s.putValidated(ctx, a.ObjectKey, br, size, format) + if putErr != nil { + s.compensate(ctx, a, putErr) + return nil, putErr + } + + a.Status = domain.AttachmentQueued + a.ContentType = format + a.SizeBytes = size + a.SHA256 = sum + a.StagingKey = a.ObjectKey + a.UpdatedAt = nowUTC() + // Байты уже сохранены: доводим учёт до конца, даже если клиент отвалился. + mctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second) + defer cancel() + if _, err := s.repo.MarkQueued(mctx, a, s.pipelineVersion, s.maxAttempts); err != nil { + s.markReadyFailed(ctx, a, err) + return nil, ErrUnavailable + } + return a, nil +} + +var errClientBody = errors.New("request body read failed") + +// trackingReader запоминает ошибку чтения, отличную от EOF. +type trackingReader struct { + r io.Reader + err error +} + +func (t *trackingReader) Read(p []byte) (int, error) { + n, err := t.r.Read(p) + if err != nil && err != io.EOF { + t.err = err + } + return n, err +} + +type bodyReader struct{ r io.Reader } + +func (b bodyReader) Read(p []byte) (int, error) { + n, err := b.r.Read(p) + if err != nil && err != io.EOF { + return n, errors.Join(errClientBody, err) + } + return n, err +} + +// putValidated пишет объект в S3 и одновременно проверяет изображение и считает +// SHA-256. Байты проходят потоком (pipe), в памяти — только буферы чтения. +func (s *AttachmentService) putValidated(ctx context.Context, key string, body io.Reader, size int64, format string) (string, error) { + pr, pw := io.Pipe() + valErr := make(chan error, 1) + go func() { + tr := &trackingReader{r: pr} + _, err := imagecheck.Validate(tr, format, s.maxPixels) + if tr.err != nil { + // Поток оборвали снаружи (PUT в S3 упал или клиент отвалился): + // изображение тут ни при чём, причину определит putErr. + valErr <- nil + return + } + if err != nil { + pr.CloseWithError(err) // прерывает PUT: дальше писать некуда + } + valErr <- err + }() + + h := sha256.New() + src := io.TeeReader(io.TeeReader(bodyReader{body}, h), pw) + putErr := s.store.Put(ctx, key, src, size, format) + if putErr != nil { + pw.CloseWithError(putErr) + } else { + pw.Close() + } + vErr := <-valErr + + switch { + case errors.Is(vErr, imagecheck.ErrTooLarge): + return "", ErrPayloadTooLarge + case errors.Is(vErr, imagecheck.ErrInvalid): + return "", ErrUnsupportedMedia + case errors.Is(putErr, errClientBody): + return "", ErrInvalidInput + case putErr != nil: + slog.Warn("attachment upload to s3 failed", "err", putErr) + return "", ErrUnavailable + case vErr != nil: + return "", ErrUnsupportedMedia + } + return hex.EncodeToString(h.Sum(nil)), nil +} + +// markReadyFailed: исход UPDATE неизвестен — объект оставляем. Пробуем убрать +// намерение (DELETE ... WHERE status='uploading' безопасен при любом исходе: +// если UPDATE уже закоммичен, он ничего не удалит). Если и это не удалось — +// uploading+объект уберёт reconciler после grace period. +func (s *AttachmentService) markReadyFailed(ctx context.Context, a *domain.Attachment, cause error) { + cctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second) + defer cancel() + if err := s.repo.DeleteIntent(cctx, a.ID); err != nil { + slog.Warn("mark ready failed, intent left for reconciler", "attachment_id", a.ID, "cause", cause.Error(), "err", err) + return + } + slog.Warn("mark ready failed, object left for reconciler", "attachment_id", a.ID, "cause", cause.Error()) +} + +// compensate убирает следы неудачной загрузки. Работает и после обрыва клиента +// (контекст запроса отменён), поэтому использует отдельный контекст. +func (s *AttachmentService) compensate(ctx context.Context, a *domain.Attachment, cause error) { + cctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second) + defer cancel() + if err := s.store.Delete(cctx, a.ObjectKey); err != nil { + slog.Warn("compensation: delete object failed, reconciler will retry", "attachment_id", a.ID, "err", err) + } + if err := s.repo.DeleteIntent(cctx, a.ID); err != nil { + slog.Warn("compensation: delete intent failed, reconciler will retry", "attachment_id", a.ID, "err", err) + } + slog.Info("attachment upload compensated", "attachment_id", a.ID, "cause", cause.Error()) +} + +// Get возвращает метаданные вложения участнику его чата (queued/processing/ +// ready/failed); у ready — варианты опубликованной версии pipeline. +func (s *AttachmentService) Get(ctx context.Context, userID, id string) (*domain.Attachment, error) { + parsed, err := uuid.Parse(id) + if err != nil { + return nil, ErrInvalidInput + } + a, err := s.repo.GetForMember(ctx, parsed.String(), userID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrNotFound + } + return nil, err + } + switch a.Status { + case domain.AttachmentReady: + if a.PipelineVersion > 0 { + if a.Variants, err = s.repo.Variants(ctx, a.ID, a.PipelineVersion); err != nil { + return nil, err + } + } + return a, nil + case domain.AttachmentQueued, domain.AttachmentProcessing, domain.AttachmentFailed: + return a, nil + case domain.AttachmentMissing: + // Метаданные есть, байтов нет (обнаружил reconciler): ошибка сервера, не клиента. + return nil, ErrUnavailable + default: + return nil, ErrNotFound // загрузка не завершена — объекта для клиента ещё нет + } +} + +// Content — что отдавать клиенту: тип, размер и ключ объекта. +type Content struct { + ContentType string + Size int64 + Key string +} + +// Open открывает оригинал или вариант на чтение. Вызывающий закрывает ReadCloser. +// queued/processing/failed → 409 (объект не готов), отсутствующий у ready +// вариант → 404. +func (s *AttachmentService) Open(ctx context.Context, userID, id, variant string) (*Content, io.ReadCloser, error) { + a, err := s.Get(ctx, userID, id) + if err != nil { + return nil, nil, err + } + if a.Status != domain.AttachmentReady { + return nil, nil, ErrConflict + } + c := &Content{ContentType: a.ContentType, Size: a.SizeBytes, Key: a.ObjectKey} + if variant != "" && variant != "original" { + c = nil + for _, v := range a.Variants { + if v.Name == variant { + c = &Content{ContentType: v.ContentType, Size: v.SizeBytes, Key: v.ObjectKey} + } + } + if c == nil { + return nil, nil, ErrNotFound + } + } + rc, size, err := s.store.Get(ctx, c.Key) + if err != nil { + if errors.Is(err, storage.ErrNotFound) { + slog.Error("attachment object missing in s3", "attachment_id", a.ID) + } else { + slog.Warn("s3 get failed", "attachment_id", a.ID, "err", err) + } + return nil, nil, ErrUnavailable + } + if size != c.Size { + rc.Close() + slog.Error("attachment size mismatch", "attachment_id", a.ID, "variant", variant, "s3", size, "db", c.Size) + return nil, nil, ErrUnavailable + } + return c, rc, nil +} diff --git a/internal/service/attachment_test.go b/internal/service/attachment_test.go new file mode 100644 index 0000000..4206531 --- /dev/null +++ b/internal/service/attachment_test.go @@ -0,0 +1,96 @@ +package service + +import ( + "bytes" + "context" + "errors" + "image" + "image/color" + "image/png" + "io" + "testing" + + "github.com/charawein/mtusi2026lab7/internal/storage" +) + +// failingStore читает failAfter байт и падает — как PUT в недоступный S3. +type failingStore struct { + storage.Store + failAfter int64 + got []byte +} + +func (f *failingStore) Put(_ context.Context, _ string, r io.Reader, size int64, _ string) error { + if f.failAfter < 0 { + b, err := io.ReadAll(r) + f.got = b + return err + } + b, err := io.ReadAll(io.LimitReader(r, f.failAfter)) + f.got = b + if err != nil { + return err + } + return errors.New("s3 put: connection refused") +} + +type errReader struct{ data []byte } + +func (e *errReader) Read(p []byte) (int, error) { + if len(e.data) == 0 { + return 0, errors.New("connection reset by peer") + } + n := copy(p, e.data) + e.data = e.data[n:] + return n, nil +} + +func samplePNG(t *testing.T) []byte { + img := image.NewRGBA(image.Rect(0, 0, 200, 150)) + for y := 0; y < 150; y++ { + for x := 0; x < 200; x++ { + img.Set(x, y, color.RGBA{uint8(x), uint8(y), uint8(x ^ y), 255}) + } + } + var b bytes.Buffer + if err := png.Encode(&b, img); err != nil { + t.Fatal(err) + } + return b.Bytes() +} + +func TestPutValidatedClassifiesCause(t *testing.T) { + data := samplePNG(t) + size := int64(len(data)) + svc := &AttachmentService{maxBytes: 10 << 20, maxPixels: 40_000_000} + + // S3 падает посреди потока: это 503, а не «битое изображение». + svc.store = &failingStore{failAfter: size / 3} + if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png"); !errors.Is(err, ErrUnavailable) { + t.Errorf("s3 failure mid-stream: got %v, want ErrUnavailable", err) + } + // S3 падает сразу. + svc.store = &failingStore{failAfter: 0} + if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png"); !errors.Is(err, ErrUnavailable) { + t.Errorf("s3 failure at start: got %v, want ErrUnavailable", err) + } + // Клиент оборвал тело: 400, не 415 и не 503. + svc.store = &failingStore{failAfter: -1} + if _, err := svc.putValidated(context.Background(), "k", &errReader{data: data[:len(data)/2]}, size, "image/png"); !errors.Is(err, ErrInvalidInput) { + t.Errorf("client body error: got %v, want ErrInvalidInput", err) + } + // Битое изображение при исправном S3: 415. + bad := bytes.Clone(data) + bad[len(bad)/2] ^= 0xFF + svc.store = &failingStore{failAfter: -1} + if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(bad), size, "image/png"); !errors.Is(err, ErrUnsupportedMedia) { + t.Errorf("corrupt image: got %v, want ErrUnsupportedMedia", err) + } + // Всё хорошо: SHA-256 и байты целиком дошли до S3. + ok := &failingStore{failAfter: -1} + svc.store = ok + sum, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png") + if err != nil || len(sum) != 64 || !bytes.Equal(ok.got, data) { + t.Errorf("valid upload: sum=%q err=%v bytes_equal=%v", sum, err, bytes.Equal(ok.got, data)) + } +} diff --git a/internal/service/auth.go b/internal/service/auth.go new file mode 100644 index 0000000..dd36a0d --- /dev/null +++ b/internal/service/auth.go @@ -0,0 +1,116 @@ +package service + +import ( + "context" + "crypto/rand" + "encoding/base64" + "errors" + "fmt" + "log/slog" + "time" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type AuthService struct { + users repository.UserRepository + sessions repository.SessionRepository + ttl time.Duration +} + +func NewAuthService(users repository.UserRepository, sessions repository.SessionRepository, ttl time.Duration) *AuthService { + return &AuthService{users: users, sessions: sessions, ttl: ttl} +} + +func (s *AuthService) Login(ctx context.Context, username, password string) (*domain.Session, *domain.User, error) { + u, err := s.users.GetByUsername(ctx, username) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + // Одинаковое время ответа для неизвестного пользователя (не раскрываем существование). + if _, err := hashWith(ctx, "dummy-password-for-timing", current); errors.Is(err, ErrBusy) { + return nil, nil, err + } + return nil, nil, ErrUnauthorized + } + return nil, nil, err + } + + hash, err := s.users.GetPasswordHash(ctx, u.ID) + if err != nil { + return nil, nil, err + } + + rehash, err := verifyCtx(ctx, password, hash) + if err != nil { + if errors.Is(err, ErrPasswordMismatch) { + return nil, nil, ErrUnauthorized + } + if errors.Is(err, ErrBusy) { + return nil, nil, err + } + return nil, nil, fmt.Errorf("verify password: %w", err) + } + if rehash { + // Hash со старыми параметрами (например, lab2–6: m=64 MiB, t=1, p=4) — + // пересчитываем текущими при успешном входе; ошибка не мешает входу. + if nh, err := hashWith(ctx, password, current); err == nil { + if err := s.users.UpdatePasswordHash(ctx, u.ID, hash, nh); err == nil { + slog.InfoContext(ctx, "password rehashed with current argon2id params", "event", "auth.rehash") + } + } + } + + token, err := generateToken() + if err != nil { + return nil, nil, fmt.Errorf("generate token: %w", err) + } + + now := nowUTC() + sess := &domain.Session{ + Token: token, + UserID: u.ID, + ExpiresAt: now.Add(s.ttl), + CreatedAt: now, + } + if err := s.sessions.Create(ctx, sess); err != nil { + return nil, nil, err + } + return sess, u, nil +} + +func (s *AuthService) ValidateSession(ctx context.Context, token string) (*domain.User, error) { + sess, err := s.sessions.GetByToken(ctx, token) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrUnauthorized + } + // Redis недоступен — возвращаем 401, чтобы клиент перелогинился, + // либо 503, если хотим явно показать проблему зависимости. + return nil, ErrUnauthorized // ← было: return nil, err + } + if nowUTC().After(sess.ExpiresAt) { + _ = s.sessions.Delete(ctx, token) + return nil, ErrUnauthorized + } + u, err := s.users.GetByID(ctx, sess.UserID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrUnauthorized + } + return nil, err + } + return u, nil +} + +func (s *AuthService) Logout(ctx context.Context, token string) error { + return s.sessions.Delete(ctx, token) +} + +func generateToken() (string, error) { + b := make([]byte, 32) + if _, err := rand.Read(b); err != nil { + return "", err + } + return base64.RawURLEncoding.EncodeToString(b), nil +} diff --git a/internal/service/chat.go b/internal/service/chat.go new file mode 100644 index 0000000..b68dbaa --- /dev/null +++ b/internal/service/chat.go @@ -0,0 +1,138 @@ +package service + +import ( + "context" + "errors" + "time" + + "github.com/google/uuid" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type ChatService struct { + chats repository.ChatRepository + users repository.UserRepository +} + +func NewChatService(chats repository.ChatRepository, users repository.UserRepository) *ChatService { + return &ChatService{chats: chats, users: users} +} + +func (s *ChatService) Create(ctx context.Context, callerID, title string, memberIDs []string) (*domain.Chat, error) { + if !validateTitle(title) { + return nil, ErrInvalidInput + } + if len(memberIDs) == 0 || len(memberIDs) > 100 { + return nil, ErrInvalidInput + } + + // Нормализация UUID: убираем разницу регистра. + normalized := make([]string, 0, len(memberIDs)) + seen := make(map[string]struct{}, len(memberIDs)) + callerFound := false + callerParsed, err := uuid.Parse(callerID) + if err != nil { + return nil, ErrInvalidInput + } + callerID = callerParsed.String() + + for _, id := range memberIDs { + parsed, err := uuid.Parse(id) + if err != nil { + return nil, ErrInvalidInput + } + id = parsed.String() + if _, dup := seen[id]; dup { + return nil, ErrInvalidInput + } + seen[id] = struct{}{} + normalized = append(normalized, id) + if id == callerID { + callerFound = true + } + } + if !callerFound { + return nil, ErrInvalidInput + } + + for id := range seen { + if _, err := s.users.GetByID(ctx, id); err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrInvalidInput + } + return nil, err + } + } + + c := &domain.Chat{ + ID: newID(), + Title: title, + MemberIDs: normalized, + CreatedAt: nowUTC(), + } + if err := s.chats.Create(ctx, c); err != nil { + return nil, err + } + return c, nil +} + +func (s *ChatService) Get(ctx context.Context, callerID, chatID string) (*domain.Chat, error) { + parsed, err := uuid.Parse(chatID) + if err != nil { + return nil, ErrInvalidInput + } + chatID = parsed.String() + + ok, err := s.chats.IsMember(ctx, chatID, callerID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrNotFound + } + return nil, err + } + if !ok { + return nil, ErrNotFound + } + c, err := s.chats.GetByID(ctx, chatID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrNotFound + } + return nil, err + } + return c, nil +} + +func (s *ChatService) List(ctx context.Context, callerID, cursor string, limit int) ([]*domain.Chat, string, error) { + if limit < 1 || limit > 100 { + return nil, "", ErrInvalidInput + } + + cursorTime := time.Unix(0, 0).UTC() + cursorID := "00000000-0000-0000-0000-000000000000" + if cursor != "" { + t, id, err := decodeCursor(cursor, callerID) + if err != nil { + return nil, "", err + } + cursorTime, cursorID = t, id + } + + items, err := s.chats.ListByMember(ctx, callerID, cursorTime, cursorID, limit+1) + if err != nil { + return nil, "", err + } + if items == nil { + items = []*domain.Chat{} + } + + var next string + if len(items) > limit { + items = items[:limit] + last := items[limit-1] + next = encodeCursor(callerID, last.CreatedAt, last.ID) + } + return items, next, nil +} diff --git a/internal/service/cursor.go b/internal/service/cursor.go new file mode 100644 index 0000000..6839197 --- /dev/null +++ b/internal/service/cursor.go @@ -0,0 +1,39 @@ +package service + +import ( + "encoding/base64" + "strings" + "time" + + "github.com/google/uuid" +) + +func encodeCursor(scope string, createdAt time.Time, id string) string { + raw := scope + "|" + createdAt.UTC().Format(time.RFC3339Nano) + "|" + id + return base64.RawURLEncoding.EncodeToString([]byte(raw)) +} + +func decodeCursor(cursor, expectedScope string) (time.Time, string, error) { + raw, err := base64.RawURLEncoding.DecodeString(cursor) + if err != nil { + return time.Time{}, "", ErrInvalidInput + } + parts := strings.SplitN(string(raw), "|", 3) + if len(parts) != 3 { + return time.Time{}, "", ErrInvalidInput + } + if _, err := uuid.Parse(parts[0]); err != nil { + return time.Time{}, "", ErrInvalidInput + } + if parts[0] != expectedScope { + return time.Time{}, "", ErrInvalidInput + } + t, err := time.Parse(time.RFC3339Nano, parts[1]) + if err != nil { + return time.Time{}, "", ErrInvalidInput + } + if _, err := uuid.Parse(parts[2]); err != nil { + return time.Time{}, "", ErrInvalidInput + } + return t, parts[2], nil +} diff --git a/internal/service/errors.go b/internal/service/errors.go new file mode 100644 index 0000000..9ba1537 --- /dev/null +++ b/internal/service/errors.go @@ -0,0 +1,15 @@ +package service + +import "errors" + +var ( + ErrInvalidInput = errors.New("invalid input") + ErrUnauthorized = errors.New("unauthorized") + ErrNotFound = errors.New("not found") + ErrConflict = errors.New("conflict") + ErrUnavailable = errors.New("unavailable") + ErrPasswordMismatch = errors.New("password mismatch") + ErrPayloadTooLarge = errors.New("payload too large") + ErrUnsupportedMedia = errors.New("unsupported media type") + ErrRateLimited = errors.New("rate limited") +) diff --git a/internal/service/id.go b/internal/service/id.go new file mode 100644 index 0000000..34874b4 --- /dev/null +++ b/internal/service/id.go @@ -0,0 +1,23 @@ +package service + +import ( + "crypto/rand" + "fmt" + "time" +) + +func newID() string { + var b [16]byte + if _, err := rand.Read(b[:]); err != nil { + panic(fmt.Sprintf("crypto/rand failed: %v", err)) + } + b[6] = (b[6] & 0x0f) | 0x40 + b[8] = (b[8] & 0x3f) | 0x80 + return fmt.Sprintf("%x-%x-%x-%x-%x", b[0:4], b[4:6], b[6:8], b[8:10], b[10:16]) +} + +// nowUTC возвращает время UTC с точностью до секунд. +// PostgreSQL и Python-клиент тестов ожидают формат без наносекунд. +func nowUTC() time.Time { + return time.Now().UTC().Truncate(time.Second) +} diff --git a/internal/service/message.go b/internal/service/message.go new file mode 100644 index 0000000..6b6c033 --- /dev/null +++ b/internal/service/message.go @@ -0,0 +1,190 @@ +package service + +import ( + "context" + "crypto/sha256" + "encoding/hex" + "encoding/json" + "errors" + "regexp" + "time" + + "github.com/google/uuid" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" + redisrepo "github.com/charawein/mtusi2026lab7/internal/repository/redis" +) + +type MessageService struct { + messages repository.MessageRepository + chats repository.ChatRepository + cache *redisrepo.MessageCache + idempotencyTTL time.Duration +} + +func NewMessageService(messages repository.MessageRepository, chats repository.ChatRepository, cache *redisrepo.MessageCache, idempotencyTTL time.Duration) *MessageService { + return &MessageService{messages: messages, chats: chats, cache: cache, idempotencyTTL: idempotencyTTL} +} + +var idempotencyKeyRe = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`) + +// requestHash — отпечаток семантики тела запроса. Хешируем уже разобранные поля, +// а не сырые байты: порядок ключей JSON не важен, отсутствующий attachment_ids +// равен [], порядок самих вложений значим. +func requestHash(text string, attachmentIDs []string) string { + if attachmentIDs == nil { + attachmentIDs = []string{} + } + raw, _ := json.Marshal(struct { + Text string `json:"text"` + AttachmentIDs []string `json:"attachment_ids"` + }{Text: text, AttachmentIDs: attachmentIDs}) + sum := sha256.Sum256(raw) + return hex.EncodeToString(sum[:]) +} + +// Send создаёт сообщение с обязательным Idempotency-Key. Повтор с тем же ключом +// и телом возвращает исходное сообщение, с другим телом — ErrConflict. +// Доступ к чату проверяется при каждом повторе. +func (s *MessageService) Send(ctx context.Context, senderID, chatID, text string, attachmentIDs []string, idempotencyKey string) (*domain.Message, error) { + if !idempotencyKeyRe.MatchString(idempotencyKey) { + return nil, ErrInvalidInput + } + parsed, err := uuid.Parse(chatID) + if err != nil { + return nil, ErrInvalidInput + } + chatID = parsed.String() + + ids, ok := normalizeAttachmentIDs(attachmentIDs) + if !ok { + return nil, ErrInvalidInput + } + // С вложениями допустим пустой text; иначе — обычные правила текста. + if !(len(ids) > 0 && text == "") && !validateText(text) { + return nil, ErrInvalidInput + } + ok, err = s.chats.IsMember(ctx, chatID, senderID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrNotFound + } + return nil, err + } + if !ok { + return nil, ErrNotFound + } + + m := &domain.Message{ + ID: newID(), + ChatID: chatID, + SenderID: senderID, + Text: text, + CreatedAt: nowUTC(), + + AttachmentIDs: ids, + } + stored, created, err := s.messages.CreateIdempotent(ctx, m, idempotencyKey, requestHash(text, ids), s.idempotencyTTL) + if err != nil { + switch { + case errors.Is(err, repository.ErrConflict): + return nil, ErrConflict + case errors.Is(err, repository.ErrNotFound): + return nil, ErrNotFound // чужое/неизвестное/незавершённое вложение + } + return nil, err + } + if !created { + return stored, nil + } + + // Версия чата уже увеличена в транзакции записи; здесь только режим scan. + if s.cache != nil { + s.cache.OnWrite(ctx, chatID) + } + return m, nil +} + +func (s *MessageService) List(ctx context.Context, callerID, chatID, cursor string, limit int) ([]*domain.Message, string, error) { + parsed, err := uuid.Parse(chatID) + if err != nil { + return nil, "", ErrInvalidInput + } + chatID = parsed.String() + + if limit < 1 || limit > 100 { + return nil, "", ErrInvalidInput + } + + // Членство и версия истории — одним запросом к PostgreSQL. Версия читается + // до истории, поэтому под ключом версии v лежат данные не старее v. + version, ok, err := s.chats.MemberVersion(ctx, chatID, callerID) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, "", ErrNotFound + } + return nil, "", err + } + if !ok { + return nil, "", ErrNotFound + } + + if s.cache != nil { + if items, next, hit := s.cache.Get(ctx, chatID, version, cursor, limit); hit { + return items, next, nil + } + } + + cursorTime := time.Unix(0, 0).UTC() + cursorID := "00000000-0000-0000-0000-000000000000" + if cursor != "" { + t, id, err := decodeCursor(cursor, chatID) + if err != nil { + return nil, "", err + } + cursorTime, cursorID = t, id + } + + items, err := s.messages.ListByChat(ctx, chatID, cursorTime, cursorID, limit+1) + if err != nil { + return nil, "", err + } + if items == nil { + items = []*domain.Message{} + } + + var next string + if len(items) > limit { + items = items[:limit] + last := items[limit-1] + next = encodeCursor(chatID, last.CreatedAt, last.ID) + } + + if s.cache != nil { + s.cache.Set(ctx, chatID, version, cursor, limit, items, next) + } + return items, next, nil +} + +// normalizeAttachmentIDs: 0–10 уникальных UUID; приводит к каноническому виду. +func normalizeAttachmentIDs(in []string) ([]string, bool) { + if len(in) > 10 { + return nil, false + } + out := make([]string, 0, len(in)) + seen := make(map[string]bool, len(in)) + for _, raw := range in { + u, err := uuid.Parse(raw) + if err != nil { + return nil, false + } + id := u.String() + if seen[id] { + return nil, false + } + seen[id] = true + out = append(out, id) + } + return out, true +} diff --git a/internal/service/password.go b/internal/service/password.go new file mode 100644 index 0000000..ac8c059 --- /dev/null +++ b/internal/service/password.go @@ -0,0 +1,154 @@ +package service + +import ( + "context" + "crypto/rand" + "crypto/subtle" + "encoding/base64" + "fmt" + "os" + "strconv" + "strings" + "time" + + "golang.org/x/crypto/argon2" +) + +// Argon2Params — параметры Argon2id. Хранятся в каждом hash (PHC-строка +// $argon2id$v=19$m=…,t=…,p=…$salt$hash), поэтому старые hash проверяются со +// своими параметрами, а при успешном входе перехешируются текущими. +type Argon2Params struct { + MemoryKiB uint32 + Iterations uint32 + Parallelism uint8 +} + +const ( + argonKeyLen = 32 + argonSaltLen = 16 +) + +// Базовая конфигурация lab7 — не ниже 19 MiB, t=2, p=1 (OWASP); итоговые значения +// задаются ARGON2_* и обоснованы замером на стенде (REPORT.md). +var current = Argon2Params{MemoryKiB: 19456, Iterations: 2, Parallelism: 1} + +// argonSlots ограничивает число одновременных вычислений Argon2id в процессе: +// память = slots × m, CPU — не более slots ядер; лишние входы ждут (с таймаутом), +// а не умножают потребление памяти (защита от дорогого login DoS). +var argonSlots = make(chan struct{}, 2) + +func init() { + if p, ok := paramsFromEnv(); ok { + current = p + } + if n, err := strconv.Atoi(os.Getenv("ARGON2_MAX_CONCURRENT")); err == nil && n > 0 { + argonSlots = make(chan struct{}, n) + } +} + +func paramsFromEnv() (Argon2Params, bool) { + m, e1 := strconv.Atoi(os.Getenv("ARGON2_MEMORY_KIB")) + t, e2 := strconv.Atoi(os.Getenv("ARGON2_ITERATIONS")) + p, e3 := strconv.Atoi(os.Getenv("ARGON2_PARALLELISM")) + if e1 != nil || e2 != nil || e3 != nil { + return Argon2Params{}, false + } + // Нижняя граница курса: меньше 19 MiB / t=2 / p=1 не принимаем. + if m < 19456 || t < 2 || p < 1 || p > 16 { + return Argon2Params{}, false + } + return Argon2Params{MemoryKiB: uint32(m), Iterations: uint32(t), Parallelism: uint8(p)}, true +} + +// CurrentArgon2 — действующие параметры (для отчёта/бенчмарка). +func CurrentArgon2() Argon2Params { return current } + +// ErrBusy — все слоты Argon2id заняты дольше допустимого ожидания. +var ErrBusy = fmt.Errorf("%w: password hashing capacity exhausted", ErrUnavailable) + +func acquire(ctx context.Context) error { + t := time.NewTimer(2 * time.Second) + defer t.Stop() + select { + case argonSlots <- struct{}{}: + return nil + case <-ctx.Done(): + return ctx.Err() + case <-t.C: + return ErrBusy + } +} + +func release() { <-argonSlots } + +func hashPassword(password string) (string, error) { + return hashWith(context.Background(), password, current) +} + +// HashWith — hash с явными параметрами (бенчмарк, имитация старых hash в тестах). +func HashWith(password string, p Argon2Params) (string, error) { + return hashWith(context.Background(), password, p) +} + +func hashWith(ctx context.Context, password string, p Argon2Params) (string, error) { + salt := make([]byte, argonSaltLen) + if _, err := rand.Read(salt); err != nil { + return "", fmt.Errorf("generate salt: %w", err) + } + if err := acquire(ctx); err != nil { + return "", err + } + hash := argon2.IDKey([]byte(password), salt, p.Iterations, p.MemoryKiB, p.Parallelism, argonKeyLen) + release() + return fmt.Sprintf( + "$argon2id$v=%d$m=%d,t=%d,p=%d$%s$%s", + argon2.Version, p.MemoryKiB, p.Iterations, p.Parallelism, + base64.RawStdEncoding.EncodeToString(salt), + base64.RawStdEncoding.EncodeToString(hash), + ), nil +} + +// verifyPassword проверяет пароль и сообщает, нужен ли rehash (параметры hash +// отличаются от текущих). +func verifyPassword(password, encoded string) (needsRehash bool, err error) { + return verifyCtx(context.Background(), password, encoded) +} + +func verifyCtx(ctx context.Context, password, encoded string) (bool, error) { + parts := strings.Split(encoded, "$") + if len(parts) != 6 || parts[1] != "argon2id" { + return false, fmt.Errorf("invalid hash format") + } + var version int + if _, err := fmt.Sscanf(parts[2], "v=%d", &version); err != nil { + return false, fmt.Errorf("parse version: %w", err) + } + if version != argon2.Version { + return false, fmt.Errorf("incompatible version: %d", version) + } + var p Argon2Params + if _, err := fmt.Sscanf(parts[3], "m=%d,t=%d,p=%d", &p.MemoryKiB, &p.Iterations, &p.Parallelism); err != nil { + return false, fmt.Errorf("parse params: %w", err) + } + // Защита от hash с абсурдными параметрами (подмена в БД → DoS при входе). + if p.MemoryKiB > 1<<20 || p.Iterations > 20 || p.Parallelism == 0 { + return false, fmt.Errorf("hash params out of range") + } + salt, err := base64.RawStdEncoding.DecodeString(parts[4]) + if err != nil { + return false, fmt.Errorf("decode salt: %w", err) + } + want, err := base64.RawStdEncoding.DecodeString(parts[5]) + if err != nil { + return false, fmt.Errorf("decode hash: %w", err) + } + if err := acquire(ctx); err != nil { + return false, err + } + got := argon2.IDKey([]byte(password), salt, p.Iterations, p.MemoryKiB, p.Parallelism, uint32(len(want))) + release() + if subtle.ConstantTimeCompare(got, want) != 1 { + return false, ErrPasswordMismatch + } + return p != current, nil +} diff --git a/internal/service/user.go b/internal/service/user.go new file mode 100644 index 0000000..336f3cd --- /dev/null +++ b/internal/service/user.go @@ -0,0 +1,64 @@ +package service + +import ( + "context" + "errors" + "fmt" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository" +) + +type UserService struct { + users repository.UserRepository +} + +func NewUserService(users repository.UserRepository) *UserService { + return &UserService{users: users} +} + +// Register создаёт нового пользователя. Возвращает ErrInvalidInput при невалидных +// данных и ErrConflict, если username занят. +func (s *UserService) Register(ctx context.Context, username, displayName, password string) (*domain.User, error) { + if !validateUsername(username) { + return nil, ErrInvalidInput + } + if !validateDisplayName(displayName) { + return nil, ErrInvalidInput + } + if !validatePassword(password) { + return nil, ErrInvalidInput + } + + hash, err := hashPassword(password) + if err != nil { + return nil, fmt.Errorf("hash password: %w", err) + } + + u := &domain.User{ + ID: newID(), + Username: username, + DisplayName: displayName, + CreatedAt: nowUTC(), + } + if err := s.users.Create(ctx, u, hash); err != nil { + if errors.Is(err, repository.ErrConflict) { + return nil, ErrConflict + } + return nil, err + } + return u, nil +} + +// GetByID возвращает пользователя. Возвращает ErrNotFound, если такого нет. +// Используется middleware аутентификации для проверки X-User-Id. +func (s *UserService) GetByID(ctx context.Context, id string) (*domain.User, error) { + u, err := s.users.GetByID(ctx, id) + if err != nil { + if errors.Is(err, repository.ErrNotFound) { + return nil, ErrNotFound + } + return nil, err + } + return u, nil +} diff --git a/internal/service/validate.go b/internal/service/validate.go new file mode 100644 index 0000000..2b4c78e --- /dev/null +++ b/internal/service/validate.go @@ -0,0 +1,53 @@ +package service + +import ( + "regexp" + "strings" + "unicode/utf8" +) + +var usernameRe = regexp.MustCompile(`^[a-z0-9_]{3,32}$`) + +// validatePassword: 12–128 code points и не только пробельные символы +// (обязательная строка по контракту не может состоять из одних пробелов). +func validatePassword(s string) bool { + if strings.TrimSpace(s) == "" { + return false + } + n := utf8.RuneCountInString(s) + return n >= 12 && n <= 128 +} + +// validateUsername проверяет формат username по README: строго [a-z0-9_]{3,32}. +func validateUsername(s string) bool { + return usernameRe.MatchString(s) +} + +// validateDisplayName проверяет display_name: 1–100 Unicode code points, +// не состоит только из пробельных символов. +func validateDisplayName(s string) bool { + if strings.TrimSpace(s) == "" { + return false + } + n := utf8.RuneCountInString(s) + return n >= 1 && n <= 100 +} + +// validateTitle проверяет title чата: 1–100 code points, не только пробелы. +func validateTitle(s string) bool { + if strings.TrimSpace(s) == "" { + return false + } + n := utf8.RuneCountInString(s) + return n >= 1 && n <= 100 +} + +// validateText проверяет text сообщения: 1–4000 code points, не только пробелы. +// В lab4 появится возможность отправить пустой text, если есть attachment_ids. +func validateText(s string) bool { + if strings.TrimSpace(s) == "" { + return false + } + n := utf8.RuneCountInString(s) + return n >= 1 && n <= 4000 +} diff --git a/internal/service/validate_test.go b/internal/service/validate_test.go new file mode 100644 index 0000000..a8edb39 --- /dev/null +++ b/internal/service/validate_test.go @@ -0,0 +1,39 @@ +package service + +import ( + "strings" + "testing" +) + +func TestValidatePassword(t *testing.T) { + cases := []struct { + name string + in string + want bool + }{ + {"обычный", "correct-horse-12", true}, + {"ровно 12", strings.Repeat("a", 12), true}, + {"128 code points", strings.Repeat("я", 128), true}, + {"двоеточие допустимо", "pass:word:1234", true}, + {"пробелы внутри допустимы", " pass word ", true}, + {"короче 12", strings.Repeat("a", 11), false}, + {"длиннее 128", strings.Repeat("a", 129), false}, + {"12 пробелов", strings.Repeat(" ", 12), false}, + {"пробельные символы разных видов", strings.Repeat(" \t\n ", 4), false}, + {"пусто", "", false}, + } + for _, c := range cases { + if got := validatePassword(c.in); got != c.want { + t.Errorf("%s: validatePassword(%q) = %v, want %v", c.name, c.in, got, c.want) + } + } +} + +func TestValidateText(t *testing.T) { + if validateText(strings.Repeat(" ", 5)) { + t.Error("whitespace-only text must be rejected") + } + if !validateText("привет") { + t.Error("normal text must be accepted") + } +} diff --git a/internal/storage/autherr_test.go b/internal/storage/autherr_test.go new file mode 100644 index 0000000..2029c16 --- /dev/null +++ b/internal/storage/autherr_test.go @@ -0,0 +1,26 @@ +package storage + +import ( + "errors" + "fmt" + "testing" + + "github.com/minio/minio-go/v7" +) + +func TestIsAuthError(t *testing.T) { + wrap := func(code string) error { return fmt.Errorf("s3 put: %w", minio.ErrorResponse{Code: code}) } + for code, want := range map[string]bool{ + "InvalidAccessKeyId": true, // ключ удалён (отзыв) + "SignatureDoesNotMatch": true, // secret key сменён (ротация) + "AccessDenied": false, // отказ политики по префиксу — повтор не поможет + "NoSuchKey": false, + } { + if got := IsAuthError(wrap(code)); got != want { + t.Errorf("%s: got %v, want %v", code, got, want) + } + } + if IsAuthError(errors.New("dial tcp: connection refused")) || IsAuthError(nil) { + t.Error("non-S3 error classified as auth error") + } +} diff --git a/internal/storage/s3.go b/internal/storage/s3.go new file mode 100644 index 0000000..afd0de0 --- /dev/null +++ b/internal/storage/s3.go @@ -0,0 +1,180 @@ +// Package storage — приватное S3-хранилище байтов вложений (MinIO). +package storage + +import ( + "crypto/tls" + "crypto/x509" + "go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp" + "net/http" + + "context" + "errors" + "fmt" + "io" + "net/url" + "strings" + "time" + + "github.com/minio/minio-go/v7" + "github.com/minio/minio-go/v7/pkg/credentials" +) + +// ErrNotFound — объекта нет в bucket. +var ErrNotFound = errors.New("object not found") + +// Object — элемент листинга. +type Object struct { + Key string + Size int64 + LastModified time.Time +} + +// Store — то, что нужно приложению и reconciler от объектного хранилища. +type Store interface { + Put(ctx context.Context, key string, r io.Reader, size int64, contentType string) error + Get(ctx context.Context, key string) (io.ReadCloser, int64, error) + Stat(ctx context.Context, key string) (Object, error) + Delete(ctx context.Context, key string) error + // List отдаёт объекты с префиксом в лексикографическом (байтовом) порядке ключей. + List(ctx context.Context, prefix string, fn func(Object) error) error + // Copy — серверное копирование объекта (байты не проходят через приложение). + Copy(ctx context.Context, src, dst string) error +} + +type S3 struct { + client *minio.Client + bucket string +} + +func NewS3(endpoint, region, bucket, accessKey, secretKey string) (*S3, error) { + return NewS3WithCreds(endpoint, region, bucket, credentials.NewStaticV4(accessKey, secretKey, ""), nil) +} + +// NewS3WithCreds — lab7: динамические credentials (OpenBao) и CA стенда для TLS. +func NewS3WithCreds(endpoint, region, bucket string, creds *credentials.Credentials, roots *x509.CertPool) (*S3, error) { + u, err := url.Parse(endpoint) + if err != nil || u.Host == "" { + return nil, fmt.Errorf("bad S3 endpoint %q", endpoint) + } + c, err := minio.New(u.Host, &minio.Options{ + Creds: creds, + Secure: u.Scheme == "https", + Region: region, + // По умолчанию minio-go повторяет до 10 раз; при недоступном S3 клиент + // должен быстро получить 503, а не ждать таймаута LB. + MaxRetries: 2, + // Client spans S3-запросов (метод, хост, код) — подписи и тела не пишутся. + Transport: otelhttp.NewTransport(mustTransport(u.Scheme == "https", roots), + otelhttp.WithSpanNameFormatter(func(_ string, r *http.Request) string { return "S3 " + r.Method })), + BucketLookup: minio.BucketLookupPath, + }) + if err != nil { + return nil, fmt.Errorf("s3 client: %w", err) + } + return &S3{client: c, bucket: bucket}, nil +} + +// IsAuthError — S3 отверг credentials (ключ сменён или удалён). AccessDenied сюда не +// входит: это отказ политики по префиксу, повтор с тем же ключом его не исправит. +func IsAuthError(err error) bool { + var er minio.ErrorResponse + if !errors.As(err, &er) { + return false + } + return er.Code == "InvalidAccessKeyId" || er.Code == "SignatureDoesNotMatch" +} + +func isNotFound(err error) bool { + code := minio.ToErrorResponse(err).Code + return code == "NoSuchKey" || code == "NotFound" +} + +// Put пишет объект одним PUT, читая r потоково (size известен заранее). +func (s *S3) Put(ctx context.Context, key string, r io.Reader, size int64, contentType string) error { + _, err := s.client.PutObject(ctx, s.bucket, key, r, size, minio.PutObjectOptions{ + ContentType: contentType, + DisableMultipart: true, + }) + if err != nil { + return fmt.Errorf("s3 put: %w", err) + } + return nil +} + +func (s *S3) Get(ctx context.Context, key string) (io.ReadCloser, int64, error) { + obj, err := s.client.GetObject(ctx, s.bucket, key, minio.GetObjectOptions{}) + if err != nil { + return nil, 0, fmt.Errorf("s3 get: %w", err) + } + // GetObject ленивый: ошибки (нет объекта, S3 недоступен) видны на Stat. + st, err := obj.Stat() + if err != nil { + obj.Close() + if isNotFound(err) { + return nil, 0, ErrNotFound + } + return nil, 0, fmt.Errorf("s3 stat: %w", err) + } + return obj, st.Size, nil +} + +func (s *S3) Stat(ctx context.Context, key string) (Object, error) { + st, err := s.client.StatObject(ctx, s.bucket, key, minio.StatObjectOptions{}) + if err != nil { + if isNotFound(err) { + return Object{}, ErrNotFound + } + return Object{}, fmt.Errorf("s3 stat: %w", err) + } + return Object{Key: st.Key, Size: st.Size, LastModified: st.LastModified}, nil +} + +// Delete идемпотентен: удаление отсутствующего объекта не ошибка. +func (s *S3) Delete(ctx context.Context, key string) error { + if err := s.client.RemoveObject(ctx, s.bucket, key, minio.RemoveObjectOptions{}); err != nil && !isNotFound(err) { + return fmt.Errorf("s3 delete: %w", err) + } + return nil +} + +func (s *S3) List(ctx context.Context, prefix string, fn func(Object) error) error { + ctx, cancel := context.WithCancel(ctx) + defer cancel() + for o := range s.client.ListObjects(ctx, s.bucket, minio.ListObjectsOptions{Prefix: prefix, Recursive: true}) { + if o.Err != nil { + return fmt.Errorf("s3 list: %w", o.Err) + } + if strings.HasSuffix(o.Key, "/") { + continue + } + if err := fn(Object{Key: o.Key, Size: o.Size, LastModified: o.LastModified}); err != nil { + return err + } + } + return nil +} + +func (s *S3) Copy(ctx context.Context, src, dst string) error { + _, err := s.client.CopyObject(ctx, + minio.CopyDestOptions{Bucket: s.bucket, Object: dst}, + minio.CopySrcOptions{Bucket: s.bucket, Object: src}) + if err != nil { + if isNotFound(err) { + return ErrNotFound + } + return fmt.Errorf("s3 copy: %w", err) + } + return nil +} + +func mustTransport(secure bool, roots *x509.CertPool) http.RoundTripper { + t, err := minio.DefaultTransport(secure) + if err != nil { + return http.DefaultTransport + } + if secure && roots != nil { + // Проверка сервера S3 по CA стенда (имя — из endpoint, s3). + t.TLSClientConfig = &tls.Config{MinVersion: tls.VersionTLS12, RootCAs: roots} + } + return t +} diff --git a/internal/telemetry/telemetry.go b/internal/telemetry/telemetry.go new file mode 100644 index 0000000..a6c27c3 --- /dev/null +++ b/internal/telemetry/telemetry.go @@ -0,0 +1,226 @@ +// Package telemetry — OpenTelemetry SDK для API, relay и worker. +// +// Три сигнала уходят по OTLP/HTTP в Collector (OTEL_EXPORTER_OTLP_ENDPOINT): +// трассы (BatchSpanProcessor, ограниченная очередь), метрики (периодический +// reader, cumulative) и логи (slog → otelslog bridge, BatchProcessor). Параллельно +// каждый лог пишется JSON в stdout с trace_id/span_id — это локальный резерв на +// случай недоступного Collector (docker logs). +// +// OTEL_SDK_DISABLED=true выключает экспорт (трек 1: «telemetry off»): провайдеры +// остаются no-op, stdout-логи сохраняются. Sampler задаётся стандартными +// OTEL_TRACES_SAMPLER / OTEL_TRACES_SAMPLER_ARG (читает сам SDK). +package telemetry + +import ( + "context" + "errors" + "log/slog" + "os" + "strings" + "time" + + "go.opentelemetry.io/contrib/bridges/otelslog" + "go.opentelemetry.io/contrib/instrumentation/host" + "go.opentelemetry.io/contrib/instrumentation/runtime" + "go.opentelemetry.io/otel" + "go.opentelemetry.io/otel/attribute" + "go.opentelemetry.io/otel/exporters/otlp/otlplog/otlploghttp" + "go.opentelemetry.io/otel/exporters/otlp/otlpmetric/otlpmetrichttp" + "go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp" + "go.opentelemetry.io/otel/log/global" + "go.opentelemetry.io/otel/metric" + "go.opentelemetry.io/otel/propagation" + sdklog "go.opentelemetry.io/otel/sdk/log" + sdkmetric "go.opentelemetry.io/otel/sdk/metric" + "go.opentelemetry.io/otel/sdk/resource" + sdktrace "go.opentelemetry.io/otel/sdk/trace" + semconv "go.opentelemetry.io/otel/semconv/v1.43.0" + "go.opentelemetry.io/otel/trace" +) + +// ScopeName — имя instrumentation scope для собственных инструментов. +const ScopeName = "github.com/charawein/mtusi2026lab7" + +// Version — service.version (задаётся при сборке через -ldflags, иначе dev). +var Version = "dev" + +// Enabled — экспортирует ли процесс телеметрию. +func Enabled() bool { return !strings.EqualFold(os.Getenv("OTEL_SDK_DISABLED"), "true") } + +// Setup настраивает провайдеры и slog. serviceName — значение по умолчанию, +// OTEL_SERVICE_NAME имеет приоритет (так API и worker различаются в compose). +func Setup(ctx context.Context, serviceName, instanceID string, level slog.Leveler) (func(context.Context) error, error) { + if v := os.Getenv("OTEL_SERVICE_NAME"); v != "" { + serviceName = v + } + otel.SetTextMapPropagator(propagation.NewCompositeTextMapPropagator(propagation.TraceContext{}, propagation.Baggage{})) + stdout := slog.NewJSONHandler(os.Stdout, &slog.HandlerOptions{Level: level}) + + if !Enabled() { + slog.SetDefault(slog.New(&traceHandler{next: stdout, service: serviceName})) + return func(context.Context) error { return nil }, nil + } + + res, err := resource.Merge(resource.Default(), resource.NewWithAttributes(semconv.SchemaURL, + semconv.ServiceName(serviceName), + semconv.ServiceVersion(Version), + semconv.ServiceInstanceID(instanceID), + attribute.String("deployment.environment.name", "lab"), + )) + if err != nil { + return nil, err + } + // OTEL_RESOURCE_ATTRIBUTES (если заданы) дополняют/переопределяют. + if envRes, err := resource.New(ctx, resource.WithFromEnv()); err == nil { + if merged, err := resource.Merge(res, envRes); err == nil { + res = merged + } + } + + traceExp, err := otlptracehttp.New(ctx) + if err != nil { + return nil, err + } + // Очередь BatchSpanProcessor ограничена: при недоступном Collector новые + // spans отбрасываются, а не копятся в памяти процесса. + tp := sdktrace.NewTracerProvider( + sdktrace.WithResource(res), + sdktrace.WithBatcher(traceExp, + sdktrace.WithMaxQueueSize(4096), + sdktrace.WithMaxExportBatchSize(512), + sdktrace.WithBatchTimeout(2*time.Second), + sdktrace.WithExportTimeout(5*time.Second)), + ) + otel.SetTracerProvider(tp) + + metricExp, err := otlpmetrichttp.New(ctx) + if err != nil { + return nil, err + } + mp := sdkmetric.NewMeterProvider( + sdkmetric.WithResource(res), + sdkmetric.WithReader(sdkmetric.NewPeriodicReader(metricExp, sdkmetric.WithInterval(5*time.Second), sdkmetric.WithTimeout(4*time.Second))), + sdkmetric.WithView(histogramViews()...), + ) + otel.SetMeterProvider(mp) + + logExp, err := otlploghttp.New(ctx) + if err != nil { + return nil, err + } + lp := sdklog.NewLoggerProvider( + sdklog.WithResource(res), + sdklog.WithProcessor(sdklog.NewBatchProcessor(logExp, sdklog.WithMaxQueueSize(4096), sdklog.WithExportTimeout(5*time.Second))), + ) + global.SetLoggerProvider(lp) + + bridge := otelslog.NewHandler(ScopeName, otelslog.WithLoggerProvider(lp), otelslog.WithSource(false)) + slog.SetDefault(slog.New(&traceHandler{next: stdout, otlp: bridge, service: serviceName, level: level})) + + if err := runtime.Start(runtime.WithMeterProvider(mp), runtime.WithMinimumReadMemStatsInterval(5*time.Second)); err != nil { + slog.Warn("runtime metrics", "err", err) + } + if err := host.Start(host.WithMeterProvider(mp)); err != nil { + slog.Warn("host metrics", "err", err) + } + + return func(ctx context.Context) error { + return errors.Join(tp.Shutdown(ctx), mp.Shutdown(ctx), lp.Shutdown(ctx)) + }, nil +} + +// Границы buckets (секунды) под ожидаемые задержки: HTTP — миллисекунды…секунды, +// обработка job и время до ready — сотни миллисекунд…минуты. +var ( + httpBuckets = []float64{0.002, 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30} + jobBuckets = []float64{0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 20, 30, 60, 120, 300} +) + +func histogramViews() []sdkmetric.View { + view := func(name string, b []float64) sdkmetric.View { + return sdkmetric.NewView(sdkmetric.Instrument{Name: name}, + sdkmetric.Stream{Aggregation: sdkmetric.AggregationExplicitBucketHistogram{Boundaries: b}}) + } + return []sdkmetric.View{ + view("http.server.request.duration", httpBuckets), + view("messenger.job.duration", jobBuckets), + view("messenger.attachment.time_to_ready", jobBuckets), + view("messenger.outbox.publish.duration", httpBuckets), + } +} + +// Meter / Tracer — собственные инструменты (no-op, если экспорт выключен). +func Meter() metric.Meter { return otel.Meter(ScopeName) } +func Tracer() trace.Tracer { return otel.Tracer(ScopeName) } + +// traceHandler пишет JSON в stdout (с trace_id/span_id активного span) и +// дублирует запись в OTLP-мост (тот берёт trace context из ctx сам). +type traceHandler struct { + next slog.Handler + otlp slog.Handler + service string + level slog.Leveler +} + +func (h *traceHandler) Enabled(ctx context.Context, l slog.Level) bool { return h.next.Enabled(ctx, l) } + +func (h *traceHandler) Handle(ctx context.Context, r slog.Record) error { + if sc := trace.SpanContextFromContext(ctx); sc.IsValid() { + r.AddAttrs(slog.String("trace_id", sc.TraceID().String()), slog.String("span_id", sc.SpanID().String())) + } + if h.otlp != nil && h.otlp.Enabled(ctx, r.Level) { + _ = h.otlp.Handle(ctx, r.Clone()) + } + r.AddAttrs(slog.String("service.name", h.service)) + return h.next.Handle(ctx, r) +} + +func (h *traceHandler) WithAttrs(as []slog.Attr) slog.Handler { + c := *h + c.next = h.next.WithAttrs(as) + if h.otlp != nil { + c.otlp = h.otlp.WithAttrs(as) + } + return &c +} + +func (h *traceHandler) WithGroup(name string) slog.Handler { + c := *h + c.next = h.next.WithGroup(name) + if h.otlp != nil { + c.otlp = h.otlp.WithGroup(name) + } + return &c +} + +// --- перенос контекста через outbox и broker --- + +// InjectMap сериализует активный trace context (W3C traceparent/tracestate). +func InjectMap(ctx context.Context) map[string]string { + c := propagation.MapCarrier{} + otel.GetTextMapPropagator().Inject(ctx, c) + if len(c) == 0 { + return nil + } + return c +} + +// ExtractMap восстанавливает контекст родителя из map. +func ExtractMap(ctx context.Context, m map[string]string) context.Context { + if len(m) == 0 { + return ctx + } + return otel.GetTextMapPropagator().Extract(ctx, propagation.MapCarrier(m)) +} + +// Unsampled возвращает контекст с не-сэмплированным родителем: дочерние spans +// (pgx, S3) при ParentBased-sampler не создаются. Для фоновых циклов и health +// checks, чтобы служебные запросы раз в 300 ms не превращались в отдельные трассы. +func Unsampled(ctx context.Context) context.Context { + var tid trace.TraceID + var sid trace.SpanID + tid[0], sid[0] = 1, 1 + return trace.ContextWithRemoteSpanContext(ctx, trace.NewSpanContext(trace.SpanContextConfig{ + TraceID: tid, SpanID: sid, TraceFlags: 0, Remote: true, + })) +} diff --git a/internal/telemetry/telemetry_test.go b/internal/telemetry/telemetry_test.go new file mode 100644 index 0000000..b5544c3 --- /dev/null +++ b/internal/telemetry/telemetry_test.go @@ -0,0 +1,87 @@ +package telemetry + +import ( + "bytes" + "context" + "encoding/json" + "log/slog" + "testing" + "time" + + amqp "github.com/rabbitmq/amqp091-go" + "go.opentelemetry.io/otel" + "go.opentelemetry.io/otel/propagation" + sdktrace "go.opentelemetry.io/otel/sdk/trace" + "go.opentelemetry.io/otel/sdk/trace/tracetest" + + "github.com/charawein/mtusi2026lab7/internal/broker" +) + +func TestTracePropagationMapAndAMQP(t *testing.T) { + otel.SetTextMapPropagator(propagation.TraceContext{}) + tp := sdktrace.NewTracerProvider() + ctx, span := tp.Tracer("t").Start(context.Background(), "upload") + defer span.End() + + m := InjectMap(ctx) + if m["traceparent"] == "" { + t.Fatal("no traceparent") + } + back := ExtractMap(context.Background(), m) + headers := amqp.Table{} + otel.GetTextMapPropagator().Inject(back, broker.HeaderCarrier(headers)) + got := otel.GetTextMapPropagator().Extract(context.Background(), broker.HeaderCarrier(headers)) + _, child := tp.Tracer("t").Start(got, "consume") + if child.SpanContext().TraceID() != span.SpanContext().TraceID() { + t.Fatal("trace id lost through outbox map and AMQP headers") + } + if InjectMap(context.Background()) != nil { + t.Fatal("no span → nil map (outbox falls back to jobs.trace_context)") + } +} + +func TestTraceUnsampledSuppressesBackgroundSpans(t *testing.T) { + exp := tracetest.NewInMemoryExporter() + tp := sdktrace.NewTracerProvider(sdktrace.WithSyncer(exp)) // ParentBased(AlwaysOn) по умолчанию + _, s := tp.Tracer("t").Start(Unsampled(context.Background()), "SELECT jobs") + s.End() + if len(exp.GetSpans()) != 0 || s.SpanContext().IsSampled() { + t.Fatal("background query under Unsampled must not be recorded") + } +} + +func TestTraceLogCorrelation(t *testing.T) { + var buf bytes.Buffer + h := &traceHandler{next: slog.NewJSONHandler(&buf, nil), service: "messenger-api"} + tp := sdktrace.NewTracerProvider() + ctx, span := tp.Tracer("t").Start(context.Background(), "req") + slog.New(h).InfoContext(ctx, "http request", "event", "http.request") + span.End() + var rec map[string]any + if err := json.Unmarshal(buf.Bytes(), &rec); err != nil { + t.Fatal(err) + } + if rec["trace_id"] != span.SpanContext().TraceID().String() || rec["span_id"] != span.SpanContext().SpanID().String() || + rec["service.name"] != "messenger-api" || rec["event"] != "http.request" { + t.Fatalf("log record lacks correlation: %v", rec) + } +} + +// Setup с реальными экспортёрами (Collector недоступен — экспорт просто не удастся): +// ресурс собирается без конфликта schema URL, провайдеры создаются, shutdown проходит. +func TestTelemetrySetupBuildsProviders(t *testing.T) { + t.Setenv("OTEL_EXPORTER_OTLP_ENDPOINT", "http://127.0.0.1:1") + t.Setenv("OTEL_RESOURCE_ATTRIBUTES", "deployment.environment.name=lab") + shutdown, err := Setup(context.Background(), "messenger-test", "test-1", slog.LevelInfo) + if err != nil { + t.Fatalf("Setup: %v", err) + } + slog.Info("hello", "event", "test") + ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second) + defer cancel() + _ = shutdown(ctx) // ошибка экспорта ожидаема, важна только сборка провайдеров + t.Setenv("OTEL_SDK_DISABLED", "true") + if _, err := Setup(context.Background(), "messenger-test", "test-1", slog.LevelInfo); err != nil { + t.Fatalf("Setup disabled: %v", err) + } +} diff --git a/internal/tlsutil/tlsutil.go b/internal/tlsutil/tlsutil.go new file mode 100644 index 0000000..03c4b4a --- /dev/null +++ b/internal/tlsutil/tlsutil.go @@ -0,0 +1,203 @@ +// Package tlsutil — TLS/mTLS для внутренних связей lab7. +// +// Сертификаты читаются из файлов (compose secrets) и перечитываются при смене +// содержимого: ротация leaf не требует пересборки образа или рестарта процесса — +// новые соединения получают новый сертификат, установленные доживают свой срок. +// +// Сервер mTLS проверяет не только цепочку до CA, но и identity клиента: URI SAN +// (spiffe://messenger/<роль>) должен входить в allowlist. Доверенный CA сам по себе +// не даёт права быть, например, балансировщиком. +package tlsutil + +import ( + "crypto/sha256" + "crypto/tls" + "crypto/x509" + "errors" + "fmt" + "os" + "strings" + "sync" + "time" +) + +// IdentityPrefix — схема service identity в URI SAN. +const IdentityPrefix = "spiffe://messenger/" + +// KeyPair — пара cert/key с перечитыванием при изменении файлов (проверка не +// чаще раза в 2 s; сравнивается хэш содержимого, а не mtime — bind mount +// secrets не всегда меняет mtime при перезаписи на месте). +type KeyPair struct { + certFile, keyFile string + mu sync.Mutex + cert *tls.Certificate + sum [32]byte + checked time.Time +} + +func NewKeyPair(certFile, keyFile string) (*KeyPair, error) { + kp := &KeyPair{certFile: certFile, keyFile: keyFile} + if _, err := kp.Get(); err != nil { + return nil, err + } + return kp, nil +} + +func (kp *KeyPair) Get() (*tls.Certificate, error) { + kp.mu.Lock() + defer kp.mu.Unlock() + if kp.cert != nil && time.Since(kp.checked) < 2*time.Second { + return kp.cert, nil + } + kp.checked = time.Now() + c, err := os.ReadFile(kp.certFile) + if err != nil { + return kp.fallback(err) + } + k, err := os.ReadFile(kp.keyFile) + if err != nil { + return kp.fallback(err) + } + sum := sha256.Sum256(append(append([]byte{}, c...), k...)) + if kp.cert != nil && sum == kp.sum { + return kp.cert, nil + } + pair, err := tls.X509KeyPair(c, k) + if err != nil { + return kp.fallback(err) // файл в процессе перезаписи — остаёмся на прежнем + } + if pair.Leaf == nil && len(pair.Certificate) > 0 { + pair.Leaf, _ = x509.ParseCertificate(pair.Certificate[0]) + } + kp.cert, kp.sum = &pair, sum + return kp.cert, nil +} + +func (kp *KeyPair) fallback(err error) (*tls.Certificate, error) { + if kp.cert != nil { + return kp.cert, nil + } + return nil, err +} + +// Serial — серийный номер текущего leaf (для проверки ротации). +func (kp *KeyPair) Serial() string { + c, err := kp.Get() + if err != nil || c.Leaf == nil { + return "" + } + return c.Leaf.SerialNumber.Text(16) +} + +// Pool читает PEM CA (может содержать несколько сертификатов — rollover CA). +func Pool(caFile string) (*x509.CertPool, error) { + b, err := os.ReadFile(caFile) + if err != nil { + return nil, err + } + p := x509.NewCertPool() + if !p.AppendCertsFromPEM(b) { + return nil, fmt.Errorf("no certificates in %s", caFile) + } + return p, nil +} + +// Identities — URI SAN сертификата с префиксом spiffe://messenger/ (без префикса). +func Identities(c *x509.Certificate) []string { + var ids []string + for _, u := range c.URIs { + if s := u.String(); strings.HasPrefix(s, IdentityPrefix) { + ids = append(ids, strings.TrimPrefix(s, IdentityPrefix)) + } + } + return ids +} + +// ErrIdentity — цепочка верна, но identity клиента не разрешена на этой связи. +var ErrIdentity = errors.New("client identity not allowed") + +// Revoked — список отозванных серийных номеров (hex, по одному в строке) из файла +// REVOKED_SERIALS_FILE; перечитывается не чаще раза в 2 s. Учебная замена CRL: после +// ротации leaf старый сертификат той же identity больше не принимается, хотя срок +// его действия не истёк. +type Revoked struct { + file string + mu sync.Mutex + set map[string]bool + checked time.Time +} + +func NewRevoked(file string) *Revoked { return &Revoked{file: file} } + +func (r *Revoked) Has(serialHex string) bool { + if r == nil || r.file == "" { + return false + } + r.mu.Lock() + defer r.mu.Unlock() + if r.set == nil || time.Since(r.checked) > 2*time.Second { + r.checked = time.Now() + if b, err := os.ReadFile(r.file); err == nil { + m := map[string]bool{} + for _, l := range strings.Fields(string(b)) { + if l = strings.ToLower(strings.TrimSpace(l)); l != "" { + m[strings.TrimLeft(l, "0")] = true + } + } + r.set = m + } + } + return r.set[strings.TrimLeft(strings.ToLower(serialHex), "0")] +} + +// ServerMTLS — сервер с обязательным клиентским сертификатом от CA и allowlist identity. +func ServerMTLS(caFile string, kp *KeyPair, allowed ...string) (*tls.Config, error) { + return ServerMTLSRevocable(caFile, kp, nil, allowed...) +} + +// ServerMTLSRevocable — то же с проверкой списка отозванных серийных номеров. +func ServerMTLSRevocable(caFile string, kp *KeyPair, revoked *Revoked, allowed ...string) (*tls.Config, error) { + pool, err := Pool(caFile) + if err != nil { + return nil, err + } + allow := map[string]bool{} + for _, a := range allowed { + allow[a] = true + } + return &tls.Config{ + MinVersion: tls.VersionTLS12, + ClientAuth: tls.RequireAndVerifyClientCert, + ClientCAs: pool, + GetCertificate: func(*tls.ClientHelloInfo) (*tls.Certificate, error) { return kp.Get() }, + // Цепочку уже проверил crypto/tls (ClientCAs); здесь — авторизация identity. + VerifyConnection: func(cs tls.ConnectionState) error { + if len(cs.PeerCertificates) == 0 { + return ErrIdentity + } + if revoked.Has(cs.PeerCertificates[0].SerialNumber.Text(16)) { + return fmt.Errorf("%w: certificate revoked", ErrIdentity) + } + for _, id := range Identities(cs.PeerCertificates[0]) { + if allow[id] { + return nil + } + } + return fmt.Errorf("%w: %v", ErrIdentity, Identities(cs.PeerCertificates[0])) + }, + }, nil +} + +// Client — TLS-клиент: проверка сервера по CA и имени; клиентский сертификат, +// если задан kp (mTLS). serverName пустой — берётся из адреса соединения. +func Client(caFile string, kp *KeyPair, serverName string) (*tls.Config, error) { + pool, err := Pool(caFile) + if err != nil { + return nil, err + } + cfg := &tls.Config{MinVersion: tls.VersionTLS12, RootCAs: pool, ServerName: serverName} + if kp != nil { + cfg.GetClientCertificate = func(*tls.CertificateRequestInfo) (*tls.Certificate, error) { return kp.Get() } + } + return cfg, nil +} diff --git a/internal/tlsutil/tlsutil_test.go b/internal/tlsutil/tlsutil_test.go new file mode 100644 index 0000000..3040039 --- /dev/null +++ b/internal/tlsutil/tlsutil_test.go @@ -0,0 +1,131 @@ +package tlsutil + +import ( + "crypto/ecdsa" + "crypto/elliptic" + "crypto/rand" + "crypto/tls" + "crypto/x509" + "crypto/x509/pkix" + "encoding/pem" + "math/big" + "net" + "net/http" + "net/http/httptest" + "net/url" + "os" + "path/filepath" + "strings" + "testing" + "time" +) + +type ca struct { + cert *x509.Certificate + key *ecdsa.PrivateKey + pem []byte +} + +func newCA(t *testing.T, cn string) *ca { + k, _ := ecdsa.GenerateKey(elliptic.P256(), rand.Reader) + tpl := &x509.Certificate{SerialNumber: big.NewInt(1), Subject: pkix.Name{CommonName: cn}, IsCA: true, + BasicConstraintsValid: true, KeyUsage: x509.KeyUsageCertSign, NotBefore: time.Now().Add(-time.Hour), + NotAfter: time.Now().Add(time.Hour)} + der, err := x509.CreateCertificate(rand.Reader, tpl, tpl, &k.PublicKey, k) + if err != nil { + t.Fatal(err) + } + c, _ := x509.ParseCertificate(der) + return &ca{c, k, pem.EncodeToMemory(&pem.Block{Type: "CERTIFICATE", Bytes: der})} +} + +// leaf пишет cert/key в dir и возвращает пути и serial. +func (c *ca) leaf(t *testing.T, dir, name, identity string, serial int64, dns ...string) (string, string, string) { + k, _ := ecdsa.GenerateKey(elliptic.P256(), rand.Reader) + u, _ := url.Parse(IdentityPrefix + identity) + tpl := &x509.Certificate{SerialNumber: big.NewInt(serial), Subject: pkix.Name{CommonName: identity}, + URIs: []*url.URL{u}, DNSNames: dns, IPAddresses: []net.IP{net.ParseIP("127.0.0.1")}, + ExtKeyUsage: []x509.ExtKeyUsage{x509.ExtKeyUsageServerAuth, x509.ExtKeyUsageClientAuth}, + NotBefore: time.Now().Add(-time.Hour), NotAfter: time.Now().Add(time.Hour)} + der, err := x509.CreateCertificate(rand.Reader, tpl, c.cert, &k.PublicKey, c.key) + if err != nil { + t.Fatal(err) + } + kb, _ := x509.MarshalPKCS8PrivateKey(k) + cp, kp := filepath.Join(dir, name+".crt"), filepath.Join(dir, name+".key") + _ = os.WriteFile(cp, pem.EncodeToMemory(&pem.Block{Type: "CERTIFICATE", Bytes: der}), 0o600) + _ = os.WriteFile(kp, pem.EncodeToMemory(&pem.Block{Type: "PRIVATE KEY", Bytes: kb}), 0o600) + return cp, kp, big.NewInt(serial).Text(16) +} + +func TestTLSIdentityAllowlistRevocationAndReload(t *testing.T) { + dir := t.TempDir() + root, rogue := newCA(t, "root"), newCA(t, "rogue") + caFile := filepath.Join(dir, "ca.crt") + _ = os.WriteFile(caFile, root.pem, 0o600) + revFile := filepath.Join(dir, "revoked.txt") + _ = os.WriteFile(revFile, nil, 0o600) + + sc, sk, _ := root.leaf(t, dir, "api", "api", 100, "api", "localhost") + kp, err := NewKeyPair(sc, sk) + if err != nil { + t.Fatal(err) + } + srvCfg, err := ServerMTLSRevocable(caFile, kp, NewRevoked(revFile), "lb") + if err != nil { + t.Fatal(err) + } + srv := httptest.NewUnstartedServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { w.WriteHeader(204) })) + srv.TLS = srvCfg + srv.StartTLS() + defer srv.Close() + + call := func(cert, key string) (string, error) { + var kpc *KeyPair + if cert != "" { + kpc, _ = NewKeyPair(cert, key) + } + cc, _ := Client(caFile, kpc, "api") + cl := &http.Client{Timeout: 5 * time.Second, Transport: &http.Transport{TLSClientConfig: cc, DisableKeepAlives: true}} + resp, err := cl.Get(srv.URL) + if err != nil { + return "", err + } + defer resp.Body.Close() + return resp.TLS.PeerCertificates[0].SerialNumber.Text(16), nil + } + + lbC, lbK, lbSerial := root.leaf(t, dir, "lb", "lb", 200) + if _, err := call(lbC, lbK); err != nil { + t.Fatalf("lb identity must pass: %v", err) + } + if _, err := call("", ""); err == nil { + t.Fatal("no client cert must fail") + } + atC, atK, _ := root.leaf(t, dir, "attacker", "attacker", 300) + if _, err := call(atC, atK); err == nil { + t.Fatal("trusted CA but identity attacker must fail") + } + rgC, rgK, _ := rogue.leaf(t, dir, "rogue-lb", "lb", 400) + if _, err := call(rgC, rgK); err == nil { + t.Fatal("foreign CA must fail even with identity lb") + } + // Отзыв: серийный номер старого lb в списке — тот же сертификат больше не принимается. + _ = os.WriteFile(revFile, []byte(lbSerial+"\n"), 0o600) + time.Sleep(2100 * time.Millisecond) + if _, err := call(lbC, lbK); err == nil { + t.Fatal("revoked lb certificate must fail") + } + lb2C, lb2K, _ := root.leaf(t, dir, "lb2", "lb", 201) + if _, err := call(lb2C, lb2K); err != nil { + t.Fatalf("new lb certificate must pass: %v", err) + } + // Ротация серверного leaf без рестарта: перезапись файлов на месте. + root.leaf(t, dir, "api", "api", 101, "api", "localhost") + time.Sleep(2100 * time.Millisecond) + serial, err := call(lb2C, lb2K) + if err != nil || !strings.EqualFold(serial, "65") { + t.Fatalf("server must present rotated leaf (serial 65), got %q %v", serial, err) + } + _ = tls.VersionTLS12 +} diff --git a/internal/transport/http/attachment.go b/internal/transport/http/attachment.go new file mode 100644 index 0000000..84c5290 --- /dev/null +++ b/internal/transport/http/attachment.go @@ -0,0 +1,83 @@ +package http + +import ( + "io" + "log/slog" + "net/http" + "strconv" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +type AttachmentHandler struct { + attachments *service.AttachmentService +} + +func NewAttachmentHandler(attachments *service.AttachmentService) *AttachmentHandler { + return &AttachmentHandler{attachments: attachments} +} + +// Upload: POST /api/v1/chats/{chat_id}/attachments?filename=... с сырыми байтами PNG/JPEG. +func (h *AttachmentHandler) Upload(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + q := r.URL.Query() + if len(q["filename"]) != 1 { + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + // MaxBytesReader — второй рубеж: не дать прочитать больше лимита + 1 байт, + // даже если Content-Length солгал. + r.Body = http.MaxBytesReader(w, r.Body, 10*1024*1024+1) + a, err := h.attachments.Upload(r.Context(), uid, r.PathValue("chat_id"), q.Get("filename"), + r.Header.Get("Content-Type"), r.Body, r.ContentLength) + if err != nil { + httputil.WriteError(w, r, err) + return + } + // 202: оригинал устойчиво принят, обработка асинхронна; готовность — по GET. + httputil.WriteJSON(w, r, http.StatusAccepted, a) +} + +// Get: GET /api/v1/attachments/{attachment_id} — метаданные. +func (h *AttachmentHandler) Get(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + a, err := h.attachments.Get(r.Context(), uid, r.PathValue("attachment_id")) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusOK, a) +} + +// Content: GET /api/v1/attachments/{attachment_id}/content[?variant=original] — байты +// через авторизованный API, без redirect на S3. +func (h *AttachmentHandler) Content(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + variant := r.URL.Query().Get("variant") + switch variant { + case "", "original", "thumbnail", "crop", "optimized": + default: + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + c, rc, err := h.attachments.Open(r.Context(), uid, r.PathValue("attachment_id"), variant) + if err != nil { + httputil.WriteError(w, r, err) + return + } + defer rc.Close() + w.Header().Set("Content-Type", c.ContentType) + w.Header().Set("Content-Length", strconv.FormatInt(c.Size, 10)) + w.Header().Set("Cache-Control", "private, no-store") + w.Header().Set("X-Content-Type-Options", "nosniff") + w.WriteHeader(http.StatusOK) + if n, err := io.Copy(w, rc); err != nil { + // Заголовок уже отправлен: клиент увидит обрыв по Content-Length. + slog.Warn("attachment download interrupted", "attachment_id", r.PathValue("attachment_id"), "sent", n, "err", err) + } +} diff --git a/internal/transport/http/auth.go b/internal/transport/http/auth.go new file mode 100644 index 0000000..d6f9db2 --- /dev/null +++ b/internal/transport/http/auth.go @@ -0,0 +1,92 @@ +package http + +import ( + "encoding/base64" + "net/http" + "strings" + "time" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +type AuthHandler struct { + auth *service.AuthService +} + +func NewAuthHandler(auth *service.AuthService) *AuthHandler { + return &AuthHandler{auth: auth} +} + +type sessionResponse struct { + Token string `json:"token"` + TokenType string `json:"token_type"` + ExpiresAt string `json:"expires_at"` + User *domain.User `json:"user"` +} + +func (h *AuthHandler) CreateSession(w http.ResponseWriter, r *http.Request) { + username, password, ok := parseBasicAuth(r.Header.Get("Authorization")) + if !ok { + w.Header().Set("WWW-Authenticate", `Basic realm="messenger", charset="UTF-8"`) + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + + sess, u, err := h.auth.Login(r.Context(), username, password) + if err != nil { + if err == service.ErrUnauthorized { + w.Header().Set("WWW-Authenticate", `Basic realm="messenger", charset="UTF-8"`) + } + httputil.WriteError(w, r, err) + return + } + + // Формат RFC3339 без микросекунд: "2026-10-09T19:00:36Z". + // Python-клиент тестов ожидает 'Z' в конце строки. + httputil.WriteJSON(w, r, http.StatusCreated, sessionResponse{ + Token: sess.Token, + TokenType: "Bearer", + ExpiresAt: sess.ExpiresAt.UTC().Truncate(time.Second).Format(time.RFC3339), + User: u, + }) +} + +func (h *AuthHandler) RevokeSession(w http.ResponseWriter, r *http.Request) { + token := bearerToken(r) + if token == "" { + w.Header().Set("WWW-Authenticate", `Bearer realm="messenger"`) + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + if err := h.auth.Logout(r.Context(), token); err != nil { + httputil.WriteError(w, r, err) + return + } + w.WriteHeader(http.StatusNoContent) +} + +func parseBasicAuth(h string) (string, string, bool) { + const prefix = "Basic " + if !strings.HasPrefix(h, prefix) { + return "", "", false + } + raw, err := base64.StdEncoding.DecodeString(h[len(prefix):]) + if err != nil { + return "", "", false + } + parts := strings.SplitN(string(raw), ":", 2) + if len(parts) != 2 { + return "", "", false + } + return parts[0], parts[1], true +} + +func bearerToken(r *http.Request) string { + h := r.Header.Get("Authorization") + if !strings.HasPrefix(h, "Bearer ") { + return "" + } + return strings.TrimPrefix(h, "Bearer ") +} diff --git a/internal/transport/http/chat.go b/internal/transport/http/chat.go new file mode 100644 index 0000000..cfa0fba --- /dev/null +++ b/internal/transport/http/chat.go @@ -0,0 +1,86 @@ +package http + +import ( + "log/slog" + "net/http" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +type ChatHandler struct { + chats *service.ChatService +} + +func NewChatHandler(chats *service.ChatService) *ChatHandler { + return &ChatHandler{chats: chats} +} + +func (h *ChatHandler) CreateChat(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + + var body struct { + Title string `json:"title"` + MemberIDs []string `json:"member_ids"` + } + if err := httputil.DecodeJSON(r, &body); err != nil { + httputil.WriteError(w, r, err) + return + } + + c, err := h.chats.Create(r.Context(), uid, body.Title, body.MemberIDs) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusCreated, c) +} + +func (h *ChatHandler) ListChats(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + + limit, err := httputil.ParseLimit(r) + if err != nil { + httputil.WriteError(w, r, err) + return + } + cursor := r.URL.Query().Get("cursor") + + items, next, err := h.chats.List(r.Context(), uid, cursor, limit) + if err != nil { + // ВРЕМЕННО: логируем точную ошибку + slog.Error("ListChats failed", "err", err, "uid", uid, "cursor", cursor, "limit", limit) + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusOK, httputil.PageResponse{Items: items, NextCursor: httputil.NextOrNull(next)}) +} + +func (h *ChatHandler) GetChat(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + + chatID := r.PathValue("chat_id") + if chatID == "" { + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + + c, err := h.chats.Get(r.Context(), uid, chatID) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusOK, c) +} diff --git a/internal/transport/http/health.go b/internal/transport/http/health.go new file mode 100644 index 0000000..4e30646 --- /dev/null +++ b/internal/transport/http/health.go @@ -0,0 +1,54 @@ +package http + +import ( + "context" + "net/http" + "sync/atomic" + "time" + + "github.com/jackc/pgx/v5/pgxpool" + "github.com/redis/go-redis/v9" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +type HealthHandler struct { + pool *pgxpool.Pool + redis *redis.Client + draining *atomic.Bool +} + +func NewHealthHandler(pool *pgxpool.Pool, redisClient *redis.Client, draining *atomic.Bool) *HealthHandler { + return &HealthHandler{pool: pool, redis: redisClient, draining: draining} +} + +// Live проверяет только жизнь процесса. +func (h *HealthHandler) Live(w http.ResponseWriter, r *http.Request) { + httputil.WriteJSON(w, r, http.StatusOK, healthResponse{Status: "ok"}) +} + +// Ready проверяет доступность PostgreSQL и Redis. +// После SIGTERM возвращает 503, чтобы LB исключил реплику до закрытия listener. +func (h *HealthHandler) Ready(w http.ResponseWriter, r *http.Request) { + if h.draining.Load() { + httputil.WriteError(w, r, service.ErrUnavailable) + return + } + ctx, cancel := context.WithTimeout(r.Context(), 2*time.Second) + defer cancel() + + if err := h.pool.Ping(ctx); err != nil { + httputil.WriteError(w, r, service.ErrUnavailable) + return + } + if err := h.redis.Ping(ctx).Err(); err != nil { + httputil.WriteError(w, r, service.ErrUnavailable) + return + } + httputil.WriteJSON(w, r, http.StatusOK, healthResponse{Status: "ok"}) +} + +type healthResponse struct { + Status string `json:"status"` +} diff --git a/internal/transport/http/internal_stats.go b/internal/transport/http/internal_stats.go new file mode 100644 index 0000000..fc1cfc0 --- /dev/null +++ b/internal/transport/http/internal_stats.go @@ -0,0 +1,39 @@ +package http + +import ( + "encoding/json" + "net/http" + "runtime" + + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/config" +) + +// NewInternalStatsHandler отдаёт счётчики пула PostgreSQL и рантайма Go. +// Нужен для поиска точки насыщения пула в экспериментах трека 1: +// рост empty_acquire_count/acquire_duration означает ожидание свободного соединения. +func NewInternalStatsHandler(pool *pgxpool.Pool, cfg config.Config) http.Handler { + mux := http.NewServeMux() + mux.HandleFunc("GET /internal/stats", func(w http.ResponseWriter, r *http.Request) { + st := pool.Stat() + body := map[string]any{ + "instance_id": cfg.InstanceID, + "cache_invalidation": cfg.CacheInvalidation, + "pool": map[string]any{ + "max_conns": st.MaxConns(), + "total_conns": st.TotalConns(), + "acquired_conns": st.AcquiredConns(), + "idle_conns": st.IdleConns(), + "acquire_count": st.AcquireCount(), + "empty_acquire_count": st.EmptyAcquireCount(), + "canceled_acquire_count": st.CanceledAcquireCount(), + "acquire_duration_ms": st.AcquireDuration().Milliseconds(), + }, + "goroutines": runtime.NumGoroutine(), + } + w.Header().Set("Content-Type", "application/json") + _ = json.NewEncoder(w).Encode(body) + }) + return mux +} diff --git a/internal/transport/http/message.go b/internal/transport/http/message.go new file mode 100644 index 0000000..dc50c20 --- /dev/null +++ b/internal/transport/http/message.go @@ -0,0 +1,113 @@ +package http + +import ( + "encoding/json" + "errors" + "net/http" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +type MessageHandler struct { + messages *service.MessageService +} + +func NewMessageHandler(messages *service.MessageService) *MessageHandler { + return &MessageHandler{messages: messages} +} + +// attachmentIDs — поле контракта, которое обязано быть JSON-массивом строк. +// null недопустим (в отличие от отсутствия поля — его трактуем как пустой +// список и пробрасываем дальше как nil-срез). +type attachmentIDs struct { + present bool + value []string +} + +var errAttachmentIDsNull = errors.New("attachment_ids must be an array, not null") + +func (a *attachmentIDs) UnmarshalJSON(b []byte) error { + a.present = true + if string(b) == "null" { + return errAttachmentIDsNull + } + var v []string + if err := json.Unmarshal(b, &v); err != nil { + return err + } + a.value = v + return nil +} + +func (h *MessageHandler) SendMessage(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + + chatID := r.PathValue("chat_id") + if chatID == "" { + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + + var body struct { + Text *string `json:"text"` + AttachmentIDs attachmentIDs `json:"attachment_ids"` + } + if err := httputil.DecodeJSON(r, &body); err != nil { + httputil.WriteError(w, r, err) + return + } + if body.Text == nil { // text обязателен по контракту, даже пустой + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + // null в attachment_ids — нарушение контракта; отсутствие поля считаем + // пустым списком. + if body.AttachmentIDs.present && body.AttachmentIDs.value == nil { + // present == true и value == nil возможно только если был null — + // но UnmarshalJSON уже вернул ошибку. Оставляем защиту на будущее. + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + + // Повтор с тем же ключом возвращает тот же 201 и то же сообщение. + key := r.Header.Get("Idempotency-Key") + m, err := h.messages.Send(r.Context(), uid, chatID, *body.Text, body.AttachmentIDs.value, key) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusCreated, m) +} + +func (h *MessageHandler) ListMessages(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + + chatID := r.PathValue("chat_id") + if chatID == "" { + httputil.WriteError(w, r, service.ErrInvalidInput) + return + } + + limit, err := httputil.ParseLimit(r) + if err != nil { + httputil.WriteError(w, r, err) + return + } + cursor := r.URL.Query().Get("cursor") + + items, next, err := h.messages.List(r.Context(), uid, chatID, cursor, limit) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusOK, httputil.PageResponse{Items: items, NextCursor: httputil.NextOrNull(next)}) +} diff --git a/internal/transport/http/middleware/auth.go b/internal/transport/http/middleware/auth.go new file mode 100644 index 0000000..4002633 --- /dev/null +++ b/internal/transport/http/middleware/auth.go @@ -0,0 +1,48 @@ +package middleware + +import ( + "errors" + "log/slog" + "net/http" + "strings" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +// Auth проверяет Authorization: Bearer через AuthService. +func Auth(auth *service.AuthService) func(http.Handler) http.Handler { + return func(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + header := r.Header.Get("Authorization") + if !strings.HasPrefix(header, "Bearer ") { + writeUnauthorized(w, r) + return + } + token := strings.TrimPrefix(header, "Bearer ") + if token == "" { + writeUnauthorized(w, r) + return + } + + u, err := auth.ValidateSession(r.Context(), token) + if err != nil { + if errors.Is(err, service.ErrUnauthorized) { + writeUnauthorized(w, r) + return + } + slog.Error("auth: unexpected", "err", err) + httputil.WriteError(w, r, nil) + return + } + + ctx := httputil.ContextWithUserID(r.Context(), u.ID) + next.ServeHTTP(w, r.WithContext(ctx)) + }) + } +} + +func writeUnauthorized(w http.ResponseWriter, r *http.Request) { + w.Header().Set("WWW-Authenticate", `Bearer realm="messenger"`) + httputil.WriteError(w, r, service.ErrUnauthorized) +} diff --git a/internal/transport/http/middleware/instance.go b/internal/transport/http/middleware/instance.go new file mode 100644 index 0000000..46849b1 --- /dev/null +++ b/internal/transport/http/middleware/instance.go @@ -0,0 +1,14 @@ +package middleware + +import "net/http" + +// InstanceID добавляет X-Instance-Id ко всем ответам API, включая ошибки и health. +// Значение задаётся один раз при старте процесса и не меняется до его завершения. +func InstanceID(id string) func(http.Handler) http.Handler { + return func(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + w.Header().Set("X-Instance-Id", id) + next.ServeHTTP(w, r) + }) + } +} diff --git a/internal/transport/http/middleware/logging.go b/internal/transport/http/middleware/logging.go new file mode 100644 index 0000000..90135b5 --- /dev/null +++ b/internal/transport/http/middleware/logging.go @@ -0,0 +1,37 @@ +package middleware + +import ( + "log/slog" + "net/http" + "time" + + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +// Logging — структурный лог запроса (event=http.request) в контексте server span: +// trace_id/span_id добавляются обработчиком slog. Вместо сырого пути пишется +// шаблон маршрута, тело и заголовки (Authorization) не логируются. +func Logging(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + start := time.Now() + rec, ok := w.(*statusRecorder) + if !ok { + rec = &statusRecorder{ResponseWriter: w, status: http.StatusOK} + } + next.ServeHTTP(rec, r) + level := slog.LevelInfo + if rec.status >= 500 { + level = slog.LevelError + } else if rec.status >= 400 { + level = slog.LevelWarn + } + slog.Log(r.Context(), level, "http request", + "event", "http.request", + "request_id", httputil.RequestIDFrom(r.Context()), + "method", r.Method, + "route", route(r), + "status", rec.status, + "duration_ms", time.Since(start).Milliseconds(), + ) + }) +} diff --git a/internal/transport/http/middleware/ratelimit.go b/internal/transport/http/middleware/ratelimit.go new file mode 100644 index 0000000..dc42afd --- /dev/null +++ b/internal/transport/http/middleware/ratelimit.go @@ -0,0 +1,142 @@ +package middleware + +import ( + "crypto/sha256" + "encoding/base64" + "encoding/hex" + "log/slog" + "net" + "net/http" + "strconv" + "strings" + "time" + + "github.com/redis/go-redis/v9" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +// LoginLimiter — общий для всех реплик лимит попыток входа (Redis, фиксированное +// окно): отдельно по username и по IP клиента. Превышение — 429 + Retry-After до +// конца окна; Argon2id при этом не вычисляется (дорогой hash не становится +// усилителем DoS). Ключи Redis — SHA-256 username/IP, не сами значения. +// +// IP берётся из последнего значения X-Forwarded-For, которое добавляет HAProxy: +// API принимает соединения только от LB (mTLS с identity lb), поэтому заголовок +// нельзя подделать в обход балансировщика. +type LoginLimiter struct { + rdb *redis.Client + perUser int64 + perIP int64 + window time.Duration +} + +func NewLoginLimiter(rdb *redis.Client, perUser, perIP int, window time.Duration) *LoginLimiter { + return &LoginLimiter{rdb: rdb, perUser: int64(perUser), perIP: int64(perIP), window: window} +} + +func clientIP(r *http.Request) string { + if xff := r.Header.Get("X-Forwarded-For"); xff != "" { + parts := strings.Split(xff, ",") + return strings.TrimSpace(parts[len(parts)-1]) + } + host, _, err := net.SplitHostPort(r.RemoteAddr) + if err != nil { + return r.RemoteAddr + } + return host +} + +func basicUser(r *http.Request) string { + h := r.Header.Get("Authorization") + if len(h) < 6 || !strings.EqualFold(h[:6], "basic ") { + return "" + } + raw, err := base64.StdEncoding.DecodeString(strings.TrimSpace(h[6:])) + if err != nil { + return "" + } + u, _, _ := strings.Cut(string(raw), ":") + return u +} + +func hkey(prefix, v string) string { + sum := sha256.Sum256([]byte(v)) + return prefix + hex.EncodeToString(sum[:12]) +} + +// hit увеличивает счётчик окна и возвращает (значение, оставшийся TTL). +func (l *LoginLimiter) hit(r *http.Request, key string) (int64, time.Duration, error) { + ctx := r.Context() + pipe := l.rdb.TxPipeline() + incr := pipe.Incr(ctx, key) + pipe.ExpireNX(ctx, key, l.window) + ttl := pipe.TTL(ctx, key) + if _, err := pipe.Exec(ctx); err != nil { + return 0, 0, err + } + return incr.Val(), ttl.Val(), nil +} + +func (l *LoginLimiter) Wrap(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + checks := []struct { + key string + limit int64 + kind string + }{{hkey("rl:login:ip:", clientIP(r)), l.perIP, "ip"}} + if u := basicUser(r); u != "" { + checks = append(checks, struct { + key string + limit int64 + kind string + }{hkey("rl:login:user:", strings.ToLower(u)), l.perUser, "user"}) + } + // Слот резервируется ДО Argon2id (INCR атомарен — всплеск параллельных попыток + // не проходит мимо лимита), а успешный вход его возвращает (DECR): лимит + // считает только неудачные попытки, легитимные входы с одного IP его не тратят. + var reserved []string + for _, c := range checks { + n, ttl, err := l.hit(r, c.key) + if err != nil { + // Без общего счётчика вход не разрешаем (fail closed): 503, не обход лимита. + slog.WarnContext(r.Context(), "login rate limiter unavailable", "event", "auth.ratelimit_error", "err", err) + httputil.WriteError(w, r, service.ErrUnavailable) + return + } + if n > c.limit { + secs := int(ttl.Seconds() + 0.999) + if secs < 1 { + secs = 1 + } + w.Header().Set("Retry-After", strconv.Itoa(secs)) + slog.WarnContext(r.Context(), "login rate limited", "event", "auth.rate_limited", "by", c.kind, "retry_after_s", secs) + httputil.WriteError(w, r, service.ErrRateLimited) + return + } + reserved = append(reserved, c.key) + } + sw := &statusWriter{ResponseWriter: w, status: http.StatusOK} + next.ServeHTTP(sw, r) + if sw.status < 400 { + for _, k := range reserved { + if err := l.rdb.Decr(r.Context(), k).Err(); err != nil { + slog.WarnContext(r.Context(), "login limiter refund failed", "event", "auth.ratelimit_error", "err", err) + } + } + } + }) +} + +type statusWriter struct { + http.ResponseWriter + status int +} + +func (s *statusWriter) WriteHeader(code int) { + s.status = code + s.ResponseWriter.WriteHeader(code) +} + +func (s *statusWriter) Unwrap() http.ResponseWriter { return s.ResponseWriter } diff --git a/internal/transport/http/middleware/recovery.go b/internal/transport/http/middleware/recovery.go new file mode 100644 index 0000000..560feaa --- /dev/null +++ b/internal/transport/http/middleware/recovery.go @@ -0,0 +1,25 @@ +package middleware + +import ( + "log/slog" + "net/http" + + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +func Recovery(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + defer func() { + if rec := recover(); rec != nil { + slog.Error("panic in handler", + "panic", rec, + "request_id", httputil.RequestIDFrom(r.Context()), + "method", r.Method, + "path", r.URL.Path, + ) + httputil.WriteError(w, r, nil) + } + }() + next.ServeHTTP(w, r) + }) +} diff --git a/internal/transport/http/middleware/request_id.go b/internal/transport/http/middleware/request_id.go new file mode 100644 index 0000000..13ec059 --- /dev/null +++ b/internal/transport/http/middleware/request_id.go @@ -0,0 +1,29 @@ +package middleware + +import ( + "crypto/rand" + "fmt" + "net/http" + + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +func RequestID(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + id := r.Header.Get("X-Request-Id") + if id == "" { + id = newRequestID() + } + w.Header().Set("X-Request-Id", id) + ctx := httputil.ContextWithRequestID(r.Context(), id) + next.ServeHTTP(w, r.WithContext(ctx)) + }) +} + +func newRequestID() string { + var b [12]byte + if _, err := rand.Read(b[:]); err != nil { + panic(fmt.Sprintf("crypto/rand failed: %v", err)) + } + return fmt.Sprintf("%x", b[:]) +} diff --git a/internal/transport/http/middleware/telemetry.go b/internal/transport/http/middleware/telemetry.go new file mode 100644 index 0000000..dc5393b --- /dev/null +++ b/internal/transport/http/middleware/telemetry.go @@ -0,0 +1,111 @@ +package middleware + +import ( + "fmt" + "net/http" + "strings" + "time" + + "go.opentelemetry.io/otel" + "go.opentelemetry.io/otel/attribute" + "go.opentelemetry.io/otel/codes" + "go.opentelemetry.io/otel/metric" + "go.opentelemetry.io/otel/propagation" + "go.opentelemetry.io/otel/trace" + + "github.com/charawein/mtusi2026lab7/internal/telemetry" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +// statusRecorder запоминает код ответа и число байт тела. +type statusRecorder struct { + http.ResponseWriter + status int + bytes int64 +} + +func (r *statusRecorder) WriteHeader(code int) { + r.status = code + r.ResponseWriter.WriteHeader(code) +} + +func (r *statusRecorder) Write(b []byte) (int, error) { + n, err := r.ResponseWriter.Write(b) + r.bytes += int64(n) + return n, err +} + +// Unwrap даёт http.ResponseController доступ к исходному writer. +func (r *statusRecorder) Unwrap() http.ResponseWriter { return r.ResponseWriter } + +// route — шаблон маршрута ServeMux без метода ("/api/v1/chats/{chat_id}/messages"). +// ServeMux записывает его в r.Pattern того же *Request, поэтому читается после +// next.ServeHTTP. Неизвестный путь не попадает в метки как сырой URL. +func route(r *http.Request) string { + p := r.Pattern + if p == "" { + return "unmatched" + } + if i := strings.IndexByte(p, ' '); i >= 0 { + p = p[i+1:] + } + return p +} + +func statusClass(code int) string { return fmt.Sprintf("%dxx", code/100) } + +// Telemetry — server span на запрос и метрика http.server.request.duration +// (histogram, секунды; её _count — счётчик запросов). Метки: метод, шаблон +// маршрута, код и класс ответа — без user/chat/message ID и сырого URL. +func Telemetry(next http.Handler) http.Handler { + tracer := telemetry.Tracer() + meter := telemetry.Meter() + duration, _ := meter.Float64Histogram("http.server.request.duration", + metric.WithUnit("s"), metric.WithDescription("Duration of HTTP server requests")) + inflight, _ := meter.Int64UpDownCounter("http.server.active_requests", + metric.WithUnit("{request}"), metric.WithDescription("In-flight HTTP requests")) + prop := otel.GetTextMapPropagator() + + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + start := time.Now() + ctx := prop.Extract(r.Context(), propagation.HeaderCarrier(r.Header)) + if strings.HasPrefix(r.URL.Path, "/health/") { + // Проверки LB раз в секунду: метрики пишем, трассы нет (ParentBased). + ctx = telemetry.Unsampled(r.Context()) + } + ctx, span := tracer.Start(ctx, r.Method, trace.WithSpanKind(trace.SpanKindServer), + trace.WithAttributes( + attribute.String("http.request.method", r.Method), + attribute.String("request_id", httputil.RequestIDFrom(r.Context())), + )) + defer span.End() + if sc := span.SpanContext(); sc.IsSampled() { + // W3C Trace Context Level 2: клиент (и тест) получает ID трассы своего запроса. + w.Header().Set("traceresponse", "00-"+sc.TraceID().String()+"-"+sc.SpanID().String()+"-01") + } + methodAttr := attribute.String("http.request.method", r.Method) + inflight.Add(ctx, 1, metric.WithAttributes(methodAttr)) + defer inflight.Add(ctx, -1, metric.WithAttributes(methodAttr)) + + rec := &statusRecorder{ResponseWriter: w, status: http.StatusOK} + r2 := r.WithContext(ctx) + next.ServeHTTP(rec, r2) + + rt := route(r2) + span.SetName(r.Method + " " + rt) + span.SetAttributes( + attribute.String("http.route", rt), + attribute.Int("http.response.status_code", rec.status), + ) + if rec.status >= 500 { + span.SetStatus(codes.Error, http.StatusText(rec.status)) + } + duration.Record(ctx, time.Since(start).Seconds(), metric.WithAttributes( + methodAttr, + attribute.String("http.route", rt), + attribute.Int("http.response.status_code", rec.status), + attribute.String("http.response.status_class", statusClass(rec.status)), + )) + r.Pattern = r2.Pattern // для внешних middleware (логирование) + }) +} diff --git a/internal/transport/http/middleware/telemetry_test.go b/internal/transport/http/middleware/telemetry_test.go new file mode 100644 index 0000000..6211863 --- /dev/null +++ b/internal/transport/http/middleware/telemetry_test.go @@ -0,0 +1,84 @@ +package middleware + +import ( + "context" + "net/http" + "net/http/httptest" + "strings" + "testing" + + "go.opentelemetry.io/otel" + "go.opentelemetry.io/otel/codes" + "go.opentelemetry.io/otel/propagation" + sdkmetric "go.opentelemetry.io/otel/sdk/metric" + "go.opentelemetry.io/otel/sdk/metric/metricdata" + sdktrace "go.opentelemetry.io/otel/sdk/trace" + "go.opentelemetry.io/otel/sdk/trace/tracetest" +) + +// Метки метрики и имя span — шаблон маршрута, а не сырой путь с UUID; +// 5xx помечает span ошибкой; /health/* не создаёт трасс; входящий traceparent +// продолжается. +func TestTelemetryRouteTemplateAndStatus(t *testing.T) { + exp := tracetest.NewInMemoryExporter() + otel.SetTracerProvider(sdktrace.NewTracerProvider(sdktrace.WithSyncer(exp))) + reader := sdkmetric.NewManualReader() + otel.SetMeterProvider(sdkmetric.NewMeterProvider(sdkmetric.WithReader(reader))) + otel.SetTextMapPropagator(propagation.TraceContext{}) + + mux := http.NewServeMux() + mux.HandleFunc("POST /api/v1/chats/{chat_id}/messages", func(w http.ResponseWriter, r *http.Request) { + w.WriteHeader(http.StatusServiceUnavailable) + }) + mux.HandleFunc("GET /health/ready", func(w http.ResponseWriter, r *http.Request) {}) + h := Telemetry(Logging(mux)) + + const chat = "0b5ad0a8-6b44-4d34-9a43-2b4d1f1a7c11" + req := httptest.NewRequest("POST", "/api/v1/chats/"+chat+"/messages", nil) + req.Header.Set("traceparent", "00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01") + h.ServeHTTP(httptest.NewRecorder(), req) + h.ServeHTTP(httptest.NewRecorder(), httptest.NewRequest("GET", "/health/ready", nil)) + h.ServeHTTP(httptest.NewRecorder(), httptest.NewRequest("GET", "/nope/"+chat, nil)) + + spans := exp.GetSpans() + if len(spans) != 2 { + t.Fatalf("want 2 spans (health is not traced), got %d", len(spans)) + } + s := spans[0] + if s.Name != "POST /api/v1/chats/{chat_id}/messages" || s.Status.Code != codes.Error { + t.Fatalf("span %q status %v", s.Name, s.Status) + } + if s.SpanContext.TraceID().String() != "4bf92f3577b34da6a3ce929d0e0e4736" || s.Parent.SpanID().String() != "00f067aa0ba902b7" { + t.Fatalf("incoming traceparent not continued: %s parent %s", s.SpanContext.TraceID(), s.Parent.SpanID()) + } + if spans[1].Name != "GET unmatched" { + t.Fatalf("unknown path must be 'unmatched', got %q", spans[1].Name) + } + + var rm metricdata.ResourceMetrics + if err := reader.Collect(context.Background(), &rm); err != nil { + t.Fatal(err) + } + routes := map[string]bool{} + for _, sm := range rm.ScopeMetrics { + for _, m := range sm.Metrics { + if m.Name != "http.server.request.duration" { + continue + } + for _, dp := range m.Data.(metricdata.Histogram[float64]).DataPoints { + for _, kv := range dp.Attributes.ToSlice() { + if strings.Contains(kv.Value.Emit(), chat) { + t.Fatalf("raw id in metric attribute %s", kv.Key) + } + } + r, _ := dp.Attributes.Value("http.route") + routes[r.AsString()] = true + } + } + } + for _, want := range []string{"/api/v1/chats/{chat_id}/messages", "/health/ready", "unmatched"} { + if !routes[want] { + t.Fatalf("route %q not recorded: %v", want, routes) + } + } +} diff --git a/internal/transport/http/middleware/timeout.go b/internal/transport/http/middleware/timeout.go new file mode 100644 index 0000000..037d59b --- /dev/null +++ b/internal/transport/http/middleware/timeout.go @@ -0,0 +1,18 @@ +package middleware + +import ( + "context" + "net/http" + "time" +) + +// Timeout ограничивает время выполнения запроса. +func Timeout(d time.Duration) func(http.Handler) http.Handler { + return func(next http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + ctx, cancel := context.WithTimeout(r.Context(), d) + defer cancel() + next.ServeHTTP(w, r.WithContext(ctx)) + }) + } +} diff --git a/internal/transport/http/router.go b/internal/transport/http/router.go new file mode 100644 index 0000000..a590623 --- /dev/null +++ b/internal/transport/http/router.go @@ -0,0 +1,87 @@ +package http + +import ( + "net/http" + "os" + "strconv" + "sync/atomic" + "time" + + "github.com/jackc/pgx/v5/pgxpool" + "github.com/redis/go-redis/v9" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/http/middleware" +) + +func NewRouter( + users *service.UserService, + chats *service.ChatService, + messages *service.MessageService, + attachments *service.AttachmentService, + auth *service.AuthService, + pool *pgxpool.Pool, + redisClient *redis.Client, + instanceID string, + draining *atomic.Bool, +) http.Handler { + userH := NewUserHandler(users) + chatH := NewChatHandler(chats) + msgH := NewMessageHandler(messages) + authH := NewAuthHandler(auth) + attH := NewAttachmentHandler(attachments) + healthH := NewHealthHandler(pool, redisClient, draining) + + mux := http.NewServeMux() + + // Таймаут на запрос: обычный API — 5 s, передача файлов — 30 s. + short := middleware.Timeout(5 * time.Second) + long := middleware.Timeout(30 * time.Second) + authMW := func(h http.Handler) http.Handler { return short(middleware.Auth(auth)(h)) } + fileMW := func(h http.Handler) http.Handler { return long(middleware.Auth(auth)(h)) } + + mux.Handle("GET /health/live", short(http.HandlerFunc(healthH.Live))) + mux.Handle("GET /health/ready", short(http.HandlerFunc(healthH.Ready))) + mux.Handle("POST /api/v1/users", short(http.HandlerFunc(userH.CreateUser))) + // Вход: общий для реплик лимит попыток (Redis) до вычисления Argon2id. + limiter := middleware.NewLoginLimiter(redisClient, envInt("LOGIN_RATE_PER_USER", 10), envInt("LOGIN_RATE_PER_IP", 60), + time.Duration(envInt("LOGIN_RATE_WINDOW_SECONDS", 60))*time.Second) + mux.Handle("POST /api/v1/auth/sessions", short(limiter.Wrap(http.HandlerFunc(authH.CreateSession)))) + + mux.Handle("DELETE /api/v1/auth/sessions/current", authMW(http.HandlerFunc(authH.RevokeSession))) + mux.Handle("GET /api/v1/users/me", authMW(http.HandlerFunc(userH.CurrentUser))) + mux.Handle("POST /api/v1/chats", authMW(http.HandlerFunc(chatH.CreateChat))) + mux.Handle("GET /api/v1/chats", authMW(http.HandlerFunc(chatH.ListChats))) + mux.Handle("GET /api/v1/chats/{chat_id}", authMW(http.HandlerFunc(chatH.GetChat))) + mux.Handle("POST /api/v1/chats/{chat_id}/messages", authMW(http.HandlerFunc(msgH.SendMessage))) + mux.Handle("GET /api/v1/chats/{chat_id}/messages", authMW(http.HandlerFunc(msgH.ListMessages))) + mux.Handle("POST /api/v1/chats/{chat_id}/attachments", fileMW(http.HandlerFunc(attH.Upload))) + mux.Handle("GET /api/v1/attachments/{attachment_id}", authMW(http.HandlerFunc(attH.Get))) + mux.Handle("GET /api/v1/attachments/{attachment_id}/content", fileMW(http.HandlerFunc(attH.Content))) + + // Telemetry → Recovery → Logging → mux: все middleware до mux передают тот же + // *Request, поэтому шаблон маршрута (r.Pattern) виден после обработки; + // паника, превращённая Recovery в 500, учитывается в span и метриках. + handler := middleware.Logging(mux) + handler = middleware.Recovery(handler) + handler = middleware.Telemetry(handler) + handler = middleware.RequestID(handler) + handler = middleware.InstanceID(instanceID)(handler) + return handler +} + +// NewHealthMux — только health endpoints (локальный listener для docker healthcheck). +func NewHealthMux(pool *pgxpool.Pool, redisClient *redis.Client, draining *atomic.Bool) http.Handler { + h := NewHealthHandler(pool, redisClient, draining) + mux := http.NewServeMux() + mux.HandleFunc("GET /health/live", h.Live) + mux.HandleFunc("GET /health/ready", h.Ready) + return middleware.RequestID(mux) +} + +func envInt(key string, def int) int { + if n, err := strconv.Atoi(os.Getenv(key)); err == nil && n > 0 { + return n + } + return def +} diff --git a/internal/transport/http/user.go b/internal/transport/http/user.go new file mode 100644 index 0000000..b8f2ccc --- /dev/null +++ b/internal/transport/http/user.go @@ -0,0 +1,49 @@ +package http + +import ( + "net/http" + + "github.com/charawein/mtusi2026lab7/internal/service" + "github.com/charawein/mtusi2026lab7/internal/transport/httputil" +) + +type UserHandler struct { + users *service.UserService +} + +func NewUserHandler(users *service.UserService) *UserHandler { + return &UserHandler{users: users} +} + +func (h *UserHandler) CreateUser(w http.ResponseWriter, r *http.Request) { + var body struct { + Username string `json:"username"` + DisplayName string `json:"display_name"` + Password string `json:"password"` + } + if err := httputil.DecodeJSON(r, &body); err != nil { + httputil.WriteError(w, r, err) + return + } + + u, err := h.users.Register(r.Context(), body.Username, body.DisplayName, body.Password) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusCreated, u) +} + +func (h *UserHandler) CurrentUser(w http.ResponseWriter, r *http.Request) { + uid := httputil.UserIDFromContext(r.Context()) + if uid == "" { + httputil.WriteError(w, r, service.ErrUnauthorized) + return + } + u, err := h.users.GetByID(r.Context(), uid) + if err != nil { + httputil.WriteError(w, r, err) + return + } + httputil.WriteJSON(w, r, http.StatusOK, u) +} diff --git a/internal/transport/httputil/response.go b/internal/transport/httputil/response.go new file mode 100644 index 0000000..381a1a3 --- /dev/null +++ b/internal/transport/httputil/response.go @@ -0,0 +1,185 @@ +package httputil + +import ( + "bytes" + "context" + "encoding/json" + "errors" + "io" + "log/slog" + "net/http" + "strconv" + + "github.com/charawein/mtusi2026lab7/internal/service" +) + +// requestIDKey — ключ контекста для X-Request-Id. +type requestIDKey struct{} + +// ContextWithRequestID кладёт request_id в контекст. Используется middleware.RequestID. +func ContextWithRequestID(ctx context.Context, id string) context.Context { + return context.WithValue(ctx, requestIDKey{}, id) +} + +// RequestIDFrom извлекает request_id из контекста. +func RequestIDFrom(ctx context.Context) string { + if v, ok := ctx.Value(requestIDKey{}).(string); ok { + return v + } + return "" +} + +// userIDKey — ключ контекста для аутентифицированного user_id. +type userIDKey struct{} + +// ContextWithUserID кладёт user_id в контекст. Используется middleware.Auth. +func ContextWithUserID(ctx context.Context, id string) context.Context { + return context.WithValue(ctx, userIDKey{}, id) +} + +// UserIDFromContext извлекает user_id из контекста. +func UserIDFromContext(ctx context.Context) string { + if v, ok := ctx.Value(userIDKey{}).(string); ok { + return v + } + return "" +} + +// errorBody — формат тела ошибки по contracts/openapi.json. +type errorBody struct { + Error errorDetail `json:"error"` +} + +type errorDetail struct { + Code string `json:"code"` + Message string `json:"message"` + RequestID string `json:"request_id"` +} + +// WriteJSON пишет JSON-ответ с заданным статусом. +func WriteJSON(w http.ResponseWriter, r *http.Request, status int, v any) { + w.Header().Set("Content-Type", "application/json; charset=utf-8") + w.WriteHeader(status) + if v == nil { + return + } + if err := json.NewEncoder(w).Encode(v); err != nil { + slog.Error("failed to encode response", "err", err, "request_id", RequestIDFrom(r.Context())) + } +} + +// WriteError мапит доменную ошибку в HTTP-статус и пишет тело в формате контракта. +func WriteError(w http.ResponseWriter, r *http.Request, err error) { + status, code := mapError(err) + reqID := RequestIDFrom(r.Context()) + if reqID == "" { + reqID = "missing-request-id" + } + body := errorBody{Error: errorDetail{ + Code: code, + Message: messageFor(code), + RequestID: reqID, + }} + WriteJSON(w, r, status, body) +} + +func mapError(err error) (int, string) { + switch { + case errors.Is(err, service.ErrInvalidInput): + return http.StatusBadRequest, "invalid_request" + case errors.Is(err, service.ErrUnauthorized): + return http.StatusUnauthorized, "unauthorized" + case errors.Is(err, service.ErrNotFound): + return http.StatusNotFound, "not_found" + case errors.Is(err, service.ErrConflict): + return http.StatusConflict, "conflict" + case errors.Is(err, service.ErrUnavailable): + return http.StatusServiceUnavailable, "unavailable" + case errors.Is(err, service.ErrPayloadTooLarge): + return http.StatusRequestEntityTooLarge, "payload_too_large" + case errors.Is(err, service.ErrUnsupportedMedia): + return http.StatusUnsupportedMediaType, "unsupported_media_type" + case errors.Is(err, service.ErrRateLimited): + return http.StatusTooManyRequests, "rate_limited" + default: + return http.StatusInternalServerError, "internal_error" + } +} + +func messageFor(code string) string { + switch code { + case "invalid_request": + return "Неверный запрос" + case "unauthorized": + return "Требуется аутентификация" + case "not_found": + return "Объект не найден" + case "conflict": + return "Конфликт" + case "internal_error": + return "Внутренняя ошибка" + case "unavailable": + return "Сервис недоступен" + case "payload_too_large": + return "Слишком большой файл или изображение" + case "unsupported_media_type": + return "Поддерживаются только корректные PNG и JPEG" + case "rate_limited": + return "Слишком много попыток, повторите позже" + default: + return "Ошибка" + } +} + +// DecodeJSON парсит тело запроса в v, строго запрещая неизвестные поля. +// MaxJSONBody — предел JSON-запроса (сообщение ≤ 4000 code points × 4 байта + поля). +const MaxJSONBody = 64 << 10 + +func DecodeJSON(r *http.Request, v any) error { + if r.ContentLength > MaxJSONBody { + return service.ErrPayloadTooLarge + } + body, err := io.ReadAll(io.LimitReader(r.Body, MaxJSONBody+1)) + if err != nil { + return service.ErrInvalidInput + } + if len(body) > MaxJSONBody { + return service.ErrPayloadTooLarge + } + dec := json.NewDecoder(bytes.NewReader(body)) + dec.DisallowUnknownFields() + if err := dec.Decode(v); err != nil { + return service.ErrInvalidInput + } + if dec.More() { + return service.ErrInvalidInput + } + return nil +} + +// ParseLimit читает query-параметр limit с дефолтом и границами по контракту. +func ParseLimit(r *http.Request) (int, error) { + s := r.URL.Query().Get("limit") + if s == "" { + return 50, nil + } + n, err := strconv.Atoi(s) + if err != nil || n < 1 || n > 100 { + return 0, service.ErrInvalidInput + } + return n, nil +} + +// PageResponse — универсальный ответ пагинации. +type PageResponse struct { + Items any `json:"items"` + NextCursor *string `json:"next_cursor"` +} + +// NextOrNull превращает пустую строку в nil (для сериализации в null). +func NextOrNull(s string) *string { + if s == "" { + return nil + } + return &s +} diff --git a/internal/worker/pipeline_integration_test.go b/internal/worker/pipeline_integration_test.go new file mode 100644 index 0000000..08c4f6b --- /dev/null +++ b/internal/worker/pipeline_integration_test.go @@ -0,0 +1,581 @@ +package worker_test + +// Интеграционный fault-injection (трек 5): настоящий PostgreSQL со всеми +// миграциями, S3 — в памяти, broker — вызовы Handle с телом из outbox (так же, +// как его опубликовал бы relay). Запуск: +// +// TEST_DATABASE_URL=postgres://user@host:5432/postgres go test ./internal/worker/ -run Pipeline -v +// +// Для каждого сценария создаётся отдельная база, после каждого шага проверяются +// инварианты (checkInvariants). + +import ( + "bytes" + "context" + "crypto/sha256" + "encoding/hex" + "encoding/json" + "errors" + "fmt" + "image" + "image/color" + "image/png" + "io" + "os" + "path/filepath" + "sort" + "strings" + "sync" + "testing" + "time" + + "github.com/google/uuid" + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" + "github.com/charawein/mtusi2026lab7/internal/storage" + "github.com/charawein/mtusi2026lab7/internal/worker" +) + +// ---------- in-memory S3 ---------- + +type memStore struct { + mu sync.Mutex + objs map[string][]byte + puts map[string]int + failPut int // сколько ближайших Put завершить временной ошибкой +} + +func newMemStore() *memStore { return &memStore{objs: map[string][]byte{}, puts: map[string]int{}} } + +func (m *memStore) Put(_ context.Context, key string, r io.Reader, size int64, _ string) error { + m.mu.Lock() + defer m.mu.Unlock() + if m.failPut > 0 { + m.failPut-- + return errors.New("s3 put: 503 slow down") + } + b, err := io.ReadAll(r) + if err != nil { + return err + } + m.objs[key] = b + m.puts[key]++ + return nil +} +func (m *memStore) Get(_ context.Context, key string) (io.ReadCloser, int64, error) { + m.mu.Lock() + defer m.mu.Unlock() + b, ok := m.objs[key] + if !ok { + return nil, 0, storage.ErrNotFound + } + return io.NopCloser(bytes.NewReader(b)), int64(len(b)), nil +} +func (m *memStore) Stat(_ context.Context, key string) (storage.Object, error) { + m.mu.Lock() + defer m.mu.Unlock() + b, ok := m.objs[key] + if !ok { + return storage.Object{}, storage.ErrNotFound + } + return storage.Object{Key: key, Size: int64(len(b))}, nil +} +func (m *memStore) Delete(_ context.Context, key string) error { + m.mu.Lock() + defer m.mu.Unlock() + delete(m.objs, key) + return nil +} +func (m *memStore) List(context.Context, string, func(storage.Object) error) error { return nil } +func (m *memStore) Copy(_ context.Context, src, dst string) error { + m.mu.Lock() + defer m.mu.Unlock() + b, ok := m.objs[src] + if !ok { + return storage.ErrNotFound + } + m.objs[dst] = bytes.Clone(b) + m.puts[dst]++ + return nil +} +func (m *memStore) get(key string) ([]byte, bool) { + m.mu.Lock() + defer m.mu.Unlock() + b, ok := m.objs[key] + return b, ok +} + +// Детерминированный «WebP» для тестов: RIFF/WEBP-заголовок + хэш пикселей. +func fakeWebP(_ context.Context, img image.Image, q int) ([]byte, error) { + h := sha256.New() + b := img.Bounds() + fmt.Fprintf(h, "%d:%d:%d", b.Dx(), b.Dy(), q) + for y := b.Min.Y; y < b.Max.Y; y += 7 { + for x := b.Min.X; x < b.Max.X; x += 7 { + r, g, bb, _ := img.At(x, y).RGBA() + fmt.Fprintf(h, "%d%d%d", r, g, bb) + } + } + return append([]byte("RIFF\x00\x00\x00\x00WEBP"), h.Sum(nil)...), nil +} + +// ---------- окружение ---------- + +type env struct { + t *testing.T + ctx context.Context + pool *pgxpool.Pool + repo *postgres.PipelineRepository + att *postgres.AttachmentRepository + store *memStore + chat string + owner string +} + +type crash struct{ code int } + +func setup(t *testing.T) *env { + t.Helper() + admin := os.Getenv("TEST_DATABASE_URL") + if admin == "" { + t.Skip("TEST_DATABASE_URL not set (integration test needs PostgreSQL)") + } + ctx := context.Background() + conn, err := pgx.Connect(ctx, admin) + if err != nil { + t.Fatal(err) + } + db := "lab5_it_" + strings.ReplaceAll(uuid.NewString()[:8], "-", "") + if _, err := conn.Exec(ctx, "CREATE DATABASE "+db); err != nil { + t.Fatal(err) + } + t.Cleanup(func() { + _, _ = conn.Exec(context.Background(), "DROP DATABASE IF EXISTS "+db+" WITH (FORCE)") + conn.Close(context.Background()) + }) + cfg, err := pgxpool.ParseConfig(admin) + if err != nil { + t.Fatal(err) + } + cfg.ConnConfig.Database = db + pool, err := pgxpool.NewWithConfig(ctx, cfg) + if err != nil { + t.Fatal(err) + } + t.Cleanup(pool.Close) + files, _ := filepath.Glob("../../migrations/*.up.sql") + sort.Strings(files) + for _, f := range files { + sql, _ := os.ReadFile(f) + if _, err := pool.Exec(ctx, string(sql)); err != nil { + t.Fatalf("%s: %v", f, err) + } + } + e := &env{t: t, ctx: ctx, pool: pool, repo: postgres.NewPipelineRepository(pool), + att: postgres.NewAttachmentRepository(pool), store: newMemStore(), owner: uuid.NewString()} + e.chat = uuid.NewString() + e.exec(`INSERT INTO users (id, username, display_name, password_hash) VALUES ($1::uuid, $2, 'U', 'x')`, e.owner, "u_"+e.owner[:8]) + e.exec(`INSERT INTO chats (id, title) VALUES ($1, 'c')`, e.chat) + e.exec(`INSERT INTO chat_members (chat_id, user_id) VALUES ($1, $2)`, e.chat, e.owner) + return e +} + +func (e *env) exec(sql string, args ...any) { + e.t.Helper() + if _, err := e.pool.Exec(e.ctx, sql, args...); err != nil { + e.t.Fatalf("%s: %v", sql, err) + } +} + +func (e *env) scalar(sql string, args ...any) string { + e.t.Helper() + var s string + if err := e.pool.QueryRow(e.ctx, sql, args...).Scan(&s); err != nil { + e.t.Fatalf("%s: %v", sql, err) + } + return s +} + +func pngBytes(w, h int, seed uint8) []byte { + img := image.NewRGBA(image.Rect(0, 0, w, h)) + for y := 0; y < h; y++ { + for x := 0; x < w; x++ { + img.Set(x, y, color.RGBA{uint8(x) + seed, uint8(y), seed, 255}) + } + } + var b bytes.Buffer + _ = png.Encode(&b, img) + return b.Bytes() +} + +// upload — как API: намерение, staging-объект, MarkQueued (jobs + outbox). +func (e *env) upload(data []byte) *domain.Attachment { + e.t.Helper() + id := uuid.NewString() + sum := sha256.Sum256(data) + a := &domain.Attachment{ID: id, ChatID: e.chat, OwnerID: e.owner, Filename: "f.png", + ObjectKey: "s/" + e.chat + "/" + id, CreatedAt: time.Now(), UpdatedAt: time.Now(), + ContentType: "image/png", SizeBytes: int64(len(data)), SHA256: hex.EncodeToString(sum[:])} + if err := e.att.CreateIntent(e.ctx, a); err != nil { + e.t.Fatal(err) + } + _ = e.store.Put(e.ctx, a.ObjectKey, bytes.NewReader(data), int64(len(data)), "image/png") + if _, err := e.att.MarkQueued(e.ctx, a, 1, 3); err != nil { + e.t.Fatal(err) + } + return a +} + +// relay — опубликовать созревшие сообщения outbox; вернуть их тела. +func (e *env) relay(afterPublish func()) [][]byte { + e.t.Helper() + var out [][]byte + _, err := e.repo.PublishDue(e.ctx, 100, func(_ context.Context, m postgres.OutboxMessage) error { + out = append(out, m.Payload) + return nil + }, afterPublish) + if err != nil { + e.t.Fatal(err) + } + return out +} + +func (e *env) worker(lease time.Duration, faults ...string) *worker.Worker { + pts := map[string]bool{} + for _, f := range faults { + pts[f] = true + } + w := worker.New(e.repo, e.store, fakeWebP, worker.Config{ + Owner: "w-" + uuid.NewString()[:6], Lease: lease, JobTimeout: lease, + MaxBytes: 10 << 20, MaxPixels: 40_000_000, PixelBudget: 60_000_000, WebPQuality: 80, + RetryBase: 200 * time.Millisecond, RetryMax: 400 * time.Millisecond, + FaultPoints: pts, FaultDir: e.t.TempDir(), DeleteStaging: true, + }) + worker.SetExit(w, func(code int) { panic(crash{code}) }) + return w +} + +// handle — доставка с перехватом «падения процесса». +func handle(w *worker.Worker, body []byte) (d worker.Decision, crashed bool) { + defer func() { + if r := recover(); r != nil { + if _, ok := r.(crash); !ok { + panic(r) + } + crashed = true + } + }() + return w.Handle(context.Background(), body), false +} + +type state struct { + Status, ErrorCode, JobState string + Version, Attempt, Variants int +} + +func (e *env) state(a *domain.Attachment) state { + var s state + err := e.pool.QueryRow(e.ctx, ` + SELECT a.status, COALESCE(a.error_code, ''), a.pipeline_version, + (SELECT count(*) FROM attachment_variants v WHERE v.attachment_id = a.id), + COALESCE((SELECT state FROM jobs j WHERE j.attachment_id = a.id ORDER BY pipeline_version DESC LIMIT 1), ''), + COALESCE((SELECT attempt FROM jobs j WHERE j.attachment_id = a.id ORDER BY pipeline_version DESC LIMIT 1), 0) + FROM attachments a WHERE a.id = $1`, a.ID). + Scan(&s.Status, &s.ErrorCode, &s.Version, &s.Variants, &s.JobState, &s.Attempt) + if err != nil { + e.t.Fatal(err) + } + return s +} + +// checkInvariants — инварианты pipeline после любого шага: +// +// I1 не больше одного варианта на (attachment, version, name) — PK, проверяем явно; +// I2 ready ⇒ опубликованная версия ≥ 1, варианты этой версии полные (3) и +// объекты в S3 совпадают с метаданными (размер и SHA-256); +// I3 ready ⇒ оригинал в конечном prefix, байты равны принятым (SHA-256 из 202); +// I4 нет processing с истёкшим lease после sweeper (проверяется в сценариях); +// I5 опубликованная версия никогда не уменьшается (проверяется по истории в сценариях). +func (e *env) checkInvariants(a *domain.Attachment) { + e.t.Helper() + if dup := e.scalar(`SELECT count(*) FROM (SELECT 1 FROM attachment_variants WHERE attachment_id = $1 + GROUP BY pipeline_version, name HAVING count(*) > 1) d`, a.ID); dup != "0" { + e.t.Fatalf("I1: duplicated variants: %s", dup) + } + s := e.state(a) + if s.Status != "ready" { + return + } + if s.Version < 1 { + e.t.Fatalf("I2: ready without published version") + } + rows, err := e.pool.Query(e.ctx, `SELECT object_key, size_bytes, sha256 FROM attachment_variants + WHERE attachment_id = $1 AND pipeline_version = $2`, a.ID, s.Version) + if err != nil { + e.t.Fatal(err) + } + n := 0 + for rows.Next() { + var key, sum string + var size int64 + _ = rows.Scan(&key, &size, &sum) + b, ok := e.store.get(key) + got := sha256.Sum256(b) + if !ok || int64(len(b)) != size || hex.EncodeToString(got[:]) != sum { + e.t.Fatalf("I2: variant object %s does not match metadata", key) + } + n++ + } + rows.Close() + if n != 3 { + e.t.Fatalf("I2: ready with %d variants of version %d", n, s.Version) + } + key := e.scalar(`SELECT object_key FROM attachments WHERE id = $1`, a.ID) + b, ok := e.store.get(key) + got := sha256.Sum256(b) + if !strings.HasPrefix(key, "o/") || !ok || hex.EncodeToString(got[:]) != a.SHA256 { + e.t.Fatalf("I3: published original %s missing or changed", key) + } +} + +func (e *env) events(a *domain.Attachment) string { + rows, _ := e.pool.Query(e.ctx, `SELECT event FROM job_events e JOIN jobs j USING (job_id) + WHERE j.attachment_id = $1 ORDER BY e.id`, a.ID) + defer rows.Close() + var ev []string + for rows.Next() { + var s string + _ = rows.Scan(&s) + ev = append(ev, s) + } + return strings.Join(ev, ",") +} + +func expect(t *testing.T, cond bool, format string, args ...any) { + t.Helper() + if !cond { + t.Fatalf(format, args...) + } +} + +// ---------- сценарии ---------- + +func TestPipelineHappyPathAndDuplicate(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(320, 200, 1)) + msgs := e.relay(nil) + expect(t, len(msgs) == 1, "outbox messages: %d", len(msgs)) + w := e.worker(5 * time.Second) + + d, _ := handle(w, msgs[0]) + expect(t, d == worker.Ack, "decision %v", d) + s := e.state(a) + expect(t, s.Status == "ready" && s.Version == 1 && s.Variants == 3 && s.JobState == "done", "state %+v", s) + e.checkInvariants(a) + _, staged := e.store.get("s/" + e.chat + "/" + a.ID) + expect(t, !staged, "staging must be removed after publish") + + puts := len(e.store.puts) + // Дубль после done (повторная доставка того же сообщения). + d, _ = handle(w, msgs[0]) + expect(t, d == worker.Ack && len(e.store.puts) == puts, "duplicate must be a no-op ack") + expect(t, e.state(a).Attempt == 1, "duplicate must not start a new attempt") + e.checkInvariants(a) +} + +func TestPipelineConcurrentDuplicateIsBusy(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(64, 64, 2)) + msg := e.relay(nil)[0] + // Первый worker захватил lease и «работает» (имитация: claim без завершения). + out, _, _, err := e.repo.Claim(e.ctx, e.scalar(`SELECT job_id::text FROM jobs WHERE attachment_id=$1`, a.ID), "slow-worker", time.Minute) + expect(t, err == nil && out == postgres.Claimed, "claim %v %v", out, err) + d, _ := handle(e.worker(time.Minute), msg) + expect(t, d == worker.Ack, "duplicate during valid lease must be acked") + expect(t, e.state(a).Attempt == 1 && e.state(a).Variants == 0, "duplicate must not process: %+v", e.state(a)) +} + +func TestPipelineCrashAfterSideEffectBeforeCommit(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(300, 240, 3)) + msg := e.relay(nil)[0] + _, crashed := handle(e.worker(time.Second, "worker.after_side_effect"), msg) + expect(t, crashed, "fault must crash the worker") + s := e.state(a) + expect(t, s.Status == "processing" && s.Variants == 0, "after crash: %+v", s) + puts := len(e.store.puts) + expect(t, puts >= 4, "side effects (3 variants + original copy) written before crash: %d", puts) + + // Перезапущенный broker доставит то же сообщение снова, но lease ещё жив → ack дубля; + // восстановление делает sweeper после истечения lease. + d, _ := handle(e.worker(time.Second), msg) + expect(t, d == worker.Ack && e.state(a).Variants == 0, "redelivery during lease: %+v", e.state(a)) + time.Sleep(1100 * time.Millisecond) + n, err := e.repo.SweepExpiredLeases(e.ctx) + expect(t, err == nil && n == 1, "sweep %d %v", n, err) + msgs := e.relay(nil) + expect(t, len(msgs) == 1, "requeued message: %d", len(msgs)) + d, _ = handle(e.worker(time.Second), msgs[0]) + s = e.state(a) + expect(t, d == worker.Ack && s.Status == "ready" && s.Attempt == 2 && s.Variants == 3, "after recovery: %+v", s) + // Повтор перезаписал те же ключи, не создал новых объектов. + keys := 0 + for k := range e.store.puts { + if strings.HasPrefix(k, "v/") { + keys++ + } + } + expect(t, keys == 3, "variant object keys: %d (must stay 3)", keys) + e.checkInvariants(a) + expect(t, strings.Contains(e.events(a), "lease_expired_requeued"), "events: %s", e.events(a)) +} + +func TestPipelineCrashAfterCommitBeforeAck(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(100, 100, 4)) + msg := e.relay(nil)[0] + _, crashed := handle(e.worker(5*time.Second, "worker.after_commit"), msg) + expect(t, crashed && e.state(a).Status == "ready", "commit before crash: %+v", e.state(a)) + puts := len(e.store.puts) + d, _ := handle(e.worker(5*time.Second), msg) // broker доставляет снова + expect(t, d == worker.Ack && len(e.store.puts) == puts && e.state(a).Attempt == 1, "redelivery after commit must be no-op") + e.checkInvariants(a) +} + +func TestPipelineRelayCrashAfterPublishDuplicates(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(80, 60, 5)) + var first [][]byte + func() { + defer func() { _ = recover() }() + first = e.relay(func() { panic(crash{137}) }) // confirm получен, COMMIT нет + }() + again := e.relay(nil) // outbox не помечен → публикуется ещё раз + expect(t, len(again) == 1, "message must be republished after relay crash") + w := e.worker(5 * time.Second) + handle(w, again[0]) + handle(w, again[0]) // и ещё дубль + s := e.state(a) + expect(t, s.Status == "ready" && s.Attempt == 1 && s.Variants == 3, "duplicate publish: %+v", s) + e.checkInvariants(a) + _ = first +} + +func TestPipelineVersionReorderAndStaleJob(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(320, 200, 6)) + v1msg := e.relay(nil)[0] + + // Reorder: v2 поставлена и обработана РАНЬШЕ, чем дошла v1. + _, err := e.repo.Reprocess(e.ctx, a.ID, 2, 3) + expect(t, err == nil, "reprocess: %v", err) + v2msg := e.relay(nil)[0] + handle(e.worker(5*time.Second), v2msg) + s := e.state(a) + expect(t, s.Status == "ready" && s.Version == 2, "v2 published: %+v", s) + thumbV2 := e.scalar(`SELECT sha256 FROM attachment_variants WHERE attachment_id=$1 AND pipeline_version=2 AND name='thumbnail'`, a.ID) + + // Устаревшая v1 приходит позже: не должна перезаписать v2. + d, _ := handle(e.worker(5*time.Second), v1msg) + s = e.state(a) + expect(t, d == worker.Ack && s.Version == 2, "stale v1 overwrote v2: %+v", s) + expect(t, e.scalar(`SELECT count(*) FROM attachment_variants WHERE attachment_id=$1 AND pipeline_version=1`, a.ID) == "0", + "stale v1 must be a no-op when v2 is already published") + e.checkInvariants(a) + + // Гонка: v1 УЖЕ обрабатывалась (lease), v3 успела опубликоваться, v1 фиксируется позже. + b := e.upload(pngBytes(200, 100, 7)) + b1 := e.relay(nil)[0] + jobV1 := e.scalar(`SELECT job_id::text FROM jobs WHERE attachment_id=$1 AND pipeline_version=1`, b.ID) + out, j1, _, _ := e.repo.Claim(e.ctx, jobV1, "slow", time.Minute) + expect(t, out == postgres.Claimed, "claim v1") + _, _ = e.repo.Reprocess(e.ctx, b.ID, 3, 3) + handle(e.worker(5*time.Second), e.relay(nil)[0]) + expect(t, e.state(b).Version == 3, "v3 published") + res, err := e.repo.Complete(e.ctx, jobV1, "slow", j1.Attempt, "o/"+e.chat+"/"+b.ID, []domain.Variant{ + {Name: "thumbnail", ContentType: "image/jpeg", SizeBytes: 1, Width: 1, Height: 1, SHA256: strings.Repeat("a", 64), ObjectKey: "v/x/p1/thumbnail.jpg"}}) + expect(t, err == nil && res.Applied && !res.Published && res.NewerPublished == 3, "late v1 commit: %+v %v", res, err) + expect(t, e.state(b).Version == 3, "late v1 commit downgraded version") + _ = b1 + expect(t, e.scalar(`SELECT sha256 FROM attachment_variants WHERE attachment_id=$1 AND pipeline_version=2 AND name='thumbnail'`, a.ID) == thumbV2, + "v2 result changed") +} + +func TestPipelineLostLeaseFencing(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(90, 90, 8)) + jobID := e.scalar(`SELECT job_id::text FROM jobs WHERE attachment_id=$1`, a.ID) + e.relay(nil) + _, ja, _, _ := e.repo.Claim(e.ctx, jobID, "A", 300*time.Millisecond) // A «завис» + time.Sleep(400 * time.Millisecond) + _, _ = e.repo.SweepExpiredLeases(e.ctx) + handle(e.worker(5*time.Second), e.relay(nil)[0]) // B завершает попытку 2 + expect(t, e.state(a).Status == "ready" && e.state(a).Attempt == 2, "B finished: %+v", e.state(a)) + res, err := e.repo.Complete(e.ctx, jobID, "A", ja.Attempt, "o/zz", nil) // A «проснулся» + expect(t, err == nil && res.LostLease, "zombie A must be fenced: %+v %v", res, err) + e.checkInvariants(a) +} + +func TestPipelineTransientRetryWithBackoff(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(120, 80, 9)) + msg := e.relay(nil)[0] + e.store.failPut = 1 + d, _ := handle(e.worker(5*time.Second), msg) + s := e.state(a) + expect(t, d == worker.Ack && s.Status == "queued" && s.JobState == "queued", "retry scheduled: %+v", s) + expect(t, len(e.relay(nil)) == 0, "retry must wait for backoff") + d, _ = handle(e.worker(5*time.Second), msg) // ранняя повторная доставка + expect(t, d == worker.Ack && e.state(a).Attempt == 1, "early delivery must not run: %+v", e.state(a)) + time.Sleep(500 * time.Millisecond) + msgs := e.relay(nil) + var job domain.Job + expect(t, len(msgs) == 1 && json.Unmarshal(msgs[0], &job) == nil && job.Attempt == 2, "retry message attempt 2: %s", msgs) + handle(e.worker(5*time.Second), msgs[0]) + expect(t, e.state(a).Status == "ready" && e.state(a).Attempt == 2, "after retry: %+v", e.state(a)) + e.checkInvariants(a) +} + +func TestPipelinePermanentFailureAndReplay(t *testing.T) { + e := setup(t) + good := pngBytes(50, 40, 10) + a := e.upload(good) + // Порча staging-объекта: checksum не совпадёт → постоянная ошибка, без повторов. + key := "s/" + e.chat + "/" + a.ID + _ = e.store.Put(e.ctx, key, bytes.NewReader([]byte("garbage")), 7, "image/png") + handle(e.worker(5*time.Second), e.relay(nil)[0]) + s := e.state(a) + expect(t, s.Status == "failed" && s.ErrorCode == "checksum_mismatch" && s.Attempt == 1, "permanent: %+v", s) + + // Replay успешной работы запрещён; failed — разрешён (с аудитом). + _, err := e.repo.Replay(e.ctx, a.ID, 1, "tester") + expect(t, err == nil, "replay failed job: %v", err) + _ = e.store.Put(e.ctx, key, bytes.NewReader(good), int64(len(good)), "image/png") // исходник восстановлен + handle(e.worker(5*time.Second), e.relay(nil)[0]) + expect(t, e.state(a).Status == "ready", "after replay: %+v", e.state(a)) + _, err = e.repo.Replay(e.ctx, a.ID, 1, "tester") + expect(t, err != nil, "replay of done job must be refused") + expect(t, strings.Contains(e.events(a), "replay,") && strings.Contains(e.events(a), "replay_refused"), "audit: %s", e.events(a)) + e.checkInvariants(a) +} + +func TestPipelineRetryExhausted(t *testing.T) { + e := setup(t) + a := e.upload(pngBytes(30, 30, 11)) + e.store.failPut = 100 + msg := e.relay(nil)[0] + for i := 0; i < 3; i++ { + handle(e.worker(5*time.Second), msg) + time.Sleep(450 * time.Millisecond) + if m := e.relay(nil); len(m) > 0 { + msg = m[0] + } + } + s := e.state(a) + expect(t, s.Status == "failed" && s.ErrorCode == "retry_exhausted" && s.Attempt == 3, "exhausted: %+v", s) + jobs, _ := e.repo.FailedJobs(e.ctx, 10) + expect(t, len(jobs) == 1, "failed registry: %d", len(jobs)) +} diff --git a/internal/worker/trace_integration_test.go b/internal/worker/trace_integration_test.go new file mode 100644 index 0000000..2a72a81 --- /dev/null +++ b/internal/worker/trace_integration_test.go @@ -0,0 +1,136 @@ +package worker_test + +// Перенос W3C trace context через outbox (lab6) на настоящем PostgreSQL: +// upload span → outbox.trace_context → (relay) → consumer span → retry-сообщение +// несёт контекст попытки; сообщение от sweeper (без span) — контекст исходного +// upload из jobs.trace_context. Плюс метрики worker по исходам. + +import ( + "bytes" + "context" + "crypto/sha256" + "encoding/hex" + "strings" + "testing" + "time" + + "github.com/google/uuid" + "go.opentelemetry.io/otel" + "go.opentelemetry.io/otel/attribute" + "go.opentelemetry.io/otel/propagation" + sdkmetric "go.opentelemetry.io/otel/sdk/metric" + "go.opentelemetry.io/otel/sdk/metric/metricdata" + sdktrace "go.opentelemetry.io/otel/sdk/trace" + "go.opentelemetry.io/otel/trace" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" + "github.com/charawein/mtusi2026lab7/internal/telemetry" +) + +func traceparent(m map[string]string) (traceID, spanID string) { + parts := strings.Split(m["traceparent"], "-") + if len(parts) != 4 { + return "", "" + } + return parts[1], parts[2] +} + +func TestPipelineTracePropagationThroughOutbox(t *testing.T) { + e := setup(t) + otel.SetTextMapPropagator(propagation.TraceContext{}) + tp := sdktrace.NewTracerProvider(sdktrace.WithSampler(sdktrace.AlwaysSample())) + reader := sdkmetric.NewManualReader() + otel.SetMeterProvider(sdkmetric.NewMeterProvider(sdkmetric.WithReader(reader))) + tr := tp.Tracer("test") + + // 1. Upload в контексте server span. + uctx, upSpan := tr.Start(context.Background(), "POST /api/v1/chats/{chat_id}/attachments", trace.WithSpanKind(trace.SpanKindServer)) + data := pngBytes(120, 80, 3) + id := uuid.NewString() + sum := sha256.Sum256(data) + a := &domain.Attachment{ID: id, ChatID: e.chat, OwnerID: e.owner, Filename: "f.png", + ObjectKey: "s/" + e.chat + "/" + id, CreatedAt: time.Now(), UpdatedAt: time.Now(), + ContentType: "image/png", SizeBytes: int64(len(data)), SHA256: hex.EncodeToString(sum[:])} + if err := e.att.CreateIntent(uctx, a); err != nil { + t.Fatal(err) + } + _ = e.store.Put(uctx, a.ObjectKey, bytes.NewReader(data), int64(len(data)), "image/png") + if _, err := e.att.MarkQueued(uctx, a, 1, 3); err != nil { + t.Fatal(err) + } + upSpan.End() + upTrace, upSpanID := upSpan.SpanContext().TraceID().String(), upSpan.SpanContext().SpanID().String() + + publish := func() []postgres.OutboxMessage { + var got []postgres.OutboxMessage + if _, err := e.repo.PublishDue(context.Background(), 10, func(_ context.Context, m postgres.OutboxMessage) error { + got = append(got, m) + return nil + }, nil); err != nil { + t.Fatal(err) + } + return got + } + msgs := publish() + expect(t, len(msgs) == 1, "outbox: %d", len(msgs)) + tid, sid := traceparent(msgs[0].Trace) + expect(t, tid == upTrace && sid == upSpanID, "outbox must carry upload span: %v (want %s/%s)", msgs[0].Trace, upTrace, upSpanID) + + // 2. Consumer span из контекста сообщения; первая попытка падает (S3) → retry. + cctx := telemetry.ExtractMap(context.Background(), msgs[0].Trace) + cctx, consumer := tr.Start(cctx, "attachment.process process", trace.WithSpanKind(trace.SpanKindConsumer)) + expect(t, consumer.SpanContext().TraceID().String() == upTrace, "consumer must continue upload trace") + e.store.failPut = 1 + w := e.worker(5 * time.Second) + if d := w.Handle(cctx, msgs[0].Payload); d.String() != "ack" { + t.Fatalf("decision %v", d) + } + consumer.End() + time.Sleep(500 * time.Millisecond) // backoff (RetryBase 200 ms) + retry := publish() + expect(t, len(retry) == 1, "retry message: %d", len(retry)) + tid, sid = traceparent(retry[0].Trace) + expect(t, tid == upTrace && sid == consumer.SpanContext().SpanID().String(), + "retry message must be a child of the failed attempt: %v", retry[0].Trace) + + // 3. Вторая попытка успешна. + c2 := telemetry.ExtractMap(context.Background(), retry[0].Trace) + c2, consumer2 := tr.Start(c2, "attachment.process process", trace.WithSpanKind(trace.SpanKindConsumer)) + w.Handle(c2, retry[0].Payload) + consumer2.End() + expect(t, e.state(a).Status == "ready", "state %+v", e.state(a)) + + // 4. Сообщение без активного span (sweeper/replay) берёт контекст upload из jobs. + var jobTrace map[string]string + if err := e.pool.QueryRow(e.ctx, `SELECT trace_context FROM jobs WHERE attachment_id = $1`, a.ID).Scan(&jobTrace); err != nil { + t.Fatal(err) + } + tid, sid = traceparent(jobTrace) + expect(t, tid == upTrace && sid == upSpanID, "jobs.trace_context: %v", jobTrace) + + // 5. Метрики worker: retry и done, время до ready записано. + var rm metricdata.ResourceMetrics + if err := reader.Collect(context.Background(), &rm); err != nil { + t.Fatal(err) + } + outcomes := map[string]int64{} + var ttr uint64 + for _, sm := range rm.ScopeMetrics { + for _, m := range sm.Metrics { + switch m.Name { + case "messenger.jobs.processed": + for _, dp := range m.Data.(metricdata.Sum[int64]).DataPoints { + v, _ := dp.Attributes.Value(attribute.Key("outcome")) + outcomes[v.AsString()] += dp.Value + } + case "messenger.attachment.time_to_ready": + for _, dp := range m.Data.(metricdata.Histogram[float64]).DataPoints { + ttr += dp.Count + } + } + } + } + expect(t, outcomes["retry"] == 1 && outcomes["done"] == 1, "outcomes %v", outcomes) + expect(t, ttr == 1, "time_to_ready count %d", ttr) +} diff --git a/internal/worker/worker.go b/internal/worker/worker.go new file mode 100644 index 0000000..39d92f6 --- /dev/null +++ b/internal/worker/worker.go @@ -0,0 +1,431 @@ +// Package worker обрабатывает задания attachment.process.v1. +// +// Порядок обработки одного сообщения (at-least-once): +// +// 1. Claim: lease в PostgreSQL (fencing: owner + attempt). Дубль при живом lease, +// уже опубликованный результат, ранняя доставка до backoff → ack без работы. +// 2. Чтение оригинала из S3 по ключу из БД (не из сообщения), сверка SHA-256. +// 3. Варианты → PUT по детерминированным ключам v/{chat}/{id}/p{ver}/{name} +// (повтор перезаписывает те же байты), оригинал staging → o/ (CopyObject). +// 4. Complete: одна транзакция — варианты (ON CONFLICT по ключу эффекта), +// attachment → ready этой версии (только если новее опубликованной), job → done. +// 5. ack. Затем удаление staging (результат уже безопасно зафиксирован). +// +// Падение на любом шаге до ack приводит к повторной доставке; повтор либо +// доделывает тот же эффект (шаги 2–4 идемпотентны), либо видит done и ack-ает. +package worker + +import ( + "bytes" + "context" + "encoding/json" + "errors" + "fmt" + "image" + "io" + "log/slog" + "math/rand/v2" + "os" + "path/filepath" + "strings" + "time" + + "go.opentelemetry.io/otel/attribute" + "go.opentelemetry.io/otel/codes" + "go.opentelemetry.io/otel/metric" + "go.opentelemetry.io/otel/trace" + "golang.org/x/sync/semaphore" + + "github.com/charawein/mtusi2026lab7/internal/domain" + "github.com/charawein/mtusi2026lab7/internal/imaging" + "github.com/charawein/mtusi2026lab7/internal/repository/postgres" + "github.com/charawein/mtusi2026lab7/internal/storage" + "github.com/charawein/mtusi2026lab7/internal/telemetry" +) + +// Jobs — операции над заданиями (реализует postgres.PipelineRepository). +type Jobs interface { + Claim(ctx context.Context, jobID, owner string, lease time.Duration) (postgres.ClaimOutcome, *postgres.JobRow, *domain.Attachment, error) + ExtendLease(ctx context.Context, jobID, owner string, attempt int, lease time.Duration) (bool, error) + Complete(ctx context.Context, jobID, owner string, attempt int, finalKey string, variants []domain.Variant) (postgres.CompleteResult, error) + RetryOrFail(ctx context.Context, jobID, owner string, attempt int, code, detail string, permanent bool, backoff time.Duration) (bool, error) + ClearStaging(ctx context.Context, attachmentID, key string) error +} + +type Config struct { + Owner string + Lease time.Duration // = JOB_TIMEOUT: дольше работа не может идти без продления + JobTimeout time.Duration + MaxBytes int64 + MaxPixels int64 + PixelBudget int64 // суммарно декодируемых пикселей на процесс (ограничение памяти) + WebPQuality int + RetryBase time.Duration + RetryMax time.Duration + FaultPoints map[string]bool + FaultDir string + DeleteStaging bool + // ClaimRetryDelay — пауза перед возвратом сообщения в очередь, если claim не удался + // (БД недоступна, пароль роли ротирован). Без неё redelivery идёт ~раз в секунду и + // quorum-очередь (x-delivery-limit=10) уводит сообщение в DLQ за ~10 s сбоя. + ClaimRetryDelay time.Duration + // OnClaimError — реакция платформы на ошибку БД (внеочередное чтение секрета при + // отказе аутентификации); nil — нет. + OnClaimError func(ctx context.Context, err error) +} + +type Worker struct { + jobs Jobs + store storage.Store + webp imaging.WebPEncoder + cfg Config + pixels *semaphore.Weighted + exit func(int) + m instruments +} + +// instruments — метрики worker (контракт наблюдаемости, уровни 3–4). +type instruments struct { + processed metric.Int64Counter // messenger.jobs.processed{job.type, outcome} + duration metric.Float64Histogram // messenger.job.duration{job.type, outcome}, s + timeToReady metric.Float64Histogram // messenger.attachment.time_to_ready{job.type}, s + busy metric.Int64UpDownCounter // messenger.worker.busy — занятые слоты +} + +func newInstruments() instruments { + m := telemetry.Meter() + var in instruments + in.processed, _ = m.Int64Counter("messenger.jobs.processed", metric.WithUnit("{job}"), + metric.WithDescription("Deliveries handled by worker, by outcome")) + in.duration, _ = m.Float64Histogram("messenger.job.duration", metric.WithUnit("s"), + metric.WithDescription("Processing time of a claimed job attempt")) + in.timeToReady, _ = m.Float64Histogram("messenger.attachment.time_to_ready", metric.WithUnit("s"), + metric.WithDescription("From durable acceptance (202, job created) to published ready")) + in.busy, _ = m.Int64UpDownCounter("messenger.worker.busy", metric.WithUnit("{job}"), + metric.WithDescription("Jobs being processed now (saturation = busy / capacity)")) + return in +} + +func New(jobs Jobs, store storage.Store, webp imaging.WebPEncoder, cfg Config) *Worker { + return &Worker{jobs: jobs, store: store, webp: webp, cfg: cfg, + pixels: semaphore.NewWeighted(cfg.PixelBudget), exit: os.Exit, m: newInstruments()} +} + +// Decision — что сделать с доставкой. +type Decision int + +const ( + Ack Decision = iota + Requeue // nack с возвратом в очередь (инфраструктура недоступна) + Reject // nack без возврата → DLX (невалидное сообщение) +) + +func (d Decision) String() string { return [...]string{"ack", "requeue", "reject"}[d] } + +// permanentError — повтор не поможет (битое изображение, нет исходника, checksum). +type permanentError struct { + code string + err error +} + +func (e *permanentError) Error() string { return e.code + ": " + e.err.Error() } + +func permanent(code string, err error) error { return &permanentError{code: code, err: err} } + +// Fault — точка внедрения сбоя (трек 5): процесс завершается как при kill -9 +// ровно один раз на контейнер: маркер в FaultDir (volume — переживает перезапуск +// контейнера, tmpfs и read-only rootfs lab7 — нет) с hostname, т.е. ID контейнера: +// после restart сбоя нет, пересозданный контейнер снова падает один раз. +func Fault(points map[string]bool, dir, point string, exit func(int)) { + if !points[point] { + return + } + host, _ := os.Hostname() + marker := filepath.Join(dir, "fault-"+point+"-"+host) + if _, err := os.Stat(marker); err == nil { + return + } + _ = os.WriteFile(marker, []byte(time.Now().UTC().Format(time.RFC3339)), 0o644) + slog.Warn("FAULT INJECTION: crashing", "point", point) + exit(137) +} + +func (w *Worker) fault(point string) { Fault(w.cfg.FaultPoints, w.cfg.FaultDir, point, w.exit) } + +// Backoff — экспоненциальная задержка с полным jitter в [d/2, d]. +func Backoff(attempt int, base, maxDelay time.Duration) time.Duration { + d := base << min(attempt-1, 20) + if d <= 0 || d > maxDelay { + d = maxDelay + } + half := d / 2 + return half + time.Duration(rand.Int64N(int64(half)+1)) +} + +// Handle обрабатывает одну доставку. ctx несёт consumer span (если он есть): +// исход, попытка и ошибка записываются в span, метрики и структурные логи. +func (w *Worker) Handle(ctx context.Context, body []byte) Decision { + start := time.Now() + span := trace.SpanFromContext(ctx) + outcome, claimed := "", false + defer func() { + attrs := metric.WithAttributes(attribute.String("job.type", domain.JobType), attribute.String("outcome", outcome)) + w.m.processed.Add(ctx, 1, attrs) + if claimed { + w.m.duration.Record(ctx, time.Since(start).Seconds(), attrs) + } + span.SetAttributes(attribute.String("messenger.job.outcome", outcome)) + if outcome == "failed" || outcome == "retry" || outcome == "requeue" { + span.SetStatus(codes.Error, outcome) + } + }() + + var job domain.Job + if err := json.Unmarshal(body, &job); err != nil || job.SchemaVersion != 1 || job.Type != domain.JobType || + job.JobID == "" || job.AttachmentID == "" || job.PipelineVersion < 1 { + slog.ErrorContext(ctx, "invalid job message, dead-lettering", "event", "job.rejected", "err", err) + outcome = "rejected" + return Reject + } + span.SetAttributes(attribute.String("messenger.job.id", job.JobID), + attribute.Int("messenger.pipeline.version", job.PipelineVersion)) + log := slog.With("job_id", job.JobID, "attachment_id", job.AttachmentID, "version", job.PipelineVersion) + + claim, j, a, err := w.jobs.Claim(ctx, job.JobID, w.cfg.Owner, w.cfg.Lease) + if err != nil { + log.WarnContext(ctx, "claim failed, requeue", "event", "job.claim_failed", "err", err) + outcome = "requeue" + if w.cfg.OnClaimError != nil { + w.cfg.OnClaimError(ctx, err) + } + if w.cfg.ClaimRetryDelay > 0 { + select { + case <-ctx.Done(): + case <-time.After(w.cfg.ClaimRetryDelay): + } + } + return Requeue + } + switch claim { + case postgres.AlreadyDone: + log.InfoContext(ctx, "duplicate delivery of finished job: ack without work", "event", "job.duplicate") + outcome = "duplicate" + return Ack + case postgres.Busy: + log.InfoContext(ctx, "job leased by another worker: ack duplicate", "event", "job.duplicate", "owner", j.LeaseOwner) + outcome = "duplicate" + return Ack + case postgres.NotDue: + log.InfoContext(ctx, "early delivery before backoff: ack, outbox will redeliver", "event", "job.not_due") + outcome = "not_due" + return Ack + case postgres.Terminal, postgres.ExhaustedNow: + log.InfoContext(ctx, "job terminal: ack", "event", "job.terminal", "state", stateOf(j)) + outcome = "terminal" + return Ack + } + claimed = true + span.SetAttributes(attribute.Int("messenger.job.attempt", j.Attempt)) + w.m.busy.Add(ctx, 1) + defer w.m.busy.Add(ctx, -1) + log.InfoContext(ctx, "job claimed", "event", "job.claimed", "attempt", j.Attempt) + + // Heartbeat: продлеваем lease, пока работаем; потеря lease прерывает работу. + pctx, cancel := context.WithTimeout(ctx, w.cfg.JobTimeout) + defer cancel() + hbDone := make(chan struct{}) + go func() { + defer close(hbDone) + t := time.NewTicker(w.cfg.Lease / 3) + defer t.Stop() + for { + select { + case <-pctx.Done(): + return + case <-t.C: + ok, err := w.jobs.ExtendLease(context.WithoutCancel(pctx), j.JobID, w.cfg.Owner, j.Attempt, w.cfg.Lease) + if err == nil && !ok { + log.WarnContext(ctx, "lease lost, aborting attempt", "event", "job.lease_lost", "attempt", j.Attempt) + cancel() + return + } + } + } + }() + + finalKey, variants, perr := w.process(pctx, a, j.PipelineVersion) + cancel() + <-hbDone + + dctx, dcancel := context.WithTimeout(context.WithoutCancel(ctx), 15*time.Second) + defer dcancel() + if perr != nil { + var pe *permanentError + code, isPermanent := "processing_failed", false + if errors.As(perr, &pe) { + code, isPermanent = pe.code, true + } else if errors.Is(perr, context.DeadlineExceeded) { + code = "timeout" + } + backoff := Backoff(j.Attempt, w.cfg.RetryBase, w.cfg.RetryMax) + failed, err := w.jobs.RetryOrFail(dctx, j.JobID, w.cfg.Owner, j.Attempt, code, safeDetail(perr), isPermanent, backoff) + if err != nil { + // Записать исход не удалось: lease истечёт, sweeper вернёт работу в очередь. + log.WarnContext(ctx, "record failure failed; lease expiry will recover", "event", "job.record_failed", "err", err) + outcome = "requeue" + return Requeue + } + span.RecordError(perr) + outcome = "retry" + if failed { + outcome = "failed" + } + log.WarnContext(ctx, "attempt failed", "event", "job."+outcome, "attempt", j.Attempt, "code", code, "final", failed, "backoff", backoff) + return Ack + } + + w.fault("worker.after_side_effect") // объекты записаны, результат ещё не зафиксирован + + res, err := w.jobs.Complete(dctx, j.JobID, w.cfg.Owner, j.Attempt, finalKey, variants) + if err != nil { + log.WarnContext(ctx, "complete failed; requeue", "event", "job.complete_failed", "err", err) + outcome = "requeue" + return Requeue + } + if res.LostLease { + log.WarnContext(ctx, "result rejected: lease lost (another attempt owns the job)", "event", "job.lost_lease", "attempt", j.Attempt) + outcome = "lost_lease" + return Ack + } + + w.fault("worker.after_commit") // результат зафиксирован, ack ещё не отправлен + + if res.Published && w.cfg.DeleteStaging && a.StagingKey != "" && a.StagingKey != finalKey { + // Staging больше не нужен: оригинал опубликован в o/ и зафиксирован. + if err := w.store.Delete(dctx, a.StagingKey); err == nil { + _ = w.jobs.ClearStaging(dctx, a.ID, a.StagingKey) + } + } + outcome = "done" + if res.Published && !j.CreatedAt.IsZero() { + w.m.timeToReady.Record(ctx, time.Since(j.CreatedAt).Seconds(), + metric.WithAttributes(attribute.String("job.type", domain.JobType))) + } + log.InfoContext(ctx, "job done", "event", "job.done", "attempt", j.Attempt, "published", res.Published, "newer_version", res.NewerPublished) + return Ack +} + +func stateOf(j *postgres.JobRow) string { + if j == nil { + return "missing" + } + return j.State +} + +func safeDetail(err error) string { + s := err.Error() + if len(s) > 300 { + s = s[:300] + } + return s +} + +func ext(ctype string) string { + switch ctype { + case "image/webp": + return "webp" + case "image/png": + return "png" + } + return "jpg" +} + +// process — шаги 2–3: чтение, проверка, варианты, публикация оригинала. +func (w *Worker) process(ctx context.Context, a *domain.Attachment, version int) (string, []domain.Variant, error) { + rc, size, err := w.store.Get(ctx, a.ObjectKey) + if errors.Is(err, storage.ErrNotFound) { + return "", nil, permanent("source_missing", err) + } + if err != nil { + return "", nil, err + } + if size > w.cfg.MaxBytes { + rc.Close() + return "", nil, permanent("too_large", fmt.Errorf("source %d bytes", size)) + } + data, err := io.ReadAll(io.LimitReader(rc, w.cfg.MaxBytes+1)) + rc.Close() + if err != nil { + return "", nil, err + } + if sum := imaging.SHA256Hex(data); sum != a.SHA256 { + return "", nil, permanent("checksum_mismatch", fmt.Errorf("source sha256 %s != metadata", sum[:12])) + } + cfg, _, err := image.DecodeConfig(bytes.NewReader(data)) + if err != nil { + return "", nil, permanent("invalid_image", err) + } + px := int64(cfg.Width) * int64(cfg.Height) + if px > w.cfg.MaxPixels { + return "", nil, permanent("too_large", fmt.Errorf("%d pixels", px)) + } + // Ограничение памяти: суммарно декодируемых пикселей в процессе ≤ бюджета + // (RGBA = 4 байта/пиксель; ресайз добавляет меньшие буферы). + weight := min(px, w.cfg.PixelBudget) + if err := w.pixels.Acquire(ctx, weight); err != nil { + return "", nil, err + } + defer w.pixels.Release(weight) + + _, dspan := telemetry.Tracer().Start(ctx, "image.decode", trace.WithAttributes(attribute.Int64("image.pixels", px))) + img, err := imaging.Decode(data) + dspan.End() + if err != nil { + return "", nil, permanent("invalid_image", err) + } + p := imaging.ParamsFor(version, w.cfg.WebPQuality) + outs := make([]imaging.Output, 0, 3) + vctx, vspan := telemetry.Tracer().Start(ctx, "image.variants") + defer vspan.End() + th, err := imaging.Thumbnail(img, p) + if err != nil { + return "", nil, err + } + cr, err := imaging.Crop(img, p) + if err != nil { + return "", nil, err + } + op, err := imaging.Optimized(vctx, img, p, w.webp) + if err != nil { + return "", nil, err + } + outs = append(outs, th, cr, op) + img = nil + vspan.End() + + base := fmt.Sprintf("v/%s/%s/p%d/", a.ChatID, a.ID, version) + variants := make([]domain.Variant, 0, len(outs)) + for _, o := range outs { + key := base + o.Name + "." + ext(o.ContentType) + if err := w.store.Put(ctx, key, bytes.NewReader(o.Data), int64(len(o.Data)), o.ContentType); err != nil { + return "", nil, err + } + variants = append(variants, domain.Variant{Name: o.Name, ContentType: o.ContentType, SizeBytes: int64(len(o.Data)), + Width: o.Width, Height: o.Height, SHA256: o.SHA256, ObjectKey: key, PipelineVersion: version}) + } + // Оригинал: из staging в конечный prefix (серверная копия, байты неизменны). + finalKey := a.ObjectKey + if strings.HasPrefix(a.ObjectKey, "s/") { + finalKey = "o/" + strings.TrimPrefix(a.ObjectKey, "s/") + if err := w.store.Copy(ctx, a.ObjectKey, finalKey); err != nil { + if errors.Is(err, storage.ErrNotFound) { + return "", nil, permanent("source_missing", err) + } + return "", nil, err + } + } + return finalKey, variants, nil +} + +// SetExit подменяет завершение процесса (тесты внедрения сбоев). +func SetExit(w *Worker, exit func(int)) { w.exit = exit } diff --git a/migrations/0001_init.down.sql b/migrations/0001_init.down.sql new file mode 100644 index 0000000..99dada2 --- /dev/null +++ b/migrations/0001_init.down.sql @@ -0,0 +1,6 @@ +-- Откат миграции 0001 +DROP TABLE IF EXISTS sessions; +DROP TABLE IF EXISTS messages; +DROP TABLE IF EXISTS chat_members; +DROP TABLE IF EXISTS chats; +DROP TABLE IF EXISTS users; \ No newline at end of file diff --git a/migrations/0001_init.up.sql b/migrations/0001_init.up.sql new file mode 100644 index 0000000..9875ce6 --- /dev/null +++ b/migrations/0001_init.up.sql @@ -0,0 +1,50 @@ +-- migrations/0001_init.sql + +-- Пользователи +CREATE TABLE users ( + id UUID PRIMARY KEY, + username TEXT NOT NULL UNIQUE, + display_name TEXT NOT NULL, + password_hash TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL DEFAULT now() +); + +-- Чаты +CREATE TABLE chats ( + id UUID PRIMARY KEY, + title TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL DEFAULT now() +); + +-- Членство +CREATE TABLE chat_members ( + chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, + PRIMARY KEY (chat_id, user_id) +); + +CREATE INDEX chat_members_user_idx ON chat_members(user_id); + +-- Сообщения +CREATE TABLE messages ( + id UUID PRIMARY KEY, + chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + sender_id UUID NOT NULL REFERENCES users(id), + text TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL DEFAULT now() +); + +-- Главный индекс для пагинации +CREATE INDEX messages_chat_created_id_idx + ON messages (chat_id, created_at, id); + +-- Сессии (если SESSION_STORE=postgres) +CREATE TABLE sessions ( + token TEXT PRIMARY KEY, + user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, + expires_at TIMESTAMPTZ NOT NULL, + created_at TIMESTAMPTZ NOT NULL DEFAULT now() +); + +CREATE INDEX sessions_expires_idx ON sessions(expires_at); +CREATE INDEX sessions_user_idx ON sessions(user_id); \ No newline at end of file diff --git a/migrations/0002_idempotency.down.sql b/migrations/0002_idempotency.down.sql new file mode 100644 index 0000000..1cf0d86 --- /dev/null +++ b/migrations/0002_idempotency.down.sql @@ -0,0 +1 @@ +DROP TABLE IF EXISTS idempotency_keys; diff --git a/migrations/0002_idempotency.up.sql b/migrations/0002_idempotency.up.sql new file mode 100644 index 0000000..767c263 --- /dev/null +++ b/migrations/0002_idempotency.up.sql @@ -0,0 +1,18 @@ +-- migrations/0002_idempotency.sql + +-- Ключи идемпотентности отправки сообщения (lab3). +-- Область уникальности: пользователь + метод + путь чата + ключ. +-- Метод всегда POST, путь однозначно задаётся chat_id, поэтому храним chat_id. +-- Запись создаётся в одной транзакции с сообщением: либо есть обе, либо ни одной. +CREATE TABLE idempotency_keys ( + user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE, + chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + key TEXT NOT NULL, + request_hash TEXT NOT NULL, + message_id UUID NOT NULL REFERENCES messages(id) ON DELETE CASCADE, + created_at TIMESTAMPTZ NOT NULL DEFAULT now(), + PRIMARY KEY (user_id, chat_id, key) +); + +-- Для периодической очистки ключей старше IDEMPOTENCY_TTL_SECONDS. +CREATE INDEX idempotency_keys_created_idx ON idempotency_keys(created_at); diff --git a/migrations/0003_chat_version.down.sql b/migrations/0003_chat_version.down.sql new file mode 100644 index 0000000..717de47 --- /dev/null +++ b/migrations/0003_chat_version.down.sql @@ -0,0 +1 @@ +ALTER TABLE chats DROP COLUMN IF EXISTS version; diff --git a/migrations/0003_chat_version.up.sql b/migrations/0003_chat_version.up.sql new file mode 100644 index 0000000..6c2975a --- /dev/null +++ b/migrations/0003_chat_version.up.sql @@ -0,0 +1,7 @@ +-- migrations/0003_chat_version.sql + +-- Версия истории чата: увеличивается в той же транзакции, что и вставка сообщения. +-- Входит в ключ кэша истории, поэтому видимость подтверждённой записи не зависит +-- от доступности Redis. Только добавление столбца с DEFAULT — совместимо с +-- работающей предыдущей версией API (expand). +ALTER TABLE chats ADD COLUMN version BIGINT NOT NULL DEFAULT 0; diff --git a/migrations/0004_attachments.down.sql b/migrations/0004_attachments.down.sql new file mode 100644 index 0000000..cf250cd --- /dev/null +++ b/migrations/0004_attachments.down.sql @@ -0,0 +1,2 @@ +DROP TABLE IF EXISTS message_attachments; +DROP TABLE IF EXISTS attachments; diff --git a/migrations/0004_attachments.up.sql b/migrations/0004_attachments.up.sql new file mode 100644 index 0000000..88cd096 --- /dev/null +++ b/migrations/0004_attachments.up.sql @@ -0,0 +1,42 @@ +-- migrations/0004_attachments.sql + +-- Метаданные вложений. Байты — только в приватном S3-bucket по object_key, +-- который назначает сервер (filename используется только для отображения). +-- +-- Жизненный цикл строки: +-- uploading — намерение записано ДО PUT в S3; так у каждого объекта, который +-- мог появиться в bucket, есть учётная запись. Брошенные намерения +-- старше grace period убирает reconciler (cmd/reconcile); +-- ready — объект записан и проверен, метаданные заполнены; только такие +-- вложения видны через API и прикрепляются к сообщениям; +-- missing — reconciler не нашёл объект в S3 (карантин, API отвечает 503). +CREATE TABLE attachments ( + id UUID PRIMARY KEY, + chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + owner_id UUID NOT NULL REFERENCES users(id), + filename TEXT NOT NULL, + object_key TEXT NOT NULL UNIQUE, + status TEXT NOT NULL CHECK (status IN ('uploading', 'ready', 'missing')), + content_type TEXT CHECK (content_type IN ('image/png', 'image/jpeg')), + size_bytes BIGINT CHECK (size_bytes > 0), + sha256 TEXT CHECK (sha256 ~ '^[a-f0-9]{64}$'), + created_at TIMESTAMPTZ NOT NULL DEFAULT now(), + updated_at TIMESTAMPTZ NOT NULL DEFAULT now(), + CHECK (status = 'uploading' OR (content_type IS NOT NULL AND size_bytes IS NOT NULL AND sha256 IS NOT NULL)) +); + +CREATE INDEX attachments_chat_idx ON attachments(chat_id); +-- Для reconciler: брошенные намерения и карантин по возрасту. +CREATE INDEX attachments_status_updated_idx ON attachments(status, updated_at); +-- Для merge-обхода в порядке ключей S3 (байтовый порядок, как в ListObjectsV2). +CREATE INDEX attachments_object_key_c_idx ON attachments(object_key COLLATE "C"); + +-- Связь сообщения с вложениями; position сохраняет порядок attachment_ids. +CREATE TABLE message_attachments ( + message_id UUID NOT NULL REFERENCES messages(id) ON DELETE CASCADE, + attachment_id UUID NOT NULL REFERENCES attachments(id), + position SMALLINT NOT NULL, + PRIMARY KEY (message_id, attachment_id) +); + +CREATE INDEX message_attachments_attachment_idx ON message_attachments(attachment_id); diff --git a/migrations/0005_pipeline.down.sql b/migrations/0005_pipeline.down.sql new file mode 100644 index 0000000..be09574 --- /dev/null +++ b/migrations/0005_pipeline.down.sql @@ -0,0 +1,10 @@ +DROP TABLE IF EXISTS job_events; +DROP TABLE IF EXISTS outbox; +DROP TABLE IF EXISTS jobs; +DROP TABLE IF EXISTS attachment_variants; +ALTER TABLE attachments DROP COLUMN IF EXISTS staging_key; +ALTER TABLE attachments DROP COLUMN IF EXISTS pipeline_version; +ALTER TABLE attachments DROP COLUMN IF EXISTS error_code; +ALTER TABLE attachments DROP CONSTRAINT attachments_status_check; +ALTER TABLE attachments ADD CONSTRAINT attachments_status_check + CHECK (status IN ('uploading', 'ready', 'missing')); diff --git a/migrations/0005_pipeline.up.sql b/migrations/0005_pipeline.up.sql new file mode 100644 index 0000000..645f042 --- /dev/null +++ b/migrations/0005_pipeline.up.sql @@ -0,0 +1,91 @@ +-- migrations/0005_pipeline.sql — асинхронная обработка вложений (lab5). + +-- Статусы вложения (внешние: queued, processing, ready, failed): +-- uploading — внутреннее намерение до 202 (lab4), клиенту не видно; +-- queued — оригинал в устойчивом staging, задание и outbox записаны; +-- processing — worker держит lease; +-- ready — оригинал опубликован в конечный prefix, все варианты записаны; +-- failed — постоянная ошибка или исчерпаны попытки (error_code); +-- missing — карантин reconciler (lab4). +ALTER TABLE attachments DROP CONSTRAINT attachments_status_check; +ALTER TABLE attachments ADD CONSTRAINT attachments_status_check + CHECK (status IN ('uploading', 'queued', 'processing', 'ready', 'failed', 'missing')); +ALTER TABLE attachments + ADD COLUMN error_code TEXT, + -- Версия pipeline, чей результат опубликован (0 — вариантов ещё нет). + ADD COLUMN pipeline_version INT NOT NULL DEFAULT 0, + -- Ключ staging-объекта, пока он не удалён после безопасной публикации. + ADD COLUMN staging_key TEXT; + +-- Результаты обработки. Ключ эффекта — (attachment_id, pipeline_version, name): +-- повтор job не может создать второй набор вариантов той же версии. +CREATE TABLE attachment_variants ( + attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE CASCADE, + pipeline_version INT NOT NULL CHECK (pipeline_version >= 1), + name TEXT NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')), + object_key TEXT NOT NULL UNIQUE, + content_type TEXT NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')), + size_bytes BIGINT NOT NULL CHECK (size_bytes > 0), + width INT NOT NULL CHECK (width > 0), + height INT NOT NULL CHECK (height > 0), + sha256 TEXT NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'), + created_at TIMESTAMPTZ NOT NULL DEFAULT now(), + PRIMARY KEY (attachment_id, pipeline_version, name) +); + +-- Логическая работа: одна на (вложение, версия pipeline). job_id не меняется +-- при повторной доставке и retry; attempt — номер управляемой попытки. +CREATE TABLE jobs ( + job_id UUID PRIMARY KEY, + attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE CASCADE, + pipeline_version INT NOT NULL CHECK (pipeline_version >= 1), + state TEXT NOT NULL CHECK (state IN ('queued', 'processing', 'done', 'failed')), + attempt INT NOT NULL DEFAULT 0, + max_attempts INT NOT NULL, + next_attempt_at TIMESTAMPTZ NOT NULL DEFAULT now(), + lease_until TIMESTAMPTZ, + lease_owner TEXT, + last_error TEXT, + created_at TIMESTAMPTZ NOT NULL DEFAULT now(), + updated_at TIMESTAMPTZ NOT NULL DEFAULT now(), + UNIQUE (attachment_id, pipeline_version) +); +CREATE INDEX jobs_processing_lease_idx ON jobs (lease_until) WHERE state = 'processing'; +CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE state = 'failed'; + +-- Transactional outbox: сообщение для broker пишется в той же транзакции, что и +-- задание. Relay публикует с publisher confirm и помечает published_at. +CREATE TABLE outbox ( + id BIGSERIAL PRIMARY KEY, + job_id UUID NOT NULL REFERENCES jobs(job_id) ON DELETE CASCADE, + payload JSONB NOT NULL, + available_at TIMESTAMPTZ NOT NULL DEFAULT now(), + published_at TIMESTAMPTZ, + publish_attempts INT NOT NULL DEFAULT 0, + created_at TIMESTAMPTZ NOT NULL DEFAULT now() +); +CREATE INDEX outbox_pending_idx ON outbox (available_at, id) WHERE published_at IS NULL; + +-- Аудит переходов (в том числе операторский replay). +CREATE TABLE job_events ( + id BIGSERIAL PRIMARY KEY, + job_id UUID NOT NULL, + at TIMESTAMPTZ NOT NULL DEFAULT now(), + event TEXT NOT NULL, + detail TEXT +); +CREATE INDEX job_events_job_idx ON job_events (job_id, id); + +-- Вложения lab4 (ready без вариантов) — дозаполнение: задание pipeline v1. +-- Оригинал остаётся доступным (ready); варианты появятся после обработки. +WITH j AS ( + INSERT INTO jobs (job_id, attachment_id, pipeline_version, state, max_attempts) + SELECT gen_random_uuid(), id, 1, 'queued', 5 FROM attachments WHERE status = 'ready' + RETURNING job_id, attachment_id, pipeline_version, created_at +) +INSERT INTO outbox (job_id, payload) +SELECT job_id, jsonb_build_object( + 'schema_version', 1, 'job_id', job_id, 'type', 'attachment.process.v1', + 'attachment_id', attachment_id, 'pipeline_version', pipeline_version, 'attempt', 1, + 'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')) +FROM j; diff --git a/migrations/0006_telemetry.down.sql b/migrations/0006_telemetry.down.sql new file mode 100644 index 0000000..17ea44f --- /dev/null +++ b/migrations/0006_telemetry.down.sql @@ -0,0 +1,3 @@ +DROP INDEX IF EXISTS jobs_open_idx; +ALTER TABLE outbox DROP COLUMN IF EXISTS trace_context; +ALTER TABLE jobs DROP COLUMN IF EXISTS trace_context; diff --git a/migrations/0006_telemetry.up.sql b/migrations/0006_telemetry.up.sql new file mode 100644 index 0000000..fc18e45 --- /dev/null +++ b/migrations/0006_telemetry.up.sql @@ -0,0 +1,11 @@ +-- migrations/0006_telemetry.sql — перенос trace context через outbox (lab6). +-- +-- W3C traceparent/tracestate активного span пишется вместе с сообщением outbox: +-- relay публикует сообщение как дочерний producer span запроса upload, worker — +-- consumer span этого сообщения. jobs.trace_context — контекст исходного upload, +-- используется, когда сообщение создаёт фоновый процесс без своего span +-- (возврат истёкшего lease sweeper-ом). Значения — только идентификаторы трассы. +ALTER TABLE jobs ADD COLUMN trace_context JSONB; +ALTER TABLE outbox ADD COLUMN trace_context JSONB; + +CREATE INDEX jobs_open_idx ON jobs (created_at) WHERE state IN ('queued', 'processing'); diff --git a/migrations/0007_service_roles.down.sql b/migrations/0007_service_roles.down.sql new file mode 100644 index 0000000..d36b108 --- /dev/null +++ b/migrations/0007_service_roles.down.sql @@ -0,0 +1,3 @@ +REVOKE ALL ON ALL TABLES IN SCHEMA public FROM app_api, app_worker, app_relay, app_reconciler; +REVOKE ALL ON ALL SEQUENCES IN SCHEMA public FROM app_api, app_worker, app_relay, app_reconciler; +REVOKE USAGE ON SCHEMA public FROM app_api, app_worker, app_relay, app_reconciler; diff --git a/migrations/0007_service_roles.up.sql b/migrations/0007_service_roles.up.sql new file mode 100644 index 0000000..6f1eebf --- /dev/null +++ b/migrations/0007_service_roles.up.sql @@ -0,0 +1,54 @@ +-- migrations/0007_service_roles.sql — раздельные роли сервисов (lab7, least privilege). +-- +-- Роли создаются NOLOGIN без пароля: LOGIN и пароль выставляет bootstrap оператора +-- (scripts/bootstrap.sh) из значения, которое хранится только в OpenBao. Владелец +-- схемы (messenger) — роль оператора и миграций; приложения ей не пользуются. +-- +-- app_api HTTP API: пользователи, чаты, сообщения, идемпотентность, вложения, +-- постановка job (jobs/outbox/job_events — только INSERT) +-- app_worker обработка job: чтение job/вложения, обновление статусов (только +-- нужные столбцы), запись вариантов, retry (INSERT outbox/job_events); +-- НЕТ доступа к users (hash паролей), chats, messages, idempotency_keys +-- app_relay outbox → broker, возврат lease, очистка staging, replay/reprocess +-- app_reconciler сверка вложений с S3 (attachments, variants, ссылки сообщений) +DO $$ +DECLARE r text; +BEGIN + FOREACH r IN ARRAY ARRAY['app_api', 'app_worker', 'app_relay', 'app_reconciler'] LOOP + IF NOT EXISTS (SELECT 1 FROM pg_roles WHERE rolname = r) THEN + EXECUTE format('CREATE ROLE %I NOLOGIN', r); + END IF; + END LOOP; +END $$; + +REVOKE ALL ON SCHEMA public FROM PUBLIC; +REVOKE ALL ON ALL TABLES IN SCHEMA public FROM PUBLIC; +GRANT USAGE ON SCHEMA public TO app_api, app_worker, app_relay, app_reconciler; + +-- API +GRANT SELECT, INSERT, UPDATE ON users, chats, chat_members, messages, idempotency_keys, + attachments, message_attachments TO app_api; +GRANT DELETE ON idempotency_keys, attachments TO app_api; -- очистка ключей, компенсация намерения +GRANT SELECT ON attachment_variants, jobs TO app_api; +GRANT INSERT ON jobs, outbox, job_events TO app_api; +GRANT USAGE ON SEQUENCE outbox_id_seq, job_events_id_seq TO app_api; + +-- Worker: только pipeline; UPDATE — по столбцам +GRANT SELECT ON jobs, attachments, attachment_variants TO app_worker; +GRANT UPDATE (state, attempt, next_attempt_at, lease_until, lease_owner, last_error, updated_at) ON jobs TO app_worker; +GRANT UPDATE (status, error_code, pipeline_version, object_key, staging_key, updated_at) ON attachments TO app_worker; +GRANT INSERT ON attachment_variants, outbox, job_events TO app_worker; +GRANT USAGE ON SEQUENCE outbox_id_seq, job_events_id_seq TO app_worker; + +-- Relay (и операторские replay/reprocess, которые выполняются его identity) +GRANT SELECT, INSERT, UPDATE ON jobs, outbox TO app_relay; +GRANT SELECT ON attachment_variants TO app_relay; +GRANT SELECT ON attachments TO app_relay; +GRANT UPDATE (status, error_code, staging_key, updated_at) ON attachments TO app_relay; +GRANT INSERT ON job_events TO app_relay; +GRANT USAGE ON SEQUENCE outbox_id_seq, job_events_id_seq TO app_relay; + +-- Reconciler +GRANT SELECT ON attachments, attachment_variants, message_attachments, jobs TO app_reconciler; +GRANT UPDATE (status, updated_at) ON attachments TO app_reconciler; +GRANT DELETE ON attachments TO app_reconciler; diff --git a/scripts/bootstrap.py b/scripts/bootstrap.py new file mode 100644 index 0000000..7204f85 --- /dev/null +++ b/scripts/bootstrap.py @@ -0,0 +1,321 @@ +#!/usr/bin/env python3 +"""Bootstrap и эксплуатация стенда lab7 (операторский инструмент, не часть приложения). + + python3 scripts/bootstrap.py all PKI, operator secrets, OpenBao (init/unseal/ + настройка), сервисные credentials → PostgreSQL, + MinIO, Redis, RabbitMQ; запуск стенда + python3 scripts/bootstrap.py unseal распечатать OpenBao после рестарта (2 доли из 3) + python3 scripts/bootstrap.py status seal-статус, версии секретов (значения не печатаются) + python3 scripts/bootstrap.py rotate-db новый пароль роли БД сервиса (ALTER ROLE + KV) + python3 scripts/bootstrap.py rotate-s3 новый secret key S3 сервиса (MinIO + KV) + python3 scripts/bootstrap.py worker-identity новая identity worker (cert CN worker-gN): + OpenBao cert role, пользователь RabbitMQ; старая + identity отзывается (см. student-tests/compromise.py) + python3 scripts/bootstrap.py revoke-tokens отозвать все токены OpenBao, выданные сервису + +Материалы оператора — secrets/operator (каталог 700, вне Git): bao-init.json (root token и +3 доли unseal; в эксплуатации доли раздаются разным людям и здесь не лежат), redis ACL, +список ключей MinIO для s3-init. Значения никогда не печатаются. +""" +import hashlib +import json +import os +import secrets as rnd +import subprocess +import sys +import time +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +OP = ROOT / 'secrets' / 'operator' +SERVICES = ('api', 'worker', 'relay', 'reconciler') +DB_ROLE = {s: 'app_' + s for s in SERVICES} +CERT_CN = {'api': 'api', 'worker': 'worker-g1', 'relay': 'relay-g1', 'reconciler': 'reconciler'} +TOKEN_TTL, TOKEN_MAX_TTL = os.environ.get('BAO_TOKEN_TTL', '15m'), os.environ.get('BAO_TOKEN_MAX_TTL', '1h') + + +def run(*args, input=None, check=True, env=None, timeout=300): + r = subprocess.run(list(args), cwd=ROOT, input=input, capture_output=True, text=True, timeout=timeout, + env=dict(os.environ, **(env or {}))) + if check and r.returncode != 0: + # stderr может содержать значения? bao/psql/mc не печатают переданные секреты в ошибках. + raise SystemExit('FAILED: %s: %s' % (' '.join(args[:6]), (r.stderr or r.stdout)[-600:])) + return r + + +def compose(*args, **kw): + return run('docker', 'compose', *args, **kw) + + +# ---------------- OpenBao ---------------- + +def init_json(): + p = OP / 'bao-init.json' + return json.loads(p.read_text()) if p.exists() else None + + +def bao(*args, token=True, input=None, check=True): + env = ['-e', 'BAO_ADDR=https://127.0.0.1:8200', '-e', 'BAO_CACERT=/run/secrets/ca.crt'] + if token: + env += ['-e', 'BAO_TOKEN=' + init_json()['root_token']] + return compose('exec', '-T', *env, 'openbao', 'bao', *args, input=input, check=check) + + +def bao_status(): + r = bao('status', '-format=json', token=False, check=False) + try: + return json.loads(r.stdout) + except ValueError: + return None + + +def wait_bao(timeout=90): + end = time.time() + timeout + while time.time() < end: + st = bao_status() + if st is not None: + return st + time.sleep(2) + raise SystemExit('openbao not reachable') + + +def bao_init_unseal(): + OP.mkdir(parents=True, exist_ok=True) + os.chmod(OP, 0o700) + st = wait_bao() + if not st['initialized']: + r = bao('operator', 'init', '-key-shares=3', '-key-threshold=2', '-format=json', token=False) + p = OP / 'bao-init.json' + p.write_text(r.stdout) + os.chmod(p, 0o600) + print('openbao initialized (3 shares, threshold 2; stored in secrets/operator, not printed)') + unseal() + + +def unseal(): + st = wait_bao() + if not st['sealed']: + print('openbao unsealed') + return + keys = init_json()['unseal_keys_b64'] + for k in keys[:2]: + # Доля unseal — через stdin (key=-), не аргументом командной строки. + bao('write', '-format=json', 'sys/unseal', 'key=-', token=False, input=k) + st = bao_status() + print('openbao sealed=%s' % st['sealed']) + + +def bao_configure(): + out = bao('secrets', 'list', '-format=json').stdout + if 'secret/' not in json.loads(out): + bao('secrets', 'enable', '-path=secret', '-version=2', 'kv') + auths = json.loads(bao('auth', 'list', '-format=json').stdout) + if 'cert/' not in auths: + bao('auth', 'enable', 'cert') + audits = json.loads(bao('audit', 'list', '-format=json').stdout or '{}') + if 'file/' not in audits: + # Аудит всех запросов (значения секретов — HMAC, не открытым текстом). + bao('audit', 'enable', 'file', 'file_path=/openbao/file/audit.log') + for s in SERVICES: + bao('policy', 'write', 'messenger-' + s, '/openbao/policies/messenger-%s.hcl' % s) + set_cert_role(s, CERT_CN[s]) + print('openbao configured: kv-v2 secret/, auth/cert roles %s, policies messenger-*' % ', '.join(SERVICES)) + + +def set_cert_role(svc, cn, ttl=None, max_ttl=None): + bao('write', 'auth/cert/certs/' + svc, 'display_name=' + svc, 'certificate=@/run/secrets/ca.crt', + 'allowed_common_names=' + cn, 'token_policies=messenger-' + svc, + 'token_ttl=' + (ttl or TOKEN_TTL), 'token_max_ttl=' + (max_ttl or TOKEN_MAX_TTL)) + + +def kv_get(svc): + r = bao('kv', 'get', '-format=json', 'secret/messenger/' + svc, check=False) + if r.returncode != 0: + return None + return json.loads(r.stdout)['data']['data'] + + +def kv_put(svc, data): + # Значения передаются через stdin (JSON), не аргументами командной строки. + bao('kv', 'put', 'secret/messenger/' + svc, '-', input=json.dumps(data)) + + +def ensure_creds(): + creds = {} + for s in SERVICES: + cur = kv_get(s) + if not cur: + cur = {'db_user': DB_ROLE[s], 'db_password': rnd.token_hex(24), + 's3_access_key': 'svc-' + s, 's3_secret_key': rnd.token_hex(24)} + if s == 'api': + cur.update({'redis_user': 'api', 'redis_password': rnd.token_hex(24)}) + kv_put(s, cur) + creds[s] = cur + return creds + + +# ---------------- backends ---------------- + +def write_backend_files(creds): + acl = OP / 'redis_users.acl' + h = hashlib.sha256(creds['api']['redis_password'].encode()).hexdigest() + # Операторская учётка Redis (администрирование, регрессионный тест ACL); приложениям не выдаётся. + opf = OP / 'redis_operator_password' + if not opf.exists(): + opf.write_text(rnd.token_hex(24)) + os.chmod(opf, 0o600) + ho = hashlib.sha256(opf.read_text().strip().encode()).hexdigest() + # default отключён; api — только свои ключи и нужные команды; healthcheck — только PING. + acl.write_text( + 'user default off\n' + 'user healthcheck on nopass resetkeys resetchannels -@all +ping +hello +auth\n' + 'user api on #%s resetchannels ~session:* ~messages:* ~rl:* -@all +@connection ' + '+get +set +del +ttl +scan +incr +decr +expire +multi +exec +discard +ping\n' + 'user operator on #%s ~* &* +@all\n' % (h, ho)) + s3 = OP / 's3_users.txt' + s3.write_text(''.join('%s %s %s\n' % (s, creds[s]['s3_access_key'], creds[s]['s3_secret_key']) for s in SERVICES)) + for p in (acl, s3): + os.chmod(p, 0o644) # читают контейнеры (uid ≠ оператора); каталог 700 закрывает доступ с хоста + + +def pg_apply(creds, services=SERVICES): + sql = ''.join("ALTER ROLE %s LOGIN PASSWORD '%s';\n" % (creds[s]['db_user'], creds[s]['db_password']) for s in services) + compose('exec', '-T', 'postgres', 'psql', '-q', '-U', 'messenger', '-d', 'messenger', '-v', 'ON_ERROR_STOP=1', + input=sql) + + +def rabbit_users(worker_cn='worker-g1', relay_cn='relay-g1', drop=()): + def ctl(*a, check=True): + return compose('exec', '-T', 'rabbitmq', 'rabbitmqctl', '-q', *a, check=check) + users = ctl('list_users', '--formatter', 'json').stdout + names = {u['user'] for u in json.loads(users or '[]')} + if 'guest' in names: + ctl('delete_user', 'guest') + # Топологию (exchange, quorum-очереди, DLX, bindings) создаёт оператор импортом + # infra/rabbitmq/definitions.json; сервисам configure не нужен вовсе. + ctl('import_definitions', '/etc/rabbitmq/lab7-definitions.json') + perms = {relay_cn: ('^$', r'^attachments$', '^$'), # только publish в exchange attachments + worker_cn: ('^$', '^$', r'^attachment\.process$')} # только чтение своей очереди + for u, (conf, write, read) in perms.items(): + if u not in names: + # Пароль случайный и сразу удаляется: вход только SASL EXTERNAL (сертификат). + ctl('add_user', u, rnd.token_hex(16)) + ctl('clear_password', u) + ctl('set_permissions', '-p', '/', u, conf, write, read) + for u in drop: + if u in names: + ctl('delete_user', u) # закрывает и его текущие соединения + + +def s3_init(): + compose('run', '--rm', '--no-deps', '-T', 's3-init') + + +# ---------------- команды ---------------- + +def cmd_all(): + run('sh', 'scripts/init-secrets.sh') + run('sh', 'scripts/pki.sh', 'init') + OP.mkdir(parents=True, exist_ok=True) + os.chmod(OP, 0o700) + for f in ('redis_users.acl', 's3_users.txt'): + if not (OP / f).exists(): + (OP / f).write_text('') + os.chmod(OP / f, 0o644) + compose('up', '-d', 'openbao') + bao_init_unseal() + bao_configure() + creds = ensure_creds() + write_backend_files(creds) + compose('up', '-d', '--wait', 'postgres', 'redis', 's3', 'rabbitmq', timeout=600) + compose('restart', 'redis') # перечитать ACL-файл (первый запуск мог быть с пустым) + compose('up', '-d', '--wait', 'redis', timeout=300) + compose('run', '--rm', 'migrate', timeout=300) + pg_apply(creds) + s3_init() + rabbit_users() + compose('up', '-d', '--wait', timeout=900) + print('bootstrap complete') + + +def cmd_status(): + st = bao_status() + print(json.dumps({'initialized': st and st['initialized'], 'sealed': st and st['sealed']})) + for s in SERVICES: + r = bao('kv', 'metadata', 'get', '-format=json', 'secret/messenger/' + s, check=False) + if r.returncode == 0: + print(s, 'version', json.loads(r.stdout)['data']['current_version']) + + +def cmd_rotate_db(svc): + creds = kv_get(svc) + old = creds['db_password'] + creds['db_password'] = rnd.token_hex(24) + pg_apply({svc: creds}, [svc]) + kv_put(svc, creds) + print('rotated db password of %s (role %s); new connections use it after refresh (≤ SECRETS_REFRESH)' + % (svc, creds['db_user'])) + return old + + +def cmd_rotate_s3(svc): + creds = kv_get(svc) + creds['s3_secret_key'] = rnd.token_hex(24) + all_creds = {s: kv_get(s) for s in SERVICES} + all_creds[svc] = creds + write_backend_files(all_creds) + s3_init() # mc admin user add с тем же access key обновляет secret + kv_put(svc, creds) + print('rotated s3 secret of %s' % svc) + + +def cmd_revoke_tokens(svc): + """Отозвать все токены OpenBao, выданные cert-роли сервиса (по метаданным accessor).""" + acc = bao('list', '-format=json', 'auth/token/accessors', check=False) + n = 0 + for a in json.loads(acc.stdout or '[]'): + r = bao('write', '-format=json', 'auth/token/lookup-accessor', 'accessor=' + a, check=False) + if r.returncode != 0: + continue + meta = (json.loads(r.stdout)['data'].get('meta') or {}) + if meta.get('cert_name') == svc: + bao('write', 'auth/token/revoke-accessor', 'accessor=' + a) + n += 1 + print('revoked %d openbao tokens of %s' % (n, svc)) + return n + + +def cmd_worker_identity(gen): + cn = 'worker-' + gen + set_cert_role('worker', cn) # OpenBao: только новый CN + rabbit_users(worker_cn=cn, drop=[u for u in ('worker-g1', 'worker-g2', 'worker-g3') if u != cn]) + print('worker identity is now %s' % cn) + + +def main(): + cmd = sys.argv[1] if len(sys.argv) > 1 else 'all' + if cmd == 'all': + cmd_all() + elif cmd == 'unseal': + unseal() + elif cmd == 'status': + cmd_status() + elif cmd == 'rotate-db': + cmd_rotate_db(sys.argv[2]) + elif cmd == 'rotate-s3': + cmd_rotate_s3(sys.argv[2]) + elif cmd == 'revoke-tokens': + cmd_revoke_tokens(sys.argv[2]) + elif cmd == 'worker-identity': + cmd_worker_identity(sys.argv[2]) + elif cmd == 'cert-role': # cert-role [ttl] [max_ttl] — тест истечения токенов + set_cert_role(sys.argv[2], sys.argv[3], *(sys.argv[4:6])) + elif cmd == 'seal': + bao('operator', 'seal') + print('openbao sealed') + else: + raise SystemExit(__doc__) + + +if __name__ == '__main__': + main() diff --git a/scripts/collect-evidence.sh b/scripts/collect-evidence.sh new file mode 100644 index 0000000..c47b3bd --- /dev/null +++ b/scripts/collect-evidence.sh @@ -0,0 +1,120 @@ +#!/bin/sh +set -eu +# Проверки lab7 на запущенном стенде (bootstrap: python3 scripts/bootstrap.py all) → evidence/. +# Всё по HTTPS с проверкой сертификата (CA_FILE), секреты и токены не печатаются. +# +# sh scripts/collect-evidence.sh base # возможности lab3–lab5 через HTTPS: smoke, failover, persistence, нагрузка +# sh scripts/collect-evidence.sh security # trust matrix, mTLS, ACL, OpenBao, hardening, ротация, lifecycle, Argon2id, утечки +# sh scripts/collect-evidence.sh pipeline # lab5–6 регрессии: pipeline-сценарии, сигналы наблюдаемости +# sh scripts/collect-evidence.sh track1 # трек 1: компрометация worker +# sh scripts/collect-evidence.sh all +cd "$(dirname "$0")/.." +PY=${PYTHON:-python3} +STOP=${STOP:-scripts/stop-one.sh} +RESTART=${RESTART:-scripts/restart.sh} +BASE=${BASE_URL:-https://localhost:8443} +CA_FILE=${CA_FILE:-$(pwd)/secrets/pki/ca.crt} +export CA_FILE PYTHONUTF8=1 PYTHON="$PY" +WHAT=${1:-all} +mkdir -p evidence evidence/security evidence/pipeline evidence/track1 + +step() { echo "== $*"; } + +base() { + step "состояние стенда и образы" + { date -u +%Y-%m-%dT%H:%M:%SZ; docker compose version; docker compose ps; } > evidence/docker_ps.txt + for img in $(docker compose config --images | sort -u); do + printf '%s %s\n' "$img" "$(docker image inspect --format '{{index .RepoDigests 0}}' "$img" 2>/dev/null || echo local-build)" + done > evidence/images.txt + cat evidence/images.txt + + step "X-Instance-Id через LB" + $PY - "$BASE" > evidence/instances.txt <<'EOF' +import os, ssl, sys, urllib.request, collections +seen = collections.Counter() +ctx = ssl.create_default_context(cafile=os.environ['CA_FILE']) +for _ in range(20): + with urllib.request.urlopen(sys.argv[1] + '/health/ready', context=ctx) as r: + seen[r.headers['X-Instance-Id']] += 1 +for k, v in sorted(seen.items()): + print(k, v) +EOF + cat evidence/instances.txt + + step "smoke по HTTPS (make test BASE_URL=https://localhost:8443 CA_FILE=...)" + $PY tests/smoke.py --base-url "$BASE" --ca-file "$CA_FILE" | tee evidence/smoke.txt + step "make test-security (внешний TLS)" + $PY tests/security.py --base-url "$BASE" --ca-file "$CA_FILE" | tee evidence/test_security.txt + + step "конкурентная идемпотентность" + $PY student-tests/idempotency_concurrent.py --base-url "$BASE" --output evidence/idempotency_concurrent.json | tail -1 + + step "регрессии lab3" + $PY student-tests/regressions.py --base-url "$BASE" > evidence/regressions.txt 2>&1 + cat evidence/regressions.txt + + step "публичный failover (с вложением), 2 прогона" + for n in 1 2; do + { $PY tests/resilience.py --mode failover --action-script "$STOP" --base-url "$BASE" --ca-file "$CA_FILE" || echo "FAILED"; \ + echo "-- контейнеры api после stop-one:"; docker compose ps -a api --format '{{.Name}} {{.ID}} {{.Status}}'; } \ + > evidence/failover_$n.txt 2>&1 + cat evidence/failover_$n.txt + sh scripts/restore.sh >> evidence/failover_$n.txt + done + + step "persistence (restart хранилищ, OpenBao (+unseal оператора), наблюдаемости; volumes сохранены)" + { echo "-- до:"; docker compose ps --format '{{.Name}} {{.Status}}'; \ + $PY tests/resilience.py --mode persistence --action-script "$RESTART" --base-url "$BASE" --ca-file "$CA_FILE" || echo "FAILED"; \ + echo "-- после:"; docker compose ps --format '{{.Name}} {{.Status}}'; } > evidence/persistence.txt 2>&1 + cat evidence/persistence.txt + + step "серия отказов каждой реплики под нагрузкой" + $PY student-tests/failover_series.py --base-url "$BASE" --output evidence/failover_series.json | tail -1 + + step "rolling update под нагрузкой" + docker compose build -q api + { echo "-- до:"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Status}}'; } > evidence/rolling_update.txt + $PY tests/load.py --base-url "$BASE" --ca-file "$CA_FILE" --duration 90 --concurrency 4 --output evidence/rolling_update_load.json > /dev/null & + LOAD=$! + sleep 5 + start=$(date +%s) + sh scripts/rolling-update.sh >> evidence/rolling_update.txt 2>&1 + echo "-- замена заняла $(( $(date +%s) - start )) s (внутри 90 s нагрузки)" >> evidence/rolling_update.txt + wait $LOAD + tail -4 evidence/rolling_update.txt; cat evidence/rolling_update_load.json +} + +security() { + for s in tls-external mtls acl openbao hardening rotation lifecycle leaks argon2; do + step "безопасность: $s" + $PY student-tests/security_ops.py "$s" --base-url "$BASE" --ca-file "$CA_FILE" --output "evidence/security/$s.json" > "evidence/security/$s.log" 2>&1 || echo "FAILED: $s" + tail -1 "evidence/security/$s.log" + done +} + +pipeline() { + for s in demo crash-effect transient failed-replay; do + step "pipeline: $s" + $PY student-tests/pipeline_ops.py "$s" --base-url "$BASE" --ca-file "$CA_FILE" --output "evidence/pipeline/$s.json" > "evidence/pipeline/$s.log" 2>&1 || echo "FAILED: $s" + tail -1 "evidence/pipeline/$s.log" + done + step "наблюдаемость lab6 через TLS: сигналы, сквозная трасса" + $PY student-tests/observability_ops.py signals --base-url "$BASE" --ca-file "$CA_FILE" --output evidence/pipeline/obs_signals.json > evidence/pipeline/obs_signals.log 2>&1 || echo "FAILED: obs signals" + tail -1 evidence/pipeline/obs_signals.log +} + +track1() { + step "трек 1: компрометация worker" + $PY student-tests/compromise.py --base-url "$BASE" --ca-file "$CA_FILE" --output evidence/track1/compromise.json > evidence/track1/compromise.log 2>&1 || echo "FAILED: compromise" + tail -3 evidence/track1/compromise.log +} + +case "$WHAT" in + base) base ;; + security) security ;; + pipeline) pipeline ;; + track1) track1 ;; + all) base; security; pipeline; track1 ;; + *) echo "usage: $0 base|security|pipeline|track1|all" >&2; exit 2 ;; +esac +docker stats --no-stream --format '{{.Name}} {{.CPUPerc}} {{.MemUsage}}' > "evidence/docker_stats_$WHAT.txt" diff --git a/scripts/gen_dashboard.py b/scripts/gen_dashboard.py new file mode 100644 index 0000000..1ee7ff7 --- /dev/null +++ b/scripts/gen_dashboard.py @@ -0,0 +1,170 @@ +#!/usr/bin/env python3 +"""Генератор dashboard Grafana (infra/grafana/dashboards/messenger.json). + +JSON в Git — то, что импортирует provisioning; этот скрипт лишь делает его +воспроизводимым: python3 scripts/gen_dashboard.py. Все percentile считаются +histogram_quantile по сумме buckets всех реплик (sum by le), не из средних. +""" +import json +import pathlib + +PROM = {'type': 'prometheus', 'uid': 'prometheus'} +LOKI = {'type': 'loki', 'uid': 'loki'} +TEMPO = {'type': 'tempo', 'uid': 'tempo'} +API = 'job="messenger-api", http_route!~"/health/.*"' + +panels = [] +y = 0 +pid = 0 + + +def nid(): + global pid + pid += 1 + return pid + + +def row(title): + global y + panels.append({'type': 'row', 'title': title, 'id': nid(), 'collapsed': False, + 'gridPos': {'h': 1, 'w': 24, 'x': 0, 'y': y}, 'panels': []}) + y += 1 + + +def ts(title, targets, unit, x, w=8, h=8, desc='', stack=False, minv=None, maxv=None): + p = {'type': 'timeseries', 'title': title, 'id': nid(), 'datasource': PROM, 'description': desc, + 'gridPos': {'h': h, 'w': w, 'x': x, 'y': y}, + 'fieldConfig': {'defaults': {'unit': unit, 'custom': {'fillOpacity': 10, 'showPoints': 'never', + 'stacking': {'mode': 'normal' if stack else 'none'}}}, + 'overrides': []}, + 'options': {'legend': {'displayMode': 'list', 'placement': 'bottom'}, 'tooltip': {'mode': 'multi'}}, + 'targets': [{'datasource': PROM, 'expr': e, 'legendFormat': l, 'refId': chr(65 + i), + 'exemplar': True} for i, (e, l) in enumerate(targets)]} + if minv is not None: + p['fieldConfig']['defaults']['min'] = minv + if maxv is not None: + p['fieldConfig']['defaults']['max'] = maxv + panels.append(p) + + +def stat(title, expr, unit, x, w=4, h=4, desc='', thresholds=None): + steps = thresholds or [{'color': 'green', 'value': None}] + panels.append({'type': 'stat', 'title': title, 'id': nid(), 'datasource': PROM, 'description': desc, + 'gridPos': {'h': h, 'w': w, 'x': x, 'y': y}, + 'fieldConfig': {'defaults': {'unit': unit, 'thresholds': {'mode': 'absolute', 'steps': steps}}, + 'overrides': []}, + 'options': {'reduceOptions': {'calcs': ['lastNotNull']}, 'colorMode': 'value'}, + 'targets': [{'datasource': PROM, 'expr': expr, 'refId': 'A'}]}) + + +def q(expr, by='le'): + return lambda p: f'histogram_quantile({p}, sum by ({by}) (rate({expr}[$__rate_interval])))' + + +# ---------------- SLO / сводка ---------------- +row('Сводка и SLO') +stat('RPS API (бизнес)', 'messenger:http_requests:rate1m', 'reqps', 0, + desc='sum(rate(http_server_request_duration_seconds_count)) без /health/*') +stat('Доля 5xx (1m)', 'messenger:http_error_ratio:rate1m', 'percentunit', 4, + desc='5xx / все бизнес-запросы (кроме /health/*). SLO: ≤ 0.5%', + thresholds=[{'color': 'green', 'value': None}, {'color': 'orange', 'value': 0.005}, {'color': 'red', 'value': 0.05}]) +stat('Быстрее 250 ms (5m)', 'messenger:http_fast_ratio:rate5m', 'percentunit', 8, + desc='SLO задержки: ≥ 95% бизнес-запросов быстрее 250 ms', + thresholds=[{'color': 'red', 'value': None}, {'color': 'green', 'value': 0.95}]) +stat('Ready быстрее 30 s (5m)', 'messenger:time_to_ready_fast_ratio:rate5m', 'percentunit', 12, + desc='SLO времени до ready: ≥ 95% вложений', + thresholds=[{'color': 'red', 'value': None}, {'color': 'green', 'value': 0.95}]) +stat('Старейшая job', 'max(messenger_jobs_oldest_age_seconds)', 's', 16, + thresholds=[{'color': 'green', 'value': None}, {'color': 'orange', 'value': 30}, {'color': 'red', 'value': 60}]) +stat('Alerts firing', 'count(ALERTS{alertstate="firing"}) or vector(0)', 'none', 20, + thresholds=[{'color': 'green', 'value': None}, {'color': 'red', 'value': 1}]) +y += 4 + +# ---------------- API ---------------- +row('API (messenger-api)') +hist = f'http_server_request_duration_seconds_bucket{{{API}}}' +ts('RPS по маршруту и классу ответа', + [(f'sum by (http_route, http_response_status_class) (rate(http_server_request_duration_seconds_count{{{API}}}[$__rate_interval]))', + '{{http_route}} {{http_response_status_class}}')], 'reqps', 0, desc='Счётчик = _count histogram (одна метрика, не две)') +ts('Задержка API p50 / p95 / p99 (все реплики)', + [(q(hist)(0.5), 'p50'), (q(hist)(0.95), 'p95'), (q(hist)(0.99), 'p99')], 's', 8, + desc='histogram_quantile по сумме buckets всех реплик; среднее p99 реплик не используется') +ts('Доля ошибок 5xx и 4xx', + [('messenger:http_error_ratio:rate1m', '5xx / все'), + (f'sum(rate(http_server_request_duration_seconds_count{{{API}, http_response_status_class="4xx"}}[1m])) / messenger:http_requests:rate1m', '4xx / все (ошибки клиента)')], + 'percentunit', 16, minv=0) +y += 8 +ts('p95 по маршруту', [(f'histogram_quantile(0.95, sum by (le, http_route) (rate({hist}[$__rate_interval])))', '{{http_route}}')], + 's', 0, w=12) +ts('Запросы в обработке (in-flight) по реплике', + [('sum by (instance) (http_server_active_requests{job="messenger-api"})', '{{instance}}')], 'none', 12, w=12) +y += 8 + +# ---------------- Worker / очередь ---------------- +row('Worker и очередь') +ts('Jobs по исходу (rate)', [('sum by (outcome) (rate(messenger_jobs_processed_total[$__rate_interval]))', '{{outcome}}')], + 'ops', 0, desc='done / retry / failed / duplicate / not_due / requeue …') +jd = 'messenger_job_duration_seconds_bucket{outcome="done"}' +ts('Длительность обработки job p50 / p95 / p99', [(q(jd)(0.5), 'p50'), (q(jd)(0.95), 'p95'), (q(jd)(0.99), 'p99')], 's', 8) +tr = 'messenger_attachment_time_to_ready_seconds_bucket' +ts('Время до ready (202 → ready) p50 / p95', [(q(tr)(0.5), 'p50'), (q(tr)(0.95), 'p95')], 's', 16) +y += 8 +ts('Очередь: jobs по состоянию (PostgreSQL)', [('sum by (state) (messenger_jobs_backlog)', '{{state}}'), + ('sum(messenger_outbox_pending)', 'outbox не опубликовано')], 'none', 0) +ts('Возраст старейшей job / outbox', [('max(messenger_jobs_oldest_age_seconds)', 'job (queued/processing)'), + ('max(messenger_outbox_oldest_age_seconds)', 'outbox')], 's', 8, + desc='Backlog (сколько ждёт) ≠ latency обработки; alert при > 60 s') +ts('RabbitMQ: сообщения в очередях', + [('sum by (queue) (rabbitmq_detailed_queue_messages_ready or rabbitmq_queue_messages_ready)', 'ready {{queue}}'), + ('sum by (queue) (rabbitmq_detailed_queue_messages_unacked or rabbitmq_queue_messages_unacked)', 'unacked {{queue}}')], + 'none', 16) +y += 8 +ts('Saturation worker (busy / capacity)', + [('sum(messenger_worker_busy) / sum(messenger_worker_capacity)', 'занято слотов')], 'percentunit', 0, minv=0, maxv=1) +ts('Publish outbox → broker (confirm) p95', + [(q('messenger_outbox_publish_duration_seconds_bucket')(0.95), 'p95'), + ('sum(rate(messenger_outbox_published_total[$__rate_interval]))', 'сообщений/с')], 's', 8) +ts('Пул БД: занято / ожидания', + [('sum by (job) (pgxpool_acquired_connections)', 'занято {{job}}'), + ('sum by (job) (pgxpool_max_connections)', 'max {{job}}'), + ('sum by (job) (rate(pgxpool_empty_acquire_total[$__rate_interval]))', 'ожиданий/с {{job}}')], 'none', 16, + desc='empty_acquire — acquire, которому пришлось ждать свободное соединение') +y += 8 + +# ---------------- Ресурсы ---------------- +row('Ресурсы процессов и телеметрии') +ts('CPU процессов', [('sum by (job, instance) (rate(process_cpu_time_seconds_total[$__rate_interval]))', '{{job}} {{instance}}')], + 'percentunit', 0, desc='доля одного ядра; лимиты контейнеров в compose.yaml') +ts('Память Go (used)', [('sum by (job, instance) (go_memory_used_bytes)', '{{job}} {{instance}}')], 'bytes', 8) +ts('Collector: принято / отправлено / потеряно spans', + [('sum(rate({__name__=~"otelcol_receiver_accepted_spans(_total)?"}[$__rate_interval]))', 'принято'), + ('sum(rate({__name__=~"otelcol_exporter_sent_spans(_total)?"}[$__rate_interval]))', 'отправлено'), + ('sum(rate({__name__=~"otelcol_exporter_send_failed_spans(_total)?"}[$__rate_interval]))', 'не доставлено'), + ('sum(rate({__name__=~"otelcol_receiver_refused_spans(_total)?"}[$__rate_interval]))', 'отклонено (memory_limiter)'), + ('sum(otelcol_exporter_queue_size)', 'очередь экспортёров')], 'none', 16) +y += 8 + +# ---------------- Логи и трассы ---------------- +row('Логи и трассы') +panels.append({'type': 'logs', 'title': 'Логи API и worker (ошибки и предупреждения)', 'id': nid(), 'datasource': LOKI, + 'gridPos': {'h': 10, 'w': 12, 'x': 0, 'y': y}, + 'options': {'showTime': True, 'wrapLogMessage': True, 'enableLogDetails': True, 'sortOrder': 'Descending'}, + 'targets': [{'datasource': LOKI, 'refId': 'A', + 'expr': '{service_name=~"messenger-(api|worker|relay)"} | detected_level=~"warn|error|WARN|ERROR"'}]}) +panels.append({'type': 'table', 'title': 'Трассы worker (последние)', 'id': nid(), 'datasource': TEMPO, + 'gridPos': {'h': 10, 'w': 12, 'x': 12, 'y': y}, + 'targets': [{'datasource': TEMPO, 'refId': 'A', 'queryType': 'traceql', 'limit': 20, + 'query': '{resource.service.name="messenger-worker" && name="attachment.process process"}'}]}) +y += 10 + +dash = { + 'uid': 'messenger-overview', 'title': 'Messenger — API, worker, очередь', 'tags': ['lab6', 'messenger'], + 'timezone': 'browser', 'schemaVersion': 39, 'version': 1, 'refresh': '10s', + 'time': {'from': 'now-30m', 'to': 'now'}, 'editable': False, 'graphTooltip': 1, + 'panels': panels, 'templating': {'list': []}, 'annotations': {'list': [ + {'name': 'Alerts', 'datasource': PROM, 'enable': True, 'iconColor': 'red', + 'expr': 'ALERTS{alertstate="firing"}', 'titleFormat': '{{alertname}}', 'step': '10s'}]}, +} +out = pathlib.Path(__file__).resolve().parent.parent / 'infra' / 'grafana' / 'dashboards' / 'messenger.json' +out.write_text(json.dumps(dash, ensure_ascii=False, indent=1) + '\n', encoding='utf-8') +print(out, len(panels), 'panels') diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100644 index 0000000..d659b9a --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,24 @@ +#!/bin/sh +set -eu +# Секреты ОПЕРАТОРА стенда lab7 (вне Git, каталог secrets/ — 700). Повторный запуск ничего +# не перезаписывает. Секреты сервисов здесь не создаются: их генерирует scripts/bootstrap.py +# сразу в OpenBao, а сервисы получают их по своей identity (сертификату). +# postgres_password / database_url — владелец схемы (миграции, psql оператора), TLS verify-full +# s3_root_* — root MinIO (только s3 и s3-init) +# grafana_admin_password — администратор Grafana +cd "$(dirname "$0")/.." +[ -f .env ] || cp .env.example .env +mkdir -p secrets secrets/operator +chmod 700 secrets secrets/operator +rnd() { od -An -N"$1" -tx1 /dev/urandom | tr -d ' \n'; } +if [ ! -f secrets/postgres_password ]; then + pw=$(rnd 32) + printf '%s' "$pw" > secrets/postgres_password + printf 'postgres://messenger:%s@postgres:5432/messenger?sslmode=verify-full&sslrootcert=/run/secrets/ca.crt' "$pw" > secrets/database_url +fi +[ -f secrets/s3_root_user ] || printf 'root-%s' "$(rnd 6)" > secrets/s3_root_user +[ -f secrets/s3_root_password ] || printf '%s' "$(rnd 24)" > secrets/s3_root_password +[ -f secrets/grafana_admin_password ] || printf '%s' "$(rnd 18)" > secrets/grafana_admin_password +# 644 внутри каталога 700: файлы монтируются в контейнеры с другими uid; с хоста их видит только оператор. +chmod 644 secrets/postgres_password secrets/database_url secrets/s3_root_* secrets/grafana_admin_password +echo "operator secrets ready in ./secrets (values not printed)" diff --git a/scripts/pki.sh b/scripts/pki.sh new file mode 100644 index 0000000..d942243 --- /dev/null +++ b/scripts/pki.sh @@ -0,0 +1,125 @@ +#!/bin/sh +# Локальная PKI учебного стенда (openssl, ECDSA P-256). Ключи остаются в secrets/pki +# (каталог 700, вне Git); в репозитории только этот скрипт. +# +# sh scripts/pki.sh init CA + все leaf-сертификаты (повтор ничего не перевыпускает) +# sh scripts/pki.sh rotate перевыпуск leaf тем же CA (новый ключ и serial), +# запись НА МЕСТЕ — bind mount secrets видит новое содержимое +# sh scripts/pki.sh issue [ca] [days] выпуск произвольного leaf +# sh scripts/pki.sh show subject, SAN, serial, срок +# +# Identity сервиса: CN=<роль>[-gN] и URI SAN spiffe://messenger/<роль>. +# ca корневой CA стенда — серверные сертификаты и клиентские identity сервисов +# tca отдельный CA клиентов телеметрии: Collector принимает OTLP только с ним +# rogue-ca «чужой» CA для отрицательных тестов (secrets/pki/test) +# CA key — у оператора; в контейнеры попадают только ca.crt / tca.crt и leaf своего сервиса. +set -eu +cd "$(dirname "$0")/.." +export MSYS_NO_PATHCONV=1 MSYS2_ARG_CONV_EXCL='*' +D=secrets/pki +T=$D/test +LEAF_DAYS=${LEAF_DAYS:-30} +mkdir -p "$D" "$T" +chmod 700 secrets "$D" "$T" 2>/dev/null || true + +ca() { # name cn + [ -f "$D/$1.crt" ] && return 0 + openssl ecparam -name prime256v1 -genkey -noout -out "$D/$1.key" + openssl req -x509 -new -key "$D/$1.key" -sha256 -days 3650 -subj "/O=MTUSI Messenger Lab/CN=$2" \ + -addext "basicConstraints=critical,CA:TRUE,pathlen:0" -addext "keyUsage=critical,keyCertSign,cRLSign" \ + -out "$D/$1.crt" 2>/dev/null + echo "CA $1: $2" +} + +# issue name cn san eku [ca=ca] [days] [dir] +issue() { + name=$1 cn=$2 san=$3 eku=$4 cak=${5:-ca} days=${6:-$LEAF_DAYS} dir=${7:-$D} + tmp=$D/.tmp.$$; mkdir -p "$tmp" + printf '[v3]\nbasicConstraints=critical,CA:FALSE\nkeyUsage=critical,digitalSignature,keyEncipherment\nextendedKeyUsage=%s\nsubjectAltName=%s\nsubjectKeyIdentifier=hash\nauthorityKeyIdentifier=keyid\n' \ + "$eku" "$san" > "$tmp/ext.cnf" + openssl ecparam -name prime256v1 -genkey -noout -out "$tmp/k.pem" + openssl req -new -key "$tmp/k.pem" -subj "/O=MTUSI Messenger Lab/CN=$cn" -out "$tmp/r.csr" 2>/dev/null + serial=0x$(od -An -N16 -tx1 /dev/urandom | tr -d ' \n') + openssl x509 -req -in "$tmp/r.csr" -CA "$D/$cak.crt" -CAkey "$D/$cak.key" -set_serial "$serial" -sha256 \ + -days "$days" -extfile "$tmp/ext.cnf" -extensions v3 -out "$tmp/c.pem" 2>/dev/null + # PKCS#8 (понимают Go, HAProxy, PostgreSQL, Erlang, Redis, MinIO) + openssl pkcs8 -topk8 -nocrypt -in "$tmp/k.pem" -out "$tmp/k8.pem" + # Запись на месте (cat >), а не mv: inode сохраняется, bind mount видит новый файл. + cat "$tmp/c.pem" > "$dir/$name.crt" + cat "$tmp/k8.pem" > "$dir/$name.key" + cat "$tmp/c.pem" "$tmp/k8.pem" > "$dir/$name.pem" # HAProxy: cert+key в одном файле + rm -rf "$tmp" +} + +SRV=serverAuth +CLI=clientAuth +BOTH=serverAuth,clientAuth + +# Таблица leaf: имя | CN | SAN | EKU | CA +leaves() { + cat <<'EOF' +lb-public|localhost|DNS:localhost,IP:127.0.0.1|SRV|ca +lb|lb|DNS:lb,URI:spiffe://messenger/lb|CLI|ca +api|api|DNS:api,URI:spiffe://messenger/api|BOTH|ca +worker|worker-g1|URI:spiffe://messenger/worker|CLI|ca +relay|relay-g1|URI:spiffe://messenger/relay|CLI|ca +reconciler|reconciler|URI:spiffe://messenger/reconciler|CLI|ca +postgres|postgres|DNS:postgres|SRV|ca +redis|redis|DNS:redis|SRV|ca +s3|s3|DNS:s3|SRV|ca +rabbitmq|rabbitmq|DNS:rabbitmq|SRV|ca +otel-collector|otel-collector|DNS:otel-collector,URI:spiffe://messenger/otel-collector|BOTH|ca +prometheus|prometheus|DNS:prometheus,DNS:localhost,IP:127.0.0.1,URI:spiffe://messenger/prometheus|BOTH|ca +loki|loki|DNS:loki|SRV|ca +tempo|tempo|DNS:tempo|SRV|ca +grafana|grafana|DNS:grafana,DNS:localhost,IP:127.0.0.1,URI:spiffe://messenger/grafana|BOTH|ca +openbao|openbao|DNS:openbao,DNS:localhost,IP:127.0.0.1|SRV|ca +api-otel|api|URI:spiffe://messenger/api|CLI|tca +worker-otel|worker|URI:spiffe://messenger/worker|CLI|tca +relay-otel|relay|URI:spiffe://messenger/relay|CLI|tca +EOF +} + +eku() { case $1 in SRV) echo $SRV ;; CLI) echo $CLI ;; *) echo $BOTH ;; esac; } + +cmd=${1:-init} +case "$cmd" in + init) + ca ca "Messenger Lab Root CA" + ca tca "Messenger Lab Telemetry Clients CA" + ca rogue-ca "Rogue CA (tests only)" + leaves | while IFS='|' read -r n cn san e c; do + [ -f "$D/$n.crt" ] || issue "$n" "$cn" "$san" "$(eku "$e")" "$c" + done + # Отрицательные тесты: доверенный CA, но запрещённая identity; чужой CA с «правильным» именем. + [ -f "$T/attacker.crt" ] || issue attacker attacker "URI:spiffe://messenger/attacker" $CLI ca 30 "$T" + [ -f "$T/rogue-lb.crt" ] || issue rogue-lb lb "DNS:lb,URI:spiffe://messenger/lb" $CLI rogue-ca 30 "$T" + [ -f "$T/rogue-otel.crt" ] || issue rogue-otel api "URI:spiffe://messenger/api" $CLI rogue-ca 30 "$T" + cp "$D/rogue-ca.crt" "$T/rogue-ca.crt" + [ -f "$D/revoked.txt" ] || : > "$D/revoked.txt" + chmod 644 "$D"/*.crt "$D"/*.key "$D"/*.pem "$T"/* 2>/dev/null || true + chmod 600 "$D/ca.key" "$D/tca.key" "$D/rogue-ca.key" + echo "pki ready in $D (keys not printed)" + ;; + rotate) + n=${2:?name} + line=$(leaves | grep "^$n|") || { echo "unknown leaf $n" >&2; exit 2; } + IFS='|' read -r n cn san e c <> "$D/revoked.txt" + issue "$n" "$cn" "$san" "$(eku "$e")" "$c" + chmod 644 "$D/$n.crt" "$D/$n.key" "$D/$n.pem" + openssl x509 -in "$D/$n.crt" -noout -subject -serial -enddate + ;; + issue) + issue "$2" "$3" "$4" "$5" "${6:-ca}" "${7:-$LEAF_DAYS}" "${8:-$D}" + ;; + show) + openssl x509 -in "$D/${2:?name}.crt" -noout -subject -serial -enddate -ext subjectAltName + ;; + *) echo "usage: $0 init|rotate [cn]|issue ...|show " >&2; exit 2 ;; +esac diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100644 index 0000000..87b7e61 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,15 @@ +#!/bin/sh +set -eu +# Перезапуск API, LB, pipeline, всех хранилищ (PostgreSQL, Redis, S3, RabbitMQ), OpenBao и стека +# наблюдаемости с сохранением volumes. После рестарта OpenBao запечатан: оператор выполняет +# unseal (здесь — scripts/bootstrap.py unseal с долями из secrets/operator), и только затем +# стартуют процессы, которым при запуске нужны секреты. Никаких down -v / повторного seed. +cd "$(dirname "$0")/.." +docker compose stop lb api reconciler relay worker +docker compose restart postgres redis s3 rabbitmq openbao otel-collector prometheus loki tempo grafana +${PYTHON:-python3} scripts/bootstrap.py unseal +until [ "$(docker inspect -f '{{.State.Health.Status}}' "$(docker compose ps -q postgres)")" = healthy ]; do sleep 1; done +until [ "$(docker inspect -f '{{.State.Health.Status}}' "$(docker compose ps -q redis)")" = healthy ]; do sleep 1; done +until [ "$(docker inspect -f '{{.State.Health.Status}}' "$(docker compose ps -q s3)")" = healthy ]; do sleep 1; done +until [ "$(docker inspect -f '{{.State.Health.Status}}' "$(docker compose ps -q rabbitmq)")" = healthy ]; do sleep 1; done +docker compose start api lb reconciler relay worker diff --git a/scripts/restore.sh b/scripts/restore.sh new file mode 100644 index 0000000..eec5b32 --- /dev/null +++ b/scripts/restore.sh @@ -0,0 +1,17 @@ +#!/bin/sh +set -eu +# Запускает остановленные stop-one.sh API-реплики и ждёт их готовности. +cd "$(dirname "$0")/.." +docker compose start api >/dev/null +deadline=$(( $(date +%s) + 60 )) +while :; do + bad=0 + for cid in $(docker compose ps -aq api); do + st=$(docker inspect -f '{{.State.Health.Status}}' "$cid") + [ "$st" = healthy ] || bad=1 + done + [ $bad -eq 0 ] && break + [ "$(date +%s)" -lt $deadline ] || { echo "api replicas not healthy in 60s" >&2; exit 1; } + sleep 1 +done +docker compose ps api --format '{{.Name}} {{.Status}}' diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh new file mode 100644 index 0000000..08ada32 --- /dev/null +++ b/scripts/rolling-update.sh @@ -0,0 +1,37 @@ +#!/bin/sh +set -eu +# Поочерёдная замена API-реплик без остановки сервиса (Compose). +# Для каждой старой реплики: поднять одну новую → дождаться healthy (LB сам +# найдёт её через DNS) → остановить старую (drain) → удалить. +# Миграции выполняются ДО замены отдельным сервисом migrate и должны быть +# совместимы со старой версией (expand → contract). +cd "$(dirname "$0")/.." +docker compose build api +docker compose run --rm migrate >/dev/null + +wait_healthy() { + want=$1; deadline=$(( $(date +%s) + 90 )) + while :; do + n=0 + # Своё имя переменной: в sh у функций общая область видимости, и `cid` + # перезаписал бы переменную внешнего цикла (тогда удалялась бы новая реплика). + for c in $(docker compose ps -q api); do + [ "$(docker inspect -f '{{.State.Health.Status}}' "$c")" = healthy ] && n=$((n+1)) + done + [ $n -ge "$want" ] && return 0 + [ "$(date +%s)" -lt $deadline ] || { echo "new replica not healthy in 90s" >&2; return 1; } + sleep 1 + done +} + +old=$(docker compose ps -q api) +for cid in $old; do + cur=$(docker compose ps -q api | wc -l | tr -d ' ') + docker compose up -d --no-deps --no-recreate --scale api=$((cur + 1)) api + wait_healthy $((cur + 1)) + name=$(docker inspect -f '{{.Name}}' "$cid") + docker stop -t 15 "$cid" >/dev/null + docker rm "$cid" >/dev/null + echo "replaced $name" +done +docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}} {{.Status}}' diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100644 index 0000000..bbdad32 --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,22 @@ +#!/bin/sh +set -eu +# Останавливает ОДНУ API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, +# и оставляет её остановленной. Lab7: X-Instance-Id — случайный alias реплики (не hostname); +# соответствие alias → контейнер читается из /tmp/instance-id внутри каждого API-контейнера. +# БД, Redis, LB и volumes не трогаются. Восстановление: scripts/restore.sh. +: "${TARGET_INSTANCE_ID:?test provides target API instance alias}" +cd "$(dirname "$0")/.." +case "$TARGET_INSTANCE_ID" in + *[!0-9a-f]*) echo "unexpected instance id format" >&2; exit 2 ;; +esac +for cid in $(docker compose ps -q api); do + alias=$(docker exec "$cid" cat /tmp/instance-id 2>/dev/null || true) + if [ "$alias" = "$TARGET_INSTANCE_ID" ]; then + name=$(docker inspect -f '{{.Name}}' "$cid") + docker stop -t 15 "$cid" >/dev/null + echo "stopped $name" + exit 0 + fi +done +echo "no running api container has alias $TARGET_INSTANCE_ID" >&2 +exit 1 diff --git a/scripts/win/restart.cmd b/scripts/win/restart.cmd new file mode 100644 index 0000000..c633b51 --- /dev/null +++ b/scripts/win/restart.cmd @@ -0,0 +1,3 @@ +@echo off +rem Windows wrapper: Python subprocess cannot exec .sh directly (WinError 193). +"%ProgramFiles%\Git\bin\bash.exe" "%~dp0..\restart.sh" %* diff --git a/scripts/win/restore.cmd b/scripts/win/restore.cmd new file mode 100644 index 0000000..f5cf5c8 --- /dev/null +++ b/scripts/win/restore.cmd @@ -0,0 +1,3 @@ +@echo off +rem Windows wrapper: Python subprocess cannot exec .sh directly (WinError 193). +"%ProgramFiles%\Git\bin\bash.exe" "%~dp0..\restore.sh" %* diff --git a/scripts/win/stop-one.cmd b/scripts/win/stop-one.cmd new file mode 100644 index 0000000..fe8f128 --- /dev/null +++ b/scripts/win/stop-one.cmd @@ -0,0 +1,3 @@ +@echo off +rem Windows wrapper: Python subprocess cannot exec .sh directly (WinError 193). +"%ProgramFiles%\Git\bin\bash.exe" "%~dp0..\stop-one.sh" %* diff --git a/security/THREAT_MODEL.md b/security/THREAT_MODEL.md index 31da287..75995b2 100644 --- a/security/THREAT_MODEL.md +++ b/security/THREAT_MODEL.md @@ -1,19 +1,53 @@ -# Модель угроз — заполнить +# Модель угроз — мессенджер lab7 ## Активы и акторы -TODO: пользовательские credentials/сессии, сообщения/вложения, service identities, CA/secrets, telemetry. Акторы: участник чата, посторонний пользователь, внешний клиент, скомпрометированный сервис, оператор. Опишите доступ атакующего и границы учебного стенда. +**Активы:** +* пароли пользователей (в БД — только Argon2id-hash) и сессии (Bearer-токены; в Redis — SHA-256 токена); +* сообщения, вложения и их метаданные (PostgreSQL, приватный bucket MinIO); +* service identities: leaf-сертификаты и ключи сервисов, учётки БД/S3/Redis в OpenBao; +* корень доверия: ключи CA (`ca`, `tca`), root token и доли unseal OpenBao; +* telemetry: метрики/логи/трассы (не должны содержать паролей, токенов, тел сообщений). + +**Акторы:** +* участник чата — легитимный пользователь своего чата; +* посторонний пользователь — аутентифицирован, но не участник; +* внешний клиент без учётной записи — доступ только к `https://localhost:8443`; +* скомпрометированный сервис (worker, relay, API) — атакующий получил его сертификат/ключ и всё, что процесс может получить сам (трек 1); +* процесс в той же docker-сети без валидной identity (например, контейнер с уязвимостью); +* оператор — владелец CA, root token и долей unseal. + +**Границы учебного стенда:** один Docker-хост (его компрометация = компрометация всего), один узел каждого хранилища; хост оператора считается доверенным; внешний CA не используется (CA стенда распространяется клиентам как файл). ## Границы доверия -TODO: схема и ссылка на заполненную contracts/trust-matrix.md; публичные/внутренние интерфейсы, процессы, секреты и их выдача. +Схема и все связи — [contracts/trust-matrix.md](../contracts/trust-matrix.md). Публичный интерфейс — только HAProxy `127.0.0.1:8443` (TLS). Административные интерфейсы — OpenBao `127.0.0.1:8200` и Grafana `127.0.0.1:3000` (HTTPS) на хосте. Сети: `front` (LB ↔ API), `back` (сервисы ↔ хранилища, OpenBao), `telemetry` (Collector, backend-ы, Grafana). Секреты выдаются: оператор → PKI-файлы и операторские секреты (compose secrets); сервис → OpenBao по сертификату → свои credentials. | Угроза и конкретный путь | Нарушаемый инвариант | Контроль | Отрицательный тест | Остаточное ограничение | | --- | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | TODO | - -На 4 минимум 6 конкретных угроз. Не заменяйте сценарии словами «SQL injection», «безопасный Docker», «mTLS включён» без пути и проверки. +| T1. Процесс в сети `front`/`back` обращается к API-реплике напрямую, минуя LB (подделка `X-Forwarded-For`, обход лимита входа) | Бизнес-API доступен только через LB | mTLS на API: обязательный клиентский сертификат CA стенда + allowlist identity `lb`; порт API не опубликован | `security_ops.py mtls`: без сертификата, чужой CA, identity `attacker`, identity `worker` → отказ рукопожатия; `lb` → 200 | Компрометация самого LB даёт его identity; митигация — ротация `lb` + отзыв serial | +| T2. Перехват/подмена трафика к хранилищам в общей docker-сети (sniffing паролей БД, данных S3) | Конфиденциальность и целостность данных в пути | TLS на всех связях с проверкой сервера (verify-full, CA стенда); plaintext-порты выключены (Redis `port 0`, RabbitMQ `listeners.tcp none`, pg_hba `hostnossl reject`) | `security_ops.py mtls`: TLS с проверкой — да, plaintext (PING, HTTP, sslmode=disable) — нет ответа/отказ | Метрики Collector о себе (:8888) — plaintext внутри сети telemetry (без данных приложений) | +| T3. Скомпрометированный worker читает hash паролей, сообщения, чужие файлы, публикует поддельные job, чистит очередь | Least privilege: worker делает только обработку вложений | Роль БД `app_worker` (нет users/messages/chats, UPDATE по столбцам), ключ S3 только `s/` (GET), `v/`,`o/` (PUT); RabbitMQ: только read `attachment.process`; OpenBao policy — только свой путь | `compromise.py`: матрица «до/после» least privilege | Worker по природе читает исходные изображения (`s/`) и пишет варианты — их подмена возможна до ротации identity. Право read на `attachment.process` в RabbitMQ разрешает и `queue.purge` (как и consume+ack без обработки) — отнять его нельзя, не сломав worker; потерянные сообщения не теряют работу: job остаётся `queued` в PostgreSQL, рост возраста старейшей queued-работы поднимает алерт lab6. Автоматического переиздания потерянных сообщений нет — восстановление ручное (новая запись outbox для таких работ), это остаточный риск. Зонд purge не выполняет (разрушил бы очередь стенда) | +| T4. Украденный сертификат/секреты сервиса используются после обнаружения | Отозванная identity ничего не даёт | Отзыв токенов OpenBao, смена CN роли (worker-g1 → g2), удаление пользователя RabbitMQ (соединения закрываются), ротация пароля БД и ключа S3, `pg_terminate_backend`; для `lb` — список отозванных serial | `compromise.py` (после реакции: OpenBao/AMQP/БД/S3 → отказ), `security_ops.py rotation` (старый `lb` → отказ) | Нет CRL/OCSP у RabbitMQ/Collector: украденный сертификат телеметрии работает до истечения (30 дней) — только ingest метрик/логов | +| T5. Перебор паролей / дорогой login DoS (Argon2id 19 MiB × N параллельных входов исчерпывает RAM/CPU API) | Доступность API, стойкость паролей | Общий для реплик лимит входа (Redis) до вычисления hash → 429 + Retry-After; не более `ARGON2_MAX_CONCURRENT` вычислений на реплику (память ≤ слоты × 19 MiB), сверх — 503 через 2 s; одинаковое время для несуществующего пользователя | `security_ops.py acl` (11-я попытка → 429, верный пароль тоже 429 до конца окна), `argon2` (всплеск 120 входов: коды, пик памяти) | Лимит по IP обходится распределённым источником; на пределе слотов легитимные входы получают 503 | +| T6. Посторонний пользователь читает чужой чат/вложение или прикрепляет чужой файл; подмена identity заголовком `X-User-Id` | Доступ только участникам чата | Проверка членства в сервисе; 404 вместо 403; identity только из Bearer-сессии | `security_ops.py acl`: metadata/content/attach → 404, `X-User-Id` игнорируется | — | +| T7. Утечка паролей, токенов, тел сообщений в логи/трассы/метрики | Telemetry без секретов | Логи — только шаблон маршрута и коды; атрибуты span без тел и заголовков; `attributes/scrub` в Collector; токены в Redis — hash | `security_ops.py leaks` (Loki, Tempo, stdout: 0 вхождений), lab6 `signals` | Ошибка будущего кода логирования; Collector-scrub — только известные ключи | +| T8. Получение секретов приложением или атакующим в обход политики OpenBao (чтение чужого пути, запись policy, root token в окружении) | Сервис видит только свои credentials | Policy только `read secret/data/messenger/<сервис>`; cert-роль привязана к CN; root token/доли unseal не монтируются в приложения | `security_ops.py openbao`: чужие пути, запись, list, sys/policy, token create, seal → 403; сертификат worker на роль api → отказ; в env/secrets приложений нет токенов | Root token хранится у оператора в файле на хосте стенда (учебное упрощение) | +| T9. Повышение привилегий из контейнера (privileged, capabilities, docker.sock, запись в образ) | Изоляция процессов | non-root (uid 1001), `read_only`, `cap_drop: ALL`, `no-new-privileges`, лимиты CPU/RAM/PIDs; docker.sock не монтируется; host network нет | `security_ops.py hardening` (docker inspect всех контейнеров; в образе приложения нет ключей, исходников, secprobe) | Stateful-сервисы (postgres, redis, rabbitmq, openbao) стартуют root-entrypoint с минимальным набором capabilities для chown/su-exec | +| T10. Подмена/повтор внешнего TLS (чужой сертификат, downgrade) | Клиент говорит с настоящим LB | Сертификат от CA стенда, проверка имени; TLS ≥ 1.2 | `tests/security.py`, `security_ops.py tls-external` (пустой/чужой trust store, чужое имя, TLS 1.1 → ошибка проверки) | CA стенда не публичный: клиент должен получить `ca.crt` по доверенному каналу | ## Lifecycle и инциденты -TODO: bootstrap, expiry/renewal, revoke/rotation, компрометация identity, sealed OpenBao и восстановление. Указать владельца CA/unseal и способ защиты bootstrap credentials. Сопоставить scan findings с реальной применимостью и исправлением/остаточным риском. +**Bootstrap** (`python3 scripts/bootstrap.py all`, оператор): операторские секреты (`init-secrets.sh`) → PKI (`pki.sh init`) → OpenBao: `operator init` (3 доли, порог 2; root token и доли — `secrets/operator/bao-init.json`, 600) → unseal → kv-v2, auth/cert, audit, policies, роли → генерация credentials сервисов прямо в KV → применение в backend-ах (ALTER ROLE, пользователи MinIO, ACL Redis с SHA-256, пользователи RabbitMQ без паролей) → запуск. Повторный запуск идемпотентен и ничего не перегенерирует. + +**Владелец CA и unseal:** оператор стенда. В эксплуатации доли unseal раздаются разным людям, root token отзывается после настройки и восстанавливается через `generate-root`; на учебном стенде они лежат в одном файле оператора — допущение, явно отмеченное в отчёте. CA key не попадает ни в один контейнер. + +**Expiry/renewal:** токен сервиса — 15 мин, renew-self до 1 ч, затем повторный login сертификатом (проверено с TTL 20 s / max 45 s). Leaf — 30 дней; перевыпуск `pki.sh rotate` без пересборки образов: Go-сервисы перечитывают сертификат при изменении файла, HAProxy — reload (USR2), PostgreSQL — `pg_reload_conf()`, RabbitMQ/MinIO — перезапуск контейнера. + +**Revoke/rotation:** пароль БД / ключ S3 сервиса — `bootstrap.py rotate-db|rotate-s3` (новая версия KV, сервисы подхватывают за `SECRETS_REFRESH` = 30 s); токены — `revoke-tokens`; identity worker — `worker-identity gN`; сертификат LB/API — `pki.sh rotate` + `revoked.txt`. + +**Компрометация identity** (трек 1, `student-tests/compromise.py`): см. отчёт — порядок действий, время восстановления и сохранность задач. + +**Sealed OpenBao:** работающие процессы продолжают на последней прочитанной версии секретов (проверено: загрузки обрабатываются, API без ошибок); новые процессы ждут unseal (повтор login 30 × 2 s, затем выход и перезапуск Docker). После `bootstrap.py unseal` всё восстанавливается без вмешательства в приложения. + +**Сканы:** `govulncheck` (достижимые уязвимости Go-кода) и Trivy (образы) — CI job `scan`, разбор применимости — REPORT.md. diff --git a/student-tests/attachments_negative.py b/student-tests/attachments_negative.py new file mode 100644 index 0000000..6f18cc2 --- /dev/null +++ b/student-tests/attachments_negative.py @@ -0,0 +1,143 @@ +#!/usr/bin/env python3 +"""Негативные и граничные сценарии вложений (уровень 4). + +Покрывает: слишком большой файл (по Content-Length и по пикселям), «бомбу», +повреждённое изображение, подмену MIME, чужой формат, опасные filename, +чужое attachment_id, вложение другого чата, правила text/attachment_ids, +идемпотентность с вложениями, варианты. Любой 500 — провал (Client проверяет код). +""" +import hashlib +import uuid +from labutil import bomb_png, fixture, noise_png, png, raw_post, wait_status +from client import Client, arguments, check, run + +MAX = 10 * 1024 * 1024 + + +def main(): + args = arguments('Attachment negative suite (lab4 level 4)') + c = Client(args.base_url, args.ca_file) + alice, bob, eve, chat = c.bootstrap() + other = c.call('POST', '/api/v1/chats', 201, actor=alice, + body={'title': 'Другой чат', 'member_ids': [alice['id']]}, schema='Chat')['json'] + path = '/api/v1/chats/' + chat['id'] + '/attachments?filename=' + results = [] + + def up(name, data, ctype, expected, chat_path=path, actor=alice): + r = c.call('POST', chat_path + name, expected, actor=actor, raw=data, headers={'Content-Type': ctype}, + schema='Attachment' if expected == 202 else None) + results.append((name[:40], ctype, len(data), r['status'])) + return r + + small_png, small_jpg = fixture('small.png'), fixture('small.jpg') + + # --- корректные файлы --- + a_png = up('ok.png', small_png, 'image/png', 202)['json'] + a_jpg = up('ok.jpg', small_jpg, 'image/jpeg', 202)['json'] + check(a_jpg['content_type'] == 'image/jpeg' and a_jpg['sha256'] == hashlib.sha256(small_jpg).hexdigest(), 'jpeg metadata') + uni = up('%D1%84%D0%BE%D1%82%D0%BE%20%F0%9F%98%80.png', small_png, 'image/png', 202)['json'] + check(uni['filename'] == 'фото 😀.png', 'unicode filename not preserved') + up('params.png', small_png, 'image/png; charset=binary', 202) + near = noise_png(MAX - 200_000) + check(len(near) <= MAX, 'generator produced too large file') + big_ok = up('near-limit.png', near, 'image/png', 202)['json'] + wait_status(c, bob, big_ok['id'], ('ready',), timeout=180) + got = c.call('GET', '/api/v1/attachments/' + big_ok['id'] + '/content', actor=bob) + check(got['bytes'] == near, 'near-limit file changed on download') + + # --- размер и пиксели --- + # Content-Length больше лимита: 413 сразу, без чтения тела. + hdr = {'Authorization': 'Bearer ' + alice['token'], 'Content-Type': 'image/png'} + st, _ = raw_post(c.base, path + 'too-big.png', dict(hdr, **{'Content-Length': str(MAX + 1)}), + (b'\x89PNG\r\n\x1a\n' + b'\0' * 65528 for _ in range(1))) + check(st == 413, 'Content-Length > limit: expected 413, got %s' % st) + results.append(('too-big.png (Content-Length)', 'image/png', MAX + 1, st)) + # Без Content-Length (chunked), реально 11 MiB: сервер читает не больше лимита + 1 байт. + def chunked(total=11 * 1024 * 1024, part=256 * 1024): + yield b'%x\r\n\x89PNG\r\n\x1a\n\r\n' % 8 + sent = 8 + while sent < total: + yield b'%x\r\n' % part + b'\0' * part + b'\r\n' + sent += part + yield b'0\r\n\r\n' + st, _ = raw_post(c.base, path + 'too-big-chunked.png', dict(hdr, **{'Transfer-Encoding': 'chunked'}), chunked()) + check(st == 413, 'chunked > limit: expected 413, got %s' % st) + results.append(('too-big-chunked.png (no Content-Length)', 'image/png', 11 * 1024 * 1024, st)) + up('bomb.png', bomb_png(), 'image/png', 413) + up('over-pixels.png', bomb_png(8000, 5001), 'image/png', 413) + + # --- содержимое и MIME --- + up('truncated.png', small_png[:len(small_png) // 2], 'image/png', 415) + broken = bytearray(small_png) + broken[len(broken) // 2] ^= 0xFF + up('corrupt.png', bytes(broken), 'image/png', 415) + up('truncated.jpg', small_jpg[:len(small_jpg) - 2], 'image/jpeg', 415) + up('mime-swap.png', small_png, 'image/jpeg', 415) # PNG, объявлен как JPEG + up('mime-swap.jpg', small_jpg, 'image/png', 415) + up('text.png', b'definitely not an image', 'image/png', 415) + up('gif.gif', b'GIF89a\x01\x00\x01\x00\x00\x00\x00;', 'image/gif', 415) + up('ctype-missing.png', small_png, 'application/octet-stream', 415) + up('empty.png', b'', 'image/png', 415) + up('short-data.png', png(8, 8, raw=b'\x00' * 10), 'image/png', 415) + + # --- filename --- + for bad in ('..%2Fetc%2Fpasswd', 'a%5Cb.png', 'nul%00.png', 'bell%07.png', '%20%20%20', 'x' * 256, ''): + up(bad, small_png, 'image/png', 400) + c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments', 400, actor=alice, raw=small_png, + headers={'Content-Type': 'image/png'}) + c.call('POST', path + 'a.png&filename=b.png', 400, actor=alice, raw=small_png, headers={'Content-Type': 'image/png'}) + + # --- доступ --- + up('eve.png', small_png, 'image/png', 404, actor=eve) + c.call('POST', path + 'anon.png', 401, raw=small_png, headers={'Content-Type': 'image/png'}) + for suffix in ('', '/content'): + c.call('GET', '/api/v1/attachments/' + a_png['id'] + suffix, 404, actor=eve) + c.call('GET', '/api/v1/attachments/' + str(uuid.uuid4()) + suffix, 404, actor=alice) + c.call('GET', '/api/v1/attachments/not-a-uuid' + suffix, 400, actor=alice) + wait_status(c, bob, a_png['id'], ('ready',)) + wait_status(c, bob, a_jpg['id'], ('ready',)) + th = c.call('GET', '/api/v1/attachments/' + a_png['id'] + '/content?variant=thumbnail', actor=bob) + check(th['headers'].get_content_type() == 'image/jpeg', 'thumbnail of small png') + c.call('GET', '/api/v1/attachments/' + a_png['id'] + '/content?variant=bogus', 400, actor=bob) + orig = c.call('GET', '/api/v1/attachments/' + a_png['id'] + '/content?variant=original', actor=bob) + check(orig['bytes'] == small_png and orig['headers'].get_content_type() == 'image/png', 'original variant') + + # --- сообщения с вложениями --- + foreign = up('foreign.png', small_png, 'image/png', 202, + chat_path='/api/v1/chats/' + other['id'] + '/attachments?filename=')['json'] + mpath = '/api/v1/chats/' + chat['id'] + '/messages' + + def msg(body, expected, key=None, actor=alice): + return c.call('POST', mpath, expected, actor=actor, body=body, + headers={'Idempotency-Key': key or uuid.uuid4().hex}, + schema='Message' if expected == 201 else None) + + msg({'text': '', 'attachment_ids': [foreign['id']]}, 404) # вложение другого чата + msg({'text': '', 'attachment_ids': [str(uuid.uuid4())]}, 404) # неизвестное + msg({'text': 'x', 'attachment_ids': ['nope']}, 400) + msg({'text': 'x', 'attachment_ids': [a_png['id'], a_png['id']]}, 400) + msg({'text': 'x', 'attachment_ids': [str(uuid.uuid4()) for _ in range(11)]}, 400) + msg({'text': ''}, 400) + msg({'text': ' ', 'attachment_ids': []}, 400) + msg({'attachment_ids': [a_png['id']]}, 400) # text обязателен + msg({'text': '', 'attachment_ids': [a_png['id']]}, 404, actor=eve) + key = uuid.uuid4().hex + m1 = msg({'text': '', 'attachment_ids': [a_png['id'], a_jpg['id']]}, 201, key=key)['json'] + check(m1['attachment_ids'] == [a_png['id'], a_jpg['id']] and m1['text'] == '', 'attachment order/text') + m2 = msg({'attachment_ids': [a_png['id'], a_jpg['id']], 'text': ''}, 201, key=key)['json'] + check(m2 == m1, 'idempotent replay with attachments differs') + msg({'text': '', 'attachment_ids': [a_jpg['id'], a_png['id']]}, 409, key=key) # другой порядок = другое тело + plain = msg({'text': 'без вложений'}, 201)['json'] + check(plain['attachment_ids'] == [], 'missing attachment_ids must be []') + hist = c.call('GET', mpath + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] + check(any(m == m1 for m in hist), 'message with attachments not in history') + # Bob (участник) прикрепляет вложение Alice — допустимо. + msg({'text': 'и я', 'attachment_ids': [a_png['id']]}, 201, actor=bob) + + for row in results: + print('%-42s %-28s %9d -> %d' % row) + print('PASS: attachment negative suite (%d upload cases, no 5xx)' % len(results)) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/attachments_ops.py b/student-tests/attachments_ops.py new file mode 100644 index 0000000..d06f1ac --- /dev/null +++ b/student-tests/attachments_ops.py @@ -0,0 +1,284 @@ +#!/usr/bin/env python3 +"""Операционные сценарии вложений на Docker-стенде (уровни 3–4). + + failover upload → остановить обслужившую реплику → download через другую + s3-outage остановить S3: загрузка/скачивание 503, текстовый чат и readiness работают + interrupt обрыв клиента посреди тела: ни ready-вложения, ни намерения, ни объекта + db-gap PUT в S3 прошёл, PostgreSQL недоступен на MarkReady: объект удалён + компенсацией, намерение осталось → убирает reconciler + security bucket приватен (анонимно 403), у API-ключа нет прав вне bucket, + bootstrap идемпотентен, консоль/порты S3 не опубликованы + memory N одновременных загрузок ~9.8 MiB: пик памяти (cgroup memory.peak) реплик + +Каждый сценарий печатает JSON-итог и PASS/FAIL. +""" +import hashlib +import json +import threading +import time +import uuid +from labutil import (BUCKET, api_container, bucket_count, compose, fixture, mc, noise_png, object_key, psql, + raw_post, sh, wait_status) +from client import Client, Failure, arguments, check, run + + +def upload(c, actor, chat, data, name='f.png', ctype='image/png', expected=202): + return c.call('POST', '/api/v1/chats/%s/attachments?filename=%s' % (chat['id'], name), expected, + actor=actor, raw=data, headers={'Content-Type': ctype}, + schema='Attachment' if expected == 202 else None) + + +def wait_ready(c, timeout=90): + end = time.time() + timeout + while time.time() < end: + try: + c.call('GET', '/health/ready') + return + except Failure: + time.sleep(1) + raise Failure('stack not ready') + + +def scenario_failover(c): + alice, bob, _, chat = c.bootstrap() + data = noise_png(2 * 1024 * 1024) + r = upload(c, alice, chat, data) + att, served_by = r['json'], r['headers']['X-Instance-Id'] + wait_status(c, bob, att['id'], ('ready',)) + cid = api_container(served_by) + sh('docker', 'stop', '-t', '15', cid) + try: + seen = set() + for _ in range(6): + d = c.call('GET', '/api/v1/attachments/%s/content' % att['id'], actor=bob) + check(d['bytes'] == data, 'downloaded bytes differ after failover') + seen.add(d['headers']['X-Instance-Id']) + check(served_by not in seen, 'stopped replica still serving') + finally: + sh('docker', 'start', cid) + sh('sh', 'scripts/restore.sh') + return {'uploaded_by': served_by, 'downloaded_by': sorted(seen), 'sha256': hashlib.sha256(data).hexdigest(), + 'stopped_container': cid[:12]} + + +def scenario_s3_outage(c): + alice, bob, _, chat = c.bootstrap() + small = fixture('small.png') + att = upload(c, alice, chat, small)['json'] + wait_status(c, bob, att['id'], ('ready',)) + compose('stop', 's3') + try: + t0 = time.time() + up = upload(c, alice, chat, small, expected=503) + up_s = time.time() - t0 + c.call('GET', '/api/v1/attachments/%s/content' % att['id'], 503, actor=bob) + meta = c.call('GET', '/api/v1/attachments/%s' % att['id'], actor=bob, schema='Attachment')['json'] + msg = c.message(alice, chat, 'S3 лежит, а чат работает')['json'] + c.call('GET', '/health/ready', schema='Health') + leftovers = psql("SELECT count(*) FROM attachments WHERE chat_id = '%s' AND status = 'uploading'" % chat['id']) + finally: + compose('start', 's3') + compose('run', '--rm', 's3-init') + for _ in range(30): + try: + again = upload(c, alice, chat, small)['json'] + break + except Failure: + time.sleep(1) + else: + raise Failure('upload did not recover after S3 start') + d = c.call('GET', '/api/v1/attachments/%s/content' % att['id'], actor=bob) + check(d['bytes'] == small, 'old attachment changed after S3 restart') + check(leftovers == '0', 'intent rows left after failed upload: ' + leftovers) + return {'upload_status_during_outage': up['status'], 'upload_error_seconds': round(up_s, 2), + 'download_status_during_outage': 503, 'metadata_during_outage': meta['status'], + 'text_message_during_outage': 201, 'readiness_during_outage': 200, + 'intents_left': int(leftovers), 'upload_after_recovery': again['status']} + + +def scenario_interrupt(c): + alice, _, _, chat = c.bootstrap() + data = noise_png(4 * 1024 * 1024) + hdr = {'Authorization': 'Bearer ' + alice['token'], 'Content-Type': 'image/png', + 'Content-Length': str(len(data))} + # Отправляем 1 MiB из 4 и обрываем соединение. + import socket + from urllib.parse import urlsplit + u = urlsplit(c.base) + s = socket.create_connection((u.hostname, u.port or 80)) + head = 'POST /api/v1/chats/%s/attachments?filename=cut.png HTTP/1.1\r\nHost: %s\r\n' % (chat['id'], u.netloc) + s.sendall((head + ''.join('%s: %s\r\n' % kv for kv in hdr.items()) + '\r\n').encode()) + s.sendall(data[:1024 * 1024]) + time.sleep(1) + s.close() + time.sleep(3) + rows = psql("SELECT status FROM attachments WHERE chat_id = '%s'" % chat['id']) + objs = str(sum(bucket_count(p + chat['id'] + '/') for p in ('s/', 'o/', 'v/'))) + check(rows == '', 'rows left after interrupted upload: %r' % rows) + check(objs == '0', 'objects left after interrupted upload: ' + objs) + return {'sent_bytes': 1024 * 1024, 'declared_bytes': len(data), 'rows_after': 0, 'objects_after': 0} + + +def scenario_db_gap(c): + """PUT прошёл, а PostgreSQL «пропал» до MarkReady (docker pause).""" + alice, _, _, chat = c.bootstrap() + data = noise_png(3 * 1024 * 1024) + hdr = {'Authorization': 'Bearer ' + alice['token'], 'Content-Type': 'image/png', 'Content-Length': str(len(data))} + state = {} + + def body(): + yield data[:512 * 1024] # намерение уже записано, PUT идёт + time.sleep(2) + compose('pause', 'postgres') # БД «пропала» до MarkReady + state['paused_at'] = time.time() + yield data[512 * 1024:] + t0 = time.time() + try: + st, _ = raw_post(c.base, '/api/v1/chats/%s/attachments?filename=gap.png' % chat['id'], hdr, body(), read_timeout=60) + finally: + # Дольше таймаута запроса (30 s) и компенсации (10 s): DeleteIntent тоже не пройдёт. + time.sleep(max(0, 45 - (time.time() - state.get('paused_at', time.time())))) + compose('unpause', 'postgres') + wait_ready(c) + time.sleep(3) # отложенный UPDATE (если был) успевает закоммититься после unpause + rows = psql("SELECT id || ' ' || status FROM attachments WHERE chat_id = '%s'" % chat['id']) + staged = bucket_count('s/' + chat['id'] + '/') + status_after = rows.split()[-1] if rows else 'none' + check(st != 202, 'upload must not report success when the job was not committed (got %s)' % st) + # Инвариант: нет строки queued/ready без исходника. + check(not (status_after in ('queued', 'processing') and staged == 0 and bucket_count('o/' + chat['id'] + '/') == 0), + 'job without source: %r' % rows) + if status_after in ('queued', 'processing', 'ready'): + # COMMIT всё-таки прошёл: pipeline доводит работу до ready. + aid = rows.split()[0] + for _ in range(120): + if psql("SELECT status FROM attachments WHERE id='%s'" % aid) == 'ready': + break + time.sleep(1) + else: + psql("UPDATE attachments SET updated_at = now() - interval '30 minutes' WHERE chat_id = '%s'" % chat['id']) + for _ in range(10): + r = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/reconcile', 'reconciler', + '--apply', '--grace', '10m', check=False) + if r.returncode != 3: + break + time.sleep(2) + check(r.returncode in (0, 4), 'reconcile failed: ' + r.stderr[-300:]) + final = psql("SELECT status FROM attachments WHERE chat_id = '%s'" % chat['id']) + check(final in ('ready', ''), 'inconsistent final state: %r' % final) + return {'client_status': st, 'seconds': round(time.time() - t0, 1), + 'after_gap': {'row_status': status_after, 'staging_objects': staged}, + 'final': {'row_status': final or 'none'}} + + +def scenario_security(c): + alice, _, _, chat = c.bootstrap() + att = upload(c, alice, chat, fixture('small.png'))['json'] + # С lab5 worker переносит оригинал staging s/ → o/: ключ берём после ready. + wait_status(c, alice, att['id'], ('ready',)) + key = object_key(att['id']) + url = 'http://s3:9000/%s/%s' % (BUCKET, key) + # Анонимно изнутри сети стенда (из контейнера API): объект и листинг закрыты. + anon_get = compose('exec', '-T', 'api', 'wget', '-q', '-S', '-O', '/dev/null', url, check=False) + anon_list = compose('exec', '-T', 'api', 'wget', '-q', '-S', '-O', '/dev/null', + 'http://s3:9000/%s?list-type=2' % BUCKET, check=False) + check(anon_get.returncode != 0 and '403' in anon_get.stderr, 'anonymous GET must be 403') + check(anon_list.returncode != 0 and '403' in anon_list.stderr, 'anonymous LIST must be 403') + # Ключ API: свой bucket — да, остальное — нет. + own = mc('mc stat s3/%s/%s >/dev/null && echo ok' % (BUCKET, key), as_user='api').stdout.strip() + mb = mc('mc mb s3/evil-bucket-%s' % uuid.uuid4().hex[:6], check=False, as_user='api') + admin = mc('mc admin user list s3', check=False, as_user='api') + buckets = mc('mc ls s3', check=False, as_user='api') + check(own == 'ok', 'api key cannot read own bucket') + check(mb.returncode != 0, 'api key must not create buckets') + check(admin.returncode != 0, 'api key must not use admin API') + check(buckets.returncode != 0 or 'evil' not in buckets.stdout, 'api key sees a bucket it created?!') + # Bootstrap идемпотентен: повторный запуск успешен, объект на месте. + before = mc('mc ls --recursive s3/%s | wc -l' % BUCKET).stdout.strip() + r1 = compose('run', '--rm', 's3-init') + r2 = compose('run', '--rm', 's3-init') + after = mc('mc ls --recursive s3/%s | wc -l' % BUCKET).stdout.strip() + check(before == after, 'bootstrap changed objects') + ports = compose('ps', 's3', '--format', '{{.Ports}}').stdout.strip() + check('0.0.0.0' not in ports and '127.0.0.1' not in ports, 's3 port is published: ' + ports) + return {'anonymous_get': '403', 'anonymous_list': '403', 'api_key_own_bucket': 'allowed', + 'api_key_make_bucket': 'denied', 'api_key_admin': 'denied', + 'api_key_visible_buckets': sorted(l.split()[-1].rstrip('/') for l in buckets.stdout.splitlines() if l.strip()) + if buckets.returncode == 0 else 'denied', + 'bootstrap_runs': [r1.returncode, r2.returncode], 'objects_before_after': [int(before), int(after)], + 's3_published_ports': ports or 'none'} + + +def read_peak(cid): + r = sh('docker', 'exec', cid, 'cat', '/sys/fs/cgroup/memory.peak', check=False) + return int(r.stdout.strip()) if r.returncode == 0 and r.stdout.strip().isdigit() else None + + +def read_current(cid): + r = sh('docker', 'exec', cid, 'cat', '/sys/fs/cgroup/memory.current', check=False) + return int(r.stdout.strip()) if r.returncode == 0 and r.stdout.strip().isdigit() else None + + +def scenario_memory(c, parallel_levels=(10, 20)): + alice, _, _, chat = c.bootstrap() + data = noise_png(10 * 1024 * 1024 - 300_000) + out = {'file_bytes': len(data), 'runs': []} + for n in parallel_levels: + compose('restart', 'api') # новый cgroup → memory.peak с нуля + sh('sh', 'scripts/restore.sh') + wait_ready(c) + cids = compose('ps', '-q', 'api').stdout.split() + upload(c, alice, chat, fixture('small.png')) # прогрев пулов/соединений + base = {cid[:12]: read_peak(cid) for cid in cids} + barrier = threading.Barrier(n) + res = [] + + def worker(): + local = Client(c.base, timeout=60) + barrier.wait() + t0 = time.time() + try: + upload(local, alice, chat, data, name='mem.png') + res.append(('ok', time.time() - t0)) + except Failure as e: + res.append(('fail:' + str(e)[:60], time.time() - t0)) + ths = [threading.Thread(target=worker) for _ in range(n)] + for t in ths: + t.start() + for t in ths: + t.join() + peak = {cid[:12]: read_peak(cid) for cid in cids} + ok = sum(1 for r in res if r[0] == 'ok') + mib = lambda v: round(v / 1048576, 1) if v else None + run = {'parallel': n, 'ok': ok, 'failed': [r[0] for r in res if r[0] != 'ok'], + 'max_seconds': round(max(r[1] for r in res), 2), + 'baseline_peak_mib': {k: mib(v) for k, v in base.items()}, + 'peak_mib': {k: mib(v) for k, v in peak.items()}, + 'payload_total_mib': round(n * len(data) / 1048576, 1)} + growth = [peak[k] - base[k] for k in peak if peak[k] and base[k]] + run['max_peak_growth_mib'] = mib(max(growth)) if growth else None + out['runs'].append(run) + check(ok == n, '%d of %d concurrent uploads failed: %s' % (n - ok, n, run['failed'][:3])) + return out + + +SCENARIOS = {'failover': scenario_failover, 's3-outage': scenario_s3_outage, 'interrupt': scenario_interrupt, + 'db-gap': scenario_db_gap, 'security': scenario_security, 'memory': scenario_memory} + + +def main(): + def configure(p): + p.add_argument('scenario', choices=sorted(SCENARIOS)) + p.add_argument('--output', default=None) + args = arguments('Docker-level attachment scenarios (lab4)', configure) + c = Client(args.base_url, args.ca_file, timeout=60) + result = SCENARIOS[args.scenario](c) + text = json.dumps({'scenario': args.scenario, 'result': result}, ensure_ascii=False, indent=2) + if args.output: + open(args.output, 'w', encoding='utf-8').write(text + '\n') + print(text) + print('PASS: ' + args.scenario) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/compromise.py b/student-tests/compromise.py new file mode 100644 index 0000000..1d681f2 --- /dev/null +++ b/student-tests/compromise.py @@ -0,0 +1,202 @@ +#!/usr/bin/env python3 +"""Трек 1 lab7: компрометация worker. + +Модель: атакующий получил то же, что у процесса worker, — его сертификат и ключ (файлы в +контейнере), а через них всё, что worker может получить сам (вход в OpenBao, секреты KV). + + 1. ДО least privilege (модель lab6): учётки, которые были у worker в lab6, — владелец БД + (DATABASE_URL), общий ключ S3 на весь bucket, администратор RabbitMQ. Эмулируются + временными учётками с теми же правами и проверяются тем же зондом. + 2. ПОСЛЕ (lab7): `secprobe compromise` с сертификатом worker: OpenBao → его секреты → + PostgreSQL / S3 / RabbitMQ / Collector / API — матрица allowed/denied. + 3. Реакция под нагрузкой (загрузки идут всё время): отзыв токенов OpenBao, новая identity + worker (CN worker-g1 → worker-g2: сертификат, роль OpenBao, пользователь RabbitMQ; старый + удалён), ротация пароля роли БД и ключа S3 worker, разрыв его соединений с БД. + Worker восстанавливается БЕЗ рестарта (перечитывает сертификат и секреты). + 4. Проверка: украденный сертификат и старые секреты больше ничего не дают; все задания, + принятые до/во время инцидента (202), дошли до ready. +""" +import json +import os +import threading +import time +import uuid +from pathlib import Path + +import labutil # noqa: F401 +from client import Client, Failure, arguments, check, run +from labutil import ROOT, compose, mc, psql, sh, wait_status +from security_ops import CA, PY, SAMPLE, bootstrap, denied, probe + + +def kv(svc): + tok = json.loads((ROOT / 'secrets/operator/bao-init.json').read_text())['root_token'] + out = compose('exec', '-T', '-e', 'BAO_ADDR=https://127.0.0.1:8200', '-e', 'BAO_CACERT=/run/secrets/ca.crt', + '-e', 'BAO_TOKEN=' + tok, 'openbao', 'bao', 'kv', 'get', '-format=json', 'secret/messenger/' + svc).stdout + return json.loads(out)['data']['data'] + + +def summarize(m): + """Матрица → {операция: allowed|denied|…} (плоско).""" + flat = {} + for area, v in m.items(): + if isinstance(v, dict): + for k, x in v.items(): + if isinstance(x, (str, int)): + flat['%s: %s' % (area, k)] = x + else: + flat[area] = v + return flat + + +def before_least_privilege(): + """Права, которые worker имел в lab6, эмулированные временными учётками.""" + res = {} + owner_pw = (ROOT / 'secrets/postgres_password').read_text().strip() + res['db'] = probe('db', '-user', 'messenger', '-stdin', stdin=owner_pw) + key, secret = 'legacy-shared-' + uuid.uuid4().hex[:6], uuid.uuid4().hex + uuid.uuid4().hex[:8] + pol = ('{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:GetBucketLocation","s3:ListBucket"],' + '"Resource":["arn:aws:s3:::messenger-attachments"]},{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject",' + '"s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/*"]}]}') + mc("printf '%%s' '%s' > /tmp/p.json && mc admin policy create s3 legacy-lab6 /tmp/p.json >/dev/null && " + "mc admin user add s3 %s %s >/dev/null && mc admin policy attach s3 legacy-lab6 --user %s >/dev/null" % (pol, key, secret, key)) + res['s3'] = probe('s3', '-access', key, '-stdin', stdin=secret) + mc('mc admin user rm s3 %s' % key, check=False) + sh('sh', 'scripts/pki.sh', 'issue', 'legacy-admin', 'legacy-admin', 'URI:spiffe://messenger/legacy', 'clientAuth', 'ca', '1', + 'secrets/pki/test') + rq = lambda *a: compose('exec', '-T', 'rabbitmq', 'rabbitmqctl', '-q', *a, check=False) + rq('add_user', 'legacy-admin', uuid.uuid4().hex) + rq('clear_password', 'legacy-admin') + rq('set_user_tags', 'legacy-admin', 'administrator') + rq('set_permissions', '-p', '/', 'legacy-admin', '.*', '.*', '.*') # lab5/6: messenger — администратор + res['amqp'] = probe('amqp', '-cert', '/pki/test/legacy-admin.crt', '-key', '/pki/test/legacy-admin.key') + rq('delete_user', 'legacy-admin') + res['otlp'] = 'allowed (lab6: OTLP по HTTP без аутентификации, любой процесс сети telemetry)' + res['api_as_lb'] = 'allowed (lab6: API на :8080 по HTTP, доступен из сети front/back)' + res['openbao'] = 'n/a (lab6: секреты всех нужных сервисов — файлами в контейнере)' + return res + + +class Uploader: + """Фоновые загрузки весь эксперимент: каждые 2 s одно изображение (202 → id).""" + + def __init__(self, c, actor, chat): + self.c, self.actor, self.chat = c, actor, chat + self.ids, self.errors = [], 0 + self.stop_ev = threading.Event() + + def loop(self): + while not self.stop_ev.is_set(): + try: + r = self.c.call('POST', '/api/v1/chats/%s/attachments?filename=u.png' % self.chat['id'], 202, + actor=self.actor, raw=SAMPLE, headers={'Content-Type': 'image/png'}, schema='Attachment') + self.ids.append((time.time(), r['json']['id'])) + except Failure: + self.errors += 1 + self.stop_ev.wait(2) + + def start(self): + self.t = threading.Thread(target=self.loop, daemon=True) + self.t.start() + return self + + def stop(self): + self.stop_ev.set() + self.t.join() + + +def main(): + def configure(p): + p.add_argument('--output', default=None) + args = arguments('Lab7 track 1: worker compromise', configure) + c = Client(args.base_url or 'https://localhost:8443', args.ca_file or CA, timeout=30) + alice, bob, _, chat = c.bootstrap() + res = {} + + res['before_least_privilege'] = before_least_privilege() + stolen = probe('compromise', '-cert', '/pki/worker.crt', '-key', '/pki/worker.key', '-otel-cert', '/pki/worker-otel.crt', + '-otel-key', '/pki/worker-otel.key', '-role', 'worker', '-path', 'messenger/worker') + res['after_least_privilege'] = stolen + a = stolen + check(a['openbao'].get('read own messenger/worker') == 'allowed', 'worker cannot read own secret?') + check(denied(a['db'].get('read users.password_hash')) and denied(a['db'].get('read messages')) + and denied(a['db'].get('insert message')) and denied(a['db'].get('update attachments.owner_id')), + 'worker DB role too broad: %s' % a['db']) + check(denied(a['s3'].get('put s/*')) and denied(a['s3'].get('get o/*')) and denied(a['s3'].get('list bucket')) + and denied(a['s3'].get('delete o/*')), 'worker S3 key too broad: %s' % a['s3']) + check(denied(a['amqp'].get('publish attachments (job)')) and denied(a['amqp'].get('declare queue evil')) + and denied(a['amqp'].get('consume attachment.dead (DLQ)')), + 'worker broker rights too broad: %s' % a['amqp']) + check(denied(a['api_as_lb'].get('result')), 'worker certificate accepted by API') + + # ---------- реакция под нагрузкой ---------- + up = Uploader(c, alice, chat).start() + time.sleep(10) + old_worker = kv('worker') + sh('cp', 'secrets/pki/worker.crt', 'secrets/pki/test/worker-stolen.crt') + sh('cp', 'secrets/pki/worker.key', 'secrets/pki/test/worker-stolen.key') + t_resp = time.time() + steps = [] + + def step(name, fn): + t = time.time() + fn() + steps.append({'step': name, 'at_s': round(t - t_resp, 1), 'took_s': round(time.time() - t, 1)}) + step('новая identity: сертификат CN worker-g2 (перезапись файла на месте)', + lambda: sh('sh', 'scripts/pki.sh', 'rotate', 'worker', 'worker-g2')) + step('OpenBao cert-роль worker → только CN worker-g2; RabbitMQ: worker-g2 создан, worker-g1 удалён (соединения закрыты)', + lambda: bootstrap('worker-identity', 'g2')) + step('отзыв всех токенов OpenBao, выданных worker', + lambda: bootstrap('revoke-tokens', 'worker')) + step('ротация пароля роли БД app_worker + разрыв её соединений', + lambda: (bootstrap('rotate-db', 'worker'), + psql("SELECT count(pg_terminate_backend(pid)) FROM pg_stat_activity WHERE usename = 'app_worker'"))) + step('ротация secret key S3 svc-worker', lambda: bootstrap('rotate-s3', 'worker')) + res['response_steps'] = steps + t_done = time.time() + + # первое задание, принятое после реакции, — когда стало ready (восстановление обработки) + probe_att = c.call('POST', '/api/v1/chats/%s/attachments?filename=after.png' % chat['id'], 202, actor=alice, raw=SAMPLE, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + meta = wait_status(c, bob, probe_att['id'], ('ready', 'failed'), timeout=240) + res['processing_restored_seconds_after_response'] = round(time.time() - t_done, 1) + check(meta['status'] == 'ready', 'worker did not recover with the new identity') + wlogs = compose('logs', '--no-color', '--since', '%ds' % int(time.time() - t_resp + 5), 'worker').stdout + res['worker_recovery_log_events'] = sorted({e for e in ('secrets.login', 'secrets.refresh_failed', 'secrets.version') + if '"event":"%s"' % e in wlogs}) + res['worker_restarts'] = int(sh('docker', 'inspect', '-f', '{{.RestartCount}}', compose('ps', '-q', 'worker').stdout.split()[0]).stdout) + + # ---------- украденное больше не работает ---------- + after = probe('compromise', '-cert', '/pki/test/worker-stolen.crt', '-key', '/pki/test/worker-stolen.key', + '-otel-cert', '/pki/worker-otel.crt', '-otel-key', '/pki/worker-otel.key', '-role', 'worker', + '-path', 'messenger/worker') + after['db_with_stolen_password'] = probe('db', '-user', 'app_worker', '-stdin', stdin=old_worker['db_password']).get('connect') + after['s3_with_stolen_key'] = probe('s3', '-access', old_worker['s3_access_key'], '-stdin', stdin=old_worker['s3_secret_key']) + res['stolen_identity_after_response'] = after + check(after['openbao'].get('login', '').startswith('denied'), 'stolen cert still logs into OpenBao') + check(denied(after['amqp'].get('connect')), 'stolen cert still connects to RabbitMQ') + check(denied(after['db_with_stolen_password']), 'stolen DB password still works') + s3v = after['s3_with_stolen_key'] + check(all(denied(v) for k, v in s3v.items() if k.startswith(('put', 'get', 'delete', 'list'))), 'stolen S3 key works: %s' % s3v) + + # ---------- сохранность задач ---------- + time.sleep(10) + up.stop() + statuses = {} + for _, aid in up.ids: + st = wait_status(c, bob, aid, ('ready', 'failed'), timeout=240)['status'] + statuses[st] = statuses.get(st, 0) + 1 + res['tasks'] = {'accepted_202': len(up.ids), 'upload_errors': up.errors, 'final': statuses, + 'accepted_during_response': sum(1 for t, _ in up.ids if t_resp <= t <= t_done + 30)} + check(statuses.get('ready', 0) == len(up.ids), 'accepted tasks lost or failed: %s' % statuses) + + res['comparison'] = {'before': summarize(res['before_least_privilege']), 'after': summarize(stolen)} + text = json.dumps(res, ensure_ascii=False, indent=2) + if args.output: + Path(args.output).write_text(text + '\n', encoding='utf-8') + print(text) + print('PASS: worker compromise — least privilege, revocation, rotation, recovery, no task loss') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/failover_series.py b/student-tests/failover_series.py new file mode 100644 index 0000000..ce926b6 --- /dev/null +++ b/student-tests/failover_series.py @@ -0,0 +1,174 @@ +#!/usr/bin/env python3 +"""Серия отказов под нагрузкой (уровень 4): поочерёдно останавливает КАЖДУЮ +API-реплику (docker stop → SIGTERM → drain), восстанавливает её и переходит +к следующей. Во время всей серии идёт closed-loop нагрузка через LB: +POST сообщения (при ошибке повтор с тем же Idempotency-Key) и GET истории. + +Измеряется на каждую реплику: RPS до/во время/после, число ошибок, время от +начала остановки до последней ошибки (recovery), время до исчезновения реплики +из ответов LB и время восстановления реплики после docker start. +В конце проверяется: все подтверждённые сообщения на месте, дублей нет. + +Скрипт сам вызывает docker CLI (это не публичный тест), запускать из корня репозитория. +""" +from concurrent.futures import ThreadPoolExecutor +import json +from pathlib import Path +import subprocess +import threading +import time +import uuid +import sys +from pathlib import Path +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) # публичный client.py +from client import Client, Failure, arguments, check, run +from resilience import history + +ROOT = Path(__file__).resolve().parents[1] + + +def docker(*args): + return subprocess.run(['docker', *args], cwd=ROOT, check=True, capture_output=True, text=True).stdout.strip() + + +def api_containers(): + return docker('compose', 'ps', '-q', 'api').split() + + +def health(cid): + return docker('inspect', '-f', '{{.State.Health.Status}}', cid) + + +class Load: + def __init__(self, args, actor, reader, chat, concurrency): + self.args, self.actor, self.reader, self.chat = args, actor, reader, chat + self.concurrency = concurrency + self.events = [] # (t, kind, ok, instance) + self.confirmed = [] # подтверждённые Message + self.lock = threading.Lock() + self.stop = threading.Event() + + def record(self, kind, ok, instance=None): + with self.lock: + self.events.append((time.monotonic(), kind, ok, instance)) + + def worker(self, n): + c = Client(self.args.base_url, self.args.ca_file, timeout=3) + path = '/api/v1/chats/' + self.chat['id'] + '/messages?limit=20' + key, text, i = None, None, 0 + while not self.stop.is_set(): + if key is None: + key = uuid.uuid4().hex + text = 'series-%d-%d-%s' % (n, i, key) + i += 1 + try: + r = c.message(self.actor, self.chat, text, key=key) + self.record('write', True, r['headers'].get('X-Instance-Id')) + with self.lock: + self.confirmed.append(r['json']) + key = None + except Failure: + self.record('write', False) # неопределённый результат: тот же ключ + try: + r = c.call('GET', path, actor=self.reader, schema='MessagePage') + self.record('read', True, r['headers'].get('X-Instance-Id')) + except Failure: + self.record('read', False) + + def __enter__(self): + self.pool = ThreadPoolExecutor(max_workers=self.concurrency) + self.futures = [self.pool.submit(self.worker, n) for n in range(self.concurrency)] + return self + + def __exit__(self, *exc): + self.stop.set() + for f in self.futures: + f.result() + self.pool.shutdown() + + def window(self, a, b): + with self.lock: + ev = [e for e in self.events if a <= e[0] < b] + ok = sum(1 for e in ev if e[2]) + return {'seconds': round(b - a, 2), 'ok': ok, 'errors': len(ev) - ok, + 'ok_rps': round(ok / (b - a), 1) if b > a else None} + + +def main(): + def configure(p): + p.add_argument('--concurrency', type=int, default=4) + p.add_argument('--warmup', type=float, default=5) + p.add_argument('--observe', type=float, default=15) + p.add_argument('--output', default=None) + args = arguments('Stop each API replica in turn under load; collect RPS/errors/recovery', configure) + c = Client(args.base_url, args.ca_file) + alice, bob, _, chat = c.bootstrap() + replicas = api_containers() + check(len(replicas) >= 2, 'need at least 2 api containers') + results = [] + with Load(args, alice, bob, chat, args.concurrency) as load: + time.sleep(args.warmup) + for cid in replicas: + target = docker('exec', cid, 'cat', '/tmp/instance-id') # lab7: alias реплики + before_start = time.monotonic() - args.warmup + t0 = time.monotonic() + docker('stop', '-t', '15', cid) + stop_seconds = time.monotonic() - t0 + time.sleep(max(0.0, args.observe - stop_seconds)) + t_end = time.monotonic() + with load.lock: + after = [e for e in load.events if e[0] >= t0] + errs = [e[0] for e in after if not e[2]] + served = [e[0] for e in after if e[2] and e[3] == target] + row = { + 'target_instance': target, + 'docker_stop_seconds': round(stop_seconds, 2), + 'before': load.window(before_start, t0), + 'during_stop_and_observe': load.window(t0, t_end), + 'errors_after_stop': len(errs), + 'recovery_seconds': round(max(errs) - t0, 2) if errs else 0.0, + 'target_last_served_after_stop_seconds': round(max(served) - t0, 2) if served else None, + 'other_instances_after': sorted({e[3] for e in after if e[2] and e[3] != target}), + } + # Восстановление реплики и её возврат в балансировку. + r0 = time.monotonic() + docker('start', cid) + while health(cid) != 'healthy': + check(time.monotonic() - r0 < 60, 'replica did not become healthy') + time.sleep(0.5) + healthy_at = time.monotonic() - r0 + while True: + with load.lock: + seen = any(e[0] > r0 and e[2] and e[3] == target for e in load.events) + if seen: + break + check(time.monotonic() - r0 < 60, 'replica not seen behind LB after restore') + time.sleep(0.2) + row['restore_healthy_seconds'] = round(healthy_at, 2) + row['restore_serving_via_lb_seconds'] = round(time.monotonic() - r0, 2) + results.append(row) + print(json.dumps(row, ensure_ascii=False)) + time.sleep(3) + total = load.window(load.events[0][0], time.monotonic()) + confirmed = list(load.confirmed) + + messages = history(c, bob, chat) + ids = [m['id'] for m in messages] + texts = [m['text'] for m in messages] + check(len(ids) == len(set(ids)), 'duplicated message IDs') + check(len(texts) == len(set(texts)), 'retry with same key created a duplicate') + by_id = {m['id']: m for m in messages} + lost = [m for m in confirmed if by_id.get(m['id']) != m] + check(not lost, '%d confirmed messages lost/changed' % len(lost)) + summary = {'concurrency': args.concurrency, 'replicas': len(replicas), 'total': total, + 'confirmed_writes': len(confirmed), 'stored_messages': len(messages), + 'duplicates': 0, 'lost_confirmed': 0, 'per_replica': results} + text = json.dumps(summary, ensure_ascii=False, indent=2) + if args.output: + Path(args.output).write_text(text + '\n', encoding='utf-8') + print(text) + print('PASS: every replica stopped and restored under load; no lost or duplicated messages.') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/fixtures/small.jpg b/student-tests/fixtures/small.jpg new file mode 100644 index 0000000..3947b15 Binary files /dev/null and b/student-tests/fixtures/small.jpg differ diff --git a/student-tests/fixtures/small.png b/student-tests/fixtures/small.png new file mode 100644 index 0000000..5361834 Binary files /dev/null and b/student-tests/fixtures/small.png differ diff --git a/student-tests/genfixtures/main.go b/student-tests/genfixtures/main.go new file mode 100644 index 0000000..f67d3af --- /dev/null +++ b/student-tests/genfixtures/main.go @@ -0,0 +1,47 @@ +// Command genfixtures пишет маленькие синтетические изображения для собственных +// тестов (student-tests/fixtures). Большие и вредоносные файлы тесты генерируют +// сами в памяти — в Git они не хранятся. +// +// go run ./student-tests/genfixtures +package main + +import ( + "bytes" + "image" + "image/color" + "image/jpeg" + "image/png" + "log" + "os" + "path/filepath" +) + +func img(w, h int) *image.RGBA { + m := image.NewRGBA(image.Rect(0, 0, w, h)) + for y := 0; y < h; y++ { + for x := 0; x < w; x++ { + m.Set(x, y, color.RGBA{uint8(x * 4), uint8(y * 4), 128, 255}) + } + } + return m +} + +func main() { + dir := filepath.Join("student-tests", "fixtures") + if err := os.MkdirAll(dir, 0o755); err != nil { + log.Fatal(err) + } + var j bytes.Buffer + if err := jpeg.Encode(&j, img(64, 48), &jpeg.Options{Quality: 85}); err != nil { + log.Fatal(err) + } + var p bytes.Buffer + if err := png.Encode(&p, img(40, 30)); err != nil { + log.Fatal(err) + } + for name, data := range map[string][]byte{"small.jpg": j.Bytes(), "small.png": p.Bytes()} { + if err := os.WriteFile(filepath.Join(dir, name), data, 0o644); err != nil { + log.Fatal(err) + } + } +} diff --git a/student-tests/idempotency_concurrent.py b/student-tests/idempotency_concurrent.py new file mode 100644 index 0000000..9d3dea8 --- /dev/null +++ b/student-tests/idempotency_concurrent.py @@ -0,0 +1,92 @@ +#!/usr/bin/env python3 +"""Конкурентный повтор POST сообщения с одним Idempotency-Key через LB (lab3). + +Каждый раунд: N потоков (каждый со своим соединением) по барьеру одновременно +отправляют одинаковый body с одинаковым ключом. Ожидаем: все ответы 201 с одним +и тем же Message, запросы обслужены ≥2 репликами, в истории ровно одно сообщение. +Затем тот же ключ с другим body — 409; тот же ключ в другом чате — новое сообщение. +""" +from concurrent.futures import ThreadPoolExecutor +import json +import threading +import uuid +import sys +from pathlib import Path +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) # публичный client.py +from client import Client, Failure, arguments, check, run +from resilience import history + + +def main(): + def configure(p): + p.add_argument('--rounds', type=int, default=10) + p.add_argument('--parallel', type=int, default=16) + p.add_argument('--output', default=None) + args = arguments('Concurrent Idempotency-Key replay across replicas', configure) + c = Client(args.base_url, args.ca_file) + alice, bob, eve, chat = c.bootstrap() + other = c.call('POST', '/api/v1/chats', 201, actor=alice, + body={'title': 'Второй чат', 'member_ids': [alice['id'], bob['id']]}, schema='Chat')['json'] + + rounds = [] + all_instances = set() + for r in range(args.rounds): + key = 'conc-' + uuid.uuid4().hex + text = 'Конкурентный повтор %d %s' % (r, key) + barrier = threading.Barrier(args.parallel) + + def worker(_): + local = Client(args.base_url, args.ca_file, timeout=10) + barrier.wait() + try: + resp = local.message(alice, chat, text, key=key) + return resp['status'], resp['json'], resp['headers'].get('X-Instance-Id') + except Failure as exc: + return 'fail', str(exc), None + + with ThreadPoolExecutor(max_workers=args.parallel) as pool: + results = list(pool.map(worker, range(args.parallel))) + statuses = [s for s, _, _ in results] + check(all(s == 201 for s in statuses), 'round %d: not all 201: %s' % (r, statuses)) + bodies = {json.dumps(b, sort_keys=True) for _, b, _ in results} + check(len(bodies) == 1, 'round %d: replays returned different messages' % r) + instances = {i for _, _, i in results} + all_instances |= instances + stored = [m for m in history(c, bob, chat) if m['text'] == text] + check(len(stored) == 1, 'round %d: %d messages stored for one key' % (r, len(stored))) + # Другой body с тем же ключом — 409, не новое сообщение. + c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 409, actor=alice, + body={'text': text + ' (изменён)'}, headers={'Idempotency-Key': key}) + rounds.append({'round': r, 'requests': args.parallel, 'status_201': statuses.count(201), + 'distinct_messages': len(bodies), 'stored': len(stored), 'instances': len(instances)}) + + # Ключ уникален в пределах чата: тот же ключ в другом чате создаёт своё сообщение. + key = 'scope-' + uuid.uuid4().hex + a = c.message(alice, chat, 'scope', key=key)['json'] + b = c.message(alice, other, 'scope', key=key)['json'] + check(a['id'] != b['id'], 'key leaked across chats') + # Другой пользователь с тем же ключом — тоже независим. + d = c.message(bob, chat, 'scope', key=key)['json'] + check(d['id'] != a['id'], 'key leaked across users') + # Без ключа и с неверным ключом — 400. + path = '/api/v1/chats/' + chat['id'] + '/messages' + c.call('POST', path, 400, actor=alice, body={'text': 'x'}) + c.call('POST', path, 400, actor=alice, body={'text': 'x'}, headers={'Idempotency-Key': 'bad key!'}) + c.call('POST', path, 400, actor=alice, body={'text': 'x'}, headers={'Idempotency-Key': 'k' * 129}) + # Повтор проверяет доступ: посторонний с тем же ключом получает 404. + c.call('POST', path, 404, actor=eve, body={'text': 'scope'}, headers={'Idempotency-Key': key}) + + check(len(all_instances) >= 2, 'concurrent requests were served by fewer than 2 replicas') + summary = {'rounds': args.rounds, 'parallel_per_round': args.parallel, + 'distinct_instances_seen': len(all_instances), + 'duplicates_found': sum(x['stored'] - 1 for x in rounds), 'per_round': rounds} + text = json.dumps(summary, ensure_ascii=False, indent=2) + if args.output: + with open(args.output, 'w', encoding='utf-8') as f: + f.write(text + '\n') + print(text) + print('PASS: concurrent Idempotency-Key replay produced exactly one message per key.') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/labutil.py b/student-tests/labutil.py new file mode 100644 index 0000000..939e858 --- /dev/null +++ b/student-tests/labutil.py @@ -0,0 +1,171 @@ +"""Общие помощники собственных тестов lab4: изображения, docker compose, psql, mc. + +Только stdlib. Секреты не печатаются: mc получает их внутри контейнера из /run/secrets. +""" +import struct +import subprocess +import sys +import zlib +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) # публичный client.py +FIXTURES = Path(__file__).resolve().parent / 'fixtures' +BUCKET = 'messenger-attachments' + + +def chunk(typ, data): + return struct.pack('>I', len(data)) + typ + data + struct.pack('>I', zlib.crc32(typ + data) & 0xffffffff) + + +def png(w, h, raw=None, color_type=2, interlace=0, level=6): + """PNG из сырых строк; по умолчанию RGB 8 bit, все пиксели чёрные.""" + if raw is None: + raw = (b'\x00' + b'\x00' * (w * 3)) * h + ihdr = struct.pack('>IIBBBBB', w, h, 8, color_type, 0, 0, interlace) + return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level)) + + chunk(b'IEND', b'')) + + +def noise_png(target_bytes): + """Почти несжимаемый PNG размером около target_bytes (шум из детерминированного PRNG).""" + w = 1024 + h = max(1, target_bytes // (w * 3 + 1)) + seed = 0x2545F491 + rows = bytearray() + for _ in range(h): + rows.append(0) + row = bytearray(w * 3) + for i in range(0, w * 3, 4): + seed = (seed * 1103515245 + 12345) & 0xffffffff + row[i:i + 4] = seed.to_bytes(4, 'little')[:len(row) - i] + rows += row + return png(w, h, bytes(rows), level=1) + + +def bomb_png(w=100_000, h=100_000): + """Маленький файл, огромные размеры в IHDR.""" + return png(w, h, raw=b'\x00') + + +def raw_post(base_url, path, headers, body_iter, read_timeout=30): + """POST на сыром сокете: тело отправляется в фоне, ответ читается параллельно. + + Нужен, когда сервер отвечает (413) до чтения тела и закрывает соединение: + urllib в этом случае падает на отправке, не увидев ответа. + Возвращает (status, body_bytes) или (None, b'') если ответа не было. + """ + import socket + import threading + from urllib.parse import urlsplit + u = urlsplit(base_url) + s = socket.create_connection((u.hostname, u.port or (443 if u.scheme == 'https' else 80)), timeout=read_timeout) + if u.scheme == 'https': + # Lab7: тот же сырой запрос поверх TLS с проверкой сертификата по CA стенда. + import os + import ssl + ctx = ssl.create_default_context(cafile=os.environ.get('CA_FILE') or str(ROOT / 'secrets/pki/ca.crt')) + s = ctx.wrap_socket(s, server_hostname=u.hostname) + head = 'POST %s HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n' % (path, u.netloc) + head += ''.join('%s: %s\r\n' % kv for kv in headers.items()) + '\r\n' + s.sendall(head.encode()) + + def send(): + try: + for part in body_iter: + s.sendall(part) + except OSError: + pass # сервер уже ответил и закрыл соединение — ожидаемо + t = threading.Thread(target=send, daemon=True) + t.start() + data = b'' + try: + while True: + b = s.recv(65536) + if not b: + break + data += b + if b'\r\n\r\n' in data and len(data) > 4096: + break + except OSError: + pass + finally: + s.close() + if not data.startswith(b'HTTP/1.'): + return None, b'' + status = int(data.split(b' ', 2)[1]) + return status, data.split(b'\r\n\r\n', 1)[-1] + + +def fixture(name): + return (FIXTURES / name).read_bytes() + + +def sh(*args, check=True, timeout=300, input=None, env=None): + full_env = None + if env: + import os + full_env = dict(os.environ, **env) + r = subprocess.run(list(args), cwd=ROOT, capture_output=True, text=True, timeout=timeout, input=input, env=full_env) + if check and r.returncode != 0: + raise RuntimeError('%s failed (%d): %s' % (' '.join(args[:4]), r.returncode, (r.stderr or r.stdout)[-800:])) + return r + + +def compose(*args, **kw): + return sh('docker', 'compose', *args, **kw) + + +def psql(sql): + """Одно значение/таблица из PostgreSQL стенда (через docker compose exec).""" + return compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', + '-v', 'ON_ERROR_STOP=1', '-tAc', sql).stdout.strip() + + +def mc(script, check=True, as_user='root'): + """Скрипт mc в одноразовом контейнере s3-init (TLS, CA стенда). Алиас `s3` — root или + пользователь сервиса (api, worker, relay, reconciler) — его ключ из файла оператора.""" + if as_user == 'root': + auth = '"$(cat /run/secrets/s3_root_user)" "$(cat /run/secrets/s3_root_password)"' + else: + auth = ('"$(awk \'$1=="%s"{print $2}\' /run/secrets/s3_users)" ' + '"$(awk \'$1=="%s"{print $3}\' /run/secrets/s3_users)"' % (as_user, as_user)) + prelude = ('mkdir -p /tmp/.mc/certs/CAs && cp /run/secrets/ca.crt /tmp/.mc/certs/CAs/ && ' + 'mc alias set s3 https://s3:9000 %s >/dev/null; ' % auth) + return compose('run', '--rm', '--no-deps', '-T', '--entrypoint', 'sh', 's3-init', '-c', prelude + script, + check=check) + + +def instance_alias(cid): + """Lab7: X-Instance-Id — случайный alias, записанный процессом в /tmp/instance-id.""" + return sh('docker', 'exec', cid, 'cat', '/tmp/instance-id', check=False).stdout.strip() + + +def api_container(instance_id): + for cid in compose('ps', '-q', 'api').stdout.split(): + if cid.startswith(instance_id) or instance_alias(cid) == instance_id: + return cid + raise RuntimeError('no api container for ' + instance_id) + + +def object_key(attachment_id): + return psql("SELECT object_key FROM attachments WHERE id = '%s'" % attachment_id) + + +def wait_status(c, actor, att_id, statuses=('ready',), timeout=90): + """Опрос GET метаданных до одного из статусов; возвращает метаданные.""" + import time + from client import Failure + end = time.time() + timeout + last = None + while time.time() < end: + last = c.call('GET', '/api/v1/attachments/' + att_id, actor=actor, schema='Attachment')['json'] + if last['status'] in statuses: + return last + time.sleep(0.5) + raise Failure('attachment %s did not reach %s, last=%s' % (att_id, statuses, last and last['status'])) + + +def bucket_count(prefix): + """Число объектов под префиксом bucket (s/, o/, v/, a/ + chat).""" + return int(mc('mc ls --recursive s3/%s/%s 2>/dev/null | wc -l' % (BUCKET, prefix)).stdout.strip() or 0) diff --git a/student-tests/loadgen.py b/student-tests/loadgen.py new file mode 100644 index 0000000..3b02440 --- /dev/null +++ b/student-tests/loadgen.py @@ -0,0 +1,99 @@ +"""Closed-loop генератор POST сообщений с записью каждого запроса. + +В отличие от tests/load.py, сохраняет для каждого запроса X-Request-Id, время начала, +длительность и исход — чтобы потом проверить, попала ли именно эта трасса в Tempo +(трек 1: какие ошибки и медленные запросы теряет sampling). Токены не сохраняются. +""" +import math +import threading +import time +import uuid +from concurrent.futures import ThreadPoolExecutor + +import labutil # noqa: F401 (добавляет tests/ в sys.path) +from client import Client, Failure + +_ACTIVE = [] + + +def _stop_all(): + # Если сценарий упал до load.stop(), потоки нагрузки не дадут процессу завершиться + # (ThreadPoolExecutor ждёт их при выходе). Этот hook регистрируется позже + # concurrent.futures и поэтому вызывается раньше его join. + for load in list(_ACTIVE): + load._stop.set() + + +threading._register_atexit(_stop_all) + + +class Load: + def __init__(self, base_url, ca_file, actor, chat, concurrency=4, timeout=10, prefix='load'): + self.base_url, self.ca_file = base_url, ca_file + self.actor, self.chat = actor, chat + self.concurrency, self.timeout, self.prefix = concurrency, timeout, prefix + self.records = [] # (rid, t_start_epoch, seconds, status) status: int или 'error' + self._lock = threading.Lock() + self._stop = threading.Event() + self._pool = None + self._futures = [] + + def _worker(self, wid): + c = Client(self.base_url, self.ca_file, timeout=self.timeout) + i = 0 + while not self._stop.is_set(): + rid = '%s-%s' % (self.prefix, uuid.uuid4().hex[:20]) + t0, m0 = time.time(), time.monotonic() + status = 'error' + try: + r = c.call('POST', '/api/v1/chats/%s/messages' % self.chat['id'], 201, actor=self.actor, + body={'text': 'load %d-%d' % (wid, i)}, + headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid}) + status = r['status'] + except Failure as e: + msg = str(e) + status = 'error' + for code in (500, 502, 503, 504): + if str(code) in msg: + status = code + break + except Exception: + status = 'error' + with self._lock: + self.records.append((rid, t0, time.monotonic() - m0, status)) + i += 1 + + def start(self): + self._pool = ThreadPoolExecutor(max_workers=self.concurrency) + self._futures = [self._pool.submit(self._worker, w) for w in range(self.concurrency)] + self.started = time.time() + _ACTIVE.append(self) + return self + + def stop(self): + self._stop.set() + if self in _ACTIVE: + _ACTIVE.remove(self) + for f in self._futures: + f.result() + self._pool.shutdown() + self.stopped = time.time() + return self + + def summary(self, exclude=()): + """exclude: [(t_from, t_to)] — окна внедрённых сбоев для «нормальной» задержки.""" + recs = self.records + ok = sorted(d for _, t, d, s in recs if s == 201) + normal = sorted(d for _, t, d, s in recs if s == 201 and not any(a <= t <= b for a, b in exclude)) + err = sum(1 for r in recs if r[3] != 201) + elapsed = max(1e-9, self.stopped - self.started) + + def pct(v, p): + return round(1000 * v[max(0, math.ceil(p * len(v)) - 1)], 2) if v else None + return { + 'requests': len(recs), 'ok': len(ok), 'errors': err, + 'error_ratio': round(err / len(recs), 5) if recs else None, + 'ok_rps': round(len(ok) / elapsed, 1), 'seconds': round(elapsed, 1), + 'latency_ms_all_ok': {'p50': pct(ok, .5), 'p95': pct(ok, .95), 'p99': pct(ok, .99)}, + 'latency_ms_outside_faults': {'p50': pct(normal, .5), 'p95': pct(normal, .95), 'p99': pct(normal, .99)}, + } diff --git a/student-tests/negative.py b/student-tests/negative.py new file mode 100644 index 0000000..5cb2028 --- /dev/null +++ b/student-tests/negative.py @@ -0,0 +1,58 @@ +import base64 +import json +import sys +import urllib.request +import urllib.error + +BASE = (sys.argv[sys.argv.index("--base-url") + 1] if "--base-url" in sys.argv else "http://localhost:8080").rstrip("/") +PASSWORD = "Example-only-not-a-real-secret-123" + +def post(path, body, headers=None): + req = urllib.request.Request(BASE + path, method="POST", + data=json.dumps(body).encode(), + headers={"Content-Type": "application/json", **(headers or {})}) + try: + with urllib.request.urlopen(req) as r: + return r.status, json.loads(r.read()) + except urllib.error.HTTPError as e: + return e.code, json.loads(e.read()) + +def get(path, headers=None): + req = urllib.request.Request(BASE + path, headers=headers or {}) + try: + with urllib.request.urlopen(req) as r: + return r.status, json.loads(r.read()) + except urllib.error.HTTPError as e: + return e.code, json.loads(e.read()) + +def main(): + failures = [] + + # 1. Неверный JSON → 400 + status, _ = post("/api/v1/users", "not-json") + if status != 400: + failures.append(f"invalid JSON: expected 400, got {status}") + + # 2. Невалидный username → 400 + status, _ = post("/api/v1/users", {"username": "AB", "display_name": "Test", "password": PASSWORD}) + if status != 400: + failures.append(f"invalid username: expected 400, got {status}") + + # 3. Отсутствие Bearer на /users/me → 401 + status, _ = get("/api/v1/users/me") + if status != 401: + failures.append(f"no auth: expected 401, got {status}") + + # 4. X-User-Id не даёт доступ → 401 + status, _ = get("/api/v1/users/me", {"X-User-Id": "00000000-0000-0000-0000-000000000000"}) + if status != 401: + failures.append(f"X-User-Id bypass: expected 401, got {status}") + + if failures: + for f in failures: + print(f"FAIL: {f}") + sys.exit(1) + print("PASS: negative checks") + +if __name__ == "__main__": + main() \ No newline at end of file diff --git a/student-tests/observability_ops.py b/student-tests/observability_ops.py new file mode 100644 index 0000000..f15052b --- /dev/null +++ b/student-tests/observability_ops.py @@ -0,0 +1,474 @@ +#!/usr/bin/env python3 +"""Проверки наблюдаемости lab6 на Docker-стенде (только по сохранённым наблюдениям). + + signals уровень 3–4: метрики контракта есть и с правильными метками; запрос → + трасса (Tempo) → лог с тем же trace_id (Loki); upload → API → relay (producer) + → worker (consumer) → S3/DB в одной трассе; нет утечек пароля, токена, + текста сообщения; dashboard из provisioning, его запросы возвращают данные + retry-trace S3 недоступен во время обработки: попытки с retry в той же трассе upload + incident-worker инцидент 1: worker остановлен → возраст задач растёт → alert firing → + worker запущен → backlog уходит → resolved; диагностика по метрикам/логам/трассам + incident-db инцидент 2: блокировка таблицы messages (БД «зависла») под нагрузкой → + 5xx → MessengerHighErrorRate firing → resolved; трасса показывает, что время + ушло в запрос к БД, а не в обработчик (сравнение с медленным upload) + backend-down Tempo и Loki остановлены под нагрузкой: API без ошибок, память Collector + ограничена, потери считаются; затем остановлен сам Collector + +Печатает JSON-итог и PASS/FAIL. Токены и пароли не печатаются. +""" +import json +import re +import statistics +import subprocess +import threading +import time +import uuid +from pathlib import Path + +import labutil # noqa: F401 (добавляет tests/ в sys.path) +from client import Client, Failure, arguments, check, run +from labutil import ROOT, compose, psql, sh, wait_status +from loadgen import Load +import obsutil as o + +SAMPLE = (Path(__file__).resolve().parents[1] / 'tests/fixtures/sample.png').read_bytes() +FORBIDDEN_LABELS = {'user_id', 'chat_id', 'message_id', 'attachment_id', 'request_id', 'url', 'url_full', + 'http_target', 'filename', 'text', 'username'} +UUID_RE = re.compile(r'[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}') + + +def upload(c, actor, chat, rid=None, data=SAMPLE, name='p.png'): + h = {'Content-Type': 'image/png'} + if rid: + h['X-Request-Id'] = rid + return c.call('POST', '/api/v1/chats/%s/attachments?filename=%s' % (chat['id'], name), 202, actor=actor, + raw=data, headers=h, schema='Attachment')['json'] + + +def tree(spans): + """Краткое дерево трассы: сервис, имя, родитель (по имени), длительность.""" + by_id = {s['span_id']: s for s in spans} + out = [] + for s in spans: + p = by_id.get(s['parent']) + out.append({'service': s['service'], 'name': s['name'], 'kind': s['kind'], 'ms': s['ms'], + 'parent': (p['service'] + ': ' + p['name']) if p else None, + 'outcome': s['attrs'].get('messenger.job.outcome'), + 'attempt': s['attrs'].get('messenger.job.attempt'), + 'status': s['status']}) + return out + + +def chain_ok(spans, child_name, parent_name): + by_id = {s['span_id']: s for s in spans} + for s in spans: + if s['name'] == child_name and by_id.get(s['parent'], {}).get('name') == parent_name: + return True + return False + + +def wait_alert(name, state, timeout): + t0 = time.time() + got = o.wait_until(lambda: (o.alerts().get(name) == state) if state else (name not in o.alerts()), timeout, 2) + return round(time.time() - t0, 1) if got else None + + +# ---------------- signals ---------------- + +METRICS = { + 'http requests (counter = _count)': 'http_server_request_duration_seconds_count{job="messenger-api"}', + 'http duration histogram (s)': 'http_server_request_duration_seconds_bucket{job="messenger-api"}', + 'jobs processed by outcome': 'messenger_jobs_processed_total', + 'job duration histogram (s)': 'messenger_job_duration_seconds_bucket', + 'time to ready histogram (s)': 'messenger_attachment_time_to_ready_seconds_bucket', + 'queue backlog by state': 'messenger_jobs_backlog', + 'oldest job age (s)': 'messenger_jobs_oldest_age_seconds', + 'outbox pending': 'messenger_outbox_pending', + 'rabbitmq queue messages': '{__name__=~"rabbitmq_detailed_queue_messages_ready|rabbitmq_queue_messages_ready"}', + 'worker busy': 'messenger_worker_busy', + 'worker capacity': 'messenger_worker_capacity', + 'db pool acquired': '{__name__=~"pgxpool_acquired_connections.*"}', + 'db pool waits': '{__name__=~"pgxpool_empty_acquire.*"}', + 'process cpu': '{__name__=~"process_cpu_time.*"}', + 'go memory': '{__name__=~"go_memory_used.*"}', +} + + +def scenario_signals(c): + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + t0 = time.time() - 5 + secret_text = 'секрет-текст-' + uuid.uuid4().hex + rid_msg = 'obs-msg-' + uuid.uuid4().hex[:16] + c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': secret_text}, + headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid_msg}) + rid_up = 'obs-upload-' + uuid.uuid4().hex[:16] + att = upload(c, alice, chat, rid_up) + meta = wait_status(c, bob, att['id'], ('ready',)) + c.call('GET', '/api/v1/chats/%s/messages' % chat['id'], actor=bob) + res = {} + + # 1. Контролируемый запрос → трасса → лог API с тем же trace_id + tid = o.find_trace('{span.request_id="%s"}' % rid_msg, t0) + check(tid, 'trace for controlled request not found in Tempo') + spans, _ = o.tempo_trace(tid) + server = [s for s in spans if s['kind'] in ('SPAN_KIND_SERVER', 2, '2') or s['name'].startswith('POST /api')] + check(server, 'no server span') + logs = o.wait_until(lambda: o.loki('{service_name="messenger-api"} | trace_id="%s"' % tid, t0), 120) + check(logs, 'no API log with trace_id ' + tid) + log_line = logs[0][1] + res['request'] = {'request_id': rid_msg, 'trace_id': tid, 'spans': tree(spans)[:12], + 'log': {'line': log_line[:300], 'labels': {k: v for k, v in logs[0][2].items() + if k in ('service_name', 'event', 'route', 'status', 'trace_id', 'span_id', + 'detected_level', 'severity_text', 'request_id')}}} + + # 2. Upload → relay → worker → S3/DB в одной трассе (W3C через outbox и AMQP) + tid2 = o.find_trace('{span.request_id="%s"}' % rid_up, t0) + check(tid2, 'upload trace not found') + + def full(): + sp, _ = o.tempo_trace(tid2) + return sp if any(s['service'] == 'messenger-worker' for s in sp) else None + spans2 = o.wait_until(full, 60) + check(spans2, 'worker spans not in the upload trace') + services = sorted({s['service'] for s in spans2}) + links = { + 'api server → relay producer': chain_ok(spans2, 'attachment.process publish', 'POST /api/v1/chats/{chat_id}/attachments'), + 'relay producer → worker consumer': chain_ok(spans2, 'attachment.process process', 'attachment.process publish'), + 'worker consumer → S3 PUT': any(s['name'] == 'S3 PUT' for s in spans2), + 'worker consumer → image.decode': chain_ok(spans2, 'image.decode', 'attachment.process process'), + } + db_in_worker = sorted({s['name'] for s in spans2 if s['service'] == 'messenger-worker' and s['name'] not in + ('attachment.process process', 'image.decode', 'image.variants') and not s['name'].startswith('S3')}) + check(all(links.values()), 'broken causal chain: %s' % links) + wlogs = o.wait_until(lambda: o.loki('{service_name="messenger-worker"} | trace_id="%s"' % tid2, t0), 120) + check(wlogs, 'no worker log with the upload trace_id') + res['upload'] = {'request_id': rid_up, 'trace_id': tid2, 'services': services, 'links': links, + 'span_count': len(spans2), 'worker_db_spans': db_in_worker[:10], 'tree': tree(spans2)[:40], + 'worker_log_events': sorted({l[2].get('event', '') for l in wlogs})} + + # 3. Метрики контракта и метки + time.sleep(12) # период экспорта метрик 5 s + scrape 5 s + found = {} + for title, sel in METRICS.items(): + r = o.prom(sel) + names = sorted({x['metric'].get('__name__') for x in r}) + found[title] = {'series': len(r), 'names': names[:4]} + missing = [k for k, v in found.items() if v['series'] == 0] + check(not missing, 'metrics missing: %s' % missing) + labels = set(o.prom_labels()) + bad = sorted(labels & FORBIDDEN_LABELS) + check(not bad, 'forbidden metric labels: %s' % bad) + routes = o.prom_label_values('http_route') + check(not [r for r in routes if UUID_RE.search(r)], 'raw ids in http_route: %s' % routes) + sample_series = o.prom('http_server_request_duration_seconds_count{job="messenger-api"}')[0]['metric'] + res['metrics'] = {'found': found, 'labels_total': len(labels), 'forbidden_labels': bad, + 'http_route_values': routes, 'example_series_labels': sorted(sample_series)} + + # 4. Утечки: пароль, токен, текст сообщения, Authorization — ни в логах (Loki, stdout), ни в трассах + needles = {'password': alice['registration']['password'], 'session_token': alice['token'], + 'message_text': secret_text, 'bearer_header': 'Bearer ' + alice['token'][:12]} + leaks = {} + for k, v in needles.items(): + hits = o.loki('{service_name=~"messenger-.+"} |= `%s`' % v.replace('`', ''), t0, limit=5) + leaks['loki:' + k] = len(hits) + raw_traces = json.dumps(o.tempo_trace(tid)[1]) + json.dumps(o.tempo_trace(tid2)[1]) + for k, v in needles.items(): + leaks['tempo:' + k] = raw_traces.count(v) + api_stdout = compose('logs', '--no-color', '--since', '15m', 'api', 'worker', 'relay').stdout + for k, v in needles.items(): + leaks['stdout:' + k] = api_stdout.count(v) + check(sum(leaks.values()) == 0, 'telemetry leak: %s' % {k: v for k, v in leaks.items() if v}) + res['leak_check'] = leaks + + # 5. Provisioning: datasources и dashboard из Git; каждый Prometheus-запрос панели возвращает данные + ds = sorted(d['type'] + ':' + d['uid'] for d in o.grafana('/api/datasources')) + found_d = o.grafana('/api/search', {'query': 'Messenger'}) + check(any(d.get('uid') == 'messenger-overview' for d in found_d), 'dashboard not provisioned') + dash = o.grafana('/api/dashboards/uid/messenger-overview')['dashboard'] + panel_check = [] + for p in dash['panels']: + for t in p.get('targets', []): + if t.get('datasource', {}).get('uid') != 'prometheus': + continue + expr = t['expr'].replace('$__rate_interval', '1m') + try: + n = len(o.prom(expr)) + except Exception as e: + n = 'error: %s' % type(e).__name__ + panel_check.append({'panel': p['title'], 'legend': t.get('legendFormat', ''), 'series': n}) + empty = [x for x in panel_check if x['series'] == 0] + res['grafana'] = {'datasources': ds, 'dashboard': dash['title'], 'panels': len(dash['panels']), + 'prometheus_targets': len(panel_check), 'targets_without_data_now': empty, + 'targets': panel_check} + errors = [x for x in panel_check if isinstance(x['series'], str)] + check(not errors, 'dashboard queries failed: %s' % errors) + res['attachment'] = {'id': att['id'], 'status': meta['status']} + return res + + +# ---------------- retry в трассе ---------------- + +def scenario_retry_trace(c): + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + t0 = time.time() - 5 + worker = compose('ps', '-q', 'worker').stdout.split()[0] + s3 = compose('ps', '-q', 's3').stdout.split()[0] + compose('stop', 'worker') + rid = 'obs-retry-' + uuid.uuid4().hex[:16] + att = upload(c, alice, chat, rid) + time.sleep(2) + sh('docker', 'stop', s3) + sh('docker', 'start', worker) + time.sleep(6) # 1–2 попытки упадут на недоступном S3 + sh('docker', 'start', s3) + meta = wait_status(c, bob, att['id'], ('ready',), timeout=150) + tid = o.find_trace('{span.request_id="%s"}' % rid, t0) + check(tid, 'trace not found') + + def done(): + sp, _ = o.tempo_trace(tid) + return sp if any(s['attrs'].get('messenger.job.outcome') == 'done' for s in sp) else None + spans = o.wait_until(done, 90) + check(spans, 'final attempt not in trace') + attempts = [(s['attrs'].get('messenger.job.attempt'), s['attrs'].get('messenger.job.outcome'), s['status']) + for s in spans if s['name'] == 'attachment.process process'] + publishes = sum(1 for s in spans if s['name'] == 'attachment.process publish') + check(any(a[1] == 'retry' for a in attempts), 'no retry attempt in trace: %s' % attempts) + ev = psql("SELECT string_agg(event, ',' ORDER BY id) FROM job_events WHERE job_id = " + "(SELECT job_id FROM jobs WHERE attachment_id = '%s')" % att['id']) + return {'request_id': rid, 'trace_id': tid, 'attempts_in_trace': attempts, 'publish_spans': publishes, + 'job_events': ev, 'final_status': meta['status'], + 'tree': [x for x in tree(spans) if x['name'].startswith('attachment.') or x['name'].startswith('POST')]} + + +# ---------------- инцидент 1: worker ---------------- + +def scenario_incident_worker(c): + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + t_stop = time.time() + compose('stop', 'worker') + ids = [upload(c, alice, chat, 'obs-inc1-%d-%s' % (i, uuid.uuid4().hex[:8]))['id'] for i in range(3)] + t_firing = wait_alert('MessengerQueueLagGrowing', 'firing', 240) + check(t_firing, 'MessengerQueueLagGrowing did not fire') + detect = round(time.time() - t_stop, 1) + al = o.alerts() + # Диагностика «как оператор»: только по сохранённым наблюдениям + diag = { + 'alerts_firing': sorted(k for k, v in al.items() if v == 'firing'), + 'backlog_queued': o.prom_value('sum(messenger_jobs_backlog{state="queued"})'), + 'oldest_age_s': o.prom_value('max(messenger_jobs_oldest_age_seconds)'), + 'jobs_processed_rate_1m': o.prom_value('sum(rate(messenger_jobs_processed_total[1m]))', default=0.0), + 'worker_capacity_series': len(o.prom('messenger_worker_capacity')), + 'rabbitmq_ready': o.prom_value('sum(rabbitmq_queue_messages_ready{queue="attachment.process"})'), + 'api_5xx_ratio': o.prom_value('messenger:http_error_ratio:rate1m', default=0.0), + 'producer_spans_since_stop': len(o.tempo_search('{name="attachment.process publish"}', t_stop)), + 'consumer_spans_since_stop': len(o.tempo_search('{name="attachment.process process"}', t_stop + 2)), + 'last_worker_log_events': sorted({l[2].get('event', '') for l in + o.loki('{service_name="messenger-worker"}', t_stop - 30, limit=50)}), + } + t_start = time.time() + compose('start', 'worker') + for i in ids: + wait_status(c, bob, i, ('ready',), timeout=120) + t_ready = round(time.time() - t_start, 1) + t_resolved = wait_alert('MessengerQueueLagGrowing', None, 180) + check(t_resolved is not None, 'alert did not resolve') + series = o.prom_range('max(messenger_jobs_oldest_age_seconds)', t_stop - 30, time.time(), 10) + return {'detection_seconds_from_worker_stop': detect, 'diagnosis': diag, + 'backlog_ready_seconds_after_start': t_ready, + 'resolved_seconds_after_worker_start': round(t_ready + t_resolved, 1), + 'oldest_age_series': [[round(float(t) - t_stop), round(float(v), 1)] for t, v in (series[0]['values'] if series else [])]} + + +# ---------------- инцидент 2: БД ---------------- + +def is_db(s): + return (s['attrs'].get('db.system') == 'postgresql' or s['attrs'].get('db.system.name') == 'postgresql' + or s['name'].split(' ')[0] in ('query', 'acquire', 'batch', 'prepare', 'connect', 'copy_from')) + + +def breakdown(spans): + """Доля времени server span, проведённая в дочерних spans БД (pgx) и S3.""" + by_parent = {} + for s in spans: + by_parent.setdefault(s['parent'], []).append(s) + srv = next((s for s in spans if s['parent'] == '' or s['name'].startswith(('POST /api', 'GET /api'))), None) + if not srv: + return None + # DB-spans вложены (BEGIN/batch/query): сумма перекрывается, поэтому берём самый + # длинный отдельный span БД относительно server span. + dbs = sorted(((s['name'], s['ms']) for s in spans if s['service'] == srv['service'] and is_db(s)), key=lambda x: -x[1]) + db = dbs[0][1] if dbs else 0.0 + s3 = max([s['ms'] for s in spans if s['name'].startswith('S3')] or [0.0]) + return {'server_span': srv['name'], 'server_ms': srv['ms'], 'status': srv['attrs'].get('http.response.status_code'), + 'longest_db_span_ms': round(db, 1), 'longest_s3_span_ms': round(s3, 1), + 'db_share': round(db / srv['ms'], 3) if srv['ms'] else None, 'db_spans_longest': dbs[:4]} + + +def scenario_incident_db(c): + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + load = Load(c.base, None, alice, chat, concurrency=4, timeout=10, prefix='obs-inc2').start() + time.sleep(20) + t_lock = time.time() + lock = subprocess.Popen(['docker', 'compose', 'exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', + '-c', 'BEGIN; LOCK TABLE messages IN ACCESS EXCLUSIVE MODE; SELECT pg_sleep(110); COMMIT;'], + cwd=ROOT, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL) + t_firing = wait_alert('MessengerHighErrorRate', 'firing', 150) + detect = round(time.time() - t_lock, 1) if t_firing else None + snap = { + 'error_ratio_1m': o.prom_value('messenger:http_error_ratio:rate1m'), + 'p99_s': o.prom_value('histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api", http_route!~"/health/.*"}[1m])))'), + 'p99_by_route': {r['metric'].get('http_route'): round(float(r['value'][1]), 3) for r in o.prom( + 'histogram_quantile(0.99, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{job="messenger-api", http_route!~"/health/.*"}[1m])))')}, + 'db_pool_acquired': o.prom_value('sum({__name__=~"pgxpool_acquired_connections.*", job="messenger-api"})'), + 'health_ready_5xx_rate': o.prom_value('sum(rate(http_server_request_duration_seconds_count{http_route="/health/ready", http_response_status_class="5xx"}[1m]))', default=0.0), + } + lock.wait(timeout=200) + t_unlock = time.time() + t_resolved = wait_alert('MessengerHighErrorRate', None, 180) + load.stop() + # Трассы ошибок: где время? (по сохранённым трассам Tempo) + err_traces = o.tempo_search('{resource.service.name="messenger-api" && span.http.response.status_code >= 500}', t_lock - 1, limit=5) + analysis = [] + for t in err_traces[:3]: + sp, _ = o.tempo_trace(t['traceID']) + analysis.append(breakdown(sp)) + # Сравнение: медленный upload большого файла — время не в БД + rid = 'obs-slowhandler-' + uuid.uuid4().hex[:8] + from labutil import noise_png + t_up = time.time() - 2 + upload(c, alice, chat, rid, data=noise_png(4 * 1024 * 1024), name='big.png') + tid = o.find_trace('{span.request_id="%s"}' % rid, t_up) + slow_handler = breakdown(o.tempo_trace(tid)[0]) if tid else None + err_logs = o.loki('{service_name="messenger-api"} | detected_level=~"error|ERROR"', t_lock, t_unlock + 5, limit=200) + check(detect is not None, 'MessengerHighErrorRate did not fire') + check(t_resolved is not None, 'MessengerHighErrorRate did not resolve') + check(analysis and all(a and a['db_share'] and a['db_share'] > 0.8 for a in analysis), + 'error traces do not point to DB: %s' % analysis) + return {'fault': 'LOCK TABLE messages IN ACCESS EXCLUSIVE MODE for 110 s under load (4 clients)', + 'detection_seconds': detect, 'resolved_seconds_after_unlock': t_resolved, + 'metrics_at_firing': snap, 'error_trace_breakdown': analysis, + 'slow_handler_comparison': slow_handler, + 'error_logs': {'count': len(err_logs), + 'events': sorted({l[2].get('event', '') for l in err_logs}), + 'routes': sorted({l[2].get('route', '') for l in err_logs})}, + 'load': load.summary(exclude=[(t_lock, t_unlock)])} + + +# ---------------- отказ backend телеметрии ---------------- + +def mem_of(service): + cid = compose('ps', '-q', service).stdout.split() + return round(o.mem_bytes(cid[0]) / 2**20, 1) if cid and o.mem_bytes(cid[0]) else None + + +def scenario_backend_down(c): + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + load = Load(c.base, None, alice, chat, concurrency=4, timeout=10, prefix='obs-bd').start() + samples = [] + stop = threading.Event() + col = compose('ps', '-q', 'otel-collector').stdout.split()[0] + + def sampler(): + while not stop.is_set(): + samples.append({'t': round(time.time() - t0, 1), 'collector_mib': round((o.mem_bytes(col) or 0) / 2**20, 1), + 'api_mib': [round((o.mem_bytes(x) or 0) / 2**20, 1) for x in compose('ps', '-q', 'api').stdout.split()]}) + time.sleep(5) + t0 = time.time() + threading.Thread(target=sampler, daemon=True).start() + time.sleep(15) + compose('stop', 'tempo', 'loki') + t_down = time.time() + phase = {} + fired = wait_alert('MessengerTelemetryExportFailing', 'firing', 150) + phase['export_failing_alert_seconds'] = round(time.time() - t_down, 1) if fired else None + time.sleep(max(0, 130 - (time.time() - t_down))) + q = lambda e: o.prom_value(e, default=0.0) + phase['during'] = { + 'exporter_queue_size_max': q('max_over_time(sum(otelcol_exporter_queue_size)[2m:5s])'), + 'exporter_queue_capacity': q('sum(otelcol_exporter_queue_capacity)'), + 'send_failed_spans': q('sum(increase({__name__=~"otelcol_exporter_send_failed_spans(_total)?"}[3m]))'), + 'send_failed_log_records': q('sum(increase({__name__=~"otelcol_exporter_send_failed_log_records(_total)?"}[3m]))'), + 'enqueue_failed_spans': q('sum(increase({__name__=~"otelcol_exporter_enqueue_failed_spans(_total)?"}[3m]))'), + 'refused_spans_memory_limiter': q('sum(increase({__name__=~"otelcol_receiver_refused_spans(_total)?"}[3m]))'), + 'metrics_still_scraped': q('sum(rate(http_server_request_duration_seconds_count{job="messenger-api"}[1m]))'), + } + compose('start', 'tempo', 'loki') + compose('up', '-d', '--wait', '--no-deps', 'tempo', 'loki', timeout=180) + t_up = time.time() + rid = 'obs-after-' + uuid.uuid4().hex[:8] + sent0 = q('sum({__name__=~"otelcol_exporter_sent_spans(_total)?", exporter="otlp/tempo"})') + # Новые запросы после возврата Tempo; трасса ищется по ID из заголовка traceresponse + # (минуя поиск) — сначала каждые 5 s новый запрос, пока трасса не появится. + got, tids = None, [] + end = time.time() + 240 + while time.time() < end and not got: + r = c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': 'after'}, + headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid}) + tid = (r['headers'].get('traceresponse') or '--').split('-')[1] + tids.append(tid) + for t in tids: + try: + if o.tempo_trace(t)[0]: + got = t + break + except Exception: + pass + if not got: + time.sleep(5) + phase['tempo_spans_exported_after_up'] = q('sum({__name__=~"otelcol_exporter_sent_spans(_total)?", exporter="otlp/tempo"})') - sent0 + phase['refused_spans_total'] = q('sum({__name__=~"otelcol_receiver_refused_spans(_total)?"})') + phase['new_trace_after_recovery'] = bool(got) + phase['traces_visible_seconds_after_tempo_up'] = round(time.time() - t_up, 1) if got else None + phase['probe_requests_after_up'] = len(tids) + # Фаза 2: остановлен сам Collector — SDK отбрасывает по ограниченной очереди + compose('stop', 'otel-collector') + t_cd = time.time() + time.sleep(40) + compose('start', 'otel-collector') + time.sleep(10) + load.stop() + stop.set() + summary = load.summary() + col_max = max(s['collector_mib'] for s in samples) + api_max = max(max(s['api_mib'] or [0]) for s in samples) + check(summary['errors'] == 0, 'API errors while telemetry backend was down: %s' % summary) + check(col_max < 256, 'collector memory not bounded') + check(phase['new_trace_after_recovery'], 'no traces after backend recovery') + return {'load': summary, 'collector_limit_mib': 256, 'collector_max_mib': col_max, + 'api_max_mib': api_max, 'api_limit_mib': 256, 'phases': phase, + 'timeline': {'tempo_loki_down_s': round(t_down - t0), 'tempo_loki_up_s': round(t_up - t0), + 'collector_down_s': round(t_cd - t0), 'collector_down_for_s': 40}, + 'memory_samples': samples} + + +SCENARIOS = {'signals': scenario_signals, 'retry-trace': scenario_retry_trace, + 'incident-worker': scenario_incident_worker, 'incident-db': scenario_incident_db, + 'backend-down': scenario_backend_down} + + +def main(): + def configure(p): + p.add_argument('scenario', choices=sorted(SCENARIOS)) + p.add_argument('--output', default=None) + args = arguments('Lab6 observability scenarios on the Docker stand', configure) + c = Client(args.base_url, args.ca_file, timeout=30) + try: + result = SCENARIOS[args.scenario](c) + finally: + compose('up', '-d', '--no-deps', '--wait', 'worker', 'relay', 's3', 'api', 'otel-collector', 'tempo', 'loki', + timeout=300, check=False) + text = json.dumps({'scenario': args.scenario, 'result': result}, ensure_ascii=False, indent=2) + if args.output: + Path(args.output).write_text(text + '\n', encoding='utf-8') + print(text) + print('PASS: ' + args.scenario) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/obsutil.py b/student-tests/obsutil.py new file mode 100644 index 0000000..a80819e --- /dev/null +++ b/student-tests/obsutil.py @@ -0,0 +1,217 @@ +"""Доступ к сохранённым наблюдениям через Grafana (единственный интерфейс к хранилищам). + +Prometheus, Loki и Tempo не публикуют порты: запросы идут через datasource proxy +Grafana (http://127.0.0.1:3000/api/datasources/proxy/uid//...) с учётной записью +admin из secrets/grafana_admin_password. Пароль не печатается. +""" +import base64 +import json +import os +import time +import urllib.parse +import urllib.request +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +GRAFANA = os.environ.get('GRAFANA_URL', 'https://127.0.0.1:3000') +# Lab7: Grafana по HTTPS, сертификат проверяется по CA стенда. +import ssl +_CTX = ssl.create_default_context(cafile=str(ROOT / 'secrets' / 'pki' / 'ca.crt')) if (ROOT / 'secrets' / 'pki' / 'ca.crt').exists() else None + + +def _auth(): + pw = (ROOT / 'secrets' / 'grafana_admin_password').read_text().strip() + return 'Basic ' + base64.b64encode(('admin:' + pw).encode()).decode() + + +def grafana(path, params=None, method='GET', body=None, timeout=30): + """Запрос к Grafana; 502/503/504 (backend перезапускается) — повтор до ~60 s.""" + import urllib.error + for attempt in range(12): + try: + return _grafana(path, params, method, body, timeout) + except urllib.error.HTTPError as e: + if e.code not in (502, 503, 504) or attempt == 11: + raise + time.sleep(5) + + +def _grafana(path, params=None, method='GET', body=None, timeout=30): + url = GRAFANA + path + if params: + url += ('&' if '?' in url else '?') + urllib.parse.urlencode(params) + data = json.dumps(body).encode() if body is not None else None + req = urllib.request.Request(url, data=data, method=method, + headers={'Authorization': _auth(), 'Content-Type': 'application/json'}) + with urllib.request.urlopen(req, timeout=timeout, context=_CTX) as r: + raw = r.read() + return json.loads(raw) if raw else None + + +def wait_grafana(timeout=120): + end = time.time() + timeout + while time.time() < end: + try: + if grafana('/api/health')['database'] == 'ok': + return + except Exception: + pass + time.sleep(2) + raise RuntimeError('grafana not ready') + + +# ---------------- Prometheus ---------------- + +def prom(query, at=None): + p = {'query': query} + if at: + p['time'] = at + r = grafana('/api/datasources/proxy/uid/prometheus/api/v1/query', p) + return r['data']['result'] + + +def prom_value(query, at=None, default=None): + res = prom(query, at) + if not res: + return default + return float(res[0]['value'][1]) + + +def prom_range(query, start, end, step=5): + r = grafana('/api/datasources/proxy/uid/prometheus/api/v1/query_range', + {'query': query, 'start': start, 'end': end, 'step': step}) + return r['data']['result'] + + +def prom_labels(): + return grafana('/api/datasources/proxy/uid/prometheus/api/v1/labels')['data'] + + +def prom_label_values(name): + return grafana('/api/datasources/proxy/uid/prometheus/api/v1/label/%s/values' % name)['data'] + + +def alerts(): + """Активные alerts Prometheus: {alertname: state} (pending/firing).""" + r = grafana('/api/datasources/proxy/uid/prometheus/api/v1/alerts') + return {a['labels']['alertname']: a['state'] for a in r['data']['alerts']} + + +# ---------------- Loki ---------------- + +def loki(query, start, end=None, limit=200): + """Записи логов: [(ts_ns, line, labels)] (labels включают structured metadata).""" + end = end or time.time() + 1 + r = grafana('/api/datasources/proxy/uid/loki/loki/api/v1/query_range', + {'query': query, 'start': int(start * 1e9), 'end': int(end * 1e9), 'limit': limit, + 'direction': 'forward'}) + out = [] + for stream in r['data']['result']: + for ts, line, *rest in stream['values']: + labels = dict(stream['stream']) + if rest and isinstance(rest[0], dict): + for v in rest[0].values(): + if isinstance(v, dict): + labels.update(v) + out.append((int(ts), line, labels)) + out.sort(key=lambda x: x[0]) + return out + + +# ---------------- Tempo ---------------- + +def tempo_search(traceql, start, end=None, limit=20): + end = end or time.time() + 1 + r = grafana('/api/datasources/proxy/uid/tempo/api/search', + {'q': traceql, 'start': int(start), 'end': int(end) + 1, 'limit': limit}) + return r.get('traces') or [] + + +def _b64hex(v): + if not v: + return '' + if all(c in '0123456789abcdef' for c in v.lower()) and len(v) in (16, 32): + return v.lower() + return base64.b64decode(v).hex() + + +def tempo_trace(trace_id): + """Spans трассы: [{service, name, kind, span_id, parent, start, end, ms, attrs, status}].""" + r = grafana('/api/datasources/proxy/uid/tempo/api/traces/' + trace_id) + batches = r.get('batches') or r.get('resourceSpans') or (r.get('trace') or {}).get('resourceSpans') or [] + spans = [] + for b in batches: + res = {a['key']: _val(a['value']) for a in b.get('resource', {}).get('attributes', [])} + for ss in b.get('scopeSpans') or b.get('instrumentationLibrarySpans') or []: + for s in ss.get('spans', []): + st, en = int(s.get('startTimeUnixNano', 0)), int(s.get('endTimeUnixNano', 0)) + spans.append({ + 'service': res.get('service.name'), 'instance': res.get('service.instance.id'), + 'name': s.get('name'), 'kind': s.get('kind', ''), + 'span_id': _b64hex(s.get('spanId')), 'parent': _b64hex(s.get('parentSpanId')), + 'start': st, 'end': en, 'ms': round((en - st) / 1e6, 2), + 'attrs': {a['key']: _val(a['value']) for a in s.get('attributes', [])}, + 'status': (s.get('status') or {}).get('code', ''), + }) + spans.sort(key=lambda s: s['start']) + return spans, r + + +def _val(v): + for k in ('stringValue', 'intValue', 'boolValue', 'doubleValue'): + if k in v: + return v[k] + return json.dumps(v) + + +def find_trace(traceql, start, timeout=90): + """Ждёт появления трассы по TraceQL (ingest Collector → Tempo занимает секунды).""" + end = time.time() + timeout + while time.time() < end: + res = tempo_search(traceql, start) + if res: + return res[0]['traceID'] + time.sleep(2) + return None + + +def wait_until(fn, timeout, interval=2): + end = time.time() + timeout + while time.time() < end: + v = fn() + if v: + return v + time.sleep(interval) + return None + + +# ---------------- cgroup ресурсов контейнера (с хоста) ---------------- + +def cgroup_dir(cid): + for p in ('/sys/fs/cgroup/system.slice/docker-%s.scope' % cid, '/sys/fs/cgroup/docker/%s' % cid): + if os.path.isdir(p): + return p + return None + + +def cg_read(cid, name): + d = cgroup_dir(cid) + if not d: + return None + try: + return Path(d, name).read_text() + except OSError: + return None + + +def cpu_usec(cid): + t = cg_read(cid, 'cpu.stat') or '' + for line in t.splitlines(): + if line.startswith('usage_usec '): + return int(line.split()[1]) + return None + + +def mem_bytes(cid, name='memory.current'): + t = cg_read(cid, name) + return int(t.strip()) if t and t.strip().isdigit() else None diff --git a/student-tests/pipeline_ops.py b/student-tests/pipeline_ops.py new file mode 100644 index 0000000..cd20c54 --- /dev/null +++ b/student-tests/pipeline_ops.py @@ -0,0 +1,487 @@ +#!/usr/bin/env python3 +"""Сценарии асинхронной обработки lab5 на Docker-стенде. + + demo уровень 3: worker остановлен → upload 202 → сообщение с вложением → + content 409, чат работает → рестарт API и broker (volume) → worker → ready + outbox-gap relay остановлен (разрыв COMMIT↔publish) → upload → relay → ready; + relay падает после confirm до отметки outbox → повторная публикация → один результат + crash-effect worker падает после записи объектов до COMMIT → lease истекает → повтор → тот же результат + crash-commit worker падает после COMMIT до ack → повторная доставка → no-op + broker-restart принятая задача в quorum-очереди переживает рестарт RabbitMQ с volume + transient S3 недоступен во время обработки → retry с backoff и jitter → ready + failed-replay постоянная ошибка → failed (error_code), реестр, явный replay, повтор успешной запрещён; + невалидное сообщение → DLQ + limits изображение 36 Мпикс и параллельная обработка: пик памяти worker, время + versions трек 5: reprocess v2, устаревший дубль v1 и повтор v2 после публикации не меняют результат + +Каждый сценарий печатает JSON-итог и PASS/FAIL; ID вложений и задания — без токенов. +""" +import hashlib +import json +import struct +import time +import zlib +from labutil import (BUCKET, bucket_count, compose, fixture, mc, psql, sh, wait_status) +from client import Client, Failure, arguments, check, run +from image_probe import jpeg_size + +SAMPLE = None + + +def sample(): + global SAMPLE + if SAMPLE is None: + from pathlib import Path + SAMPLE = (Path(__file__).resolve().parents[1] / 'tests/fixtures/sample.png').read_bytes() + return SAMPLE + + +def upload(c, actor, chat, data, name='p.png', ctype='image/png'): + r = c.call('POST', '/api/v1/chats/%s/attachments?filename=%s' % (chat['id'], name), 202, actor=actor, + raw=data, headers={'Content-Type': ctype}, schema='Attachment') + check(r['json']['status'] == 'queued', 'upload snapshot must be queued') + return r['json'] + + +def wait_ready_api(c, timeout=90): + end = time.time() + timeout + while time.time() < end: + try: + c.call('GET', '/health/ready') + return + except Failure: + time.sleep(1) + raise Failure('API not ready') + + +def job_of(att_id, version=1): + row = psql("SELECT job_id || '|' || state || '|' || attempt FROM jobs WHERE attachment_id = '%s' AND pipeline_version = %d" + % (att_id, version)) + jid, state, attempt = row.split('|') + return jid, state, int(attempt) + + +def events(job_id): + return psql("SELECT string_agg(event, ',' ORDER BY id) FROM job_events WHERE job_id = '%s'" % job_id) + + +def invariants(att_id, chat_id): + """I1 ≤1 варианта на (версия, имя); I2 ready ⇒ 3 варианта опубликованной версии с объектами; + I3 объектов v/ ровно 3 на каждую версию с вариантами (повторы не размножают).""" + dup = psql("SELECT count(*) FROM (SELECT 1 FROM attachment_variants WHERE attachment_id='%s' " + "GROUP BY pipeline_version, name HAVING count(*) > 1) d" % att_id) + check(dup == '0', 'I1 duplicated variants') + st, ver = psql("SELECT status || '|' || pipeline_version FROM attachments WHERE id='%s'" % att_id).split('|') + out = {'status': st, 'published_version': int(ver)} + if st == 'ready': + n = psql("SELECT count(*) FROM attachment_variants WHERE attachment_id='%s' AND pipeline_version=%s" % (att_id, ver)) + check(n == '3', 'I2 ready with %s variants' % n) + versions = psql("SELECT string_agg(DISTINCT pipeline_version::text, ',') FROM attachment_variants WHERE attachment_id='%s'" % att_id) + for v in versions.split(','): + objs = bucket_count('v/%s/%s/p%s/' % (chat_id, att_id, v)) + check(objs == 3, 'I3 version %s has %d objects' % (v, objs)) + out['objects_per_version'] = {v: 3 for v in versions.split(',')} + return out + + +def check_variants(c, actor, meta, original): + vs = {v['name']: v for v in meta['variants']} + check(set(vs) == {'thumbnail', 'crop', 'optimized'}, 'variants: %s' % sorted(vs)) + th = c.call('GET', '/api/v1/attachments/%s/content?variant=thumbnail' % meta['id'], actor=actor) + check(th['headers'].get_content_type() == 'image/jpeg', 'thumbnail type') + check(hashlib.sha256(th['bytes']).hexdigest() == vs['thumbnail']['sha256'], 'thumbnail sha') + tw, thh = jpeg_size(th['bytes']) + cr = c.call('GET', '/api/v1/attachments/%s/content?variant=crop' % meta['id'], actor=actor) + check(jpeg_size(cr['bytes']) == (128, 128), 'crop size') + op = c.call('GET', '/api/v1/attachments/%s/content?variant=optimized' % meta['id'], actor=actor) + check(op['bytes'][:4] == b'RIFF' and op['bytes'][8:12] == b'WEBP', 'optimized is not WebP') + check(hashlib.sha256(op['bytes']).hexdigest() == vs['optimized']['sha256'], 'optimized sha') + orig = c.call('GET', '/api/v1/attachments/%s/content' % meta['id'], actor=actor) + check(orig['bytes'] == original, 'original changed') + return {'thumbnail': [tw, thh], 'crop': [128, 128], + 'optimized': [vs['optimized']['width'], vs['optimized']['height']], + 'optimized_bytes': vs['optimized']['size_bytes'], 'original_bytes': len(original)} + + +def rabbit_healthy(timeout=90): + end = time.time() + timeout + while time.time() < end: + st = sh('docker', 'inspect', '-f', '{{.State.Health.Status}}', compose('ps', '-q', 'rabbitmq').stdout.strip(), + check=False).stdout.strip() + if st == 'healthy': + return + time.sleep(1) + raise Failure('rabbitmq not healthy') + + +def queues(): + """Сообщений в очередях RabbitMQ (без строки заголовка).""" + rabbit_healthy() + out = compose('exec', '-T', 'rabbitmq', 'rabbitmqctl', '-q', 'list_queues', '--no-table-headers', + 'name', 'messages').stdout + res = {} + for line in out.splitlines(): + parts = line.split() + if len(parts) == 2 and parts[1].isdigit(): + res[parts[0]] = int(parts[1]) + return res + + +def drain(timeout=180): + """Изоляция сценариев: все сервисы pipeline запущены, незавершённых заданий нет.""" + compose('up', '-d', '--no-deps', '--wait', 'worker', 'relay', 'rabbitmq', 's3', timeout=240) + end = time.time() + timeout + while time.time() < end: + busy = psql("SELECT count(*) FROM jobs WHERE state IN ('queued', 'processing')") + if busy == '0': + return + time.sleep(1) + raise Failure('pipeline did not drain: %s jobs pending' % busy) + + +def recreate(service, **env): + """Пересоздать сервис с переменными окружения (точки сбоя, таймауты).""" + compose('up', '-d', '--no-deps', '--wait', service, env=env, timeout=180) + + +# ---------------- уровень 3 ---------------- + +def scenario_demo(c): + alice, bob, _, chat = c.bootstrap() + timeline = [] + compose('stop', 'worker') + timeline.append('worker stopped') + att = upload(c, alice, chat, sample(), name='demo.png') + timeline.append('upload 202 queued id=%s' % att['id']) + msg = c.message(alice, chat, 'с вложением в очереди', attachments=[att['id']])['json'] + check(msg['attachment_ids'] == [att['id']], 'message attachment') + timeline.append('message 201 with queued attachment') + c.call('GET', '/api/v1/attachments/%s/content' % att['id'], 409, actor=bob) + c.message(bob, chat, 'чат работает без worker') + timeline.append('content 409, other messages OK') + time.sleep(2) + published = psql("SELECT count(*) FROM outbox o JOIN jobs j USING (job_id) WHERE j.attachment_id='%s' AND o.published_at IS NOT NULL" % att['id']) + compose('restart', 'api') + compose('restart', 'rabbitmq') + sh('sh', 'scripts/restore.sh') + wait_ready_api(c) + timeline.append('api and rabbitmq restarted (volumes kept), outbox published=%s' % published) + q = {} + for _ in range(30): + q = queues() + if q.get('attachment.process', 0) >= 1: + break + time.sleep(1) + timeline.append('rabbitmq queues after restart: %s' % q) + check(q.get('attachment.process', 0) >= 1, 'accepted job not in broker after restart: %s' % q) + t0 = time.time() + compose('start', 'worker') + meta = wait_status(c, bob, att['id'], ('ready',), timeout=90) + timeline.append('worker started → ready in %.1f s' % (time.time() - t0)) + res = check_variants(c, bob, meta, sample()) + check(res['thumbnail'] == [256, 160], 'fixture thumbnail must be 256x160') + jid, state, attempt = job_of(att['id']) + return {'attachment_id': att['id'], 'job_id': jid, 'job_state': state, 'attempt': attempt, + 'timeline': timeline, 'variants': res, 'invariants': invariants(att['id'], chat['id']), + 'events': events(jid)} + + +# ---------------- уровень 4 ---------------- + +def scenario_outbox_gap(c): + alice, bob, _, chat = c.bootstrap() + compose('stop', 'relay') + att = upload(c, alice, chat, sample(), name='gap.png') + time.sleep(3) + jid, state, _ = job_of(att['id']) + unpublished = psql("SELECT count(*) FROM outbox WHERE job_id='%s' AND published_at IS NULL" % jid) + check(state == 'queued' and unpublished == '1', 'job must wait in outbox: %s %s' % (state, unpublished)) + compose('restart', 'api') # «падение» после COMMIT, publish ещё не было + wait_ready_api(c) + compose('start', 'relay') + meta = wait_status(c, bob, att['id'], ('ready',)) + part1 = {'attachment_id': att['id'], 'unpublished_while_relay_down': 1, 'then': meta['status']} + + # Relay падает ПОСЛЕ publisher confirm, ДО отметки published_at → повторная публикация. + recreate('relay', RELAY_FAULT_POINTS='relay.after_publish') + att2 = upload(c, alice, chat, sample(), name='dup.png') + meta2 = wait_status(c, bob, att2['id'], ('ready',), timeout=120) + jid2, _, attempt2 = job_of(att2['id']) + for _ in range(60): + if psql("SELECT count(*) FROM outbox WHERE job_id='%s' AND published_at IS NOT NULL" % jid2) == '1': + break + time.sleep(0.5) + attempts = psql("SELECT publish_attempts FROM outbox WHERE job_id='%s'" % jid2) + restarts = sh('docker', 'inspect', '-f', '{{.RestartCount}}', compose('ps', '-q', 'relay').stdout.strip()).stdout.strip() + recreate('relay') + worker_log = compose('logs', '--no-color', 'worker').stdout + dup_seen = worker_log.count(jid2) >= 2 + check(int(restarts) >= 1, 'fault relay.after_publish did not crash the relay') + check(attempt2 == 1, 'duplicate publish must not create a second attempt') + part2 = {'attachment_id': att2['id'], 'relay_restarts': int(restarts), 'outbox_publish_attempts': int(attempts or 0), + 'worker_saw_message_twice': dup_seen, 'job_attempt': attempt2, 'invariants': invariants(att2['id'], chat['id'])} + return {'relay_down_then_up': part1, 'relay_crash_after_confirm': part2, 'events': events(jid2)} + + +def scenario_crash_effect(c): + alice, bob, _, chat = c.bootstrap() + recreate('worker', WORKER_FAULT_POINTS='worker.after_side_effect', JOB_TIMEOUT_SECONDS='15') + t0 = time.time() + att = upload(c, alice, chat, sample(), name='crash.png') + meta = wait_status(c, bob, att['id'], ('ready',), timeout=120) + took = time.time() - t0 + jid, state, attempt = job_of(att['id']) + cid = compose('ps', '-q', 'worker').stdout.split()[0] + restarts = sh('docker', 'inspect', '-f', '{{.RestartCount}}', cid).stdout.strip() + recreate('worker') + check(attempt == 2, 'expected recovery on attempt 2, got %d; events=%s' % (attempt, events(jid))) + ev = events(jid) + check('lease_expired_requeued' in ev, 'lease expiry recovery missing: ' + ev) + return {'attachment_id': att['id'], 'job_id': jid, 'worker_restarts': int(restarts), 'attempt': attempt, + 'seconds_to_ready': round(took, 1), 'events': ev, 'invariants': invariants(att['id'], chat['id']), + 'variants': check_variants(c, bob, meta, sample())} + + +def scenario_crash_commit(c): + alice, bob, _, chat = c.bootstrap() + recreate('worker', WORKER_FAULT_POINTS='worker.after_commit') + att = upload(c, alice, chat, sample(), name='commit.png') + wait_status(c, bob, att['id'], ('ready',)) + time.sleep(8) # контейнер перезапускается, broker доставляет неподтверждённое сообщение повторно + jid, state, attempt = job_of(att['id']) + cid = compose('ps', '-q', 'worker').stdout.split()[0] + restarts = sh('docker', 'inspect', '-f', '{{.RestartCount}}', cid).stdout.strip() + log = compose('logs', '--no-color', 'worker').stdout + noop = any(jid in l and 'duplicate delivery of finished job' in l for l in log.splitlines()) + recreate('worker') + check(int(restarts) >= 1, 'fault worker.after_commit did not crash the worker') + check(attempt == 1 and state == 'done', 'redelivery after commit must be a no-op: %s %d' % (state, attempt)) + return {'attachment_id': att['id'], 'job_id': jid, 'worker_restarts': int(restarts), 'attempt': attempt, + 'redelivery_acked_as_noop': noop, 'invariants': invariants(att['id'], chat['id'])} + + +def scenario_broker_restart(c): + alice, bob, _, chat = c.bootstrap() + compose('stop', 'worker') + att = upload(c, alice, chat, sample(), name='broker.png') + jid, _, _ = job_of(att['id']) + for _ in range(30): + if psql("SELECT count(*) FROM outbox WHERE job_id='%s' AND published_at IS NOT NULL" % jid) == '1': + break + time.sleep(0.5) + before = queues() + compose('restart', 'rabbitmq') + # Quorum-очередь после рестарта выбирает лидера и восстанавливает журнал: ждём. + after = {} + for _ in range(30): + after = queues() + if after.get('attachment.process', 0) >= 1: + break + time.sleep(1) + sh('docker', 'start', compose('ps', '-aq', 'worker').stdout.split()[0]) # без запуска зависимостей + wait_status(c, bob, att['id'], ('ready',)) + published = psql("SELECT publish_attempts FROM outbox WHERE job_id='%s'" % jid) + check(after.get('attachment.process', 0) >= 1, 'message lost on broker restart: %s' % after) + check(published == '1', 'message was republished from outbox (%s): not a broker durability proof' % published) + return {'attachment_id': att['id'], 'queue_before_restart': before, 'queue_after_restart': after, + 'outbox_publish_attempts': int(published), + 'invariants': invariants(att['id'], chat['id'])} + + +def scenario_transient(c): + alice, bob, _, chat = c.bootstrap() + worker_cid = compose('ps', '-q', 'worker').stdout.split()[0] + s3_cid = compose('ps', '-q', 's3').stdout.split()[0] + compose('stop', 'worker') + att = upload(c, alice, chat, sample(), name='retry.png') + jid, _, _ = job_of(att['id']) + for _ in range(30): + if psql("SELECT count(*) FROM outbox WHERE job_id='%s' AND published_at IS NOT NULL" % jid) == '1': + break + time.sleep(0.5) + # Прямые docker stop/start: `docker compose start worker` поднял бы и S3 + # (worker → s3-init → s3), и временного отказа бы не было. + sh('docker', 'stop', s3_cid) + sh('docker', 'start', worker_cid) + seen = [] + t0 = time.time() + while time.time() - t0 < 25: + ev = events(jid) or '' + seen = ev.split(',') + if seen.count('retry_scheduled') >= 2: + break + time.sleep(1) + sh('docker', 'start', s3_cid) + meta = wait_status(c, bob, att['id'], ('ready',), timeout=150) + _, state, attempt = job_of(att['id']) + details = psql("SELECT string_agg(detail, ' | ' ORDER BY id) FROM job_events WHERE job_id='%s' AND event='retry_scheduled'" % jid) + check(attempt >= 2 and state == 'done', 'expected retries then success: %s/%d events=%s' % (state, attempt, events(jid))) + return {'attachment_id': att['id'], 'attempts': attempt, 'final_status': meta['status'], + 'retry_details': details, 'events': events(jid), 'invariants': invariants(att['id'], chat['id'])} + + +def scenario_failed_replay(c): + alice, bob, _, chat = c.bootstrap() + compose('stop', 'worker') + att = upload(c, alice, chat, sample(), name='bad.png') + key = psql("SELECT staging_key FROM attachments WHERE id='%s'" % att['id']) + mc('printf garbage > /tmp/g && mc cp -q /tmp/g s3/%s/%s >/dev/null' % (BUCKET, key)) # порча staging + compose('start', 'worker') + meta = wait_status(c, bob, att['id'], ('failed',)) + check(meta['error_code'] == 'checksum_mismatch', 'error_code %s' % meta['error_code']) + c.call('GET', '/api/v1/attachments/%s/content' % att['id'], 409, actor=bob) + c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 409, actor=alice, + body={'text': '', 'attachment_ids': [att['id']]}, headers={'Idempotency-Key': 'f-' + att['id']}) + registry = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/pipeline', 'relay', 'failed').stdout + check(att['id'] in registry, 'failed registry must list the job') + # Восстанавливаем исходник и делаем явный replay. + import subprocess + p = subprocess.run(['docker', 'compose', 'run', '--rm', '--no-deps', '-T', '--entrypoint', 'sh', 's3-init', '-c', + 'mkdir -p /tmp/.mc/certs/CAs && cp /run/secrets/ca.crt /tmp/.mc/certs/CAs/ && ' + 'mc alias set s3 https://s3:9000 "$(cat /run/secrets/s3_root_user)" "$(cat /run/secrets/s3_root_password)" >/dev/null; ' + 'cat > /tmp/o && mc cp -q /tmp/o s3/%s/%s >/dev/null' % (BUCKET, key)], input=sample(), capture_output=True) + check(p.returncode == 0, 'restore staging failed: %s' % p.stderr.decode(errors='replace')[-300:]) + rp = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/pipeline', 'relay', 'replay', att['id'], + '--actor', 'lab5-test', check=False) + check(rp.returncode == 0, 'replay failed: ' + rp.stdout + rp.stderr[-200:]) + ready = wait_status(c, bob, att['id'], ('ready',)) + again = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/pipeline', 'relay', 'replay', att['id'], + '--actor', 'lab5-test', check=False) + check(again.returncode != 0, 'replay of a finished job must be refused') + jid, _, attempt = job_of(att['id']) + # Невалидное сообщение → DLQ (не крутится вечно, не теряется молча). + psql("INSERT INTO outbox (job_id, payload) VALUES ('%s', '{\"schema_version\": 99}'::jsonb)" % jid) + dead = 0 + for _ in range(30): + dead = queues().get('attachment.dead', 0) + if dead >= 1: + break + time.sleep(1) + check(dead >= 1, 'invalid message did not reach DLQ') + return {'attachment_id': att['id'], 'failed_error_code': meta['error_code'], 'content_while_failed': 409, + 'attach_failed_to_message': 409, 'registry_listed': True, 'replay': json.loads(rp.stdout.strip().splitlines()[-1]), + 'replay_after_success': json.loads(again.stdout.strip().splitlines()[-1]), + 'final_status': ready['status'], 'events': events(jid), 'dlq_messages': dead, + 'invariants': invariants(att['id'], chat['id'])} + + +def solid_png(w, h, rgb=(40, 120, 200)): + row = b'\x00' + bytes(rgb) * w + raw = row * h + ihdr = struct.pack('>IIBBBBB', w, h, 8, 2, 0, 0, 0) + ch = lambda t, d: struct.pack('>I', len(d)) + t + d + struct.pack('>I', zlib.crc32(t + d) & 0xffffffff) + return b'\x89PNG\r\n\x1a\n' + ch(b'IHDR', ihdr) + ch(b'IDAT', zlib.compress(raw, 9)) + ch(b'IEND', b'') + + +def scenario_limits(c): + alice, bob, _, chat = c.bootstrap() + big = solid_png(6000, 6000) # 36 Мпикс, сжатый файл маленький + check(len(big) < 10 * 1024 * 1024, 'test image too big') + import threading + compose('restart', 'worker') # новый cgroup → счётчики с нуля + time.sleep(3) + cid = compose('ps', '-q', 'worker').stdout.split()[0] + + def cg(name): + return sh('docker', 'exec', cid, 'cat', '/sys/fs/cgroup/' + name, check=False).stdout + + anon_max = [0] + stop = threading.Event() + + def sampler(): + # memory.peak включает page cache (временные файлы cwebp и т. п.), поэтому + # отдельно снимаем анонимную память процесса — её и ограничивает пиксельный бюджет. + while not stop.is_set(): + for line in cg('memory.stat').splitlines(): + if line.startswith('anon '): + anon_max[0] = max(anon_max[0], int(line.split()[1])) + time.sleep(0.3) + th = threading.Thread(target=sampler, daemon=True) + th.start() + t0 = time.time() + ids = [upload(c, alice, chat, big, name='big%d.png' % i)['id'] for i in range(3)] + done = [wait_status(c, bob, i, ('ready', 'failed'), timeout=240) for i in ids] + took = time.time() - t0 + stop.set() + th.join() + peak = cg('memory.peak').strip() + limit = cg('memory.max').strip() + oom = {l.split()[0]: int(l.split()[1]) for l in cg('memory.events').splitlines() if len(l.split()) == 2} + check(all(d['status'] == 'ready' for d in done), 'big images failed: %s' % [d['error_code'] for d in done]) + check(oom.get('oom_kill', 0) == 0, 'worker was OOM-killed') + th = {v['name']: (v['width'], v['height']) for v in done[0]['variants']} + check(th['thumbnail'] == (256, 256) and th['optimized'] == (1280, 1280), 'variant sizes %s' % th) + return {'image': '6000x6000 PNG (%d bytes)' % len(big), 'parallel_uploads': 3, 'seconds_all_ready': round(took, 1), + 'worker_anon_memory_max_mib': round(anon_max[0] / 1048576, 1), + 'worker_memory_peak_incl_page_cache_mib': round(int(peak) / 1048576, 1) if peak.isdigit() else peak, + 'oom_kill_events': oom.get('oom_kill', 0), + 'go_memlimit': sh('docker', 'exec', cid, 'printenv', 'GOMEMLIMIT', check=False).stdout.strip(), + 'oom_events': oom.get('oom', 0), + 'worker_memory_limit_mib': round(int(limit) / 1048576, 1) if limit.isdigit() else limit, + 'pixel_budget': 60_000_000, 'decoded_rgba_per_image_mib': round(6000 * 6000 * 4 / 1048576, 1), + 'variant_sizes': th} + + +# ---------------- трек 5: версии и устаревшие задания ---------------- + +def scenario_versions(c): + alice, bob, _, chat = c.bootstrap() + att = upload(c, alice, chat, sample(), name='ver.png') + v1 = wait_status(c, bob, att['id'], ('ready',)) + th1 = {v['name']: v['sha256'] for v in v1['variants']}['thumbnail'] + jid1, _, _ = job_of(att['id'], 1) + rp = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/pipeline', 'relay', 'reprocess', att['id'], '--version', '2') + jid2 = json.loads(rp.stdout.strip().splitlines()[-1])['job_id'] + for _ in range(120): + if psql("SELECT pipeline_version FROM attachments WHERE id='%s'" % att['id']) == '2': + break + time.sleep(0.5) + v2 = c.call('GET', '/api/v1/attachments/' + att['id'], actor=bob, schema='Attachment')['json'] + th2 = {v['name']: v['sha256'] for v in v2['variants']}['thumbnail'] + check(v2['status'] == 'ready' and th2 != th1, 'v2 must be published with a different thumbnail') + # Устаревший дубль v1 и повтор v2 после публикации v2. + psql("INSERT INTO outbox (job_id, payload) SELECT job_id, payload FROM outbox WHERE job_id='%s' ORDER BY id LIMIT 1" % jid1) + psql("INSERT INTO outbox (job_id, payload) SELECT job_id, payload FROM outbox WHERE job_id='%s' ORDER BY id LIMIT 1" % jid2) + time.sleep(6) + after = c.call('GET', '/api/v1/attachments/' + att['id'], actor=bob, schema='Attachment')['json'] + th_after = {v['name']: v['sha256'] for v in after['variants']}['thumbnail'] + got = c.call('GET', '/api/v1/attachments/%s/content?variant=thumbnail' % att['id'], actor=bob)['bytes'] + check(th_after == th2 and hashlib.sha256(got).hexdigest() == th2, 'stale v1 overwrote v2') + check(psql("SELECT pipeline_version FROM attachments WHERE id='%s'" % att['id']) == '2', 'version went back') + _, s1, a1 = job_of(att['id'], 1) + _, s2, a2 = job_of(att['id'], 2) + check(a1 == 1 and a2 == 1, 'duplicates must not start new attempts') + return {'attachment_id': att['id'], 'v1_thumbnail_sha': th1, 'v2_thumbnail_sha': th2, + 'after_stale_v1_and_dup_v2': th_after, 'published_version': 2, + 'jobs': {'v1': {'state': s1, 'attempt': a1, 'events': events(jid1)}, + 'v2': {'state': s2, 'attempt': a2, 'events': events(jid2)}}, + 'invariants': invariants(att['id'], chat['id'])} + + +SCENARIOS = {'demo': scenario_demo, 'outbox-gap': scenario_outbox_gap, 'crash-effect': scenario_crash_effect, + 'crash-commit': scenario_crash_commit, 'broker-restart': scenario_broker_restart, + 'transient': scenario_transient, 'failed-replay': scenario_failed_replay, + 'limits': scenario_limits, 'versions': scenario_versions} + + +def main(): + def configure(p): + p.add_argument('scenario', choices=sorted(SCENARIOS)) + p.add_argument('--output', default=None) + args = arguments('Lab5 pipeline scenarios on the Docker stand', configure) + c = Client(args.base_url, args.ca_file, timeout=60) + drain() + try: + result = SCENARIOS[args.scenario](c) + finally: + # Сценарий мог остановить сервисы или включить точки сбоя: возвращаем штатную конфигурацию. + compose('up', '-d', '--no-deps', '--wait', 'worker', 'relay', 'rabbitmq', 's3', 'api', timeout=300, check=False) + text = json.dumps({'scenario': args.scenario, 'result': result}, ensure_ascii=False, indent=2) + if args.output: + open(args.output, 'w', encoding='utf-8').write(text + '\n') + print(text) + print('PASS: ' + args.scenario) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/reconcile_cost.py b/student-tests/reconcile_cost.py new file mode 100644 index 0000000..420d13a --- /dev/null +++ b/student-tests/reconcile_cost.py @@ -0,0 +1,89 @@ +#!/usr/bin/env python3 +"""Трек 2: стоимость обхода reconciler в зависимости от числа вложений. + +Для каждого N: досеиваем согласованные пары (строка в PostgreSQL + объект в S3) +под отдельным префиксом чата-стенда, затем 3 раза запускаем dry-run и берём +медиану duration_ms. Фиксируем число строк/объектов, LIST-страниц, Stat-вызовов +и heap процесса reconciler. Дополнительно — прогон с 1% внедрённых расхождений. + +Объекты — 1 KiB случайных байт (размер не влияет на обход: LIST возвращает +метаданные, тела объектов не читаются). +""" +import json +import statistics +import time +import uuid +from labutil import BUCKET, compose, mc, psql +from client import Client, arguments, check, run + + +def reconcile_dry(): + for _ in range(10): + r = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/reconcile', 'reconciler', + '--grace', '1h', check=False, timeout=900) + if r.returncode == 3: + time.sleep(2) + continue + check(r.returncode in (0, 4), 'reconcile failed: ' + r.stderr[-300:]) + return json.loads(r.stdout.strip().splitlines()[-1]) + raise RuntimeError('lock busy') + + +def seed(chat_id, owner_id, start, count): + """count согласованных пар с ключами a//bench-<номер>.""" + # Объекты: генерируем count файлов в контейнере mc и заливаем одним mirror. + mc('mkdir -p /tmp/b && head -c 1024 /dev/urandom > /tmp/one && i=%d; while [ $i -lt %d ]; do ' + 'cp /tmp/one /tmp/b/bench-$(printf %%07d $i); i=$((i+1)); done && ' + 'mc mirror -q --overwrite /tmp/b s3/%s/a/%s/ >/dev/null' % (start, start + count, BUCKET, chat_id)) + psql("INSERT INTO attachments (id, chat_id, owner_id, filename, object_key, status, content_type, size_bytes, sha256) " + "SELECT gen_random_uuid(), '%s', '%s', 'b.png', 'a/%s/bench-' || lpad(g::text, 7, '0'), 'ready', " + "'image/png', 1024, repeat('a', 64) FROM generate_series(%d, %d) g" + % (chat_id, owner_id, chat_id, start, start + count - 1)) + + +def main(): + def configure(p): + p.add_argument('--sizes', default='1000,10000,30000') + p.add_argument('--output', default=None) + args = arguments('Reconciler traversal cost (lab4 track 2)', configure) + c = Client(args.base_url, args.ca_file) + alice, _, _, chat = c.bootstrap() + total_existing = int(psql('SELECT count(*) FROM attachments')) + sizes = [int(x) for x in args.sizes.split(',')] + seeded, runs = 0, [] + for n in sizes: + t0 = time.time() + seed(chat['id'], alice['id'], seeded, n - seeded) + seed_s = time.time() - t0 + seeded = n + reps = [reconcile_dry() for _ in range(3)] + ms = [r['duration_ms'] for r in reps] + r = reps[-1] + runs.append({'bench_pairs': n, 'rows_scanned': r['rows_scanned'], 'objects_scanned': r['objects_scanned'], + 'duration_ms_runs': ms, 'duration_ms_median': statistics.median(ms), + 'us_per_pair': round(1000 * statistics.median(ms) / max(1, r['rows_scanned']), 1), + 'calls': r['calls'], 'heap_alloc_mb': r['heap_alloc_mb'], 'found': r['found'], + 'wait_ms_runs': [x.get('wait_ms') for x in reps], + 'seed_seconds': round(seed_s, 1)}) + print(json.dumps(runs[-1], ensure_ascii=False)) + # 1% расхождений на самом большом наборе: удалённые объекты и сироты. + k = max(1, sizes[-1] // 100) + mc('i=0; while [ $i -lt %d ]; do mc rm -q s3/%s/a/%s/bench-$(printf %%07d $((i*97 %% %d))) >/dev/null 2>&1; i=$((i+1)); done' + % (k // 2, BUCKET, chat['id'], sizes[-1])) + mc('head -c 512 /dev/urandom > /tmp/o && i=0; while [ $i -lt %d ]; do mc cp -q /tmp/o s3/%s/a/%s/zz-orphan-$i >/dev/null; i=$((i+1)); done' + % (k - k // 2, BUCKET, chat['id'])) + faulty = reconcile_dry() + out = {'preexisting_rows': total_existing, 'object_size_bytes': 1024, 'runs': runs, + 'with_1pct_faults': {'injected_missing': k // 2, 'injected_orphans': k - k // 2, + 'duration_ms': faulty['duration_ms'], 'found': faulty['found'], + 'skipped': faulty['skipped'], 'calls': faulty['calls']}, + 'note': 'dry-run, grace 1h: свежие сироты учитываются как skipped.fresh_object, а не удаляются'} + text = json.dumps(out, ensure_ascii=False, indent=2) + if args.output: + open(args.output, 'w', encoding='utf-8').write(text + '\n') + print(text) + print('PASS: reconciler cost measured for %s pairs' % sizes) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/reconcile_faults.py b/student-tests/reconcile_faults.py new file mode 100644 index 0000000..bb7cb8d --- /dev/null +++ b/student-tests/reconcile_faults.py @@ -0,0 +1,175 @@ +#!/usr/bin/env python3 +"""Трек 2: внедрение расхождений PostgreSQL↔S3 и проверка reconciler. + +Сценарий (Docker-стенд, reconciler запускается одноразово через docker compose run): + 1. Через API: чат, 6 вложений, два из них прикреплены к сообщениям. + 2. Внедряем ошибки с обеих сторон: + S3: сирота (объект без строки, старый), сирота свежая (моложе grace), + удалённый объект используемого и неиспользуемого вложения, + объект с подменённым размером; + БД: брошенное намерение с объектом и без, свежее намерение (загрузка «идёт»). + 3. dry-run: всё найдено, ничего не изменено (снимки БД и S3 совпадают). + 4. apply: исправлено; свежие и используемые не тронуты; API: здоровые вложения + скачиваются байт-в-байт, потерянные отвечают 503, сообщение сохраняет attachment_ids. + 5. Повторный apply — ничего не исправляет (идемпотентность). + 6. Объект «восстановлен из бэкапа» → apply снимает карантин, скачивание снова работает. + 7. После grace: неиспользуемая запись карантина удаляется, используемая остаётся; + свежая сирота, ставшая старой, удаляется. + +Grace в тесте — 8 s (--unsafe-short-grace); «старые» строки сдвинуты на 30 минут +назад, поэтому фоновый reconciler стенда (grace 1h) их не трогает. +""" +import json +import time +import uuid +from labutil import BUCKET, compose, fixture, mc, noise_png, object_key, psql, wait_status +from client import Client, arguments, check, run + +GRACE = '8s' + + +def reconcile(*flags): + for _ in range(10): + r = compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/app/reconcile', 'reconciler', + '--grace', GRACE, '--unsafe-short-grace', *flags, check=False) + if r.returncode == 3: # фоновый reconciler держит advisory lock + time.sleep(2) + continue + check(r.returncode in (0, 4), 'reconcile failed: ' + r.stderr[-400:]) + return json.loads(r.stdout.strip().splitlines()[-1]) + raise RuntimeError('reconciler lock busy') + + +def snapshot(chat_id): + rows = psql("SELECT id || ':' || status || ':' || COALESCE(size_bytes, 0) FROM attachments " + "WHERE chat_id = '%s' ORDER BY id" % chat_id) + objs = mc('mc ls --recursive --json s3/%s/a/%s/' % (BUCKET, chat_id)).stdout + # mc ls --json отдаёт key относительно листинга — дополняем до полного ключа. + keys = sorted(('a/%s/%s' % (chat_id, json.loads(l)['key']), json.loads(l)['size']) + for l in objs.splitlines() if l.strip() and 'key' in json.loads(l)) + return rows, keys + + +def main(): + def configure(p): + p.add_argument('--output', default=None) + args = arguments('Reconciler fault injection (lab4 track 2)', configure) + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, _, chat = c.bootstrap() + cid = chat['id'] + def up(data): + a = c.call('POST', '/api/v1/chats/%s/attachments?filename=r.png' % cid, 202, actor=alice, + raw=data, headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + return wait_status(c, alice, a['id'], ('ready',)) + datas = [noise_png(20_000 + i * 1000) for i in range(6)] + ok, lost_used, lost_free, resized, keep_used, restore_me = [up(d) for d in datas] + for att in (lost_used, keep_used, restore_me): + c.message(alice, chat, 'с вложением', attachments=[att['id']]) + + # --- внедрение ошибок --- + tmp = '/tmp/f.bin' + put = 'head -c %d /dev/urandom > ' + tmp + ' && mc cp -q ' + tmp + ' s3/' + BUCKET + '/%s >/dev/null' + orphan_old = 'a/%s/%s' % (cid, uuid.uuid4()) + orphan_fresh = 'a/%s/%s' % (cid, uuid.uuid4()) + stale_with = str(uuid.uuid4()) + stale_without = str(uuid.uuid4()) + inflight = str(uuid.uuid4()) + mc(' && '.join([ + put % (5000, orphan_old), + 'mc rm -q s3/%s/%s' % (BUCKET, object_key(lost_used['id'])), + 'mc rm -q s3/%s/%s' % (BUCKET, object_key(lost_free['id'])), + 'mc rm -q s3/%s/%s' % (BUCKET, object_key(restore_me['id'])), + put % (777, object_key(resized['id'])), + put % (4000, 'a/%s/%s' % (cid, stale_with)), + put % (4000, 'a/%s/%s' % (cid, inflight)), + ])) + for aid, age in ((stale_with, "now() - interval '30 minutes'"), (stale_without, "now() - interval '30 minutes'"), + (inflight, 'now()')): + psql("INSERT INTO attachments (id, chat_id, owner_id, filename, object_key, status, created_at, updated_at) " + "VALUES ('%s', '%s', '%s', 'x.png', 'a/%s/%s', 'uploading', %s, %s)" % (aid, cid, alice['id'], cid, aid, age, age)) + time.sleep(9) # «старые» объекты стали старше grace + mc(put % (3000, orphan_fresh)) # а эта сирота — свежая + psql("UPDATE attachments SET updated_at = now() WHERE id = '%s'" % inflight) # загрузка «продолжается» + + # --- dry-run --- + before = snapshot(cid) + dry = reconcile() + check(snapshot(cid) == before, 'dry-run changed state') + mine = lambda rep, kind: [i for i in rep['items'] if i['kind'] == kind and cid in i['key']] + expect = {'orphan_object': 1, 'stale_intent': 2, 'missing_object': 3, 'size_mismatch': 1} + for kind, n in expect.items(): + check(len(mine(dry, kind)) == n, 'dry-run %s: %d, want %d' % (kind, len(mine(dry, kind)), n)) + check(all(i['action'].startswith('would_') for i in dry['items'] if cid in i['key']), 'dry-run planned real actions') + + # --- apply --- + applied = reconcile('--apply') + rows, keys = snapshot(cid) + status = {r.split(':')[0]: r.split(':')[1] for r in rows.splitlines()} + key_set = {k for k, _ in keys} + check(stale_with not in status and stale_without not in status, 'stale intents not removed') + check('a/%s/%s' % (cid, stale_with) not in key_set, 'stale intent object not removed') + check(orphan_old not in key_set, 'old orphan not removed') + check(orphan_fresh in key_set, 'FRESH orphan was deleted') + check(status.get(inflight) == 'uploading' and 'a/%s/%s' % (cid, inflight) in key_set, 'IN-FLIGHT upload touched') + for att in (lost_used, lost_free, restore_me, resized): + check(status.get(att['id']) == 'missing', '%s not quarantined' % att['id']) + check(status.get(ok['id']) == 'ready' and status.get(keep_used['id']) == 'ready', 'healthy rows touched') + # API после исправления + for att, data in ((ok, datas[0]), (keep_used, datas[4])): + d = c.call('GET', '/api/v1/attachments/%s/content' % att['id'], actor=bob) + check(d['bytes'] == data, 'healthy attachment changed') + c.call('GET', '/api/v1/attachments/%s' % lost_used['id'], 503, actor=bob) + c.call('GET', '/api/v1/attachments/%s/content' % lost_used['id'], 503, actor=bob) + hist = c.call('GET', '/api/v1/chats/%s/messages?limit=100' % cid, actor=bob, schema='MessagePage')['json']['items'] + check(any(lost_used['id'] in m['attachment_ids'] for m in hist), 'message lost its attachment reference') + c.call('POST', '/api/v1/chats/%s/messages' % cid, 409, actor=alice, body={'text': '', 'attachment_ids': [lost_free['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}) + + # --- идемпотентность --- + again = reconcile('--apply') + check(not [i for i in again['items'] if cid in i['key']], 'second apply changed something: %s' % [i for i in again['items'] if cid in i['key']]) + + # --- восстановление объекта --- + with_data = datas[5] + open_key = object_key(restore_me['id']) + # Восстанавливаем исходные байты («из бэкапа») через stdin контейнера mc. + import subprocess + p = subprocess.run(['docker', 'compose', 'run', '--rm', '--no-deps', '-T', '--entrypoint', 'sh', 's3-init', '-c', + 'mc alias set s3 http://s3:9000 "$(cat /run/secrets/s3_root_user)" "$(cat /run/secrets/s3_root_password)" >/dev/null; ' + 'cat > /tmp/r.png && mc cp -q /tmp/r.png s3/%s/%s >/dev/null' % (BUCKET, open_key)], + input=with_data, capture_output=True) + check(p.returncode == 0, 'restore put failed') + restored = reconcile('--apply') + check(len(mine(restored, 'restored')) == 1, 'restore not detected') + d = c.call('GET', '/api/v1/attachments/%s/content' % restore_me['id'], actor=bob) + check(d['bytes'] == with_data, 'restored attachment bytes differ') + + # --- после grace --- + time.sleep(9) + late = reconcile('--apply') + rows, keys = snapshot(cid) + status = {r.split(':')[0]: r.split(':')[1] for r in rows.splitlines()} + check(lost_free['id'] not in status, 'unreferenced quarantined row not purged after grace') + check(resized['id'] not in status or status[resized['id']] == 'missing', 'resized row state') + check(status.get(lost_used['id']) == 'missing', 'REFERENCED quarantined row deleted') + check(orphan_fresh not in {k for k, _ in keys}, 'orphan not removed after grace') + + summary = { + 'injected': {'orphan_old': 1, 'orphan_fresh': 1, 'deleted_objects': 3, 'resized_object': 1, + 'stale_intents': 2, 'inflight_intent': 1}, + 'dry_run_found': {k: len(mine(dry, k)) for k in expect}, 'dry_run_state_changed': False, + 'apply_found': {k: len(mine(applied, k)) for k in expect}, + 'second_apply_actions': 0, 'restored': 1, + 'after_grace': {k: len(mine(late, k)) for k in ('purge_missing', 'orphan_object')}, + 'never_deleted': ['fresh orphan (until grace)', 'in-flight intent', 'referenced quarantined row', 'healthy rows'], + 'reports': {'dry_run': dry, 'apply': applied, 'second_apply': again, 'restore': restored, 'after_grace': late}, + } + text = json.dumps(summary, ensure_ascii=False, indent=2) + if args.output: + open(args.output, 'w', encoding='utf-8').write(text + '\n') + print(json.dumps({k: v for k, v in summary.items() if k != 'reports'}, ensure_ascii=False, indent=2)) + print('PASS: reconciler detected and safely fixed faults on both sides; dry-run and repeat are safe') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/regressions.py b/student-tests/regressions.py new file mode 100644 index 0000000..2420495 --- /dev/null +++ b/student-tests/regressions.py @@ -0,0 +1,85 @@ +#!/usr/bin/env python3 +"""Регрессии по замечаниям проверки lab3. + +1. Видимость подтверждённой записи при отказе Redis в командах инвалидации: + чат с двумя сообщениями → закэшировать историю → в Redis запретить команды + через ACL (сначала только INCR, затем INCR+DEL+UNLINK+SCAN) → отправить + третье сообщение → каждое следующее чтение через LB обязано вернуть его. +2. Пароль из одних пробельных символов при регистрации → 400. + +Нужен запущенный Docker-стенд (redis-cli вызывается через docker compose exec). +ACL всегда восстанавливается в finally. --only cache|password запускает одну часть. +""" +import subprocess +import sys +import uuid +from pathlib import Path +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) # публичный client.py +from client import Client, arguments, check, run +from resilience import history + +ROOT = Path(__file__).resolve().parents[1] +WHITESPACE_PASSWORDS = (' ' * 12, '\t' * 12, '  ' * 8) + + +def redis_cli(*args): + # Lab7: Redis только по TLS, пользователь default выключен — операторская учётка + # (пароль из secrets/operator, передаётся через окружение exec, не аргументом). + pw = (ROOT / 'secrets' / 'operator' / 'redis_operator_password').read_text().strip() + r = subprocess.run(['docker', 'compose', 'exec', '-T', '-e', 'REDISCLI_AUTH=' + pw, 'redis', 'redis-cli', '--tls', + '--cacert', '/run/secrets/ca.crt', '-h', 'redis', '--user', 'operator', '--no-auth-warning', *args], + cwd=ROOT, capture_output=True, text=True, timeout=30) + check(r.returncode == 0, 'redis-cli failed: ' + r.stderr.strip()) + return r.stdout.strip() + + +def visibility_case(c, alice, bob, chat, denied): + path = '/api/v1/chats/' + chat['id'] + '/messages?limit=50' + before = [m['id'] for m in history(c, bob, chat)] + # Прогреваем кэш на обеих репликах. + for _ in range(4): + c.call('GET', path, actor=bob, schema='MessagePage') + redis_cli('ACL', 'SETUSER', 'api', *('-' + cmd for cmd in denied)) # lab7: пользователь API — api + try: + sent = c.message(alice, chat, 'после запрета ' + '+'.join(denied))['json'] + # Каждое следующее чтение (через любую реплику) видит подтверждённую запись. + for i in range(6): + page = c.call('GET', path, actor=bob, schema='MessagePage') + ids = [m['id'] for m in page['json']['items']] + check(sent['id'] in ids, 'read %d after 201 misses confirmed message (denied: %s)' % (i, denied)) + # Порядок (created_at до секунды, id): новое сообщение той же секунды может + # встать раньше старых, поэтому проверяем наличие, а не префикс. + check(set(before) <= set(ids), 'previously confirmed messages missing') + finally: + # Исходные права api — из ACL-файла оператора (там же hash пароля). + redis_cli('ACL', 'LOAD') + return len(before) + 1 + + +def main(): + def configure(p): + p.add_argument('--only', choices=['password', 'cache'], default=None) + args = arguments('Regression checks for lab3 review findings', configure) + c = Client(args.base_url, args.ca_file) + + # 2. Пароль из пробельных символов (пробелы, табуляции, неразрывные пробелы). + if args.only in (None, 'password'): + for pw in WHITESPACE_PASSWORDS: + c.call('POST', '/api/v1/users', 400, + body={'username': 'ws_' + uuid.uuid4().hex[:10], 'display_name': 'WS', 'password': pw}) + print('PASS: whitespace-only password rejected with 400 (3 variants)') + if args.only == 'password': + return + + # 1. Видимость записи при отказе Redis. + alice, bob, _, chat = c.bootstrap() + c.message(alice, chat, 'первое') + c.message(bob, chat, 'второе') + n = visibility_case(c, alice, bob, chat, ['incr']) + print('PASS: Redis ACL -incr: message visible on every next read (%d in history)' % n) + n = visibility_case(c, alice, bob, chat, ['incr', 'del', 'unlink', 'scan']) + print('PASS: Redis ACL -incr -del -unlink -scan: message visible on every next read (%d in history)' % n) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/security_ops.py b/student-tests/security_ops.py new file mode 100644 index 0000000..84ccd9d --- /dev/null +++ b/student-tests/security_ops.py @@ -0,0 +1,554 @@ +#!/usr/bin/env python3 +"""Отрицательные и эксплуатационные проверки lab7 (trust matrix, OpenBao, hardening). + + tls-external внешний TLS: доверенный CA + имя — да; пустой/чужой trust store, чужое имя, + TLS 1.1 — ошибка проверки; plaintext-порта нет + mtls LB→API, worker/relay→RabbitMQ, сервисы→Collector: без сертификата, чужой CA, + доверенный CA с чужой identity — отказ; правильная identity — успех. + Каждая связь хранилищ: plaintext не отвечает, TLS с проверкой — да + acl посторонний, поддельный X-User-Id, logout, истечение сессии, лимит входа + (429 + Retry-After, общий для реплик), предел тела 413, Argon2id в БД, rehash + openbao policy allow/deny каждой сервисной identity; нет root/статического токена + в приложениях; не dev-mode; restart → sealed → unseal + hardening docker inspect всех контейнеров: user, read_only, capabilities, + no-new-privileges, privileged, host network, docker.sock, порты, лимиты + rotation ротация secret (пароль БД api, ключ S3 worker) и leaf (api, lb) под нагрузкой + без пересборки; старый пароль/сертификат отвергается + lifecycle короткий TTL токена OpenBao (renew/re-login), sealed OpenBao под нагрузкой, + рестарт worker при sealed и восстановление после unseal + argon2 замер Argon2id на контейнере API, бюджет login DoS + leaks пароль/токен/текст сообщения не попадают в Loki/Tempo/stdout (через Grafana) + +Печатает JSON-итог и PASS/FAIL; секреты не печатаются. +""" +import base64 +import json +import os +import socket +import ssl +import subprocess +import threading +import time +import urllib.request +import uuid +from pathlib import Path + +import labutil # noqa: F401 +from client import Client, Failure, arguments, check, run +from labutil import ROOT, compose, psql, sh, wait_status +from loadgen import Load + +CA = str(ROOT / 'secrets' / 'pki' / 'ca.crt') +SAMPLE = (ROOT / 'tests' / 'fixtures' / 'sample.png').read_bytes() +PY = os.environ.get('PYTHON', 'python3') + + +def probe(*args, stdin=None, timeout=120): + """secprobe в тестовом контейнере (сети front/back/telemetry, /pki — сертификаты).""" + r = compose('--profile', 'test', 'run', '--rm', '-T', 'probe', *args, input=stdin, check=False, timeout=timeout, + env={'PROBE_UID': str(os.getuid()) if hasattr(os, 'getuid') else '1001'}) + try: + return json.loads(r.stdout) + except ValueError: + return {'error': (r.stderr or r.stdout)[-300:]} + + +def bootstrap(*args): + return sh(PY, 'scripts/bootstrap.py', *args, timeout=600).stdout.strip() + + +def denied(v): + return isinstance(v, str) and (v.startswith('denied') or v.startswith('server_rejected') or v.startswith('client_rejected')) + + +# ---------------- внешний TLS ---------------- + +def scenario_tls_external(c): + res = {} + out = sh(PY, 'tests/security.py', '--base-url', c.base, '--ca-file', CA, check=False).stdout.strip() + res['public_security_py'] = out.splitlines()[-1] if out else '' + check(out.endswith('NOT verify internal mTLS, OpenBao or hardening.') or 'PASS' in out, 'public security.py failed: ' + out) + + def handshake(ctx, host='localhost', port=8443): + try: + with socket.create_connection(('127.0.0.1', port), timeout=5) as s: + with ctx.wrap_socket(s, server_hostname=host) as t: + return 'ok ' + t.version() + except ssl.SSLCertVerificationError as e: + return 'cert_verify_error: ' + e.verify_message + except ssl.SSLError as e: + return 'ssl_error: ' + e.reason + except OSError as e: + return 'network: ' + type(e).__name__ + good = ssl.create_default_context(cafile=CA) + res['trusted_ca_localhost'] = handshake(good) + res['wrong_hostname'] = handshake(good, host='messenger.example') + rogue = ssl.create_default_context(cafile=str(ROOT / 'secrets/pki/test/rogue-ca.crt')) + res['foreign_ca_trust_store'] = handshake(rogue) + old = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT) + old.load_verify_locations(CA) + try: + old.minimum_version = old.maximum_version = ssl.TLSVersion.TLSv1_1 + res['tls_1_1'] = handshake(old) + except (ValueError, ssl.SSLError) as e: + res['tls_1_1'] = 'client_cannot_offer: ' + str(e)[:60] + for port in (8080, 8404, 9090, 5432, 6379, 9000, 5672, 4318): + try: + socket.create_connection(('127.0.0.1', port), timeout=2).close() + res['host_port_%d' % port] = 'OPEN' + except OSError: + res['host_port_%d' % port] = 'closed' + check(res['trusted_ca_localhost'].startswith('ok TLSv1.'), 'trusted handshake failed') + check(res['wrong_hostname'].startswith('cert_verify_error'), 'hostname not verified') + check(res['foreign_ca_trust_store'].startswith('cert_verify_error'), 'foreign CA accepted') + check(not res['tls_1_1'].startswith('ok'), 'TLS 1.1 accepted') + check(all(v == 'closed' for k, v in res.items() if k.startswith('host_port')), 'unexpected host ports open') + return res + + +# ---------------- mTLS и TLS всех связей ---------------- + +def scenario_mtls(c): + p = '/pki/' + t = '/pki/test/' + lb = { + 'no_client_cert': probe('tls', '-addr', 'api:8443', '-name', 'api'), + 'foreign_ca_cert_cn_lb': probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', t + 'rogue-lb.crt', '-key', t + 'rogue-lb.key'), + 'trusted_ca_identity_attacker': probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', t + 'attacker.crt', '-key', t + 'attacker.key'), + 'trusted_ca_identity_worker': probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', p + 'worker.crt', '-key', p + 'worker.key'), + 'identity_lb': probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', p + 'lb.crt', '-key', p + 'lb.key'), + 'plaintext_http': probe('plain', '-addr', 'api:8443', '-send', 'GET /health/ready HTTP/1.1\\r\\nHost: api\\r\\n\\r\\n'), + } + for k in ('no_client_cert', 'foreign_ca_cert_cn_lb', 'trusted_ca_identity_attacker', 'trusted_ca_identity_worker'): + check(denied(lb[k].get('result')), 'LB→API %s not rejected: %s' % (k, lb[k])) + check(lb['identity_lb'].get('status') == 200, 'LB identity rejected: %s' % lb['identity_lb']) + + broker = { + 'foreign_ca': probe('amqp', '-cert', t + 'rogue-lb.crt', '-key', t + 'rogue-lb.key'), + 'trusted_ca_cn_attacker': probe('amqp', '-cert', t + 'attacker.crt', '-key', t + 'attacker.key'), + 'trusted_ca_cn_lb': probe('amqp', '-cert', p + 'lb.crt', '-key', p + 'lb.key'), + 'worker': probe('amqp', '-cert', p + 'worker.crt', '-key', p + 'worker.key'), + 'relay': probe('amqp', '-cert', p + 'relay.crt', '-key', p + 'relay.key'), + 'plaintext_5672': probe('plain', '-addr', 'rabbitmq:5672', '-send', 'AMQP'), + } + for k in ('foreign_ca', 'trusted_ca_cn_attacker', 'trusted_ca_cn_lb'): + check(denied(broker[k].get('connect')), 'broker %s not rejected: %s' % (k, broker[k])) + w, r = broker['worker'], broker['relay'] + check(w.get('consume attachment.process') == 'allowed' and denied(w.get('publish attachments (job)')) + and denied(w.get('declare queue evil')) and denied(w.get('delete queue attachment.process')), 'worker ACL: %s' % w) + check(r.get('publish attachments (job)') == 'allowed' and denied(r.get('consume attachment.process')), 'relay ACL: %s' % r) + + otel = { + 'no_client_cert': probe('otlp'), + 'foreign_ca': probe('otlp', '-cert', t + 'rogue-otel.crt', '-key', t + 'rogue-otel.key'), + 'main_ca_cert_lb': probe('otlp', '-cert', p + 'lb.crt', '-key', p + 'lb.key'), + 'main_ca_cert_worker': probe('otlp', '-cert', p + 'worker.crt', '-key', p + 'worker.key'), + 'telemetry_ca_worker': probe('otlp', '-cert', p + 'worker-otel.crt', '-key', p + 'worker-otel.key'), + 'plaintext_http': probe('plain', '-addr', 'otel-collector:4318', '-send', 'POST /v1/traces HTTP/1.1\\r\\nHost: x\\r\\nContent-Length: 0\\r\\n\\r\\n'), + } + for k in ('no_client_cert', 'foreign_ca', 'main_ca_cert_lb', 'main_ca_cert_worker'): + check(otel[k].get('ingest') != 'allowed', 'collector %s accepted: %s' % (k, otel[k])) + check(otel['telemetry_ca_worker'].get('status') == 200, 'telemetry client rejected: %s' % otel['telemetry_ca_worker']) + + # Хранилища и служебные связи: TLS с проверкой работает; plaintext не обслуживается. + servers = {} + for name, addr, sn, cert in ( + ('postgres(starttls)', None, None, None), + ('redis', 'redis:6379', 'redis', None), ('s3', 's3:9000', 's3', None), + ('openbao', 'openbao:8200', 'openbao', None), + ('tempo', 'tempo:3200', 'tempo', 'prometheus'), ('loki', 'loki:3100', 'loki', 'prometheus'), + ('prometheus', 'prometheus:9090', 'prometheus', 'grafana'), + ('collector-metrics', 'otel-collector:8889', 'otel-collector', 'prometheus'), + ('rabbitmq-metrics', 'rabbitmq:15691', 'rabbitmq', 'prometheus')): + if addr is None: + continue + a = ['tls', '-addr', addr, '-name', sn, '-path', '/'] + if name == 'redis': + a += ['-send', 'PING\\r\\n'] # ответ -NOAUTH: TLS установлен, ACL требует вход + if cert: + a += ['-cert', p + cert + '.crt', '-key', p + cert + '.key'] + r_tls = probe(*a) + r_plain = probe('plain', '-addr', addr, '-send', 'GET / HTTP/1.1\\r\\nHost: x\\r\\n\\r\\n' if name != 'redis' else 'PING\\r\\n') + entry = {'tls_verified': r_tls.get('result'), 'tls_status': r_tls.get('status'), + 'plaintext_reply': r_plain.get('reply_prefix'), 'plaintext': r_plain.get('plaintext')} + if cert: + r_nocert = probe('tls', '-addr', addr, '-name', sn, '-path', '/') + entry['without_client_cert'] = r_nocert.get('result') + servers[name] = entry + rp = r_plain.get('reply_prefix') or '' + check(r_tls.get('result') == 'ok' or 'status' in r_tls, '%s TLS failed: %s' % (name, r_tls)) + check('+PONG' not in rp and '200 OK' not in rp, '%s answers plaintext: %s' % (name, rp)) + if cert: + check(entry['without_client_cert'] != 'ok', '%s accepts clients without certificate' % name) + # PostgreSQL: без TLS отказ pg_hba; с verify-full — подключение + pg_plain = probe('db', '-user', 'app_api', '-sslmode', 'disable', '-stdin', stdin='x') + servers['postgres'] = {'sslmode_disable': pg_plain.get('connect')} + check(denied(pg_plain.get('connect')), 'postgres accepted non-TLS connection') + return {'lb_to_api': lb, 'broker': broker, 'collector': otel, 'servers': servers} + + +# ---------------- ACL / сессии / вход ---------------- + +def scenario_acl(c): + alice, bob, eve, chat = c.bootstrap() + att = c.call('POST', '/api/v1/chats/%s/attachments?filename=a.png' % chat['id'], 202, actor=alice, raw=SAMPLE, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + wait_status(c, bob, att['id'], ('ready',)) + res = {} + res['outsider_metadata'] = c.call('GET', '/api/v1/attachments/' + att['id'], (404,), actor=eve)['status'] + res['outsider_content'] = c.call('GET', '/api/v1/attachments/%s/content' % att['id'], (404,), actor=eve)['status'] + echat = c.call('POST', '/api/v1/chats', 201, actor=eve, body={'title': 'e', 'member_ids': [eve['id']]}, + schema='Chat')['json'] + res['attach_foreign_file'] = c.call('POST', '/api/v1/chats/%s/messages' % echat['id'], (404,), actor=eve, + body={'text': 'x', 'attachment_ids': [att['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex})['status'] + res['fake_x_user_id_with_eve_token'] = c.call('GET', '/api/v1/chats/%s/messages' % chat['id'], (404,), actor=eve, + headers={'X-User-Id': alice['id']})['status'] + res['x_user_id_without_token'] = c.call('GET', '/api/v1/users/me', (401,), headers={'X-User-Id': alice['id']})['status'] + tok = dict(bob) + c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=tok) + res['after_logout'] = c.call('GET', '/api/v1/users/me', (401,), actor=tok)['status'] + # Предел тела JSON: 65 KiB → 413 (без чтения сверх лимита) + big = json.dumps({'text': 'x' * (65 * 1024)}).encode() + res['json_body_65KiB'] = c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], (413,), actor=alice, raw=big, + headers={'Content-Type': 'application/json', 'Idempotency-Key': uuid.uuid4().hex})['status'] + # Argon2id в БД: параметры текущего hash + h = psql("SELECT password_hash FROM users WHERE id = '%s'" % alice['id']) + res['stored_hash_params'] = h.split('$')[1] + ' ' + h.split('$')[3] + check(h.startswith('$argon2id$v=19$m=19456,t=2,p=1$'), 'unexpected hash format') + # Rehash: hash старых параметров (lab2–6: m=64 MiB, t=1, p=4) → вход → пересчитан текущими + pw = alice['registration']['password'] + legacy = compose('exec', '-T', 'api', '/app/pipeline', 'argon2-hash', '-m', '65536', '-t', '1', '-p', '4', input=pw).stdout.strip() + psql("UPDATE users SET password_hash = '%s' WHERE id = '%s'" % (legacy, alice['id'])) + cred = base64.b64encode(('%s:%s' % (alice['user']['username'], pw)).encode()).decode() + c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + cred}) + h2 = psql("SELECT password_hash FROM users WHERE id = '%s'" % alice['id']) + res['rehash'] = {'before': legacy.split('$')[3], 'after': h2.split('$')[3]} + check(h2.split('$')[3] == 'm=19456,t=2,p=1', 'legacy hash not rehashed') + # Лимит входа: общий для реплик счётчик в Redis; превышение → 429 + Retry-After + bad = base64.b64encode(('%s:%s' % (eve['user']['username'], 'wrong-password-xyz')).encode()).decode() + codes, retry, instances = [], None, set() + for _ in range(14): + r = c.call('POST', '/api/v1/auth/sessions', (401, 429), headers={'Authorization': 'Basic ' + bad}) + codes.append(r['status']) + instances.add(r['headers'].get('X-Instance-Id')) + if r['status'] == 429: + retry = r['headers'].get('Retry-After') + res['login_rate_limit'] = {'codes': codes, 'retry_after': retry, 'served_by_replicas': len(instances)} + check(codes[:10] == [401] * 10 and codes[10] == 429 and retry, 'per-user login limit not enforced: %s' % codes) + good_eve = base64.b64encode(('%s:%s' % (eve['user']['username'], eve['registration']['password'])).encode()).decode() + res['correct_password_while_limited'] = c.call('POST', '/api/v1/auth/sessions', (429,), + headers={'Authorization': 'Basic ' + good_eve})['status'] + # Истечение сессии: реплики с SESSION_TTL_SECONDS=3 + compose('up', '-d', '--no-deps', '--wait', 'api', env={'SESSION_TTL_SECONDS': '3'}, timeout=240) + time.sleep(3) + short = c.user('ttl') + time.sleep(5) + res['after_ttl_expiry'] = c.call('GET', '/api/v1/users/me', (401,), actor=short)['status'] + compose('up', '-d', '--no-deps', '--wait', 'api', timeout=240) + return res + + +# ---------------- OpenBao ---------------- + +def scenario_openbao(c): + p = '/pki/' + res = {} + for svc, cert in (('api', 'api'), ('worker', 'worker'), ('relay', 'relay'), ('reconciler', 'reconciler')): + r = probe('bao', '-cert', p + cert + '.crt', '-key', p + cert + '.key', '-role', svc, '-path', 'messenger/' + svc) + res[svc] = r + check(r.get('read own messenger/' + svc) == 'allowed', '%s cannot read own secret: %s' % (svc, r)) + others = [k for k in r if k.startswith('read messenger/')] + check(others and all(r[k].startswith('denied') for k in others), '%s reads foreign secrets: %s' % (svc, r)) + for k in ('write own secret', 'list secrets', 'write policy', 'create token with other policy', 'seal openbao'): + check(r[k].startswith('denied'), '%s allowed %s' % (svc, k)) + # identity не своей роли: сертификат worker на роль api, attacker на любую + res['worker_cert_as_api_role'] = probe('bao', '-cert', p + 'worker.crt', '-key', p + 'worker.key', '-role', 'api', '-path', 'messenger/api') + res['attacker_cert'] = probe('bao', '-cert', '/pki/test/attacker.crt', '-key', '/pki/test/attacker.key', '-role', 'api', '-path', 'messenger/api') + check(res['worker_cert_as_api_role'].get('login', '').startswith('denied'), 'worker cert logged in as api') + check(res['attacker_cert'].get('login', '').startswith('denied'), 'attacker cert logged in') + # В приложениях нет токенов/ключей OpenBao и root credentials + leaks = {} + for svc in ('api', 'worker', 'relay', 'reconciler'): + cid = compose('ps', '-q', svc).stdout.split()[0] + env = sh('docker', 'inspect', '-f', '{{json .Config.Env}}', cid).stdout + mounts = sh('docker', 'exec', cid, 'ls', '/run/secrets').stdout.split() + leaks[svc] = {'env_has_token': any(x in env for x in ('BAO_TOKEN', 'VAULT_TOKEN', 'ROOT_TOKEN', 'UNSEAL')), + 'secret_files': sorted(mounts)} + check(not leaks[svc]['env_has_token'], 'token in env of ' + svc) + check(all(f in ('ca.crt', 'service.crt', 'service.key', 'otel.crt', 'otel.key', 'revoked.txt') for f in mounts), + 'unexpected secret files in %s: %s' % (svc, mounts)) + res['app_containers'] = leaks + st = json.loads(compose('exec', '-T', '-e', 'BAO_ADDR=https://127.0.0.1:8200', '-e', 'BAO_CACERT=/run/secrets/ca.crt', + 'openbao', 'bao', 'status', '-format=json', check=False).stdout) + res['status'] = {k: st.get(k) for k in ('initialized', 'sealed', 'storage_type', 't', 'n', 'version')} + check(st.get('storage_type') == 'file' and st.get('t') == 2 and st.get('n') == 3, 'openbao not file storage / shamir 2-of-3') + # Рестарт: OpenBao запечатан, оператор распечатывает + compose('restart', 'openbao') + time.sleep(3) + st2 = json.loads(compose('exec', '-T', '-e', 'BAO_ADDR=https://127.0.0.1:8200', '-e', 'BAO_CACERT=/run/secrets/ca.crt', + 'openbao', 'bao', 'status', '-format=json', check=False).stdout or '{}') + res['after_restart_sealed'] = st2.get('sealed') + bootstrap('unseal') + res['after_unseal'] = probe('bao', '-cert', p + 'api.crt', '-key', p + 'api.key', '-role', 'api', '-path', 'messenger/api').get('read own messenger/api') + check(res['after_restart_sealed'] is True and res['after_unseal'] == 'allowed', 'restart/unseal flow failed') + return res + + +# ---------------- hardening ---------------- + +def scenario_hardening(c): + out = {} + for line in compose('ps', '-a', '--format', '{{.Service}} {{.ID}}').stdout.splitlines(): + svc, cid = line.split() + info = json.loads(sh('docker', 'inspect', cid).stdout)[0] + hc, cfg = info['HostConfig'], info['Config'] + out[svc] = { + 'user': cfg.get('User') or 'root(image default)', + 'read_only': hc.get('ReadonlyRootfs'), 'privileged': hc.get('Privileged'), + 'cap_drop': hc.get('CapDrop'), 'cap_add': hc.get('CapAdd'), + 'no_new_privileges': any('no-new-privileges' in s for s in (hc.get('SecurityOpt') or [])), + 'network_mode': hc.get('NetworkMode'), 'pid_mode': hc.get('PidMode'), + 'docker_sock': any('docker.sock' in (m.get('Source') or '') for m in info.get('Mounts', [])), + 'memory_limit_mib': (hc.get('Memory') or 0) // 2**20, 'nano_cpus': hc.get('NanoCpus'), + 'pids_limit': hc.get('PidsLimit'), + 'published': sorted('%s:%s->%s' % (b['HostIp'], b['HostPort'], p) for p, bs in (hc.get('PortBindings') or {}).items() for b in bs), + } + app = ('api', 'worker', 'relay', 'reconciler', 'lb') + for s, v in out.items(): + check(not v['privileged'] and v['network_mode'] != 'host' and not v['docker_sock'], 'unsafe container ' + s) + check(v['no_new_privileges'], 'no-new-privileges missing: ' + s) + for pb in v['published']: + check(pb.startswith('127.0.0.1:'), 'port published on all interfaces: %s %s' % (s, pb)) + for s in app: + if s in out: + v = out[s] + check(v['read_only'] and v['cap_drop'] == ['ALL'] and not v['cap_add'], 'app hardening: %s %s' % (s, v)) + check(v['memory_limit_mib'] > 0, 'no memory limit: ' + s) + for s in ('api', 'worker', 'relay', 'reconciler'): + cid = compose('ps', '-q', s).stdout.split()[0] + out[s]['process_uid'] = sh('docker', 'exec', cid, 'id', '-u').stdout.strip() + check(out[s]['process_uid'] != '0', s + ' runs as root') + # Образ приложения: нет секретов, ключей, исходников и инструмента проверки прав + files = sh('docker', 'run', '--rm', '--entrypoint', 'sh', 'mtusi2026lab7-api:local', '-c', + 'find / -xdev \\( -name "*.key" -o -name "*.pem" -o -name ".env" -o -name "secprobe" -o -name "*.go" \\) 2>/dev/null ' + '| grep -v -e ^/proc -e ^/usr/share/ca-certificates -e ^/etc/ssl -e ^/usr/local/go || true', check=False).stdout.split() + out['_image_sensitive_files'] = files + check(not files, 'sensitive files in app image: %s' % files) + return out + + +# ---------------- ротация ---------------- + +def scenario_rotation(c): + alice, bob, _, chat = c.bootstrap() + load = Load(c.base, CA, alice, chat, concurrency=3, timeout=10, prefix='rot').start() + res = {} + t0 = time.time() + # 1) пароль роли БД api: KV новая версия; приложения переходят без рестарта + old_pw = json.loads(compose('exec', '-T', '-e', 'BAO_ADDR=https://127.0.0.1:8200', '-e', 'BAO_CACERT=/run/secrets/ca.crt', + '-e', 'BAO_TOKEN=' + json.loads((ROOT / 'secrets/operator/bao-init.json').read_text())['root_token'], + 'openbao', 'bao', 'kv', 'get', '-format=json', 'secret/messenger/api').stdout)['data']['data']['db_password'] + bootstrap('rotate-db', 'api') + time.sleep(35) # SECRETS_REFRESH 30 s + # Старые соединения закрываются (как при отзыве); новые открываются с новым паролем + psql("SELECT count(pg_terminate_backend(pid)) FROM pg_stat_activity WHERE usename = 'app_api'") + time.sleep(35) # pgx health check (30 s) выбрасывает разорванные соединения + res['db_old_password'] = probe('db', '-user', 'app_api', '-stdin', stdin=old_pw).get('connect') + check(denied(res['db_old_password']), 'old db password still works') + tries = [] + for _ in range(12): + try: + tries.append(c.call('GET', '/api/v1/chats', (200, 503), actor=alice)['status']) + except Failure as e: + tries.append(str(e)[-40:]) + if tries[-1] == 200: + break + time.sleep(5) + res['api_after_db_rotation_attempts'] = tries + if tries[-1] != 200: + res['api_secret_events'] = [l[-220:] for l in compose('logs', '--no-color', '--since', '5m', 'api').stdout.splitlines() + if 'secrets.' in l or 'postgres' in l.lower()][-15:] + check(tries[-1] == 200, 'API did not recover after DB password rotation: %s' % res) + # 2) ключ S3 worker: загрузка после ротации обрабатывается + bootstrap('rotate-s3', 'worker') + time.sleep(35) + att = c.call('POST', '/api/v1/chats/%s/attachments?filename=r.png' % chat['id'], 202, actor=alice, raw=SAMPLE, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + res['upload_after_s3_rotation'] = wait_status(c, bob, att['id'], ('ready', 'failed'), timeout=150)['status'] + check(res['upload_after_s3_rotation'] == 'ready', 'worker did not pick rotated S3 key') + # 3) leaf API: перевыпуск на месте, без рестарта; LB видит новый serial + before = probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', '/pki/lb.crt', '-key', '/pki/lb.key').get('server_serial') + sh('sh', 'scripts/pki.sh', 'rotate', 'api') + time.sleep(4) + after = probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', '/pki/lb.crt', '-key', '/pki/lb.key').get('server_serial') + res['api_leaf_serial'] = {'before': before, 'after': after} + check(before and after and before != after, 'api leaf not rotated live') + # 4) клиентский leaf LB: новый сертификат + reload HAProxy; старый отозван + sh('cp', 'secrets/pki/lb.crt', 'secrets/pki/test/lb-old.crt') + sh('cp', 'secrets/pki/lb.key', 'secrets/pki/test/lb-old.key') + sh('sh', 'scripts/pki.sh', 'rotate', 'lb') + compose('kill', '-s', 'USR2', 'lb') # master-worker reload, без разрыва + time.sleep(4) + res['old_lb_cert_after_revocation'] = probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', '/pki/test/lb-old.crt', + '-key', '/pki/test/lb-old.key').get('result') + res['new_lb_cert'] = probe('tls', '-addr', 'api:8443', '-name', 'api', '-cert', '/pki/lb.crt', '-key', '/pki/lb.key').get('status') + check(denied(res['old_lb_cert_after_revocation']) and res['new_lb_cert'] == 200, 'lb rotation/revocation failed') + time.sleep(5) + load.stop() + res['load_during_rotations'] = load.summary() + res['seconds'] = round(time.time() - t0) + res['images_rebuilt'] = False + check(res['load_during_rotations']['ok'] > 0, 'no successful requests during rotation') + return res + + +# ---------------- жизненный цикл токенов, sealed ---------------- + +def scenario_lifecycle(c): + alice, bob, _, chat = c.bootstrap() + res = {} + # 1) короткий TTL токена api: 20 s, максимум 45 s → renew-self, затем повторный login + bootstrap('cert-role', 'api', 'api', '20s', '45s') + t0 = time.time() + compose('restart', 'api') + compose('up', '-d', '--no-deps', '--wait', 'api', timeout=180) + time.sleep(100) + logs = compose('logs', '--no-color', '--since', '%ds' % int(time.time() - t0 + 5), 'api').stdout + res['api_openbao_logins_in_100s'] = logs.count('"event":"secrets.login"') + res['api_refresh_failures'] = logs.count('"event":"secrets.refresh_failed"') + res['api_requests_ok'] = c.call('GET', '/api/v1/chats', actor=alice)['status'] + bootstrap('cert-role', 'api', 'api') # вернуть 15m / 1h + check(res['api_openbao_logins_in_100s'] >= 4, 'no re-login after token max TTL') + # 2) OpenBao запечатан: работающие процессы продолжают на кэше; новый worker стартовать не может + load = Load(c.base, CA, alice, chat, concurrency=2, timeout=10, prefix='sealed').start() + bootstrap('seal') + t_seal = time.time() + att = c.call('POST', '/api/v1/chats/%s/attachments?filename=s.png' % chat['id'], 202, actor=alice, raw=SAMPLE, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + res['upload_while_sealed'] = wait_status(c, bob, att['id'], ('ready', 'failed'), timeout=120)['status'] + compose('restart', 'worker') + time.sleep(25) + wlogs = compose('logs', '--no-color', '--since', '30s', 'worker').stdout + res['worker_restart_while_sealed'] = 'openbao not ready' in wlogs or 'sealed' in wlogs + att2 = c.call('POST', '/api/v1/chats/%s/attachments?filename=s2.png' % chat['id'], 202, actor=alice, raw=SAMPLE, + headers={'Content-Type': 'image/png'}, schema='Attachment')['json'] + time.sleep(5) + res['upload_accepted_while_worker_blocked'] = att2['status'] + bootstrap('unseal') + t_unseal = time.time() + meta = wait_status(c, bob, att2['id'], ('ready', 'failed'), timeout=180) + res['ready_seconds_after_unseal'] = round(time.time() - t_unseal, 1) + res['final_status'] = meta['status'] + load.stop() + res['sealed_seconds'] = round(t_unseal - t_seal) + res['load_while_sealed'] = load.summary() + check(res['upload_while_sealed'] == 'ready', 'running worker stopped working while sealed') + check(res['worker_restart_while_sealed'], 'restarted worker did not wait for openbao') + check(meta['status'] == 'ready', 'accepted job lost while openbao sealed') + check(res['load_while_sealed']['errors'] == 0, 'API errors while openbao sealed') + return res + + +# ---------------- Argon2id ---------------- + +def scenario_argon2(c): + bench = json.loads(compose('exec', '-T', 'api', '/app/pipeline', 'argon2-bench', '-n', '10').stdout) + alice, bob, eve, chat = c.bootstrap() + # Последовательные входы (валидный пароль) — латентность входа целиком + cred = base64.b64encode(('%s:%s' % (bob['user']['username'], bob['registration']['password'])).encode()).decode() + lat = [] + for _ in range(8): + t = time.time() + c.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + cred}) + lat.append(round((time.time() - t) * 1000, 1)) + # Всплеск входов от одного IP с разными username: первые 60 за окно проходят до Argon2id + # (401), остальные — 429 без вычисления hash; память API ограничена слотами Argon2id. + api = compose('ps', '-q', 'api').stdout.split() + import obsutil as o + mem0 = [o.mem_bytes(x, 'memory.current') for x in api] + codes = {} + lock = threading.Lock() + + def attempt(i): + b = base64.b64encode(('dos_%d_%s:wrong-password-1234' % (i, uuid.uuid4().hex[:6])).encode()).decode() + try: + r = c.call('POST', '/api/v1/auth/sessions', (401, 429, 503), headers={'Authorization': 'Basic ' + b}) + k = r['status'] + except Failure: + k = 'error' + with lock: + codes[k] = codes.get(k, 0) + 1 + t0 = time.time() + ths = [threading.Thread(target=attempt, args=(i,)) for i in range(120)] + for t in ths: + t.start() + for t in ths: + t.join() + burst_s = round(time.time() - t0, 2) + peaks = [round((o.mem_bytes(x, 'memory.peak') or 0) / 2**20, 1) for x in api] + cur = bench['results'][0] + return {'bench': bench, 'login_latency_ms_sequential': lat, + 'dos_burst': {'attempts': 120, 'seconds': burst_s, 'codes': codes, 'api_mem_peak_mib': peaks, + 'api_mem_before_mib': [round((m or 0) / 2**20, 1) for m in mem0]}, + 'budget': {'hash_ms_p50': cur['ms_p50'], 'argon2_slots_per_replica': 2, 'replicas': len(api), + 'max_hashes_per_s_stand': round(2 * len(api) * 1000 / cur['ms_p50'], 1), + 'argon2_memory_bound_mib': round(2 * len(api) * cur['m_kib'] / 1024, 1), + 'per_ip_limit_per_min': 60, 'per_user_limit_per_min': 10}} + + +# ---------------- утечки в телеметрии ---------------- + +def scenario_leaks(c): + import obsutil as o + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + t0 = time.time() - 5 + text = 'секрет-' + uuid.uuid4().hex + c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': text}, + headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': 'leak-' + uuid.uuid4().hex[:12]}) + bad = base64.b64encode(('%s:%s' % (alice['user']['username'], 'Wrong-' + uuid.uuid4().hex)).encode()).decode() + c.call('POST', '/api/v1/auth/sessions', (401,), headers={'Authorization': 'Basic ' + bad}) + time.sleep(20) + needles = {'password': alice['registration']['password'], 'token': alice['token'], 'message_text': text, + 'basic_header': bad} + res = {} + for k, v in needles.items(): + res['loki:' + k] = len(o.loki('{service_name=~"messenger-.+"} |= `%s`' % v, t0, limit=5)) + traces = o.tempo_search('{resource.service.name="messenger-api"}', t0, limit=20) + blob = ''.join(json.dumps(o.tempo_trace(t['traceID'])[1]) for t in traces) + for k, v in needles.items(): + res['tempo:' + k] = blob.count(v) + logs = compose('logs', '--no-color', '--since', '5m', 'api', 'worker', 'relay', 'lb').stdout + for k, v in needles.items(): + res['stdout:' + k] = logs.count(v) + res['traces_scanned'] = len(traces) + check(len(traces) > 0, 'no traces to scan') + check(sum(v for k, v in res.items() if k != 'traces_scanned') == 0, 'leak: %s' % res) + return res + + +SCENARIOS = {'tls-external': scenario_tls_external, 'mtls': scenario_mtls, 'acl': scenario_acl, + 'openbao': scenario_openbao, 'hardening': scenario_hardening, 'rotation': scenario_rotation, + 'lifecycle': scenario_lifecycle, 'argon2': scenario_argon2, 'leaks': scenario_leaks} + + +def main(): + def configure(p): + p.add_argument('scenario', choices=sorted(SCENARIOS)) + p.add_argument('--output', default=None) + args = arguments('Lab7 security scenarios', configure) + c = Client(args.base_url or 'https://localhost:8443', args.ca_file or CA, timeout=30) + try: + result = SCENARIOS[args.scenario](c) + finally: + compose('up', '-d', '--no-deps', '--wait', 'api', 'worker', 'relay', 'lb', timeout=300, check=False) + text = json.dumps({'scenario': args.scenario, 'result': result}, ensure_ascii=False, indent=2) + if args.output: + Path(args.output).write_text(text + '\n', encoding='utf-8') + print(text) + print('PASS: ' + args.scenario) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/telemetry_cost.py b/student-tests/telemetry_cost.py new file mode 100644 index 0000000..6424dfe --- /dev/null +++ b/student-tests/telemetry_cost.py @@ -0,0 +1,222 @@ +#!/usr/bin/env python3 +"""Трек 1 lab6: цена наблюдаемости. + +Конфигурации (одинаковая нагрузка, одинаковые лимиты контейнеров): + off OTEL_SDK_DISABLED=true — SDK не экспортирует ничего (stdout-логи остаются) + full трассы 100% (parentbased_always_on), Collector пропускает всё + head10 head sampling в SDK: parentbased_traceidratio 0.1 + tail SDK 100% → Collector tail_sampling: ошибки + медленные (≥250 ms) + 10% остальных + (infra/otel/collector-tail.yaml) — предлагаемая сбалансированная конфигурация + +Прогон: пересоздание api/relay/worker/collector с конфигурацией → прогрев 10 s → +45 s closed-loop POST сообщений (4 клиента) с двумя внедрёнными инцидентами +(LOCK TABLE messages на 6.5 s: часть запросов падает по таймауту 5 s = ошибки, +часть ждёт = редкие медленные). Каждый запрос несёт X-Request-Id; после прогона по +Tempo проверяется, сохранилась ли трасса каждой ошибки, каждого медленного и +выборки обычных запросов. Ресурсы — cgroup контейнеров (cpu.stat, memory.peak), +объём ingest — счётчики Collector/Tempo/Loki/Prometheus. 3 повтора, порядок +конфигураций чередуется. +""" +import json +import random +import statistics +import subprocess +import time +import uuid +from pathlib import Path + +import labutil # noqa: F401 (добавляет tests/ в sys.path) +from client import Client, arguments, check, run +from labutil import ROOT, compose +from loadgen import Load +import obsutil as o + +CONFIGS = { + 'off': {'OTEL_SDK_DISABLED': 'true', 'OTEL_TRACES_SAMPLER': 'parentbased_always_on', 'OTEL_TRACES_SAMPLER_ARG': '1.0', + 'COLLECTOR_CONFIG': 'collector.yaml'}, + 'full': {'OTEL_SDK_DISABLED': 'false', 'OTEL_TRACES_SAMPLER': 'parentbased_always_on', 'OTEL_TRACES_SAMPLER_ARG': '1.0', + 'COLLECTOR_CONFIG': 'collector.yaml'}, + 'head10': {'OTEL_SDK_DISABLED': 'false', 'OTEL_TRACES_SAMPLER': 'parentbased_traceidratio', 'OTEL_TRACES_SAMPLER_ARG': '0.1', + 'COLLECTOR_CONFIG': 'collector.yaml'}, + 'tail': {'OTEL_SDK_DISABLED': 'false', 'OTEL_TRACES_SAMPLER': 'parentbased_always_on', 'OTEL_TRACES_SAMPLER_ARG': '1.0', + 'COLLECTOR_CONFIG': 'collector-tail.yaml'}, +} +COUNTERS = { + 'spans_received': 'sum({__name__=~"otelcol_receiver_accepted_spans(_total)?"})', + 'spans_exported': 'sum({__name__=~"otelcol_exporter_sent_spans(_total)?"})', + 'log_records_received': 'sum({__name__=~"otelcol_receiver_accepted_log_records(_total)?"})', + 'metric_points_received': 'sum({__name__=~"otelcol_receiver_accepted_metric_points(_total)?"})', + 'tempo_bytes': 'sum(tempo_distributor_bytes_received_total)', + 'loki_bytes': 'sum(loki_distributor_bytes_received_total)', + 'prometheus_samples': 'sum(prometheus_tsdb_head_samples_appended_total)', +} +DURATION, WARMUP, CONC = 45, 10, 4 +LOCKS = (12, 28) # секунда прогона, когда начинается блокировка +LOCK_SECONDS = 6.5 +SLOW = 0.25 + + +def apply(name): + env = dict(CONFIGS[name]) + compose('up', '-d', '--no-deps', '--wait', 'otel-collector', 'api', 'relay', 'worker', env=env, timeout=300) + + +def wait_api(c, timeout=120): + end = time.time() + timeout + while time.time() < end: + try: + c.call('GET', '/health/ready') + return + except Exception: + time.sleep(1) + raise RuntimeError('api not ready') + + +def counters(): + return {k: o.prom_value(q, default=0.0) for k, q in COUNTERS.items()} + + +def containers(service): + return compose('ps', '-q', service).stdout.split() + + +def lock(seconds): + return subprocess.Popen(['docker', 'compose', 'exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-c', + 'BEGIN; LOCK TABLE messages IN ACCESS EXCLUSIVE MODE; SELECT pg_sleep(%s); COMMIT;' % seconds], + cwd=ROOT, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL) + + +def traced(rid, since): + return bool(o.tempo_search('{span.request_id="%s"}' % rid, since, limit=1)) + + +def one_run(c, name, actor, chat, rnd): + apply(name) + wait_api(c) + warm =Load(c.base, None, actor, chat, concurrency=CONC, timeout=10, prefix='warm-%s' % name).start() + time.sleep(WARMUP) + warm.stop() + time.sleep(6) + api = containers('api') + col = containers('otel-collector') + cpu0 = {cid: o.cpu_usec(cid) for cid in api + col} + c0 = counters() + t_start = time.time() + load = Load(c.base, None, actor, chat, concurrency=CONC, timeout=10, prefix='tc-%s-%d' % (name, rnd)).start() + windows, procs = [], [] + for at in LOCKS: + time.sleep(max(0, t_start + at - time.time())) + procs.append(lock(LOCK_SECONDS)) + windows.append((time.time(), time.time() + LOCK_SECONDS + 5.5)) + time.sleep(max(0, t_start + DURATION - time.time())) + load.stop() + for p in procs: + p.wait(timeout=60) + elapsed = time.time() - t_start + cpu1 = {cid: o.cpu_usec(cid) for cid in api + col} + time.sleep(20) # tail decision_wait 10 s + batch + экспорт метрик + scrape + c1 = counters() + s = load.summary(exclude=windows) + recs = load.records + errors = [r for r in recs if r[3] != 201] + slow = [r for r in recs if r[3] == 201 and r[2] >= SLOW] + normal = [r for r in recs if r[3] == 201 and r[2] < SLOW] + random.seed(rnd * 7 + len(name)) + sample = random.sample(normal, min(40, len(normal))) + kept = {} + if name != 'off': + for label, group in (('errors', errors[:40]), ('slow', slow[:40]), ('normal_sample', sample)): + kept[label] = [sum(traced(r[0], t_start - 5) for r in group), len(group)] + else: + kept = {'errors': [0, len(errors)], 'slow': [0, len(slow)], 'normal_sample': [0, len(sample)]} + + def cores(ids): + tot = sum((cpu1[i] - cpu0[i]) for i in ids if cpu0.get(i) is not None and cpu1.get(i) is not None) + return round(tot / 1e6 / elapsed, 3) + ok = s['ok'] or 1 + delta = {k: round(c1[k] - c0[k]) for k in COUNTERS} + return { + 'config': name, 'round': rnd, 'load': s, 'slow_requests': len(slow), 'error_requests': len(errors), + 'traces_kept': kept, + 'api_cpu_cores': cores(api), 'api_cpu_ms_per_request': round(sum( + (cpu1[i] - cpu0[i]) for i in api if cpu0.get(i) is not None) / 1e3 / ok, 3), + 'api_mem_peak_mib': [round((o.mem_bytes(i, 'memory.peak') or 0) / 2**20, 1) for i in api], + 'api_mem_now_mib': [round((o.mem_bytes(i) or 0) / 2**20, 1) for i in api], + 'collector_cpu_cores': cores(col), + 'collector_mem_peak_mib': [round((o.mem_bytes(i, 'memory.peak') or 0) / 2**20, 1) for i in col], + 'ingest_delta': delta, + 'ingest_per_1000_requests': {k: round(v * 1000 / ok, 1) for k, v in delta.items()}, + } + + +def aggregate(runs): + out = {} + for name in CONFIGS: + rs = [r for r in runs if r['config'] == name] + if not rs: + continue + med = lambda f: round(statistics.median(f(r) for r in rs), 3) + + def kept(label): + k = sum(r['traces_kept'][label][0] for r in rs) + n = sum(r['traces_kept'][label][1] for r in rs) + return {'kept': k, 'total': n, 'ratio': round(k / n, 3) if n else None} + out[name] = { + 'runs': len(rs), + 'ok_rps_median': med(lambda r: r['load']['ok_rps']), + 'p50_ms_median': med(lambda r: r['load']['latency_ms_outside_faults']['p50']), + 'p95_ms_median': med(lambda r: r['load']['latency_ms_outside_faults']['p95']), + 'p99_ms_median': med(lambda r: r['load']['latency_ms_outside_faults']['p99']), + 'errors_total': sum(r['error_requests'] for r in rs), + 'slow_total': sum(r['slow_requests'] for r in rs), + 'api_cpu_cores_median': med(lambda r: r['api_cpu_cores']), + 'api_cpu_ms_per_request_median': med(lambda r: r['api_cpu_ms_per_request']), + 'api_mem_peak_mib_median': med(lambda r: max(r['api_mem_peak_mib'] or [0])), + 'collector_cpu_cores_median': med(lambda r: r['collector_cpu_cores']), + 'collector_mem_peak_mib_median': med(lambda r: max(r['collector_mem_peak_mib'] or [0])), + 'spans_received_per_1000_req': med(lambda r: r['ingest_per_1000_requests']['spans_received']), + 'spans_exported_per_1000_req': med(lambda r: r['ingest_per_1000_requests']['spans_exported']), + 'tempo_kib_per_1000_req': med(lambda r: r['ingest_per_1000_requests']['tempo_bytes'] / 1024), + 'loki_kib_per_1000_req': med(lambda r: r['ingest_per_1000_requests']['loki_bytes'] / 1024), + 'log_records_per_1000_req': med(lambda r: r['ingest_per_1000_requests']['log_records_received']), + 'metric_points_per_1000_req': med(lambda r: r['ingest_per_1000_requests']['metric_points_received']), + 'traces_kept_errors': kept('errors'), 'traces_kept_slow': kept('slow'), + 'traces_kept_normal_sample': kept('normal_sample'), + } + return out + + +def main(): + def configure(p): + p.add_argument('--rounds', type=int, default=3) + p.add_argument('--output', default=None) + args = arguments('Lab6 track 1: cost of observability', configure) + c = Client(args.base_url, args.ca_file, timeout=30) + o.wait_grafana() + alice, bob, _, chat = c.bootstrap() + order = list(CONFIGS) + runs = [] + try: + for rnd in range(args.rounds): + seq = order[rnd % len(order):] + order[:rnd % len(order)] + for name in seq: + r = one_run(c, name, alice, chat, rnd) + runs.append(r) + print(json.dumps({k: r[k] for k in ('config', 'round', 'traces_kept', 'api_cpu_cores')}, ensure_ascii=False), + json.dumps(r['load']['latency_ms_outside_faults']), flush=True) + finally: + apply('full') + result = {'method': {'duration_s': DURATION, 'warmup_s': WARMUP, 'concurrency': CONC, 'locks_at_s': LOCKS, + 'lock_seconds': LOCK_SECONDS, 'slow_threshold_s': SLOW, 'rounds': args.rounds, + 'handler_timeout_s': 5}, + 'summary': aggregate(runs), 'runs': runs} + text = json.dumps(result, ensure_ascii=False, indent=2) + if args.output: + Path(args.output).write_text(text + '\n', encoding='utf-8') + print(json.dumps(result['summary'], ensure_ascii=False, indent=2)) + check(len(runs) == args.rounds * len(CONFIGS), 'not all runs completed') + print('PASS: telemetry cost experiment') + + +if __name__ == '__main__': + run(main)