Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
8c253a0e5a |
+66
-23
@@ -1,30 +1,73 @@
|
|||||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
|
||||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
|
||||||
APP_HOST=0.0.0.0
|
APP_HOST=0.0.0.0
|
||||||
APP_PORT=8080
|
APP_PORT=8086
|
||||||
APP_ENV=lab
|
APP_ENV=lab
|
||||||
|
POSTGRES_DB=messenger
|
||||||
|
POSTGRES_USER=messenger
|
||||||
|
# Задай свой локальный пароль перед запуском. Не добавляй .env в Git.
|
||||||
|
POSTGRES_PASSWORD=
|
||||||
SESSION_TTL_SECONDS=3600
|
SESSION_TTL_SECONDS=3600
|
||||||
# Choose credentials locally. File paths contain no secret values.
|
# REDIS_URL задаётся в compose.yaml; Redis хранит сессии с TTL и кэш профилей на 60 секунд.
|
||||||
DATABASE_URL_FILE=/run/secrets/database_url
|
LOG_LEVEL=INFO
|
||||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
# DATABASE_URL и REDIS_URL передаёт Compose. При ручном запуске задай их в окружении.
|
||||||
SESSION_STORE=postgres
|
# Остальные параметры и значения по умолчанию: src/core/settings.py (AppSettings).
|
||||||
CACHE_URL_FILE=/run/secrets/cache_url
|
|
||||||
|
# Стартовый администратор; повторный запуск не меняет существующий пароль.
|
||||||
|
ADMIN_USERNAME=admin
|
||||||
|
ADMIN_PASSWORD=admin-password-123
|
||||||
|
ADMIN_DISPLAY_NAME=Администратор
|
||||||
|
|
||||||
|
# APP_ENV=production запрещает учебный ADMIN_PASSWORD. Пароль существующего
|
||||||
|
# администратора должен совпадать с настройкой; автоматического сброса нет.
|
||||||
|
# HTTP_MAX_BODY_BYTES=65536
|
||||||
|
# HTTP_BODY_TIMEOUT_SECONDS=5
|
||||||
|
# HTTP_REQUEST_TIMEOUT_SECONDS=5
|
||||||
|
# HTTP_CONCURRENCY_LIMIT=64
|
||||||
|
# PASSWORD_HASH_CONCURRENCY=2
|
||||||
|
|
||||||
|
# Lab3: число реплик и лимиты каждой API-реплики. Наружу доступен только LB.
|
||||||
API_REPLICAS=2
|
API_REPLICAS=2
|
||||||
IDEMPOTENCY_TTL_SECONDS=86400
|
API_CPUS=0.5
|
||||||
S3_ENDPOINT=http://s3:9000
|
API_MEMORY=512m
|
||||||
S3_REGION=us-east-1
|
DATABASE_POOL_SIZE=10
|
||||||
|
POSTGRES_CPUS=1.0
|
||||||
|
|
||||||
|
# Lab4. Local synthetic credentials; MinIO is accessible only inside Compose.
|
||||||
|
MINIO_ROOT_USER=messenger
|
||||||
|
MINIO_ROOT_PASSWORD=local-messenger-s3-password
|
||||||
|
S3_ACCESS_KEY_ID=messenger-api
|
||||||
|
S3_SECRET_ACCESS_KEY=local-messenger-api-password
|
||||||
S3_BUCKET=messenger-attachments
|
S3_BUCKET=messenger-attachments
|
||||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
UPLOAD_CONCURRENCY=1
|
||||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
# Manual API startup additionally needs S3_ENDPOINT=http://host:9000.
|
||||||
MAX_UPLOAD_BYTES=10485760
|
|
||||||
MAX_IMAGE_PIXELS=40000000
|
# Automatic reconciliation runs every 300 seconds; default grace is five minutes.
|
||||||
BROKER_URL_FILE=/run/secrets/broker_url
|
S3_RECONCILE_ACCESS_KEY_ID=messenger-reconciler
|
||||||
WORKER_CONCURRENCY=2
|
S3_RECONCILE_SECRET_ACCESS_KEY=local-messenger-reconciler-password
|
||||||
|
RECONCILE_GRACE_SECONDS=300
|
||||||
|
|
||||||
|
# Lab5: separate durable Redis Streams broker and isolated image worker.
|
||||||
|
BROKER_URL=redis://broker:6379/0
|
||||||
|
S3_WORKER_ACCESS_KEY_ID=messenger-worker
|
||||||
|
S3_WORKER_SECRET_ACCESS_KEY=local-messenger-worker-password
|
||||||
|
WORKER_CONCURRENCY=1
|
||||||
|
WORKER_MEMORY=1g
|
||||||
|
WORKER_MEMORY_MB=768
|
||||||
|
WORKER_CPUS=1.0
|
||||||
JOB_MAX_ATTEMPTS=5
|
JOB_MAX_ATTEMPTS=5
|
||||||
JOB_TIMEOUT_SECONDS=60
|
JOB_TIMEOUT_SECONDS=30
|
||||||
STAGING_RETENTION_SECONDS=86400
|
JOB_LEASE_SECONDS=120
|
||||||
OTEL_SERVICE_NAME=messenger-api
|
JOB_RETRY_BASE_SECONDS=2
|
||||||
# Worker must set a distinct service.name.
|
JOB_RETRY_CAP_SECONDS=60
|
||||||
|
STAGING_RETENTION_SECONDS=604800
|
||||||
|
# Only enable on an isolated fault-test stand, never normal operation.
|
||||||
|
PIPELINE_FAULT_INJECTION=false
|
||||||
|
|
||||||
|
# Lab6: telemetry is asynchronous and is not an API readiness dependency.
|
||||||
|
OTEL_ENABLED=true
|
||||||
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
|
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
|
||||||
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
|
GRAFANA_ADMIN_PASSWORD=local-grafana-password-change-me
|
||||||
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
|
GRAFANA_PORT=3000
|
||||||
|
PROMETHEUS_PORT=9090
|
||||||
|
LOKI_PORT=3100
|
||||||
|
TEMPO_PORT=3200
|
||||||
|
COLLECTOR_METRICS_PORT=8889
|
||||||
|
|||||||
@@ -0,0 +1,4 @@
|
|||||||
|
# Matplotlib SVG paths contain generated trailing separators.
|
||||||
|
evidence/**/*.svg -whitespace
|
||||||
|
# Preserve generated measurements byte-for-byte for evidence checksums.
|
||||||
|
evidence/**/*.csv -text -whitespace
|
||||||
@@ -1,18 +1,13 @@
|
|||||||
## Лабораторная 6
|
## Лабораторная 6 — наблюдаемость
|
||||||
|
|
||||||
Автор / группа: TODO
|
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
|
||||||
Целевая оценка (3/4/5): TODO
|
|
||||||
Трек 5, если заявлен: TODO
|
|
||||||
|
|
||||||
Что реализовано и что перенесено: TODO
|
Сохранён бизнес-API lab5. Добавлены OTLP SDK API/worker, отдельный Collector,
|
||||||
Команды запуска из чистого clone: TODO
|
Prometheus, Loki, Tempo, Grafana provisioning и dashboard. W3C context проходит
|
||||||
Результаты проверок и ссылка на REPORT.md: TODO
|
через durable outbox/Redis Streams и retry. Есть SLI/SLO, локальные alert rules
|
||||||
Ограничения / известные ошибки: TODO
|
и RUNBOOK.md. SDK/Collector имеют ограниченные очереди и память.
|
||||||
Источники и использование ИИ: TODO
|
|
||||||
|
|
||||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
Быстрая проверка: `make test test-observability`.
|
||||||
- [ ] Контракт и публичные тесты не ослаблены.
|
Контролируемые инциденты: `python3 tests/observability.py --base-url http://localhost:8086 --incidents`.
|
||||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
Отчёт: REPORT.md; результаты: evidence/lab6-*. Публичные tests/контракты не изменены.
|
||||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
Трек на оценку 5 не заявлен.
|
||||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
|
||||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
name: Skeleton contracts
|
name: Lab6 contracts and application
|
||||||
on: [push, pull_request]
|
on: [push, pull_request]
|
||||||
permissions:
|
permissions:
|
||||||
contents: read
|
contents: read
|
||||||
@@ -9,8 +9,24 @@ jobs:
|
|||||||
- uses: actions/checkout@v4
|
- uses: actions/checkout@v4
|
||||||
- uses: actions/setup-python@v5
|
- uses: actions/setup-python@v5
|
||||||
with:
|
with:
|
||||||
python-version: '3.12'
|
python-version: '3.13'
|
||||||
- run: python -m pip install -r requirements-dev.txt
|
- run: python -m pip install -r requirements-dev.txt
|
||||||
- run: make check validate PYTHON=python
|
- run: make check validate lint PYTHON=python
|
||||||
# This job validates the skeleton, not a student solution.
|
application:
|
||||||
# Add build, readiness and make test in a separate application job.
|
needs: contracts
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
timeout-minutes: 25
|
||||||
|
steps:
|
||||||
|
- uses: actions/checkout@v4
|
||||||
|
- uses: actions/setup-python@v5
|
||||||
|
with:
|
||||||
|
python-version: '3.13'
|
||||||
|
- run: python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||||
|
- run: make verify-lab6 PYTHON=python
|
||||||
|
- uses: actions/upload-artifact@v4
|
||||||
|
if: always()
|
||||||
|
with:
|
||||||
|
name: lab6-evidence
|
||||||
|
path: |
|
||||||
|
evidence/lab6-*.json
|
||||||
|
evidence/lab6-*.txt
|
||||||
|
|||||||
@@ -30,3 +30,5 @@ coverage/
|
|||||||
.vscode/
|
.vscode/
|
||||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||||
|
|
||||||
|
.ruff_cache/
|
||||||
|
|||||||
+25
@@ -0,0 +1,25 @@
|
|||||||
|
FROM python:3.13.0-slim-bookworm
|
||||||
|
|
||||||
|
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||||
|
PYTHONUNBUFFERED=1
|
||||||
|
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
COPY requirements.txt .
|
||||||
|
RUN pip install --no-cache-dir -r requirements.txt \
|
||||||
|
&& python -m pip uninstall --yes pip \
|
||||||
|
&& addgroup --system app \
|
||||||
|
&& adduser --system --ingroup app app
|
||||||
|
|
||||||
|
COPY --chown=app:app src ./src
|
||||||
|
COPY --chown=app:app migrations ./migrations
|
||||||
|
COPY --chown=app:app infra/s3 ./infra/s3
|
||||||
|
COPY --chown=app:app alembic.ini ./alembic.ini
|
||||||
|
|
||||||
|
USER app
|
||||||
|
EXPOSE 8080
|
||||||
|
|
||||||
|
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
|
||||||
|
CMD python -c "import urllib.request; from src.core.settings import settings; urllib.request.urlopen(f'http://127.0.0.1:{settings.app_port}/health/ready', timeout=settings.healthcheck_timeout_seconds)"
|
||||||
|
|
||||||
|
CMD ["python", "-m", "src"]
|
||||||
@@ -1,8 +0,0 @@
|
|||||||
# Teaching outline, not a runnable Dockerfile. Implement your own Dockerfile.
|
|
||||||
# 1. Choose a runtime/toolchain version and pin the base image tag/digest.
|
|
||||||
# 2. Copy dependency manifests first; install from the language lockfile.
|
|
||||||
# 3. Copy source and build. For compiled languages use a separate runtime stage.
|
|
||||||
# 4. Run the HTTP process as PID 1; listen on 0.0.0.0:8080.
|
|
||||||
# 5. Add non-root, signals and healthcheck according to the current rubric.
|
|
||||||
# 6. Pass runtime config/secrets at startup, never COPY .env or secret files.
|
|
||||||
# This file deliberately has no FROM/CMD: selecting/implementing them is the task.
|
|
||||||
@@ -0,0 +1,83 @@
|
|||||||
|
# Как работает lab6 и что объяснять на защите
|
||||||
|
|
||||||
|
Автор: **Каменский Андрей, БПИ2301**.
|
||||||
|
|
||||||
|
## Что осталось от lab5
|
||||||
|
|
||||||
|
Картинка полностью передаётся API, проходит базовые проверки и сохраняется в MinIO
|
||||||
|
в staging/. В одной транзакции PostgreSQL создаются вложение queued и job/outbox.
|
||||||
|
API отвечает 202. Dispatcher отправляет job в отдельный Redis Streams broker.
|
||||||
|
Worker получает её, читает исходник из MinIO, создаёт thumbnail, crop и WebP,
|
||||||
|
сохраняет результат и фиксирует ready. Оригинал не перекодируется.
|
||||||
|
|
||||||
|
RabbitMQ не нужен, потому что Redis Streams даёт хранимый журнал, consumer groups,
|
||||||
|
pending deliveries и подтверждения. Redis очереди отделён от Redis сессий.
|
||||||
|
Данные очереди лежат в volume, включены AOF, appendfsync=always и noeviction.
|
||||||
|
|
||||||
|
| Механизм | Что делает у нас |
|
||||||
|
| --- | --- |
|
||||||
|
| XADD | Dispatcher добавляет ID задания и служебные поля в Stream |
|
||||||
|
| XREADGROUP | Worker получает очередную доставку в consumer group |
|
||||||
|
| Pending Entries List | Хранит доставки, которые consumer ещё не подтвердил |
|
||||||
|
| XAUTOCLAIM | Позволяет забрать зависшую неподтверждённую доставку |
|
||||||
|
| XACK | Подтверждает результат после DB COMMIT |
|
||||||
|
| XDEL | Удаляет уже подтверждённую запись, чтобы Stream не рос бесконечно |
|
||||||
|
| Outbox в PostgreSQL | Сохраняет намерение отправки, если broker недоступен |
|
||||||
|
| Lease и DB row lock | Защищают захват и восстанавливают работу после смерти worker |
|
||||||
|
|
||||||
|
Один consumer берёт по одной записи; WORKER_CONCURRENCY задаёт число consumers.
|
||||||
|
Повтор доставки нормален: используем стабильный job_id и детерминированные ключи
|
||||||
|
результатов. Ready-дубль подтверждается без нового resize. Временные ошибки
|
||||||
|
повторяются с backoff/jitter, максимум пять попыток на цикл; постоянные дают failed.
|
||||||
|
CLI позволяет явно повторить failed и пишет audit.
|
||||||
|
|
||||||
|
## Что нового в шестой
|
||||||
|
|
||||||
|
Теперь каждый HTTP-запрос получает trace. Внутри него есть spans — отдельные
|
||||||
|
участки работы: db.SELECT/INSERT/UPDATE, s3.PUT/GET, queue.publish, queue.consume,
|
||||||
|
image.transform. Span содержит начало, конец, родителя и результат.
|
||||||
|
|
||||||
|
После HTTP-ответа worker работает в другом процессе. Чтобы связь не потерялась,
|
||||||
|
мы сохраняем traceparent/tracestate в job, dispatcher извлекает их, создаёт
|
||||||
|
producer span и записывает новый carrier в очередь. Worker создаёт consumer span
|
||||||
|
с этим родителем. Retry сохраняет context попытки перед повторной публикацией.
|
||||||
|
|
||||||
|
Логи http.completed/job.started/job.completed/db.error — структурный JSON.
|
||||||
|
trace_id связывает их с трассой, span_id указывает конкретную операцию.
|
||||||
|
request_id связывает HTTP-ответ и соответствующее событие. В telemetry не передаются
|
||||||
|
Authorization, пароль, текст сообщения, изображение, SQL или filename.
|
||||||
|
|
||||||
|
| Компонент | Роль |
|
||||||
|
| --- | --- |
|
||||||
|
| OpenTelemetry SDK | Создаёт spans, counters/histograms и структурные события в API/worker |
|
||||||
|
| Collector | Принимает OTLP, ограничивает память, группирует и отправляет данные |
|
||||||
|
| Prometheus | Хранит временные ряды и вычисляет alert rules |
|
||||||
|
| Loki | Хранит логи, позволяет найти события по trace_id |
|
||||||
|
| Tempo | Хранит трассы и причинные связи между процессами |
|
||||||
|
| Grafana | Показывает данные из трёх источников; не заменяет эти хранилища |
|
||||||
|
|
||||||
|
## Почему метрики не содержат chat_id
|
||||||
|
|
||||||
|
Каждое новое значение label создаёт новый временной ряд. UUID чатов или вложений
|
||||||
|
дали бы неограниченный рост. Поэтому route — шаблон /chats/{chat_id}/messages,
|
||||||
|
а labels — method, route, status_class, outcome, job_type или queue.
|
||||||
|
Технические trace/span IDs находятся в логах/трассах, не в labels метрик.
|
||||||
|
|
||||||
|
## Что значит p95
|
||||||
|
|
||||||
|
95% измерений попали ниже этого времени. Мы собираем histogram buckets и
|
||||||
|
агрегируем buckets всех API-реплик, затем применяем histogram_quantile.
|
||||||
|
Усреднять p95 разных реплик или заменять p95 средней задержкой неправильно.
|
||||||
|
|
||||||
|
## Что показать
|
||||||
|
|
||||||
|
1. make test: весь бизнес-API работает с включённой телеметрией.
|
||||||
|
2. Dashboard в Grafana: свежие RPS/latency, очередь и worker.
|
||||||
|
3. tests/observability.py: один upload найден в Tempo вместе с producer/consumer,
|
||||||
|
DB/S3 и связанными логами API/worker.
|
||||||
|
4. Prometheus /alerts: правила и локальные firing/resolved.
|
||||||
|
5. RUNBOOK.md: как отличить остановленный worker от ожидания INSERT в БД.
|
||||||
|
|
||||||
|
Недоступная telemetry не участвует в /health/ready. SDK экспортирует в фоне,
|
||||||
|
очереди ограничены; Collector при длительном отказе backend теряет telemetry,
|
||||||
|
но не бизнес-задания. Эти ограничения описаны в отчёте.
|
||||||
+105
@@ -0,0 +1,105 @@
|
|||||||
|
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
|
||||||
|
|
||||||
|
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
|
||||||
|
|
||||||
|
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||||
|
|
||||||
|
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
||||||
|
|
||||||
|
## Откуда начинаем
|
||||||
|
|
||||||
|
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
|
||||||
|
|
||||||
|
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
|
||||||
|
|
||||||
|
## Что сделать
|
||||||
|
|
||||||
|
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
|
||||||
|
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
|
||||||
|
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
|
||||||
|
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
|
||||||
|
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
|
||||||
|
|
||||||
|
## Оценка «3»: работающий минимум
|
||||||
|
|
||||||
|
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
|
||||||
|
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
|
||||||
|
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
|
||||||
|
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
|
||||||
|
|
||||||
|
## Оценка «4»: уровень стажёра/джуна
|
||||||
|
|
||||||
|
Весь уровень 3 **и все** пункты ниже:
|
||||||
|
|
||||||
|
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
|
||||||
|
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
|
||||||
|
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
|
||||||
|
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
|
||||||
|
|
||||||
|
## Оценка «5»: исследование и доказанный результат
|
||||||
|
|
||||||
|
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||||
|
|
||||||
|
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
|
||||||
|
|
||||||
|
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
|
||||||
|
|
||||||
|
## Как начать и проверить
|
||||||
|
|
||||||
|
```sh
|
||||||
|
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
|
||||||
|
make check
|
||||||
|
|
||||||
|
# После реализации запустите свой сервер/стенд по REPORT.md.
|
||||||
|
# По умолчанию тест использует http://localhost:8080.
|
||||||
|
make test
|
||||||
|
```
|
||||||
|
|
||||||
|
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
|
||||||
|
|
||||||
|
```sh
|
||||||
|
# Compose-вариант после реализации:
|
||||||
|
docker compose --env-file .env config --quiet
|
||||||
|
docker compose --env-file .env up -d --build
|
||||||
|
# Дождитесь /health/ready; затем make test.
|
||||||
|
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
|
||||||
|
```
|
||||||
|
|
||||||
|
|
||||||
|
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
||||||
|
|
||||||
|
```sh
|
||||||
|
python3 -m venv .venv
|
||||||
|
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||||
|
make validate PYTHON=.venv/bin/python
|
||||||
|
```
|
||||||
|
|
||||||
|
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
||||||
|
|
||||||
|
## Сценарий защиты
|
||||||
|
|
||||||
|
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
|
||||||
|
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
|
||||||
|
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
|
||||||
|
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
|
||||||
|
|
||||||
|
## Что должно быть в PR
|
||||||
|
|
||||||
|
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
|
||||||
|
|
||||||
|
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||||
|
|
||||||
|
## Вопросы на защите
|
||||||
|
|
||||||
|
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
|
||||||
|
- Почему chat_id в labels может исчерпать хранилище?
|
||||||
|
- Как очередь переносит причинную связь между процессами?
|
||||||
|
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
|
||||||
|
|
||||||
|
## Первичные материалы
|
||||||
|
|
||||||
|
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
|
||||||
|
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
|
||||||
|
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
|
||||||
|
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
|
||||||
|
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
|
||||||
+1
-1
@@ -1,4 +1,4 @@
|
|||||||
# Памятка преподавателю — лабораторная 6
|
# Памятка преподавателю — лабораторная 5
|
||||||
|
|
||||||
## Что подготовлено
|
## Что подготовлено
|
||||||
|
|
||||||
|
|||||||
@@ -1,30 +1,56 @@
|
|||||||
PYTHON ?= python3
|
PYTHON ?= python3
|
||||||
BASE_URL ?= http://localhost:8080
|
BASE_URL ?= http://localhost:8086
|
||||||
CA_FILE ?=
|
CA_FILE ?=
|
||||||
ACTION_SCRIPT ?=
|
ACTION_SCRIPT ?=
|
||||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||||
|
|
||||||
.PHONY: help check validate test load test-persistence test-failover
|
.PHONY: help up down migrate lint format check validate test load test-attachments test-idempotency test-api-regressions test-attachment-failover test-persistence test-failover test-lab5 test-lab5-faults verify-lab6 jobs-failed
|
||||||
|
|
||||||
help:
|
help:
|
||||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
@echo "up: start; test: public lab6 smoke; test-observability: real signals; verify-lab6: quick acceptance"
|
||||||
|
up:
|
||||||
|
docker compose up -d --build --wait
|
||||||
|
down:
|
||||||
|
docker compose down
|
||||||
|
migrate:
|
||||||
|
docker compose run --rm migration
|
||||||
|
lint:
|
||||||
|
$(PYTHON) -m ruff check src
|
||||||
|
$(PYTHON) -m ruff format --check src
|
||||||
|
format:
|
||||||
|
$(PYTHON) -m ruff check --fix src
|
||||||
|
$(PYTHON) -m ruff format src
|
||||||
check:
|
check:
|
||||||
$(PYTHON) scripts/check_contract.py
|
$(PYTHON) scripts/check_contract.py
|
||||||
|
|
||||||
validate:
|
validate:
|
||||||
$(PYTHON) scripts/validate_openapi.py
|
$(PYTHON) scripts/validate_openapi.py
|
||||||
|
|
||||||
test:
|
test:
|
||||||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
|
|
||||||
load:
|
load:
|
||||||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
|
test-attachments:
|
||||||
|
$(PYTHON) tests/attachments.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
|
test-idempotency:
|
||||||
|
$(PYTHON) tests/idempotency.py --base-url "$(BASE_URL)"
|
||||||
|
test-api-regressions:
|
||||||
|
$(PYTHON) tests/api_regressions.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
|
test-attachment-failover:
|
||||||
|
$(PYTHON) tests/attachment_failover.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
test-persistence:
|
test-persistence:
|
||||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/restart.sh"; exit 2)
|
||||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
$(PYTHON) scripts/test-persistence.py --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
|
|
||||||
test-failover:
|
test-failover:
|
||||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/stop-one.sh"; exit 2)
|
||||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||||
|
test-lab5:
|
||||||
|
$(PYTHON) tests/lab5.py --base-url "$(BASE_URL)"
|
||||||
|
test-lab5-faults:
|
||||||
|
@test -n "$(COMPOSE_PROJECT_NAME)" || (echo "Set COMPOSE_PROJECT_NAME to your isolated test project"; exit 2)
|
||||||
|
$(PYTHON) tests/lab5.py --faults --project "$(COMPOSE_PROJECT_NAME)" --base-url "$(BASE_URL)"
|
||||||
|
verify-lab6:
|
||||||
|
$(PYTHON) scripts/verify-lab6.py
|
||||||
|
jobs-failed:
|
||||||
|
docker compose exec -T dispatcher python -m src.pipeline.admin failed
|
||||||
|
|
||||||
|
.PHONY: test-observability
|
||||||
|
test-observability:
|
||||||
|
$(PYTHON) tests/observability.py --base-url "$(BASE_URL)"
|
||||||
|
|||||||
@@ -1,105 +1,74 @@
|
|||||||
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
|
# Лабораторная 6: OpenTelemetry и Grafana
|
||||||
|
|
||||||
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
|
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
|
||||||
|
|
||||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO,
|
||||||
|
Redis Streams broker и worker. Добавлены реальные метрики, структурные логи,
|
||||||
|
сквозные трассы, готовый dashboard и локальные alerts.
|
||||||
|
|
||||||
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
[Задание](LAB6_TASK.md) · [Отчёт](REPORT.md) · [Объяснение](LAB6_GUIDE.md) ·
|
||||||
|
[Диагностика инцидентов](RUNBOOK.md) · [Контракт](contracts/observability.md)
|
||||||
|
|
||||||
## Откуда начинаем
|
## Запуск
|
||||||
|
|
||||||
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
|
Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается
|
||||||
|
из закреплённого commit. Все компоненты входят в репозиторий.
|
||||||
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
|
|
||||||
|
|
||||||
## Что сделать
|
|
||||||
|
|
||||||
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
|
|
||||||
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
|
|
||||||
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
|
|
||||||
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
|
|
||||||
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
|
|
||||||
|
|
||||||
## Оценка «3»: работающий минимум
|
|
||||||
|
|
||||||
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
|
|
||||||
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
|
|
||||||
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
|
|
||||||
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
|
|
||||||
|
|
||||||
## Оценка «4»: уровень стажёра/джуна
|
|
||||||
|
|
||||||
Весь уровень 3 **и все** пункты ниже:
|
|
||||||
|
|
||||||
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
|
|
||||||
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
|
|
||||||
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
|
|
||||||
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
|
|
||||||
|
|
||||||
## Оценка «5»: исследование и доказанный результат
|
|
||||||
|
|
||||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
|
||||||
|
|
||||||
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
|
|
||||||
|
|
||||||
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
|
|
||||||
|
|
||||||
## Как начать и проверить
|
|
||||||
|
|
||||||
```sh
|
```sh
|
||||||
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
|
python3 scripts/setup-env.py # если .env ещё нет
|
||||||
make check
|
docker compose up -d --build --wait
|
||||||
|
python3 tests/smoke.py --base-url http://localhost:8086
|
||||||
# После реализации запустите свой сервер/стенд по REPORT.md.
|
python3 tests/observability.py --base-url http://localhost:8086
|
||||||
# По умолчанию тест использует http://localhost:8080.
|
|
||||||
make test
|
|
||||||
```
|
```
|
||||||
|
|
||||||
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
|
- API: http://localhost:8086/docs
|
||||||
|
- Grafana: http://localhost:3000/d/messenger-lab6
|
||||||
|
- Prometheus / локальные alerts: http://localhost:9090/alerts
|
||||||
|
- Tempo API: http://localhost:3200
|
||||||
|
- Loki API: http://localhost:3100
|
||||||
|
|
||||||
```sh
|
Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback.
|
||||||
# Compose-вариант после реализации:
|
Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env.
|
||||||
docker compose --env-file .env config --quiet
|
Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий
|
||||||
docker compose --env-file .env up -d --build
|
.env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/.
|
||||||
# Дождитесь /health/ready; затем make test.
|
|
||||||
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
|
|
||||||
```
|
|
||||||
|
|
||||||
|
Остановить с сохранением данных: `docker compose down`.
|
||||||
|
Намеренно удалить все учебные данные текущего проекта: `docker compose down --volumes`.
|
||||||
|
|
||||||
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
## Что добавлено
|
||||||
|
|
||||||
|
API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana.
|
||||||
|
Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло»,
|
||||||
|
трасса — «на каком участке потрачено время или возникла ошибка».
|
||||||
|
|
||||||
|
W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и
|
||||||
|
восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной
|
||||||
|
причинной цепочке. При retry следующий producer продолжает consumer предыдущей
|
||||||
|
попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id.
|
||||||
|
|
||||||
|
Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready,
|
||||||
|
backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик
|
||||||
|
не содержат пользовательские ID, имена файлов, токены или сырые URL.
|
||||||
|
|
||||||
|
## Проверки
|
||||||
|
|
||||||
|
Быстрый тест запущенного стенда: `make test test-observability`.
|
||||||
|
Публичные tests skeleton lab6 и контракты не изменены.
|
||||||
|
|
||||||
```sh
|
```sh
|
||||||
python3 -m venv .venv
|
python3 -m venv .venv
|
||||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||||
make validate PYTHON=.venv/bin/python
|
make check validate lint PYTHON=.venv/bin/python
|
||||||
|
make verify-lab6 PYTHON=.venv/bin/python
|
||||||
```
|
```
|
||||||
|
|
||||||
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде:
|
||||||
|
|
||||||
## Сценарий защиты
|
```sh
|
||||||
|
python3 tests/observability.py --base-url http://localhost:8086 --incidents
|
||||||
|
```
|
||||||
|
|
||||||
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
|
Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет
|
||||||
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
|
alerts firing/resolved и работу API при остановленном Tempo. Все воздействия
|
||||||
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
|
снимаются в finally. Результаты и реальные traces/logs находятся в evidence/.
|
||||||
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
|
По умолчанию verify-lab6 запускает только smoke и проверку сигналов.
|
||||||
|
|
||||||
## Что должно быть в PR
|
|
||||||
|
|
||||||
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
|
|
||||||
|
|
||||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
|
||||||
|
|
||||||
## Вопросы на защите
|
|
||||||
|
|
||||||
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
|
|
||||||
- Почему chat_id в labels может исчерпать хранилище?
|
|
||||||
- Как очередь переносит причинную связь между процессами?
|
|
||||||
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
|
|
||||||
|
|
||||||
## Первичные материалы
|
|
||||||
|
|
||||||
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
|
|
||||||
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
|
|
||||||
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
|
|
||||||
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
|
|
||||||
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
|
|
||||||
|
|||||||
@@ -1,37 +1,203 @@
|
|||||||
# Отчёт — лабораторная 6
|
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
|
||||||
|
|
||||||
- Автор, группа: TODO
|
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
|
||||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
Исследовательский трек на 5 не заявлен. Реализация продолжает собственную lab5.
|
||||||
- Commit/PR: TODO после публикации
|
Commit/PR в рамках этой работы не публиковались.
|
||||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
|
||||||
|
|
||||||
## Запуск из чистого clone
|
## Запуск и проверка
|
||||||
|
|
||||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
Docker с Compose v2, Python 3.13 для полного набора инструментов. Все зависимости
|
||||||
|
поднимаются из этого репозитория. Предварительно установленный broker/БД/S3 не нужен.
|
||||||
|
|
||||||
## Архитектура и решения
|
```sh
|
||||||
|
python3 scripts/setup-env.py
|
||||||
|
docker compose config --quiet
|
||||||
|
docker compose up -d --build --wait
|
||||||
|
python3 tests/smoke.py --base-url http://localhost:8086
|
||||||
|
python3 tests/observability.py --base-url http://localhost:8086
|
||||||
|
```
|
||||||
|
|
||||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
setup-env.py создаёт .env со случайными паролями и правами 0600, не выводит секреты
|
||||||
|
и не перезаписывает существующий файл. Первый запуск скачивает образы и компилирует
|
||||||
|
закреплённый MinIO. Миграции до 010 и bootstrap bucket/политик выполняются автоматически.
|
||||||
|
010 добавляет traceparent/tracestate к durable jobs, прежние данные сохраняются.
|
||||||
|
|
||||||
## Доказательства критериев
|
Grafana: http://localhost:3000/d/messenger-lab6. Просмотр без входа разрешён только
|
||||||
|
на локальном loopback, права Viewer. Редактор: admin / GRAFANA_ADMIN_PASSWORD из .env.
|
||||||
|
API: http://localhost:8086/docs. Prometheus и alerts: http://localhost:9090/alerts.
|
||||||
|
|
||||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
Обычная остановка `docker compose down` сохраняет данные.
|
||||||
| --- | --- | --- | --- |
|
Намеренное удаление всех учебных данных выбранного проекта:
|
||||||
| Публичный smoke | make test | TODO | TODO |
|
`docker compose down --volumes`. Эта команда для обычного запуска не нужна.
|
||||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
|
||||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
|
||||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
|
||||||
|
|
||||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
Быстрая приёмка: `make verify-lab6 PYTHON=.venv/bin/python` после установки
|
||||||
|
requirements.txt и requirements-dev.txt. Опциональная проверка инцидентов:
|
||||||
|
`python3 tests/observability.py --base-url http://localhost:8086 --incidents`.
|
||||||
|
Тест снимает воздействия в finally. Долгие эксперименты и исследование цены
|
||||||
|
наблюдаемости не проводились по выбранному уровню и запросу на короткие проверки.
|
||||||
|
|
||||||
## Эксперименты и отказы
|
## Компоненты и версии
|
||||||
|
|
||||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
| Компонент | Версия / роль |
|
||||||
|
| --- | --- |
|
||||||
|
| Python / FastAPI / Pillow | 3.13.0 / 0.141.1 / 13.0.0; приложение и изображения |
|
||||||
|
| PostgreSQL / Redis | 16.6 / 7.4.2; данные, сессии и отдельный Streams broker |
|
||||||
|
| HAProxy / MinIO | 3.0.12 / закреплённый commit RELEASE.2025-10-15T17-29-55Z |
|
||||||
|
| OpenTelemetry Python | API/SDK/OTLP HTTP 1.31.1, semconv 0.52b1 |
|
||||||
|
| Collector contrib | 0.123.0; OTLP receiver, memory_limiter, batch, exporters |
|
||||||
|
| Prometheus | 3.2.1; временные ряды и вычисление alert rules |
|
||||||
|
| Loki | 3.4.2; структурные логи через нативный OTLP endpoint |
|
||||||
|
| Tempo | 2.7.2; реальные traces API/worker |
|
||||||
|
| Grafana | 11.6.0; импортируемые datasource/dashboard provisioning |
|
||||||
|
|
||||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
Схема: API/worker/dispatcher → OTLP HTTP/protobuf → Collector → Prometheus / Loki /
|
||||||
| --- | --- | --- | --- |
|
Tempo → Grafana. Collector не является долговременным хранилищем, Grafana — интерфейс.
|
||||||
| TODO | TODO | TODO | TODO |
|
Все backend имеют persistent volumes; Prometheus, Loki и Tempo настроены на 7 дней.
|
||||||
|
Конфигурация находится в infra/observability/. JSON dashboard содержит запросы и единицы.
|
||||||
|
|
||||||
## Ограничения и следующие шаги
|
Бизнес-API lab5 сохранён: пользователи, Bearer-сессии, два API, сообщения/пагинация,
|
||||||
|
идемпотентность, raw upload 202 queued, durable outbox, очередь, worker, оригинал и
|
||||||
|
thumbnail/crop/WebP, retry, failed и replay. Публичные tests/контракты skeleton lab6
|
||||||
|
не изменены. Дополнительный X-Trace-Id облегчает поиск своего запроса.
|
||||||
|
|
||||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
## Инструментация и перенос контекста
|
||||||
|
|
||||||
|
Каждый HTTP-запрос получает настоящий SERVER span. После маршрутизации его имя и
|
||||||
|
http.route используют шаблон, а не URL с UUID. SQLAlchemy events создают CLIENT spans
|
||||||
|
DB-операций без SQL/parameters. S3 transport создаёт CLIENT spans без object key/URL.
|
||||||
|
Worker создаёт CONSUMER span и дочерний image.transform; dispatcher — PRODUCER.
|
||||||
|
|
||||||
|
При принятии файла текущий W3C context сохраняется вместе с job/outbox в PostgreSQL.
|
||||||
|
После перезапуска он не зависит от памяти API. Dispatcher извлекает его, создаёт
|
||||||
|
queue.publish и inject-ит traceparent/tracestate в envelope Redis Streams.
|
||||||
|
Worker extract-ит carrier и создаёт queue.consume с producer-родителем.
|
||||||
|
При retry текущий consumer context сохраняется в job; следующая публикация
|
||||||
|
продолжает ту же причинную цепь. Нет передачи тела картинки или произвольного URL.
|
||||||
|
|
||||||
|
Resource attributes: service.name=messenger-api / messenger-worker /
|
||||||
|
messenger-dispatcher, service.version=1.6.0, service.instance.id=случайный UUID
|
||||||
|
жизни процесса, deployment.environment.name=lab. API, worker и dispatcher имеют
|
||||||
|
разные service.name; две API-реплики различаются instance ID.
|
||||||
|
|
||||||
|
Отдельный безопасный event logger экспортирует JSON с timestamp, severity,
|
||||||
|
service_name, event, trace_id, span_id; HTTP содержит request_id. Не экспортируются
|
||||||
|
пароли, Authorization/session tokens, тела сообщений, изображения, filename,
|
||||||
|
SQL, parameters, S3 keys или signed URLs. В exceptions передаётся только класс
|
||||||
|
ошибки, без произвольного сообщения/stack trace. SDK exception auto-recording
|
||||||
|
для бизнес-spans отключён. Внутренние предупреждения SDK не пересылаются в Loki.
|
||||||
|
|
||||||
|
## Сигналы и единицы
|
||||||
|
|
||||||
|
| Контракт | Реальная Prometheus-метрика | Labels / единица |
|
||||||
|
| --- | --- | --- |
|
||||||
|
| HTTP requests | http_server_requests_total | method, route template, status_class; count |
|
||||||
|
| HTTP duration | http_server_duration_seconds_bucket / sum / count | те же labels; seconds |
|
||||||
|
| Jobs processed/failed | worker_jobs_total | job_type, outcome=ready/retry/failed; attempts count |
|
||||||
|
| Job processing duration | worker_job_duration_seconds_bucket | job_type/outcome; seconds |
|
||||||
|
| Acceptance → ready | attachment_ready_duration_seconds_bucket | job_type; seconds |
|
||||||
|
| Queue depth | queue_depth | queue; число queued + processing в PostgreSQL, включая outbox |
|
||||||
|
| Oldest job | queue_oldest_age_seconds | queue; seconds от принятия самой старой незавершённой job |
|
||||||
|
| DB pool | db_pool_used / db_pool_waiting | checked-out connections / ожидающие checkout |
|
||||||
|
| Worker saturation | worker_busy / worker_capacity | число занятых consumers / конфигурационная ёмкость |
|
||||||
|
| Process resources | process_memory_rss_bytes / process_cpu_time_seconds_total | текущий RSS bytes / CPU seconds |
|
||||||
|
|
||||||
|
Collector также добавляет ограниченные resource labels. Пользовательские IDs,
|
||||||
|
request/trace IDs, raw URL и filename не используются в labels метрик.
|
||||||
|
job_id тоже не label. Технические trace/span IDs находятся только в логах/трассах.
|
||||||
|
|
||||||
|
Histogram boundaries: 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10,
|
||||||
|
30, 60, 120 секунд и +Inf. p95 API, например:
|
||||||
|
|
||||||
|
```promql
|
||||||
|
histogram_quantile(0.95,
|
||||||
|
sum by (le) (rate(http_server_duration_seconds_bucket{route=~"/api/v1/.*"}[1m])))
|
||||||
|
```
|
||||||
|
|
||||||
|
Для p50/p99 меняется quantile. Buckets агрегируются по всем репликам ДО quantile.
|
||||||
|
Средние и средние перцентили реплик не используются. HTTP duration измеряется
|
||||||
|
до готовности ответа/его заголовков, а не длительности полного download stream.
|
||||||
|
Backlog age не является histogram processing duration.
|
||||||
|
|
||||||
|
## SLI, SLO и alerts
|
||||||
|
|
||||||
|
SLI = 1 − число 5xx / число всех бизнес-запросов за скользящие **5 минут**.
|
||||||
|
SLO: **не менее 99%** запросов без server error в таком окне. Бизнес-запросы —
|
||||||
|
route под /api/v1/, достигшие API; health исключены, 4xx не считаются server error.
|
||||||
|
Ошибки самого HAProxy до попадания в API этот SLI не измеряет — ограничение стенда.
|
||||||
|
При отсутствии запросов SLI не следует трактовать как доказанное выполнение SLO.
|
||||||
|
|
||||||
|
Prometheus rules в infra/observability/alerts.yaml, evaluation interval 2 секунды:
|
||||||
|
|
||||||
|
- ApiHighErrorRate: 5xx/all >5% в окне 30 секунд, минимум 3 запроса, for=5 секунд.
|
||||||
|
- QueueLagGrowing: oldest accepted job >15 секунд и depth>0, for=5 секунд.
|
||||||
|
|
||||||
|
Это короткие учебные диагностические пороги, а не multi-window burn-rate трека 5.
|
||||||
|
Отправка во внешние каналы отсутствует, проверяется локальное firing/resolved.
|
||||||
|
Правила содержат описание и ссылку на RUNBOOK.md. Prometheus ALERTS хранит историю
|
||||||
|
состояний; после восстановления правило становится inactive (resolved).
|
||||||
|
|
||||||
|
## Два инцидента и диагностика
|
||||||
|
|
||||||
|
**1. Worker остановлен.** API принимает файл и сообщение с queued-вложением.
|
||||||
|
queue_depth/oldest растут, QueueLagGrowing переходит в firing. По сохранённым
|
||||||
|
наблюдениям: публикация есть, свежего consumer/completion нет, HTTP не деградировал.
|
||||||
|
Причина локализуется в фоновой обработке. После запуска worker тот же ID доходит
|
||||||
|
до ready, backlog/age возвращаются в 0, alert resolved.
|
||||||
|
|
||||||
|
Дополнительная краткая пауза S3 демонстрирует retry: consumer получает временный
|
||||||
|
отказ, следующая попытка сохраняет trace ID upload. После восстановления S3
|
||||||
|
видны несколько consumer spans в одной трассе и готовый результат.
|
||||||
|
|
||||||
|
**2. INSERT блокирован PostgreSQL.** Учебная SHARE-блокировка messages задерживает
|
||||||
|
запись, но совместима с SELECT readiness. Запросы получают ограниченный 503,
|
||||||
|
появляются ApiHighErrorRate firing, длинные ERROR db.INSERT spans и db.error logs.
|
||||||
|
Причина — ожидание DB-операции, а не image resize или просто медленный HTTP handler.
|
||||||
|
После снятия блокировки запись снова даёт 201; по выходу ошибок из окна alert resolved.
|
||||||
|
|
||||||
|
Команды, подтверждения и trace/log evidence сохраняет tests/observability.py.
|
||||||
|
Сценарий не требует чтения секретов или ручного поиска по Docker stdout.
|
||||||
|
|
||||||
|
## Ограничение буферов и отказ backend
|
||||||
|
|
||||||
|
В SDK spans/logs передаются background processors: queue=256, batch=32,
|
||||||
|
schedule=500 ms, HTTP timeout=1 s. Метрики экспортируются раз в 2 s,
|
||||||
|
export timeout=1.5 s; агрегируются ограниченные наборы атрибутов. Нет sync export
|
||||||
|
в обработчике запроса. При переполнении SDK теряет telemetry, а не блокирует API.
|
||||||
|
|
||||||
|
Collector: memory_limiter 192 MiB, spike 32 MiB при container limit 256 MiB;
|
||||||
|
batch до 256 записей, timeout 1 s. Для Loki/Tempo sending_queue=64 batch,
|
||||||
|
2 consumers, HTTP timeout 2 s, retry до 10 s с интервалом 1–3 s. Очереди in-memory:
|
||||||
|
при длительном отказе/restart возможны потери, они не называются durable telemetry.
|
||||||
|
|
||||||
|
Метрики Collector фиксируют failures/queue. При остановке Tempo бизнес-сообщения
|
||||||
|
и новый attachment продолжают работать, а exporter показывает ошибки. Это
|
||||||
|
проверка ограниченного сценария и конфигурационных caps; длительного исследования
|
||||||
|
роста RAM под многодневной нагрузкой не проводилось. Бизнес-readiness не зависит
|
||||||
|
от Collector, Grafana, Prometheus, Loki или Tempo.
|
||||||
|
|
||||||
|
## Доказательства и ограничения
|
||||||
|
|
||||||
|
- evidence/lab6-checks.txt — offline/OpenAPI/lint и публичный smoke.
|
||||||
|
- evidence/lab6-signals.txt — короткая проверка трёх сигналов и dashboard queries.
|
||||||
|
- evidence/lab6-trace.json, lab6-correlated-logs.json — реальные связанные данные.
|
||||||
|
- evidence/lab6-incidents.txt, lab6-observability-summary.json — DB/backend проверки;
|
||||||
|
lab6-worker-incident.json — ранее проверенные остановка worker и retry.
|
||||||
|
- evidence/lab6-retry-trace.json — цепочка с повтором.
|
||||||
|
- evidence/lab6-db-incident-trace.json, lab6-db-incident-logs.json — диагностика DB.
|
||||||
|
|
||||||
|
Стек однокопийный учебный, backend и host — точки отказа; нет HA/backups.
|
||||||
|
Sampling по умолчанию сохраняет все созданные traces; нагрузочных выводов о цене
|
||||||
|
такого режима нет. worker.capacity — конфигурация, не heartbeat; последнее значение
|
||||||
|
может временно сохраняться после остановки процесса. Loss telemetry при отказах
|
||||||
|
допускается и наблюдается, не обещается exactly-once доставка telemetry.
|
||||||
|
|
||||||
|
## Источники и помощь
|
||||||
|
|
||||||
|
Задание/контракты взяты из предоставленного skeleton lab6.
|
||||||
|
|
||||||
|
- https://opentelemetry.io/docs/collector/configuration/
|
||||||
|
- https://opentelemetry.io/docs/collector/internal-telemetry/
|
||||||
|
- https://opentelemetry.io/docs/concepts/context-propagation/
|
||||||
|
- https://redis.io/docs/latest/develop/data-types/streams/
|
||||||
|
- https://grafana.com/docs/loki/latest/send-data/otel/
|
||||||
|
- https://prometheus.io/docs/practices/histograms/
|
||||||
|
|||||||
+46
@@ -0,0 +1,46 @@
|
|||||||
|
# Диагностика lab6
|
||||||
|
|
||||||
|
Автор: Каменский Андрей, БПИ2301.
|
||||||
|
|
||||||
|
## QueueLagGrowing
|
||||||
|
|
||||||
|
Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд
|
||||||
|
не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox.
|
||||||
|
|
||||||
|
1. Grafana: проверить queue depth и oldest age. Рост обоих при работающем API
|
||||||
|
означает накопление фоновой работы, а не медленный HTTP upload.
|
||||||
|
2. Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих
|
||||||
|
consumer events при наличии публикаций указывает на worker/доставку.
|
||||||
|
3. Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует,
|
||||||
|
обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3.
|
||||||
|
4. Проверить процесс `docker compose ps worker`, восстановить `docker compose start worker`.
|
||||||
|
5. Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved.
|
||||||
|
|
||||||
|
worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее
|
||||||
|
значение не доказывает, что процесс всё ещё жив.
|
||||||
|
|
||||||
|
## ApiHighErrorRate
|
||||||
|
|
||||||
|
Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса,
|
||||||
|
условие сохраняется 5 секунд. Health и 4xx в numerator не входят.
|
||||||
|
|
||||||
|
1. Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU.
|
||||||
|
2. Loki: найти http.completed со status=503 и его trace_id; найти db.error.
|
||||||
|
3. Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции.
|
||||||
|
Это отличается от длительного image.transform в worker или HTTP без DB-задержки.
|
||||||
|
4. Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД.
|
||||||
|
5. Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд
|
||||||
|
и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра.
|
||||||
|
|
||||||
|
## Backend telemetry недоступен
|
||||||
|
|
||||||
|
Остановка Tempo не должна ломать сообщения или создание вариантов изображения.
|
||||||
|
Collector продолжает metrics/logs, в traces exporter растут failures/queue.
|
||||||
|
Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании
|
||||||
|
данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения.
|
||||||
|
|
||||||
|
Проверить Collector self metrics на localhost:8889/metrics:
|
||||||
|
`otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`,
|
||||||
|
`otelcol_exporter_send_failed_spans_total` и `otelcol_exporter_enqueue_failed_spans_total`.
|
||||||
|
Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест.
|
||||||
|
Восстановить `docker compose start tempo`, выполнить свежий запрос и найти новый trace.
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
[alembic]
|
||||||
|
script_location = %(here)s/migrations
|
||||||
|
prepend_sys_path = .
|
||||||
@@ -1,17 +0,0 @@
|
|||||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
|
||||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
|
||||||
# Service names below are logical roles, not imposed container names.
|
|
||||||
x-lab-number: 6
|
|
||||||
x-required-roles:
|
|
||||||
- api
|
|
||||||
- postgres
|
|
||||||
- load_balancer
|
|
||||||
- s3
|
|
||||||
- broker
|
|
||||||
- worker
|
|
||||||
- otel_collector
|
|
||||||
- telemetry_storage
|
|
||||||
- grafana
|
|
||||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
|
||||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
|
||||||
services: {}
|
|
||||||
+367
@@ -0,0 +1,367 @@
|
|||||||
|
x-logging: &logging
|
||||||
|
driver: json-file
|
||||||
|
options:
|
||||||
|
max-size: "10m"
|
||||||
|
max-file: "3"
|
||||||
|
|
||||||
|
x-app: &app
|
||||||
|
build: .
|
||||||
|
image: ${APP_IMAGE:-mtusi-messenger:lab6}
|
||||||
|
env_file: ${ENV_FILE:-.env}
|
||||||
|
logging: *logging
|
||||||
|
|
||||||
|
services:
|
||||||
|
minio:
|
||||||
|
build: ./infra/minio
|
||||||
|
image: ${MINIO_IMAGE:-mtusi-minio:RELEASE.2025-10-15T17-29-55Z}
|
||||||
|
logging: *logging
|
||||||
|
mem_limit: 512m
|
||||||
|
cpus: 1.0
|
||||||
|
environment:
|
||||||
|
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
|
||||||
|
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
|
||||||
|
MINIO_BROWSER: "off"
|
||||||
|
MINIO_API_STALE_UPLOADS_EXPIRY: "24h"
|
||||||
|
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVAL: "1h"
|
||||||
|
volumes:
|
||||||
|
- minio_data:/data
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9000/minio/health/live"]
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 60
|
||||||
|
start_period: 10s
|
||||||
|
|
||||||
|
s3-bootstrap:
|
||||||
|
<<: *app
|
||||||
|
image: ${APP_IMAGE:-mtusi-messenger:lab6}-s3-bootstrap
|
||||||
|
command: ["python", "-m", "src.core.storage_bootstrap"]
|
||||||
|
environment:
|
||||||
|
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
|
||||||
|
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
|
||||||
|
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
|
||||||
|
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
|
||||||
|
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
|
||||||
|
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
|
||||||
|
DATABASE_URL: postgresql://unused:unused@postgres/unused
|
||||||
|
REDIS_URL: redis://redis:6379/0
|
||||||
|
S3_ENDPOINT: http://minio:9000
|
||||||
|
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||||
|
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
|
||||||
|
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
|
||||||
|
depends_on:
|
||||||
|
minio:
|
||||||
|
condition: service_healthy
|
||||||
|
healthcheck:
|
||||||
|
disable: true
|
||||||
|
|
||||||
|
postgres:
|
||||||
|
logging: *logging
|
||||||
|
image: postgres:16.6-bookworm
|
||||||
|
cpus: ${POSTGRES_CPUS:-1.0}
|
||||||
|
mem_limit: 512m
|
||||||
|
environment:
|
||||||
|
POSTGRES_DB: ${POSTGRES_DB:-messenger}
|
||||||
|
POSTGRES_USER: ${POSTGRES_USER:-messenger}
|
||||||
|
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}
|
||||||
|
volumes:
|
||||||
|
- postgres_data:/var/lib/postgresql/data
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 30
|
||||||
|
|
||||||
|
redis:
|
||||||
|
logging: *logging
|
||||||
|
image: redis:7.4.2-bookworm
|
||||||
|
cpus: 0.25
|
||||||
|
mem_limit: 128m
|
||||||
|
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "64mb", "--maxmemory-policy", "noeviction"]
|
||||||
|
volumes:
|
||||||
|
- redis_data:/data
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "redis-cli", "ping"]
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 30
|
||||||
|
|
||||||
|
migration:
|
||||||
|
<<: *app
|
||||||
|
image: ${APP_IMAGE:-mtusi-messenger:lab6}-migration
|
||||||
|
command: ["alembic", "upgrade", "head"]
|
||||||
|
cpus: 0.5
|
||||||
|
mem_limit: 256m
|
||||||
|
environment:
|
||||||
|
REDIS_URL: &redis_url redis://redis:6379/0
|
||||||
|
DATABASE_URL: &database_url postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}@postgres:5432/${POSTGRES_DB:-messenger}
|
||||||
|
depends_on:
|
||||||
|
postgres:
|
||||||
|
condition: service_healthy
|
||||||
|
healthcheck:
|
||||||
|
disable: true
|
||||||
|
|
||||||
|
api:
|
||||||
|
<<: *app
|
||||||
|
cpus: ${API_CPUS:-0.5}
|
||||||
|
mem_limit: ${API_MEMORY:-512m}
|
||||||
|
stop_grace_period: 15s
|
||||||
|
deploy:
|
||||||
|
replicas: ${API_REPLICAS:-2}
|
||||||
|
read_only: true
|
||||||
|
tmpfs:
|
||||||
|
- /tmp:rw,noexec,nosuid,size=64m
|
||||||
|
cap_drop: [ALL]
|
||||||
|
security_opt: ["no-new-privileges:true"]
|
||||||
|
environment:
|
||||||
|
S3_ENDPOINT: http://minio:9000
|
||||||
|
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||||
|
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
|
||||||
|
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
|
||||||
|
S3_WORKER_ACCESS_KEY_ID: ""
|
||||||
|
S3_WORKER_SECRET_ACCESS_KEY: ""
|
||||||
|
# Do not inherit privileged S3 credentials from env_file into API containers.
|
||||||
|
MINIO_ROOT_USER: ""
|
||||||
|
MINIO_ROOT_PASSWORD: ""
|
||||||
|
S3_RECONCILE_ACCESS_KEY_ID: ""
|
||||||
|
S3_RECONCILE_SECRET_ACCESS_KEY: ""
|
||||||
|
OTEL_ENABLED: ${OTEL_ENABLED:-true}
|
||||||
|
OTEL_SERVICE_NAME: messenger-api
|
||||||
|
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4318
|
||||||
|
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-1}
|
||||||
|
APP_HOST: 0.0.0.0
|
||||||
|
APP_PORT: 8080
|
||||||
|
DATABASE_URL: *database_url
|
||||||
|
REDIS_URL: *redis_url
|
||||||
|
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||||
|
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||||
|
APP_WORKERS: 1
|
||||||
|
DATABASE_POOL_SIZE: ${DATABASE_POOL_SIZE:-10}
|
||||||
|
DATABASE_POOL_TIMEOUT_SECONDS: 2
|
||||||
|
DATABASE_CONNECT_TIMEOUT_SECONDS: 1
|
||||||
|
DATABASE_COMMAND_TIMEOUT_SECONDS: 3
|
||||||
|
DATABASE_STATEMENT_TIMEOUT_MS: 2500
|
||||||
|
SHUTDOWN_TIMEOUT_SECONDS: 10
|
||||||
|
HTTP_REQUEST_TIMEOUT_SECONDS: ${HTTP_REQUEST_TIMEOUT_SECONDS:-5}
|
||||||
|
expose: ["8080"]
|
||||||
|
depends_on:
|
||||||
|
s3-bootstrap:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
migration:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
redis:
|
||||||
|
condition: service_healthy
|
||||||
|
healthcheck:
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 30
|
||||||
|
start_period: 10s
|
||||||
|
|
||||||
|
reconciler:
|
||||||
|
<<: *app
|
||||||
|
image: ${APP_IMAGE:-mtusi-messenger:lab6}-reconciler
|
||||||
|
command: ["python", "-m", "src.maintenance.reconcile", "--apply", "--interval", "300"]
|
||||||
|
mem_limit: 256m
|
||||||
|
cpus: 0.5
|
||||||
|
read_only: true
|
||||||
|
cap_drop: [ALL]
|
||||||
|
security_opt: ["no-new-privileges:true"]
|
||||||
|
environment:
|
||||||
|
DATABASE_URL: *database_url
|
||||||
|
REDIS_URL: *redis_url
|
||||||
|
S3_ENDPOINT: http://minio:9000
|
||||||
|
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||||
|
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
|
||||||
|
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
|
||||||
|
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-300}
|
||||||
|
MINIO_ROOT_USER: ""
|
||||||
|
MINIO_ROOT_PASSWORD: ""
|
||||||
|
S3_ACCESS_KEY_ID: ""
|
||||||
|
S3_SECRET_ACCESS_KEY: ""
|
||||||
|
depends_on:
|
||||||
|
migration:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
s3-bootstrap:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||||
|
interval: 10s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 3
|
||||||
|
start_period: 2s
|
||||||
|
|
||||||
|
broker:
|
||||||
|
image: redis:7.4.2-bookworm
|
||||||
|
logging: *logging
|
||||||
|
mem_limit: 256m
|
||||||
|
cpus: 0.25
|
||||||
|
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "192mb", "--maxmemory-policy", "noeviction"]
|
||||||
|
volumes:
|
||||||
|
- broker_data:/data
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "redis-cli", "ping"]
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 30
|
||||||
|
|
||||||
|
worker:
|
||||||
|
<<: *app
|
||||||
|
image: ${APP_IMAGE:-mtusi-messenger:lab6}-worker
|
||||||
|
command: ["python", "-m", "src.pipeline.worker"]
|
||||||
|
init: true
|
||||||
|
mem_limit: ${WORKER_MEMORY:-1g}
|
||||||
|
cpus: ${WORKER_CPUS:-1.0}
|
||||||
|
stop_grace_period: 45s
|
||||||
|
read_only: true
|
||||||
|
tmpfs: ["/tmp:rw,noexec,nosuid,size=128m"]
|
||||||
|
cap_drop: [ALL]
|
||||||
|
security_opt: ["no-new-privileges:true"]
|
||||||
|
environment: &pipeline_env
|
||||||
|
DATABASE_URL: *database_url
|
||||||
|
REDIS_URL: *redis_url
|
||||||
|
BROKER_URL: redis://broker:6379/0
|
||||||
|
S3_ENDPOINT: http://minio:9000
|
||||||
|
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||||
|
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
|
||||||
|
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
|
||||||
|
MINIO_ROOT_USER: ""
|
||||||
|
MINIO_ROOT_PASSWORD: ""
|
||||||
|
S3_RECONCILE_ACCESS_KEY_ID: ""
|
||||||
|
S3_RECONCILE_SECRET_ACCESS_KEY: ""
|
||||||
|
S3_ACCESS_KEY_ID: ""
|
||||||
|
S3_SECRET_ACCESS_KEY: ""
|
||||||
|
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1}
|
||||||
|
WORKER_MEMORY_MB: ${WORKER_MEMORY_MB:-768}
|
||||||
|
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||||
|
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
|
||||||
|
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-120}
|
||||||
|
JOB_RETRY_BASE_SECONDS: ${JOB_RETRY_BASE_SECONDS:-2}
|
||||||
|
JOB_RETRY_CAP_SECONDS: ${JOB_RETRY_CAP_SECONDS:-60}
|
||||||
|
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-604800}
|
||||||
|
OTEL_ENABLED: ${OTEL_ENABLED:-true}
|
||||||
|
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4318
|
||||||
|
PIPELINE_FAULT_INJECTION: ${PIPELINE_FAULT_INJECTION:-false}
|
||||||
|
depends_on:
|
||||||
|
migration:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
s3-bootstrap:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
broker:
|
||||||
|
condition: service_healthy
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||||
|
interval: 5s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 3
|
||||||
|
|
||||||
|
dispatcher:
|
||||||
|
<<: *app
|
||||||
|
image: ${APP_IMAGE:-mtusi-messenger:lab6}-dispatcher
|
||||||
|
command: ["python", "-m", "src.pipeline.dispatcher"]
|
||||||
|
init: true
|
||||||
|
mem_limit: 256m
|
||||||
|
cpus: 0.25
|
||||||
|
read_only: true
|
||||||
|
cap_drop: [ALL]
|
||||||
|
security_opt: ["no-new-privileges:true"]
|
||||||
|
environment: *pipeline_env
|
||||||
|
depends_on:
|
||||||
|
migration:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
s3-bootstrap:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
broker:
|
||||||
|
condition: service_healthy
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
|
||||||
|
interval: 5s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 3
|
||||||
|
|
||||||
|
otel-collector:
|
||||||
|
image: otel/opentelemetry-collector-contrib:0.123.0
|
||||||
|
command: ["--config=/etc/otelcol/config.yaml"]
|
||||||
|
mem_limit: 256m
|
||||||
|
cpus: 0.5
|
||||||
|
volumes:
|
||||||
|
- ./infra/observability/collector.yaml:/etc/otelcol/config.yaml:ro
|
||||||
|
ports:
|
||||||
|
- "127.0.0.1:${COLLECTOR_METRICS_PORT:-8889}:8888"
|
||||||
|
|
||||||
|
prometheus:
|
||||||
|
image: prom/prometheus:v3.2.1
|
||||||
|
mem_limit: 512m
|
||||||
|
cpus: 0.5
|
||||||
|
command: ["--config.file=/etc/prometheus/prometheus.yaml", "--storage.tsdb.retention.time=7d"]
|
||||||
|
volumes:
|
||||||
|
- ./infra/observability/prometheus.yaml:/etc/prometheus/prometheus.yaml:ro
|
||||||
|
- ./infra/observability/alerts.yaml:/etc/prometheus/alerts.yaml:ro
|
||||||
|
- prometheus_data:/prometheus
|
||||||
|
ports: ["127.0.0.1:${PROMETHEUS_PORT:-9090}:9090"]
|
||||||
|
|
||||||
|
loki:
|
||||||
|
image: grafana/loki:3.4.2
|
||||||
|
mem_limit: 384m
|
||||||
|
cpus: 0.5
|
||||||
|
command: ["-config.file=/etc/loki/config.yaml"]
|
||||||
|
volumes:
|
||||||
|
- ./infra/observability/loki.yaml:/etc/loki/config.yaml:ro
|
||||||
|
- loki_data:/loki
|
||||||
|
ports: ["127.0.0.1:${LOKI_PORT:-3100}:3100"]
|
||||||
|
|
||||||
|
tempo:
|
||||||
|
image: grafana/tempo:2.7.2
|
||||||
|
user: "0:0"
|
||||||
|
mem_limit: 384m
|
||||||
|
cpus: 0.5
|
||||||
|
command: ["-config.file=/etc/tempo/config.yaml"]
|
||||||
|
volumes:
|
||||||
|
- ./infra/observability/tempo.yaml:/etc/tempo/config.yaml:ro
|
||||||
|
- tempo_data:/var/tempo
|
||||||
|
ports: ["127.0.0.1:${TEMPO_PORT:-3200}:3200"]
|
||||||
|
|
||||||
|
grafana:
|
||||||
|
image: grafana/grafana:11.6.0
|
||||||
|
mem_limit: 384m
|
||||||
|
cpus: 0.5
|
||||||
|
environment:
|
||||||
|
GF_AUTH_ANONYMOUS_ENABLED: "true"
|
||||||
|
GF_AUTH_ANONYMOUS_ORG_ROLE: Viewer
|
||||||
|
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:?Set GRAFANA_ADMIN_PASSWORD in .env}
|
||||||
|
GF_USERS_ALLOW_SIGN_UP: "false"
|
||||||
|
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||||||
|
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||||||
|
GF_DASHBOARDS_DEFAULT_HOME_DASHBOARD_PATH: /var/lib/grafana/dashboards/messenger.json
|
||||||
|
volumes:
|
||||||
|
- grafana_data:/var/lib/grafana
|
||||||
|
- ./infra/observability/grafana/provisioning:/etc/grafana/provisioning:ro
|
||||||
|
- ./infra/observability/grafana/dashboards:/var/lib/grafana/dashboards:ro
|
||||||
|
ports: ["127.0.0.1:${GRAFANA_PORT:-3000}:3000"]
|
||||||
|
|
||||||
|
lb:
|
||||||
|
image: haproxy:3.0.12-alpine
|
||||||
|
logging: *logging
|
||||||
|
cpus: 0.5
|
||||||
|
mem_limit: 128m
|
||||||
|
read_only: true
|
||||||
|
tmpfs: ["/tmp:rw,noexec,nosuid,size=4m"]
|
||||||
|
security_opt: ["no-new-privileges:true"]
|
||||||
|
ports:
|
||||||
|
- "127.0.0.1:${APP_PORT:-8080}:8080"
|
||||||
|
volumes:
|
||||||
|
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||||
|
depends_on:
|
||||||
|
api:
|
||||||
|
condition: service_healthy
|
||||||
|
stop_signal: SIGUSR1
|
||||||
|
stop_grace_period: 15s
|
||||||
|
|
||||||
|
volumes:
|
||||||
|
redis_data:
|
||||||
|
postgres_data:
|
||||||
|
minio_data:
|
||||||
|
broker_data:
|
||||||
|
prometheus_data:
|
||||||
|
loki_data:
|
||||||
|
tempo_data:
|
||||||
|
grafana_data:
|
||||||
@@ -0,0 +1,57 @@
|
|||||||
|
# Публичные проверки
|
||||||
|
|
||||||
|
Python **3.9+**, стандартная библиотека. Сервер уже должен быть запущен; проверки не создают готовое приложение и сами не управляют Docker. `make check` можно выполнить на исходном skeleton, `make test` — только после реализации API. Полная OpenAPI-валидация отдельно: `make validate` после установки `requirements-dev.txt` в venv.
|
||||||
|
|
||||||
|
```sh
|
||||||
|
make check
|
||||||
|
make test BASE_URL=http://localhost:8080
|
||||||
|
# без make:
|
||||||
|
python3 tests/smoke.py --base-url http://localhost:8080
|
||||||
|
```
|
||||||
|
|
||||||
|
`smoke.py` выполняет **один сквозной сценарий**, автоматически выбирая профиль из `lab.json`: health → три пользователя → вход с lab2 → чат → сообщения → пагинация → ошибки доступа → идемпотентность с lab3 → файл с lab4 → thumbnail с lab5 → logout. Он проверяет JSON по используемому подмножеству схемы, коды/headers, Unicode, SHA-256 оригинала и фактические JPEG-размеры thumbnail. Это публичный минимум, не полный fuzz/security/load suite.
|
||||||
|
|
||||||
|
Каждый запуск создаёт уникальных синтетических пользователей, чат и сообщения. Данные автоматически не удаляются: в API курса нет delete. Для чистого повтора используйте отдельный тестовый стенд/volume и осознанный сброс своего окружения. Session tokens хранятся только в памяти процесса и не печатаются/не сохраняются.
|
||||||
|
|
||||||
|
## Проверка сохранности, lab2+
|
||||||
|
|
||||||
|
Скопируйте `scripts/restart.example.sh` в `scripts/restart.sh`, реализуйте перезапуск **API и всех используемых хранилищ** с сохранением volumes и задайте executable bit. Скрипт может опираться на ваш compose.yaml или stack.yaml. Он не должен удалять volumes, повторно seed-ить БД или менять тестовые данные.
|
||||||
|
|
||||||
|
```sh
|
||||||
|
chmod +x scripts/restart.sh
|
||||||
|
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
Тест создаёт данные и сессию, запускает указанный файл без shell interpolation, ожидает готовности и проверяет те же данные **с прежним токеном**. В lab4+ также проверяется исходный файл. Hook может работать до 90 секунд, готовность затем ожидается до 90 секунд. TTL сессии для этого теста — минимум 300 секунд. Успех не доказывает, что hook действительно перезапустил БД: приложите команды/состояния контейнеров до и после.
|
||||||
|
|
||||||
|
## Проверка отказа, lab3+
|
||||||
|
|
||||||
|
Реализуйте `scripts/stop-one.sh` на основе примера. `TARGET_INSTANCE_ID` в окружении содержит alias обслужившей тест API-реплики: сопоставьте его своему контейнеру/Swarm task и остановите именно его. Скрипт должен быстро вернуть 0 и **оставить эту реплику остановленной**; восстановление выполняйте отдельно. Swarm может создать новую task с другим ID — это допустимо.
|
||||||
|
|
||||||
|
```sh
|
||||||
|
chmod +x scripts/stop-one.sh
|
||||||
|
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
Перед отказом тест наблюдает ≥2 API-реплики; 15 секунд отправляет сообщения параллельно выполнению hook, повторяет неопределённый POST с тем же ключом, проверяет восстановление записи за ≤10 секунд, отсутствие остановленной реплики в последних ответах, сохранность подтверждённых сообщений и отсутствие дублей. Ошибки переходного периода учитываются. Затем восстановите реплику и повторите для другой. Скрипт — проверка одного отказа API, не гарантия HA БД/LB/host. Вывод hook скрыт, чтобы не утекли секреты; отлаживайте его отдельно с безопасным выводом.
|
||||||
|
|
||||||
|
## Нагрузка
|
||||||
|
|
||||||
|
```sh
|
||||||
|
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
|
||||||
|
```
|
||||||
|
|
||||||
|
Это простой **closed-loop** генератор POST сообщений; он ограничен производительностью клиента и страдает coordinated omission. Он выдаёт successful RPS, ошибки и p50/p95/p99 **только успешных запросов**. Во время нагрузки нет прозрачных retry; timeout мог скрыть совершённую запись, поэтому это throughput HTTP-подтверждений, не точный счётчик COMMIT. Изменение размера истории входит в профиль. Для серьёзного исследования используйте k6/Locust/wrk либо свой обоснованный генератор, а не выводите максимальную пропускную способность из одного запуска этого скрипта. Для нагрузки pipeline изображений нужен отдельный сценарий студента.
|
||||||
|
|
||||||
|
## HTTPS, lab7
|
||||||
|
|
||||||
|
```sh
|
||||||
|
make test BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
|
||||||
|
make test-security BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
|
||||||
|
```
|
||||||
|
|
||||||
|
Все скрипты принимают `--ca-file`/`CA_FILE` и проверяют серверный сертификат и hostname. `--insecure` отсутствует. TLS-тест сначала проверяет рабочее доверенное соединение, затем намеренно пустой trust store и именно ошибку проверки сертификата; network timeout не засчитывается как правильный отказ. **Внутреннее mTLS, identity/authorization, OpenBao policy и hardening проверяют отдельные тесты студента** по trust matrix. Клиентский сертификат внешнему учебному REST-клиенту не требуется: mTLS находится на внутренних связях.
|
||||||
|
|
||||||
|
## Что ещё остаётся доказать
|
||||||
|
|
||||||
|
Smoke не доказывает persistence, число реальных контейнеров, durability брокера, outbox, отсутствие утечек/уязвимостей, полноту telemetry или выполнение уровня 4/5. Конкурентные/нагрузочные/негативные проверки своего решения добавляйте отдельно. Список защиты текущей лабы находится в README.md. Проверки рассчитаны на localhost-стенд, не на production.
|
||||||
@@ -0,0 +1,217 @@
|
|||||||
|
"""HTTP helpers for public black-box tests; Python 3.9+, standard library only."""
|
||||||
|
import base64
|
||||||
|
import datetime as dt
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import re
|
||||||
|
import ssl
|
||||||
|
import time
|
||||||
|
import urllib.error
|
||||||
|
import urllib.request
|
||||||
|
import uuid
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
LAB = json.loads((ROOT / 'lab.json').read_text())['number']
|
||||||
|
SPEC = json.loads((ROOT / 'contracts/openapi.json').read_text())
|
||||||
|
|
||||||
|
class Failure(AssertionError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
def check(condition, message):
|
||||||
|
if not condition:
|
||||||
|
raise Failure(message)
|
||||||
|
|
||||||
|
def timestamp(value):
|
||||||
|
check(isinstance(value, str) and value.endswith('Z'), 'timestamp must be UTC ending in Z')
|
||||||
|
try:
|
||||||
|
return dt.datetime.fromisoformat(value[:-1] + '+00:00')
|
||||||
|
except ValueError as exc:
|
||||||
|
raise Failure('invalid RFC3339 timestamp') from exc
|
||||||
|
|
||||||
|
def validate(value, schema, where='response'):
|
||||||
|
"""Validate the JSON Schema subset used by the supplied contract, not arbitrary OpenAPI."""
|
||||||
|
if '$ref' in schema:
|
||||||
|
target = SPEC
|
||||||
|
for part in schema['$ref'].split('/')[1:]:
|
||||||
|
target = target[part]
|
||||||
|
return validate(value, target, where)
|
||||||
|
kinds = schema.get('type', [])
|
||||||
|
if isinstance(kinds, str):
|
||||||
|
kinds = [kinds]
|
||||||
|
matches = {'null':value is None, 'boolean':isinstance(value,bool), 'integer':isinstance(value,int) and not isinstance(value,bool), 'number':isinstance(value,(int,float)) and not isinstance(value,bool), 'string':isinstance(value,str), 'array':isinstance(value,list), 'object':isinstance(value,dict)}
|
||||||
|
if kinds:
|
||||||
|
check(any(matches.get(k,False) for k in kinds), where + ': incorrect type')
|
||||||
|
if 'enum' in schema:
|
||||||
|
check(value in schema['enum'], where + ': invalid enum')
|
||||||
|
if 'const' in schema:
|
||||||
|
check(value == schema['const'], where + ': invalid const')
|
||||||
|
if isinstance(value,dict):
|
||||||
|
props = schema.get('properties',{})
|
||||||
|
check(all(k in value for k in schema.get('required',[])), where + ': missing required fields')
|
||||||
|
if schema.get('additionalProperties') is False:
|
||||||
|
check(not set(value).difference(props), where + ': unexpected fields')
|
||||||
|
for key, sub in props.items():
|
||||||
|
if key in value:
|
||||||
|
validate(value[key], sub, where + '.' + key)
|
||||||
|
if isinstance(value,list):
|
||||||
|
check(len(value) >= schema.get('minItems',0), where + ': too few items')
|
||||||
|
check(len(value) <= schema.get('maxItems',float('inf')), where + ': too many items')
|
||||||
|
if schema.get('uniqueItems'):
|
||||||
|
encoded = [json.dumps(x,sort_keys=True) for x in value]
|
||||||
|
check(len(encoded)==len(set(encoded)), where + ': duplicate items')
|
||||||
|
if 'items' in schema:
|
||||||
|
for item in value:
|
||||||
|
validate(item, schema['items'], where + '[]')
|
||||||
|
if isinstance(value,str):
|
||||||
|
check(len(value) >= schema.get('minLength',0), where + ': too short')
|
||||||
|
check(len(value) <= schema.get('maxLength',float('inf')), where + ': too long')
|
||||||
|
if 'pattern' in schema:
|
||||||
|
check(re.search(schema['pattern'], value) is not None, where + ': pattern mismatch')
|
||||||
|
if schema.get('format') == 'uuid':
|
||||||
|
try:
|
||||||
|
uuid.UUID(value)
|
||||||
|
except ValueError as exc:
|
||||||
|
raise Failure(where + ': invalid UUID') from exc
|
||||||
|
if schema.get('format') == 'date-time':
|
||||||
|
timestamp(value)
|
||||||
|
if isinstance(value,(int,float)) and not isinstance(value,bool):
|
||||||
|
check(value >= schema.get('minimum',-float('inf')), where + ': below minimum')
|
||||||
|
check(value <= schema.get('maximum',float('inf')), where + ': above maximum')
|
||||||
|
if 'anyOf' in schema:
|
||||||
|
for alternative in schema['anyOf']:
|
||||||
|
try:
|
||||||
|
validate(value, alternative, where)
|
||||||
|
break
|
||||||
|
except Failure:
|
||||||
|
pass
|
||||||
|
else:
|
||||||
|
raise Failure(where + ': no anyOf branch matches')
|
||||||
|
|
||||||
|
def shape(value, name):
|
||||||
|
validate(value, SPEC['components']['schemas'][name])
|
||||||
|
return value
|
||||||
|
|
||||||
|
class NoRedirect(urllib.request.HTTPRedirectHandler):
|
||||||
|
def redirect_request(self, req, fp, code, msg, headers, newurl):
|
||||||
|
return None
|
||||||
|
|
||||||
|
class Client:
|
||||||
|
def __init__(self, base_url=None, ca_file=None, timeout=10):
|
||||||
|
self.base = (base_url or os.environ.get('BASE_URL') or ('https://localhost:8443' if LAB==7 else 'http://localhost:8080')).rstrip('/')
|
||||||
|
check(self.base.startswith(('http://','https://')), 'BASE_URL must be HTTP(S)')
|
||||||
|
check(LAB != 7 or self.base.startswith('https://'), 'lab7 requires HTTPS')
|
||||||
|
self.timeout = timeout
|
||||||
|
context = ssl.create_default_context(cafile=ca_file or os.environ.get('CA_FILE') or None)
|
||||||
|
self.opener = urllib.request.build_opener(NoRedirect(), urllib.request.HTTPSHandler(context=context))
|
||||||
|
|
||||||
|
def call(self, method, path, expected=200, body=None, actor=None, headers=None, raw=None, schema=None):
|
||||||
|
h = {'Accept':'application/json'}
|
||||||
|
if actor:
|
||||||
|
h['X-User-Id' if LAB==1 else 'Authorization'] = actor['id'] if LAB==1 else 'Bearer ' + actor['token']
|
||||||
|
if body is not None:
|
||||||
|
raw = json.dumps(body,ensure_ascii=False).encode('utf-8')
|
||||||
|
h['Content-Type'] = 'application/json'
|
||||||
|
h.update(headers or {})
|
||||||
|
req = urllib.request.Request(self.base + path, data=raw, headers=h, method=method)
|
||||||
|
start = time.monotonic()
|
||||||
|
try:
|
||||||
|
response = self.opener.open(req, timeout=self.timeout)
|
||||||
|
except urllib.error.HTTPError as error:
|
||||||
|
response = error
|
||||||
|
except (urllib.error.URLError,TimeoutError,OSError) as exc:
|
||||||
|
# Do not print URL query, headers, request body, or credentials.
|
||||||
|
raise Failure(method + ' ' + path.split('?')[0] + ': connection/TLS failure (' + type(exc).__name__ + ')') from None
|
||||||
|
with response:
|
||||||
|
status = response.code
|
||||||
|
rh = response.headers
|
||||||
|
data = response.read(16*1024*1024 + 1)
|
||||||
|
check(len(data) <= 16*1024*1024, 'response exceeds test safety limit')
|
||||||
|
allowed = [expected] if isinstance(expected,int) else expected
|
||||||
|
check(status in allowed, method + ' ' + path.split('?')[0] + ': expected ' + str(allowed) + ', received ' + str(status))
|
||||||
|
check(bool(rh.get('X-Request-Id')), 'missing X-Request-Id')
|
||||||
|
if LAB>=3:
|
||||||
|
check(bool(rh.get('X-Instance-Id')), 'missing X-Instance-Id')
|
||||||
|
payload = None
|
||||||
|
if schema or status>=400:
|
||||||
|
check(rh.get_content_type()=='application/json', 'expected application/json')
|
||||||
|
try:
|
||||||
|
payload = json.loads(data)
|
||||||
|
except (ValueError,UnicodeError):
|
||||||
|
raise Failure('invalid response JSON') from None
|
||||||
|
shape(payload, 'Error' if status>=400 else schema)
|
||||||
|
if status>=400:
|
||||||
|
check(payload['error']['request_id']==rh.get('X-Request-Id'),'error request_id differs from header')
|
||||||
|
if status==401 and LAB>=2:
|
||||||
|
scheme = 'Basic' if path=='/api/v1/auth/sessions' else 'Bearer'
|
||||||
|
check(rh.get('WWW-Authenticate','').lower().startswith(scheme.lower()), 'incorrect WWW-Authenticate challenge')
|
||||||
|
if status==204:
|
||||||
|
check(not data, '204 must not contain body')
|
||||||
|
return {'status':status,'headers':rh,'json':payload,'bytes':data,'elapsed':time.monotonic()-start}
|
||||||
|
|
||||||
|
def user(self, label):
|
||||||
|
username = 'u_' + label + '_' + uuid.uuid4().hex[:12]
|
||||||
|
password = 'T3st-' + uuid.uuid4().hex
|
||||||
|
body = {'username':username,'display_name':'Студент ' + label}
|
||||||
|
if LAB>=2:
|
||||||
|
body['password'] = password
|
||||||
|
user = self.call('POST','/api/v1/users',201,body=body,schema='User')['json']
|
||||||
|
check(user['username']==username,'username changed')
|
||||||
|
actor = {'id':user['id'],'user':user,'registration':body}
|
||||||
|
if LAB>=2:
|
||||||
|
credential = base64.b64encode((username+':'+password).encode()).decode()
|
||||||
|
session = self.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')['json']
|
||||||
|
check(session['user']==user,'session user mismatch')
|
||||||
|
check(timestamp(session['expires_at']) > dt.datetime.now(dt.timezone.utc),'session already expired')
|
||||||
|
actor['token'] = session['token']
|
||||||
|
return actor
|
||||||
|
|
||||||
|
def bootstrap(self):
|
||||||
|
self.call('GET','/health/live',schema='Health')
|
||||||
|
self.call('GET','/health/ready',schema='Health')
|
||||||
|
alice, bob, eve = (self.user(label) for label in ('alice','bob','eve'))
|
||||||
|
chat = self.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Контрактный тест','member_ids':[alice['id'],bob['id']]},schema='Chat')['json']
|
||||||
|
check(set(chat['member_ids'])=={alice['id'],bob['id']},'chat member mismatch')
|
||||||
|
return alice,bob,eve,chat
|
||||||
|
|
||||||
|
def message(self, actor, chat, text, key=None, attachments=None):
|
||||||
|
body = {'text':text}
|
||||||
|
if attachments is not None:
|
||||||
|
body['attachment_ids'] = attachments
|
||||||
|
headers = {'Idempotency-Key':key or uuid.uuid4().hex} if LAB>=3 else {}
|
||||||
|
return self.call('POST','/api/v1/chats/'+chat['id']+'/messages',201,actor=actor,body=body,headers=headers,schema='Message')
|
||||||
|
|
||||||
|
def attachment(self, actor, chat):
|
||||||
|
content = (ROOT / 'tests/fixtures/sample.png').read_bytes()
|
||||||
|
att = self.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',201 if LAB==4 else 202,actor=actor,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')['json']
|
||||||
|
check(att['status']==('ready' if LAB==4 else 'queued'),'incorrect upload status')
|
||||||
|
check(att['chat_id']==chat['id'] and att['owner_id']==actor['id'],'attachment ownership mismatch')
|
||||||
|
check(att['sha256']==hashlib.sha256(content).hexdigest() and att['size_bytes']==len(content),'original checksum/size mismatch')
|
||||||
|
return att,content
|
||||||
|
|
||||||
|
def wait_ready(self, actor, att, wait_seconds=60):
|
||||||
|
deadline = time.monotonic()+wait_seconds
|
||||||
|
while time.monotonic()<deadline:
|
||||||
|
att = self.call('GET','/api/v1/attachments/'+att['id'],actor=actor,schema='Attachment')['json']
|
||||||
|
check(att['status']!='failed','attachment reached failed')
|
||||||
|
if att['status']=='ready':
|
||||||
|
return att
|
||||||
|
time.sleep(0.3)
|
||||||
|
raise Failure('attachment did not become ready within test deadline')
|
||||||
|
|
||||||
|
def arguments(description, configure=None):
|
||||||
|
import argparse
|
||||||
|
p = argparse.ArgumentParser(description=description)
|
||||||
|
p.add_argument('--base-url', default=None)
|
||||||
|
p.add_argument('--ca-file', default=None)
|
||||||
|
if configure:
|
||||||
|
configure(p)
|
||||||
|
return p.parse_args()
|
||||||
|
|
||||||
|
def run(main):
|
||||||
|
try:
|
||||||
|
main()
|
||||||
|
except (Failure,ValueError,OSError) as exc:
|
||||||
|
print('FAIL:', str(exc))
|
||||||
|
raise SystemExit(1)
|
||||||
@@ -0,0 +1,9 @@
|
|||||||
|
# Синтетический fixture
|
||||||
|
|
||||||
|
sample.png: RGB PNG 320×200, создан программно специально для курса, без персональных данных и EXIF. Можно свободно использовать и менять в собственных тестах; исходный публичный fixture сохраните.
|
||||||
|
|
||||||
|
- Размер: 111817 байт.
|
||||||
|
- SHA-256: `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75`.
|
||||||
|
- Обязательный thumbnail с lab5: JPEG 256×160.
|
||||||
|
|
||||||
|
Проверяющий читает SHA-256 оригинала, metadata вариантов и реальные размеры JPEG, а не только JSON-обещание сервера. Повреждённые, oversized и decompression-bomb fixtures для собственного negative suite создавайте отдельно; не храните огромные файлы в Git.
|
||||||
Binary file not shown.
|
After Width: | Height: | Size: 109 KiB |
@@ -0,0 +1,26 @@
|
|||||||
|
"""Read JPEG SOF dimensions without external libraries; not a full image decoder."""
|
||||||
|
from client import Failure, check
|
||||||
|
|
||||||
|
def jpeg_size(data):
|
||||||
|
check(data[:2]==b'\xff\xd8','thumbnail is not JPEG')
|
||||||
|
i = 2
|
||||||
|
sof = {0xc0,0xc1,0xc2,0xc3,0xc5,0xc6,0xc7,0xc9,0xca,0xcb,0xcd,0xce,0xcf}
|
||||||
|
while i < len(data):
|
||||||
|
check(data[i]==0xff,'invalid JPEG marker')
|
||||||
|
while i<len(data) and data[i]==0xff:
|
||||||
|
i += 1
|
||||||
|
check(i<len(data),'truncated JPEG marker')
|
||||||
|
marker = data[i]
|
||||||
|
i += 1
|
||||||
|
if marker in {0xd9,0xda}:
|
||||||
|
break
|
||||||
|
if marker in {0x01,0xd8} or 0xd0<=marker<=0xd7:
|
||||||
|
continue
|
||||||
|
check(i+2<=len(data),'truncated JPEG segment')
|
||||||
|
length = int.from_bytes(data[i:i+2],'big')
|
||||||
|
check(length>=2 and i+length<=len(data),'invalid JPEG segment length')
|
||||||
|
if marker in sof:
|
||||||
|
check(length>=8,'invalid JPEG SOF')
|
||||||
|
return (int.from_bytes(data[i+5:i+7],'big'),int.from_bytes(data[i+3:i+5],'big'))
|
||||||
|
i += length
|
||||||
|
raise Failure('JPEG dimensions not found')
|
||||||
@@ -0,0 +1,58 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""Small closed-loop HTTP write benchmark; not an open-loop capacity proof."""
|
||||||
|
from concurrent.futures import ThreadPoolExecutor
|
||||||
|
import json
|
||||||
|
import math
|
||||||
|
from pathlib import Path
|
||||||
|
import threading
|
||||||
|
import time
|
||||||
|
from client import Client, Failure, LAB, arguments, check, run
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
def configure(p):
|
||||||
|
p.add_argument('--duration',type=float,default=30)
|
||||||
|
p.add_argument('--concurrency',type=int,default=4)
|
||||||
|
p.add_argument('--output',default=None,help='Optional JSON metrics, no session tokens')
|
||||||
|
args = arguments('Synthetic POST message load, closed loop; creates users/messages',configure)
|
||||||
|
check(1<=args.duration<=3600,'duration must be 1..3600 seconds')
|
||||||
|
check(1<=args.concurrency<=128,'concurrency must be 1..128')
|
||||||
|
c = Client(args.base_url,args.ca_file)
|
||||||
|
alice,bob,eve,chat = c.bootstrap()
|
||||||
|
barrier = threading.Barrier(args.concurrency)
|
||||||
|
def worker(worker_id):
|
||||||
|
local = Client(args.base_url,args.ca_file,timeout=5)
|
||||||
|
barrier.wait()
|
||||||
|
deadline = time.monotonic()+args.duration
|
||||||
|
latencies,errors = [],0
|
||||||
|
index = 0
|
||||||
|
while time.monotonic()<deadline:
|
||||||
|
start = time.monotonic()
|
||||||
|
try:
|
||||||
|
local.message(alice,chat,'load-%s-%s' % (worker_id,index))
|
||||||
|
latencies.append(time.monotonic()-start)
|
||||||
|
except Failure:
|
||||||
|
errors += 1
|
||||||
|
index += 1
|
||||||
|
return latencies,errors
|
||||||
|
started = time.monotonic()
|
||||||
|
with ThreadPoolExecutor(max_workers=args.concurrency) as pool:
|
||||||
|
results = list(pool.map(worker,range(args.concurrency)))
|
||||||
|
elapsed = time.monotonic()-started
|
||||||
|
latencies = sorted(x for values,_ in results for x in values)
|
||||||
|
errors = sum(n for _,n in results)
|
||||||
|
total = len(latencies)+errors
|
||||||
|
def percentile(p):
|
||||||
|
return round(1000*latencies[max(0,math.ceil(p*len(latencies))-1)],3) if latencies else None
|
||||||
|
report = {'lab':LAB,'workload':'closed-loop POST messages; no automatic retries','requested_duration_seconds':args.duration,'elapsed_seconds':round(elapsed,3),'concurrency':args.concurrency,'successful_requests':len(latencies),'failed_requests':errors,'error_ratio':round(errors/total,6) if total else None,'successful_rps':round(len(latencies)/elapsed,3),'successful_latency_ms':{'p50':percentile(.50),'p95':percentile(.95),'p99':percentile(.99)},'note':'Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.'}
|
||||||
|
text = json.dumps(report,ensure_ascii=False,indent=2)
|
||||||
|
if args.output:
|
||||||
|
dest = Path(args.output)
|
||||||
|
dest.parent.mkdir(parents=True,exist_ok=True)
|
||||||
|
dest.write_text(text+'\n')
|
||||||
|
print(text)
|
||||||
|
check(bool(latencies),'no successful writes')
|
||||||
|
# Errors are reported, not treated as a universal load-test threshold.
|
||||||
|
|
||||||
|
if __name__=='__main__':
|
||||||
|
run(main)
|
||||||
@@ -0,0 +1,129 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""Explicit operator-authored hook; tokens remain in memory, volumes are never removed by this test."""
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import subprocess
|
||||||
|
import time
|
||||||
|
import uuid
|
||||||
|
from urllib.parse import quote
|
||||||
|
from client import Client, Failure, LAB, arguments, check, run
|
||||||
|
|
||||||
|
|
||||||
|
def history(c, actor, chat):
|
||||||
|
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100'
|
||||||
|
result = []
|
||||||
|
seen = set()
|
||||||
|
for _ in range(1000):
|
||||||
|
page = c.call('GET',path,actor=actor,schema='MessagePage')['json']
|
||||||
|
result.extend(page['items'])
|
||||||
|
cursor = page['next_cursor']
|
||||||
|
if cursor is None:
|
||||||
|
return result
|
||||||
|
check(cursor not in seen,'cursor cycle')
|
||||||
|
seen.add(cursor)
|
||||||
|
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(cursor,safe='')
|
||||||
|
raise Failure('history pagination exceeded safety bound')
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
def configure(p):
|
||||||
|
p.add_argument('--mode', choices=['persistence','failover'], required=True)
|
||||||
|
p.add_argument('--action-script',required=True,help='Executable script authored by student; restarts stack or stops ONE API replica')
|
||||||
|
args = arguments('Explicit restart/failover scenario; modifies only synthetic API data',configure)
|
||||||
|
check(LAB>=2,'persistence requires lab2+')
|
||||||
|
check(args.mode!='failover' or LAB>=3,'failover requires lab3+')
|
||||||
|
script = Path(args.action_script).expanduser().resolve()
|
||||||
|
check(script.is_file() and os.access(script,os.X_OK),'action script must exist and be executable (chmod +x)')
|
||||||
|
check('.example.' not in script.name,'copy and implement the example hook first')
|
||||||
|
c = Client(args.base_url,args.ca_file,timeout=2)
|
||||||
|
alice,bob,eve,chat = c.bootstrap()
|
||||||
|
sent = c.message(alice,chat,'Сохранить при отказе')
|
||||||
|
original = sent['json']
|
||||||
|
target = sent['headers'].get('X-Instance-Id','')
|
||||||
|
attachment = content = None
|
||||||
|
if LAB>=4:
|
||||||
|
attachment,content = c.attachment(alice,chat)
|
||||||
|
if LAB>=5:
|
||||||
|
attachment = c.wait_ready(alice,attachment)
|
||||||
|
env = dict(os.environ)
|
||||||
|
env['TARGET_INSTANCE_ID'] = target
|
||||||
|
observed = set()
|
||||||
|
if args.mode=='failover':
|
||||||
|
for _ in range(40):
|
||||||
|
observed.add(c.call('GET','/api/v1/users/me',actor=alice,schema='User')['headers']['X-Instance-Id'])
|
||||||
|
check(len(observed)>=2,'less than two API instances observed before failure; verify LB/session affinity')
|
||||||
|
print('Executing explicit '+args.mode+' hook; hook output suppressed to avoid leaking secrets.')
|
||||||
|
# No shell interpolation and no Docker commands in this test.
|
||||||
|
proc = subprocess.Popen([str(script)],env=env,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
|
||||||
|
started = time.monotonic()
|
||||||
|
successes,failures,after_instances = [],0,[]
|
||||||
|
try:
|
||||||
|
if args.mode=='persistence':
|
||||||
|
try:
|
||||||
|
code = proc.wait(timeout=90)
|
||||||
|
except subprocess.TimeoutExpired:
|
||||||
|
raise Failure('restart hook exceeded 90 seconds') from None
|
||||||
|
check(code==0,'restart hook failed (inspect your script locally)')
|
||||||
|
deadline = time.monotonic()+90
|
||||||
|
while True:
|
||||||
|
try:
|
||||||
|
c.call('GET','/health/ready',schema='Health')
|
||||||
|
c.call('GET','/api/v1/users/me',actor=alice,schema='User')
|
||||||
|
break
|
||||||
|
except Failure:
|
||||||
|
check(time.monotonic()<deadline,'stack/session did not recover within 90 seconds')
|
||||||
|
time.sleep(0.5)
|
||||||
|
else:
|
||||||
|
first_recovery = None
|
||||||
|
key = uuid.uuid4().hex
|
||||||
|
text = 'Запись во время отказа ' + key
|
||||||
|
while time.monotonic()-started < 15:
|
||||||
|
code = proc.poll()
|
||||||
|
check(code is None or code==0,'stop-one hook failed (inspect your script locally)')
|
||||||
|
check(code is not None or time.monotonic()-started<10,'stop-one hook must return within 10 seconds')
|
||||||
|
try:
|
||||||
|
response = c.message(alice,chat,text,key=key)
|
||||||
|
msg = response['json']
|
||||||
|
if code==0:
|
||||||
|
if first_recovery is None:
|
||||||
|
first_recovery = time.monotonic()-started
|
||||||
|
after_instances.append(response['headers']['X-Instance-Id'])
|
||||||
|
successes.append(msg)
|
||||||
|
key = uuid.uuid4().hex
|
||||||
|
text = 'Запись во время отказа ' + key
|
||||||
|
except Failure:
|
||||||
|
failures += 1
|
||||||
|
# Keep SAME key/body after an uncertain POST result.
|
||||||
|
time.sleep(0.1)
|
||||||
|
check(proc.poll()==0,'stop-one hook did not finish successfully')
|
||||||
|
check(first_recovery is not None and first_recovery<=10,'writes did not recover within 10 seconds from hook start')
|
||||||
|
check(len(after_instances)>=5,'too few successful writes after stop')
|
||||||
|
check(target not in after_instances[-5:],'target replica still serves requests; hook must leave it stopped')
|
||||||
|
print(json.dumps({'observed_instances_before':len(observed),'successful_writes':len(successes),'failed_attempts':failures,'first_recovery_seconds':round(first_recovery,3)},ensure_ascii=False))
|
||||||
|
# Existing token, no re-login. Read all confirmations and reject duplicates.
|
||||||
|
messages = history(c,bob,chat)
|
||||||
|
ids = [m['id'] for m in messages]
|
||||||
|
check(len(ids)==len(set(ids)),'duplicated message IDs in history')
|
||||||
|
check(any(m==original for m in messages),'confirmed pre-failure message lost or altered')
|
||||||
|
for msg in successes:
|
||||||
|
check(any(m==msg for m in messages),'confirmed in-flight message lost or altered')
|
||||||
|
# Bodies are unique in this scenario: an uncertain request may exist once, never twice.
|
||||||
|
texts = [m['text'] for m in messages]
|
||||||
|
check(len(texts)==len(set(texts)),'uncertain retry created duplicate message')
|
||||||
|
if attachment:
|
||||||
|
c.call('GET','/api/v1/attachments/'+attachment['id'],actor=bob,schema='Attachment')
|
||||||
|
downloaded = c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob)
|
||||||
|
check(downloaded['bytes']==content,'attachment lost or changed across failure')
|
||||||
|
print('PASS: '+args.mode+' preserved confirmed data and existing session. Hook scope needs operator evidence.')
|
||||||
|
finally:
|
||||||
|
if proc.poll() is None:
|
||||||
|
proc.terminate()
|
||||||
|
try:
|
||||||
|
proc.wait(timeout=5)
|
||||||
|
except subprocess.TimeoutExpired:
|
||||||
|
proc.kill()
|
||||||
|
proc.wait()
|
||||||
|
|
||||||
|
if __name__=='__main__':
|
||||||
|
run(main)
|
||||||
@@ -0,0 +1,82 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""One complete public acceptance scenario, cumulative by lab number."""
|
||||||
|
import base64
|
||||||
|
import hashlib
|
||||||
|
import uuid
|
||||||
|
from client import Client, LAB, arguments, check, run, timestamp
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
args = arguments('Messenger public smoke; creates synthetic users and messages')
|
||||||
|
c = Client(args.base_url,args.ca_file)
|
||||||
|
alice,bob,eve,chat = c.bootstrap()
|
||||||
|
path = '/api/v1/chats/'+chat['id']
|
||||||
|
c.call('POST','/api/v1/users',409,body=alice['registration'])
|
||||||
|
c.call('GET','/api/v1/users/me',401)
|
||||||
|
c.call('GET',path,404,actor=eve)
|
||||||
|
me = c.call('GET','/api/v1/users/me',actor=alice,schema='User')['json']
|
||||||
|
check(me==alice['user'],'current user mismatch')
|
||||||
|
listed = c.call('GET','/api/v1/chats?limit=100',actor=bob,schema='ChatPage')['json']
|
||||||
|
check(any(x['id']==chat['id'] for x in listed['items']),'member cannot list chat')
|
||||||
|
hidden = c.call('GET','/api/v1/chats?limit=100',actor=eve,schema='ChatPage')['json']
|
||||||
|
check(all(x['id']!=chat['id'] for x in hidden['items']),'chat leaks to outsider')
|
||||||
|
key = uuid.uuid4().hex
|
||||||
|
first = c.message(alice,chat,'Привет, мир 👋',key=key)['json']
|
||||||
|
second = c.message(bob,chat,'Сообщение Боба')['json']
|
||||||
|
check(first['sender_id']==alice['id'] and second['sender_id']==bob['id'],'sender was not derived from actor')
|
||||||
|
check(first['chat_id']==second['chat_id']==chat['id'],'wrong chat in message')
|
||||||
|
check(first['text']=='Привет, мир 👋' and second['text']=='Сообщение Боба','message text changed')
|
||||||
|
page1 = c.call('GET',path+'/messages?limit=1',actor=bob,schema='MessagePage')['json']
|
||||||
|
check(len(page1['items'])==1 and page1['next_cursor'],'first page must have one item and cursor')
|
||||||
|
from urllib.parse import quote
|
||||||
|
page2 = c.call('GET',path+'/messages?limit=1&cursor='+quote(page1['next_cursor'],safe=''),actor=alice,schema='MessagePage')['json']
|
||||||
|
check(len(page2['items'])==1 and page2['next_cursor'] is None,'second page must finish history')
|
||||||
|
ordered = sorted([first,second],key=lambda x:(timestamp(x['created_at']),uuid.UUID(x['id']).int))
|
||||||
|
check(page1['items']+page2['items']==ordered,'pagination lost, duplicated or reordered a message')
|
||||||
|
h = {'Idempotency-Key':uuid.uuid4().hex} if LAB>=3 else {}
|
||||||
|
c.call('POST',path+'/messages',400,actor=alice,body={'text':''},headers=h)
|
||||||
|
c.call('POST',path+'/messages',404,actor=eve,body={'text':'чужое'},headers=h)
|
||||||
|
c.call('GET',path+'/messages?limit=0',400,actor=alice)
|
||||||
|
if LAB>=2:
|
||||||
|
bad = base64.b64encode((alice['registration']['username']+':wrong-password').encode()).decode()
|
||||||
|
c.call('POST','/api/v1/auth/sessions',401,headers={'Authorization':'Basic '+bad})
|
||||||
|
good = base64.b64encode((alice['registration']['username']+':'+alice['registration']['password']).encode()).decode()
|
||||||
|
c.call('GET','/api/v1/users/me',401,headers={'Authorization':'Basic '+good})
|
||||||
|
c.call('GET','/api/v1/users/me',401,headers={'X-User-Id':alice['id']})
|
||||||
|
me = c.call('GET','/api/v1/users/me',actor=alice,headers={'X-User-Id':eve['id']},schema='User')['json']
|
||||||
|
check(me['id']==alice['id'],'X-User-Id overrode bearer identity')
|
||||||
|
if LAB>=3:
|
||||||
|
replay = c.message(alice,chat,first['text'],key=key)['json']
|
||||||
|
check(replay==first,'idempotency replay differs')
|
||||||
|
c.call('POST',path+'/messages',409,actor=alice,body={'text':'другой body'},headers={'Idempotency-Key':key})
|
||||||
|
c.call('POST',path+'/messages',400,actor=alice,body={'text':'без ключа'})
|
||||||
|
if LAB>=4:
|
||||||
|
att,content = c.attachment(alice,chat)
|
||||||
|
# A queued attachment must already be linkable to its own chat.
|
||||||
|
attached = c.message(alice,chat,'',attachments=[att['id']])['json']
|
||||||
|
check(attached['attachment_ids']==[att['id']],'message lost attachment')
|
||||||
|
ready = c.wait_ready(bob,att) if LAB>=5 else att
|
||||||
|
check(ready['error_code'] is None,'ready attachment has an error')
|
||||||
|
download = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
|
||||||
|
check(download['bytes']==content,'download differs from original')
|
||||||
|
check(download['headers'].get_content_type()=='image/png','original content type mismatch')
|
||||||
|
for suffix in ('','/content'):
|
||||||
|
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
|
||||||
|
if LAB>=5:
|
||||||
|
variants = [x for x in ready['variants'] if x['name']=='thumbnail']
|
||||||
|
check(len(variants)==1,'expected exactly one thumbnail')
|
||||||
|
v = variants[0]
|
||||||
|
check((v['width'],v['height'])==(256,160),'thumbnail metadata has wrong dimensions')
|
||||||
|
thumb = c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',actor=bob)
|
||||||
|
check(thumb['headers'].get_content_type()=='image/jpeg','thumbnail content type mismatch')
|
||||||
|
check(len(thumb['bytes'])==v['size_bytes'] and hashlib.sha256(thumb['bytes']).hexdigest()==v['sha256'],'thumbnail checksum mismatch')
|
||||||
|
from image_probe import jpeg_size
|
||||||
|
check(jpeg_size(thumb['bytes'])==(256,160),'actual JPEG dimensions mismatch')
|
||||||
|
if LAB>=2:
|
||||||
|
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
|
||||||
|
c.call('GET','/api/v1/users/me',401,actor=alice)
|
||||||
|
c.call('DELETE','/api/v1/auth/sessions/current',401,actor=alice)
|
||||||
|
print('PASS: lab%d public API scenario; infrastructure and grading evidence remain separate.' % LAB)
|
||||||
|
|
||||||
|
if __name__=='__main__':
|
||||||
|
run(main)
|
||||||
+10
-3
@@ -1,5 +1,12 @@
|
|||||||
# Доказательства
|
# Доказательства lab6
|
||||||
|
|
||||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
Автор: Каменский Андрей, БПИ2301.
|
||||||
|
|
||||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
lab6-checks.txt — короткие проверки структуры, OpenAPI, стиля и публичного API.
|
||||||
|
lab6-signals.txt — метрики, реальные traces/logs и запросы dashboard.
|
||||||
|
lab6-incidents.txt и lab6-observability-summary.json — контролируемые отказы.
|
||||||
|
JSON traces/logs относятся к реальным синтетическим запросам, не к статическим
|
||||||
|
образцам. Tokens/passwords/body изображения в telemetry не сохраняются.
|
||||||
|
|
||||||
|
lab6-worker-incident.json сохраняет проверку очереди/retry; lab6-incidents.txt —
|
||||||
|
отдельное продолжение DB/backend после исправления префикса route в метриках.
|
||||||
|
|||||||
@@ -0,0 +1,10 @@
|
|||||||
|
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/check_contract.py
|
||||||
|
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||||
|
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/validate_openapi.py
|
||||||
|
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||||
|
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff check src
|
||||||
|
All checks passed!
|
||||||
|
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff format --check src
|
||||||
|
64 files already formatted
|
||||||
|
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/smoke.py --base-url "http://localhost:8086"
|
||||||
|
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||||
@@ -0,0 +1,56 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"event": "job.completed",
|
||||||
|
"timestamp": "2026-11-17T15:15:07.104258+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-worker",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"span_id": "6d789cf2190bed03",
|
||||||
|
"outcome": "ready",
|
||||||
|
"attempt": 1,
|
||||||
|
"job_type": "attachment.process.v1",
|
||||||
|
"duration_seconds": 0.2017499170001429
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "job.published",
|
||||||
|
"timestamp": "2026-11-17T15:15:06.902250+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-dispatcher",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"span_id": "3bfbceb139effbd1",
|
||||||
|
"attempt": 1,
|
||||||
|
"job_type": "attachment.process.v1"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "job.started",
|
||||||
|
"timestamp": "2026-11-17T15:15:06.902991+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-worker",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"span_id": "6d789cf2190bed03",
|
||||||
|
"attempt": 1,
|
||||||
|
"job_type": "attachment.process.v1"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "http.completed",
|
||||||
|
"timestamp": "2026-11-17T15:15:06.675742+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"span_id": "801bdc6abdbaba59",
|
||||||
|
"request_id": "0ecdbe17-1712-4864-ae79-38df19ef2c7d",
|
||||||
|
"method": "POST",
|
||||||
|
"route": "/api/v1/chats/{chat_id}/attachments",
|
||||||
|
"status": 202,
|
||||||
|
"duration_seconds": 0.1755593749999207
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "attachment.accepted",
|
||||||
|
"timestamp": "2026-11-17T15:15:06.675308+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"span_id": "801bdc6abdbaba59",
|
||||||
|
"job_type": "attachment.process.v1"
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1,227 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:12.113656+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "f1ab8757e130d9b3b8e87acd85115012",
|
||||||
|
"span_id": "10ca75d8e0ce9007",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:12.114704+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "69dde9e84908f5b14ab39da9d6b2c30f",
|
||||||
|
"span_id": "2b1d606367557c42",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:12.170591+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "98aa6fecf2eda04174aec162d532413f",
|
||||||
|
"span_id": "4543089015e17a65",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:12.172345+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "d574895b96f583d31bd53d226301bac6",
|
||||||
|
"span_id": "59cbe017ec796d04",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:14.625536+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "4fb197690cd7ed8c34cbaf3af2d2c8c0",
|
||||||
|
"span_id": "f3b71c918bb75a88",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:14.671622+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "22d882d3ea564d808dabc96d24e18a37",
|
||||||
|
"span_id": "b20632277beb3c6b",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:14.681385+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "314dbd0e393abd2865e38d046f87cf27",
|
||||||
|
"span_id": "37f57af5302ad41a",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:14.681488+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "2881ad7651c2ead16b142a1d53525644",
|
||||||
|
"span_id": "264b3e80956650c9",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:17.152802+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "2b68f18c2fd49fdebe5b64e69fb8de33",
|
||||||
|
"span_id": "a71fac67af31936e",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:17.183320+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "40ae54a6e8ba7b0b6b2dfca8de351760",
|
||||||
|
"span_id": "36b42761727ba91f",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:17.191879+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "a3d0183572c94e432db07a2efd9a12d1",
|
||||||
|
"span_id": "ca24eed9905a9bf9",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:13:17.191979+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "54b3085f4640962ddffd63936435a4d8",
|
||||||
|
"span_id": "340c3562a22a467e",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:12.505367+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "acaaafad8ba06b4e7e105cd3f4355987",
|
||||||
|
"span_id": "38dff7c61d3f6e4d",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:12.515931+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "c9efffd152bab3e6d2355f7127b3e8d1",
|
||||||
|
"span_id": "6dd8695d5581baf2",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:12.575617+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "f7364c5486bdc6b3b14b7ef885f00a95",
|
||||||
|
"span_id": "8db09be701daf82e",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:12.576730+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "ac3e797c761d77bfbf7cda54ff6b02b9",
|
||||||
|
"span_id": "cdf3e2de745cfc13",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:15.027064+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "68e11662b15be879a6794f2450b1347b",
|
||||||
|
"span_id": "780b4cfe086b291e",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:15.074288+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "f03afd499dac3f577a1a3a7508b308e9",
|
||||||
|
"span_id": "cc1f1e6882bbc154",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:15.085689+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "7e42f82236d190f5e5c5208fcb1f6f39",
|
||||||
|
"span_id": "0be523a4032a2c36",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:15.085975+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "829e4fa63c820aa7e3f2de1761f21caf",
|
||||||
|
"span_id": "4c5aa3f29019e1f6",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:17.543116+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "f6a52507f2922e42155d659bba763970",
|
||||||
|
"span_id": "5e892c5ae6a001d6",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:17.590820+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "8f965bae4f6ffa0b3c3cef5c9c52f38e",
|
||||||
|
"span_id": "6bdafe4d596a25cb",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:17.595806+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "2f25a5ca948c2aa0c2ef38bd80230d1f",
|
||||||
|
"span_id": "17b0d785eca64d68",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:15:17.595865+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "96bf062721f9b68548202ca761ec56e0",
|
||||||
|
"span_id": "21a167132ebdb621",
|
||||||
|
"error_type": "Error"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"event": "db.error",
|
||||||
|
"timestamp": "2026-11-17T15:08:12.863991+00:00",
|
||||||
|
"severity": "INFO",
|
||||||
|
"service_name": "messenger-api",
|
||||||
|
"trace_id": "4df9dbc6eaaaee821bbcc649852367dc",
|
||||||
|
"span_id": "44727a31e3111cd0",
|
||||||
|
"error_type": "IntegrityError"
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1,255 @@
|
|||||||
|
{
|
||||||
|
"batches": [
|
||||||
|
{
|
||||||
|
"resource": {
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "telemetry.sdk.language",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "python"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "telemetry.sdk.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "opentelemetry"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "telemetry.sdk.version",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "1.31.1"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "service.version",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "1.6.0"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "service.instance.id",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "ec467075-05bd-4271-bb1e-a272ae3dd3c3"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "deployment.environment.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "lab"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "service.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "messenger-api"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"scopeSpans": [
|
||||||
|
{
|
||||||
|
"scope": {
|
||||||
|
"name": "messenger",
|
||||||
|
"version": "1.6.0"
|
||||||
|
},
|
||||||
|
"spans": [
|
||||||
|
{
|
||||||
|
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
|
||||||
|
"spanId": "CNWCiXdj/44=",
|
||||||
|
"parentSpanId": "jbCb5wHa+C4=",
|
||||||
|
"name": "db.INSERT",
|
||||||
|
"kind": "SPAN_KIND_CLIENT",
|
||||||
|
"startTimeUnixNano": "1794928510074339418",
|
||||||
|
"endTimeUnixNano": "1794928512575607086",
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "db.system",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "postgresql"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "db.operation.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "INSERT"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "error.type",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "Error"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"status": {
|
||||||
|
"code": "STATUS_CODE_ERROR"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
|
||||||
|
"spanId": "jbCb5wHa+C4=",
|
||||||
|
"name": "POST /api/v1/chats/{chat_id}/messages",
|
||||||
|
"kind": "SPAN_KIND_SERVER",
|
||||||
|
"startTimeUnixNano": "1794928509995947085",
|
||||||
|
"endTimeUnixNano": "1794928512576277919",
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "http.request.method",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "POST"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "http.route",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "/api/v1/chats/{chat_id}/messages"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "http.response.status_code",
|
||||||
|
"value": {
|
||||||
|
"intValue": "503"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"status": {
|
||||||
|
"code": "STATUS_CODE_ERROR"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"resource": {
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "telemetry.sdk.language",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "python"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "telemetry.sdk.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "opentelemetry"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "telemetry.sdk.version",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "1.31.1"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "service.version",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "1.6.0"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "service.instance.id",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "ec467075-05bd-4271-bb1e-a272ae3dd3c3"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "deployment.environment.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "lab"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "service.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "messenger-api"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"scopeSpans": [
|
||||||
|
{
|
||||||
|
"scope": {
|
||||||
|
"name": "messenger",
|
||||||
|
"version": "1.6.0"
|
||||||
|
},
|
||||||
|
"spans": [
|
||||||
|
{
|
||||||
|
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
|
||||||
|
"spanId": "sbSL3OACRAM=",
|
||||||
|
"parentSpanId": "jbCb5wHa+C4=",
|
||||||
|
"name": "db.SELECT",
|
||||||
|
"kind": "SPAN_KIND_CLIENT",
|
||||||
|
"startTimeUnixNano": "1794928510069821585",
|
||||||
|
"endTimeUnixNano": "1794928510070631168",
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "db.system",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "postgresql"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "db.operation.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "SELECT"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"status": {}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
|
||||||
|
"spanId": "26YgITrtuvE=",
|
||||||
|
"parentSpanId": "jbCb5wHa+C4=",
|
||||||
|
"name": "db.SELECT",
|
||||||
|
"kind": "SPAN_KIND_CLIENT",
|
||||||
|
"startTimeUnixNano": "1794928510071310626",
|
||||||
|
"endTimeUnixNano": "1794928510071793293",
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "db.system",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "postgresql"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "db.operation.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "SELECT"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"status": {}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
|
||||||
|
"spanId": "20d9NgzWuKs=",
|
||||||
|
"parentSpanId": "jbCb5wHa+C4=",
|
||||||
|
"name": "db.INSERT",
|
||||||
|
"kind": "SPAN_KIND_CLIENT",
|
||||||
|
"startTimeUnixNano": "1794928510072845626",
|
||||||
|
"endTimeUnixNano": "1794928510073726543",
|
||||||
|
"attributes": [
|
||||||
|
{
|
||||||
|
"key": "db.system",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "postgresql"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"key": "db.operation.name",
|
||||||
|
"value": {
|
||||||
|
"stringValue": "INSERT"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"status": {}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
{"case": "upload_to_worker_trace_and_logs", "result": "PASS", "trace_id": "fd47457d00c7436da8d99589929e44a5", "spans": 29}
|
||||||
|
{"case": "metrics_labels_and_dashboard_queries", "result": "PASS", "metrics": 13, "panels": 18}
|
||||||
|
{"case": "incident_DB_firing", "result": "PASS", "errors": 12, "db_error_spans": 1, "diagnosis": "db.INSERT timeout, matching db.error event; API readiness remains available"}
|
||||||
|
{"case": "incident_DB_resolved", "result": "PASS"}
|
||||||
|
{"case": "telemetry_backend_outage_business_survives", "result": "PASS", "messages": 15, "attachment_ready": true, "api_memory": {"bytes": 93831168, "limit": 536870912}, "collector_rss_bytes": 207998976.0, "exporter_failed_spans": 32.0, "max_exporter_queue": 9.0}
|
||||||
@@ -0,0 +1,40 @@
|
|||||||
|
{
|
||||||
|
"results": [
|
||||||
|
{
|
||||||
|
"case": "upload_to_worker_trace_and_logs",
|
||||||
|
"result": "PASS",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"spans": 29
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "metrics_labels_and_dashboard_queries",
|
||||||
|
"result": "PASS",
|
||||||
|
"metrics": 13,
|
||||||
|
"panels": 18
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_DB_firing",
|
||||||
|
"result": "PASS",
|
||||||
|
"errors": 12,
|
||||||
|
"db_error_spans": 1,
|
||||||
|
"diagnosis": "db.INSERT timeout, matching db.error event; API readiness remains available"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_DB_resolved",
|
||||||
|
"result": "PASS"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "telemetry_backend_outage_business_survives",
|
||||||
|
"result": "PASS",
|
||||||
|
"messages": 15,
|
||||||
|
"attachment_ready": true,
|
||||||
|
"api_memory": {
|
||||||
|
"bytes": 93831168,
|
||||||
|
"limit": 536870912
|
||||||
|
},
|
||||||
|
"collector_rss_bytes": 207998976.0,
|
||||||
|
"exporter_failed_spans": 32.0,
|
||||||
|
"max_exporter_queue": 9.0
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,2 @@
|
|||||||
|
{"case": "upload_to_worker_trace_and_logs", "result": "PASS", "trace_id": "6127dd4877af4ee8a4c0411427c57ec5", "spans": 29}
|
||||||
|
{"case": "metrics_labels_and_dashboard_queries", "result": "PASS", "metrics": 13, "panels": 18}
|
||||||
@@ -0,0 +1,71 @@
|
|||||||
|
{
|
||||||
|
"author": "Каменский Андрей, БПИ2301",
|
||||||
|
"grade_target": 4,
|
||||||
|
"public_contract_tests_unchanged": true,
|
||||||
|
"results": [
|
||||||
|
{
|
||||||
|
"case": "upload_to_worker_trace_and_logs",
|
||||||
|
"result": "PASS",
|
||||||
|
"trace_id": "c4674a56c0144140973ffadebfb865b4",
|
||||||
|
"spans": 29
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "metrics_labels_and_dashboard_queries",
|
||||||
|
"result": "PASS",
|
||||||
|
"metrics": 13,
|
||||||
|
"panels": 18
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_worker_firing",
|
||||||
|
"result": "PASS",
|
||||||
|
"queue_depth": 1.0,
|
||||||
|
"oldest_seconds": 22.580556
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "retry_keeps_upload_trace",
|
||||||
|
"result": "PASS",
|
||||||
|
"trace_id": "6cb20e12f97745b5834e1d4153e363ad",
|
||||||
|
"consumer_spans": 2
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_worker_resolved",
|
||||||
|
"result": "PASS"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "upload_to_worker_trace_and_logs",
|
||||||
|
"result": "PASS",
|
||||||
|
"trace_id": "fd47457d00c7436da8d99589929e44a5",
|
||||||
|
"spans": 29
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "metrics_labels_and_dashboard_queries",
|
||||||
|
"result": "PASS",
|
||||||
|
"metrics": 13,
|
||||||
|
"panels": 18
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_DB_firing",
|
||||||
|
"result": "PASS",
|
||||||
|
"errors": 12,
|
||||||
|
"db_error_spans": 1,
|
||||||
|
"diagnosis": "db.INSERT timeout, matching db.error event; API readiness remains available"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_DB_resolved",
|
||||||
|
"result": "PASS"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "telemetry_backend_outage_business_survives",
|
||||||
|
"result": "PASS",
|
||||||
|
"messages": 15,
|
||||||
|
"attachment_ready": true,
|
||||||
|
"api_memory": {
|
||||||
|
"bytes": 93831168,
|
||||||
|
"limit": 536870912
|
||||||
|
},
|
||||||
|
"collector_rss_bytes": 207998976.0,
|
||||||
|
"exporter_failed_spans": 32.0,
|
||||||
|
"max_exporter_queue": 9.0
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,32 @@
|
|||||||
|
{
|
||||||
|
"results": [
|
||||||
|
{
|
||||||
|
"case": "upload_to_worker_trace_and_logs",
|
||||||
|
"result": "PASS",
|
||||||
|
"trace_id": "c4674a56c0144140973ffadebfb865b4",
|
||||||
|
"spans": 29
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "metrics_labels_and_dashboard_queries",
|
||||||
|
"result": "PASS",
|
||||||
|
"metrics": 13,
|
||||||
|
"panels": 18
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_worker_firing",
|
||||||
|
"result": "PASS",
|
||||||
|
"queue_depth": 1.0,
|
||||||
|
"oldest_seconds": 22.580556
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "retry_keeps_upload_trace",
|
||||||
|
"result": "PASS",
|
||||||
|
"trace_id": "6cb20e12f97745b5834e1d4153e363ad",
|
||||||
|
"consumer_spans": 2
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"case": "incident_worker_resolved",
|
||||||
|
"result": "PASS"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
+6
-5
@@ -1,7 +1,8 @@
|
|||||||
# Инфраструктура студента
|
# Инфраструктура lab6
|
||||||
|
|
||||||
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
|
Автор: Каменский Андрей, БПИ2301.
|
||||||
|
|
||||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
compose.yaml включает приложение, PostgreSQL, Redis-сессии, отдельный Streams broker,
|
||||||
|
MinIO, worker/dispatcher, HAProxy и наблюдаемость. infra/observability содержит
|
||||||
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
|
Collector, Prometheus/alerts, Loki, Tempo и импортируемые Grafana datasources/dashboard.
|
||||||
|
Все настройки воспроизводимы без ручного создания панелей. Данные сохраняются в volumes.
|
||||||
|
|||||||
@@ -0,0 +1,43 @@
|
|||||||
|
global
|
||||||
|
log stdout format raw local0
|
||||||
|
maxconn 2048
|
||||||
|
stats socket /tmp/haproxy.sock mode 600 level admin
|
||||||
|
stats socket ipv4@127.0.0.1:9999 level admin
|
||||||
|
|
||||||
|
defaults
|
||||||
|
log global
|
||||||
|
mode http
|
||||||
|
option httplog
|
||||||
|
timeout connect 1s
|
||||||
|
timeout client 15s
|
||||||
|
timeout server 12s
|
||||||
|
timeout http-request 7s
|
||||||
|
timeout http-keep-alive 2s
|
||||||
|
timeout check 1s
|
||||||
|
# Не повторяем POST автоматически: неизвестный результат повторяет клиент
|
||||||
|
# с исходным Idempotency-Key. Соединения к недоступному API не ждут долго.
|
||||||
|
retries 0
|
||||||
|
|
||||||
|
resolvers docker
|
||||||
|
nameserver dns 127.0.0.11:53
|
||||||
|
resolve_retries 3
|
||||||
|
timeout resolve 1s
|
||||||
|
timeout retry 1s
|
||||||
|
hold valid 1s
|
||||||
|
hold obsolete 1s
|
||||||
|
hold nx 1s
|
||||||
|
hold timeout 1s
|
||||||
|
hold refused 1s
|
||||||
|
accepted_payload_size 8192
|
||||||
|
|
||||||
|
frontend public
|
||||||
|
bind :8080
|
||||||
|
default_backend api_pool
|
||||||
|
|
||||||
|
backend api_pool
|
||||||
|
balance roundrobin
|
||||||
|
option httpchk
|
||||||
|
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||||
|
http-check expect status 200
|
||||||
|
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 2
|
||||||
|
server-template api 1-16 api:8080 check resolvers docker resolve-prefer ipv4 init-addr none
|
||||||
@@ -0,0 +1,20 @@
|
|||||||
|
# MinIO community distribution is source-only; pin the reviewed release commit.
|
||||||
|
FROM golang:1.24.8-alpine3.22 AS build
|
||||||
|
RUN apk add --no-cache git
|
||||||
|
WORKDIR /source
|
||||||
|
RUN git init . \
|
||||||
|
&& git remote add origin https://github.com/minio/minio.git \
|
||||||
|
&& git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
|
||||||
|
&& git checkout --detach FETCH_HEAD
|
||||||
|
ENV CGO_ENABLED=0 GOMAXPROCS=2
|
||||||
|
RUN go build -p 2 -trimpath -o /minio .
|
||||||
|
|
||||||
|
FROM alpine:3.22.2
|
||||||
|
RUN apk add --no-cache ca-certificates \
|
||||||
|
&& addgroup -S minio && adduser -S -G minio minio \
|
||||||
|
&& mkdir /data && chown minio:minio /data
|
||||||
|
COPY --from=build /minio /usr/local/bin/minio
|
||||||
|
USER minio
|
||||||
|
EXPOSE 9000
|
||||||
|
ENTRYPOINT ["minio"]
|
||||||
|
CMD ["server", "/data", "--console-address", ":9001"]
|
||||||
@@ -0,0 +1,23 @@
|
|||||||
|
groups:
|
||||||
|
- name: lab6
|
||||||
|
interval: 2s
|
||||||
|
rules:
|
||||||
|
- alert: ApiHighErrorRate
|
||||||
|
expr: |
|
||||||
|
(sum(increase(http_server_requests_total{route=~"/api/v1/.*",status_class="5xx"}[30s]))
|
||||||
|
/ clamp_min(sum(increase(http_server_requests_total{route=~"/api/v1/.*"}[30s])), 1) > 0.05)
|
||||||
|
and sum(increase(http_server_requests_total{route=~"/api/v1/.*"}[30s])) >= 3
|
||||||
|
for: 5s
|
||||||
|
labels:
|
||||||
|
severity: warning
|
||||||
|
annotations:
|
||||||
|
summary: "Business API 5xx ratio exceeds 5% over 30 seconds"
|
||||||
|
description: "Exclude health and client errors. Inspect DB spans, db.error logs and pool waiting. See RUNBOOK.md."
|
||||||
|
- alert: QueueLagGrowing
|
||||||
|
expr: max(queue_oldest_age_seconds) > 15 and max(queue_depth) > 0
|
||||||
|
for: 5s
|
||||||
|
labels:
|
||||||
|
severity: warning
|
||||||
|
annotations:
|
||||||
|
summary: "Oldest accepted job has waited more than 15 seconds"
|
||||||
|
description: "Inspect queue depth, worker capacity/busy and job traces. Restore worker and verify lag returns to zero. See RUNBOOK.md."
|
||||||
@@ -0,0 +1,67 @@
|
|||||||
|
receivers:
|
||||||
|
otlp:
|
||||||
|
protocols:
|
||||||
|
http:
|
||||||
|
endpoint: 0.0.0.0:4318
|
||||||
|
processors:
|
||||||
|
memory_limiter:
|
||||||
|
check_interval: 1s
|
||||||
|
limit_mib: 192
|
||||||
|
spike_limit_mib: 32
|
||||||
|
batch:
|
||||||
|
timeout: 1s
|
||||||
|
send_batch_size: 128
|
||||||
|
send_batch_max_size: 256
|
||||||
|
exporters:
|
||||||
|
prometheus:
|
||||||
|
endpoint: 0.0.0.0:8889
|
||||||
|
resource_to_telemetry_conversion:
|
||||||
|
enabled: true
|
||||||
|
otlphttp/tempo:
|
||||||
|
endpoint: http://tempo:4318
|
||||||
|
timeout: 2s
|
||||||
|
sending_queue:
|
||||||
|
enabled: true
|
||||||
|
num_consumers: 2
|
||||||
|
queue_size: 64
|
||||||
|
retry_on_failure:
|
||||||
|
initial_interval: 1s
|
||||||
|
max_interval: 3s
|
||||||
|
max_elapsed_time: 10s
|
||||||
|
otlphttp/loki:
|
||||||
|
endpoint: http://loki:3100/otlp
|
||||||
|
timeout: 2s
|
||||||
|
sending_queue:
|
||||||
|
enabled: true
|
||||||
|
num_consumers: 2
|
||||||
|
queue_size: 64
|
||||||
|
retry_on_failure:
|
||||||
|
initial_interval: 1s
|
||||||
|
max_interval: 3s
|
||||||
|
max_elapsed_time: 10s
|
||||||
|
extensions:
|
||||||
|
health_check:
|
||||||
|
endpoint: 0.0.0.0:13133
|
||||||
|
service:
|
||||||
|
extensions: [health_check]
|
||||||
|
telemetry:
|
||||||
|
metrics:
|
||||||
|
readers:
|
||||||
|
- pull:
|
||||||
|
exporter:
|
||||||
|
prometheus:
|
||||||
|
host: 0.0.0.0
|
||||||
|
port: 8888
|
||||||
|
pipelines:
|
||||||
|
traces:
|
||||||
|
receivers: [otlp]
|
||||||
|
processors: [memory_limiter, batch]
|
||||||
|
exporters: [otlphttp/tempo]
|
||||||
|
logs:
|
||||||
|
receivers: [otlp]
|
||||||
|
processors: [memory_limiter, batch]
|
||||||
|
exporters: [otlphttp/loki]
|
||||||
|
metrics:
|
||||||
|
receivers: [otlp]
|
||||||
|
processors: [memory_limiter, batch]
|
||||||
|
exporters: [prometheus]
|
||||||
@@ -0,0 +1,519 @@
|
|||||||
|
{
|
||||||
|
"uid": "messenger-lab6",
|
||||||
|
"title": "Мессенджер · Lab6 · Каменский Андрей",
|
||||||
|
"schemaVersion": 39,
|
||||||
|
"version": 1,
|
||||||
|
"refresh": "5s",
|
||||||
|
"time": {
|
||||||
|
"from": "now-15m",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"tags": [
|
||||||
|
"lab6",
|
||||||
|
"messenger"
|
||||||
|
],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"id": 1,
|
||||||
|
"title": "Business API requests / second",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 0,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum(rate(http_server_requests_total{route=~\"/api/v1/.*\"}[1m]))",
|
||||||
|
"legendFormat": "RPS",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "reqps"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 2,
|
||||||
|
"title": "Business API 5xx ratio",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 0,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum(rate(http_server_requests_total{route=~\"/api/v1/.*\",status_class=\"5xx\"}[1m])) / clamp_min(sum(rate(http_server_requests_total{route=~\"/api/v1/.*\"}[1m])), 0.00001)",
|
||||||
|
"legendFormat": "5xx / all business requests",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percentunit"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 3,
|
||||||
|
"title": "API latency p50 (histogram, all replicas)",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 8,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "histogram_quantile(0.5, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
|
||||||
|
"legendFormat": "p50",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "s"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 4,
|
||||||
|
"title": "API latency p95 (histogram, all replicas)",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 8,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "histogram_quantile(0.95, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
|
||||||
|
"legendFormat": "p95",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "s"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 5,
|
||||||
|
"title": "API latency p99 (histogram, all replicas)",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 16,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "histogram_quantile(0.99, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
|
||||||
|
"legendFormat": "p99",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "s"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 6,
|
||||||
|
"title": "Jobs per second by outcome",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 16,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum by(outcome)(rate(worker_jobs_total[1m]))",
|
||||||
|
"legendFormat": "{{outcome}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "ops"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 7,
|
||||||
|
"title": "Worker processing p95",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 24,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "histogram_quantile(0.95, sum by(le)(rate(worker_job_duration_seconds_bucket[1m])))",
|
||||||
|
"legendFormat": "p95",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "s"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 8,
|
||||||
|
"title": "Acceptance to ready p95",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 24,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "histogram_quantile(0.95, sum by(le)(rate(attachment_ready_duration_seconds_bucket[1m])))",
|
||||||
|
"legendFormat": "p95",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "s"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 9,
|
||||||
|
"title": "Accepted unfinished jobs (includes outbox)",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 32,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "max(queue_depth)",
|
||||||
|
"legendFormat": "jobs",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "short"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 10,
|
||||||
|
"title": "Oldest unfinished job age",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 32,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "max(queue_oldest_age_seconds)",
|
||||||
|
"legendFormat": "age",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "s"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 11,
|
||||||
|
"title": "DB pool used / waiting",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 40,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum by(service_name)(db_pool_used)",
|
||||||
|
"legendFormat": "{{service_name}}",
|
||||||
|
"refId": "A"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"expr": "sum by(service_name)(db_pool_waiting)",
|
||||||
|
"legendFormat": "{{service_name}} waiting",
|
||||||
|
"refId": "B"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "short"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 12,
|
||||||
|
"title": "Worker saturation",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 40,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum(worker_busy) / clamp_min(sum(worker_capacity),1)",
|
||||||
|
"legendFormat": "busy / capacity",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percentunit"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 13,
|
||||||
|
"title": "Process resident memory",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 48,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum by(service_name)(process_memory_rss_bytes)",
|
||||||
|
"legendFormat": "{{service_name}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "bytes"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 14,
|
||||||
|
"title": "Process CPU cores",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 48,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum by(service_name)(rate(process_cpu_time_seconds_total[1m]))",
|
||||||
|
"legendFormat": "{{service_name}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "short"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 15,
|
||||||
|
"title": "API availability SLI (5m), SLO 99%",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 56,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "1 - (sum(increase(http_server_requests_total{route=~\"/api/v1/.*\",status_class=\"5xx\"}[5m])) or vector(0)) / clamp_min(sum(increase(http_server_requests_total{route=~\"/api/v1/.*\"}[5m])),1)",
|
||||||
|
"legendFormat": "SLI",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percentunit"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 16,
|
||||||
|
"title": "Collector export failures / second",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 12,
|
||||||
|
"y": 56,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "sum by(exporter)(rate(otelcol_exporter_send_failed_spans_total[1m]))",
|
||||||
|
"legendFormat": "{{exporter}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "ops"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 17,
|
||||||
|
"title": "Local firing alerts",
|
||||||
|
"type": "timeseries",
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prometheus"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 64,
|
||||||
|
"w": 12,
|
||||||
|
"h": 8
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "ALERTS{alertstate=\"firing\"}",
|
||||||
|
"legendFormat": "{{alertname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "short"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 99,
|
||||||
|
"title": "Structured API / worker logs — trace_id links to Tempo",
|
||||||
|
"type": "logs",
|
||||||
|
"datasource": {
|
||||||
|
"type": "loki",
|
||||||
|
"uid": "loki"
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"x": 0,
|
||||||
|
"y": 72,
|
||||||
|
"w": 24,
|
||||||
|
"h": 10
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"expr": "{service_name=~\"messenger-(api|worker)\"}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,10 @@
|
|||||||
|
apiVersion: 1
|
||||||
|
providers:
|
||||||
|
- name: messenger
|
||||||
|
orgId: 1
|
||||||
|
folder: Lab6
|
||||||
|
type: file
|
||||||
|
disableDeletion: true
|
||||||
|
updateIntervalSeconds: 10
|
||||||
|
options:
|
||||||
|
path: /var/lib/grafana/dashboards
|
||||||
@@ -0,0 +1,34 @@
|
|||||||
|
apiVersion: 1
|
||||||
|
datasources:
|
||||||
|
- name: Prometheus
|
||||||
|
uid: prometheus
|
||||||
|
type: prometheus
|
||||||
|
access: proxy
|
||||||
|
url: http://prometheus:9090
|
||||||
|
isDefault: true
|
||||||
|
jsonData:
|
||||||
|
timeInterval: 2s
|
||||||
|
- name: Loki
|
||||||
|
uid: loki
|
||||||
|
type: loki
|
||||||
|
access: proxy
|
||||||
|
url: http://loki:3100
|
||||||
|
jsonData:
|
||||||
|
derivedFields:
|
||||||
|
- name: TraceID
|
||||||
|
matcherRegex: '"trace_id":\s*"([0-9a-f]{32})"'
|
||||||
|
datasourceUid: tempo
|
||||||
|
url: '$${__value.raw}'
|
||||||
|
- name: Tempo
|
||||||
|
uid: tempo
|
||||||
|
type: tempo
|
||||||
|
access: proxy
|
||||||
|
url: http://tempo:3200
|
||||||
|
jsonData:
|
||||||
|
tracesToLogsV2:
|
||||||
|
datasourceUid: loki
|
||||||
|
spanStartTimeShift: '-1m'
|
||||||
|
spanEndTimeShift: '1m'
|
||||||
|
filterByTraceID: false
|
||||||
|
customQuery: true
|
||||||
|
query: '{service_name=~"messenger-.*"} | json | trace_id="$${__trace.traceId}"'
|
||||||
@@ -0,0 +1,30 @@
|
|||||||
|
auth_enabled: false
|
||||||
|
server:
|
||||||
|
http_listen_port: 3100
|
||||||
|
common:
|
||||||
|
path_prefix: /loki
|
||||||
|
instance_addr: 127.0.0.1
|
||||||
|
replication_factor: 1
|
||||||
|
ring:
|
||||||
|
kvstore:
|
||||||
|
store: inmemory
|
||||||
|
storage:
|
||||||
|
filesystem:
|
||||||
|
chunks_directory: /loki/chunks
|
||||||
|
rules_directory: /loki/rules
|
||||||
|
schema_config:
|
||||||
|
configs:
|
||||||
|
- from: 2024-01-01
|
||||||
|
store: tsdb
|
||||||
|
object_store: filesystem
|
||||||
|
schema: v13
|
||||||
|
index:
|
||||||
|
prefix: index_
|
||||||
|
period: 24h
|
||||||
|
limits_config:
|
||||||
|
allow_structured_metadata: true
|
||||||
|
retention_period: 168h
|
||||||
|
compactor:
|
||||||
|
working_directory: /loki/compactor
|
||||||
|
retention_enabled: true
|
||||||
|
delete_request_store: filesystem
|
||||||
@@ -0,0 +1,12 @@
|
|||||||
|
global:
|
||||||
|
scrape_interval: 2s
|
||||||
|
evaluation_interval: 2s
|
||||||
|
rule_files:
|
||||||
|
- /etc/prometheus/alerts.yaml
|
||||||
|
scrape_configs:
|
||||||
|
- job_name: messenger
|
||||||
|
static_configs:
|
||||||
|
- targets: [otel-collector:8889]
|
||||||
|
- job_name: collector
|
||||||
|
static_configs:
|
||||||
|
- targets: [otel-collector:8888]
|
||||||
@@ -0,0 +1,21 @@
|
|||||||
|
server:
|
||||||
|
http_listen_port: 3200
|
||||||
|
distributor:
|
||||||
|
receivers:
|
||||||
|
otlp:
|
||||||
|
protocols:
|
||||||
|
http:
|
||||||
|
endpoint: 0.0.0.0:4318
|
||||||
|
ingester:
|
||||||
|
trace_idle_period: 2s
|
||||||
|
max_block_duration: 1m
|
||||||
|
compactor:
|
||||||
|
compaction:
|
||||||
|
block_retention: 168h
|
||||||
|
storage:
|
||||||
|
trace:
|
||||||
|
backend: local
|
||||||
|
wal:
|
||||||
|
path: /var/tempo/wal
|
||||||
|
local:
|
||||||
|
path: /var/tempo/blocks
|
||||||
@@ -1,7 +0,0 @@
|
|||||||
# Конфигурация наблюдаемости — реализовать
|
|
||||||
|
|
||||||
Добавьте `collector.yaml` с OTLP receivers, processors и exporters выбранной версии Collector. Укажите явные bind endpoints, внутренние сети, memory limits/batch и поведение при backpressure по уровню. Сопоставьте все три pipeline с реально развёрнутыми backend.
|
|
||||||
|
|
||||||
Добавьте конфигурации storage, Grafana provisioning/datasources, provisioning/dashboards и импортируемые dashboard JSON. На 4 — alert rules и runbooks. Пустой dashboard или debug exporter, который только печатает данные в stdout, не заменяют хранилища/доказательства из `contracts/observability.md`.
|
|
||||||
|
|
||||||
Не публикуйте OTLP/metrics/административные ports в общую сеть без необходимости. В lab7 реализуйте TLS/mTLS по trust matrix; экспорт Authorization и message bodies запрещён.
|
|
||||||
@@ -0,0 +1,29 @@
|
|||||||
|
{
|
||||||
|
"Version": "2012-10-17",
|
||||||
|
"Statement": [
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:ListBucket",
|
||||||
|
"s3:GetBucketLocation"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::${bucket}"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:GetObject",
|
||||||
|
"s3:PutObject",
|
||||||
|
"s3:AbortMultipartUpload",
|
||||||
|
"s3:ListMultipartUploadParts"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::${bucket}/originals/*",
|
||||||
|
"arn:aws:s3:::${bucket}/staging/*",
|
||||||
|
"arn:aws:s3:::${bucket}/variants/*"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
{
|
||||||
|
"Version": "2012-10-17",
|
||||||
|
"Statement": [
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:ListBucket",
|
||||||
|
"s3:GetBucketLocation",
|
||||||
|
"s3:GetBucketVersioning"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::${bucket}"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:GetObject",
|
||||||
|
"s3:DeleteObject"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::${bucket}/originals/*",
|
||||||
|
"arn:aws:s3:::${bucket}/staging/*",
|
||||||
|
"arn:aws:s3:::${bucket}/variants/*"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,30 @@
|
|||||||
|
{
|
||||||
|
"Version": "2012-10-17",
|
||||||
|
"Statement": [
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:ListBucket",
|
||||||
|
"s3:GetBucketLocation"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::${bucket}"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:GetObject",
|
||||||
|
"s3:PutObject",
|
||||||
|
"s3:AbortMultipartUpload",
|
||||||
|
"s3:ListMultipartUploadParts",
|
||||||
|
"s3:DeleteObject"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::${bucket}/originals/*",
|
||||||
|
"arn:aws:s3:::${bucket}/staging/*",
|
||||||
|
"arn:aws:s3:::${bucket}/variants/*"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -4,5 +4,5 @@
|
|||||||
"contract_version": "1.6.0",
|
"contract_version": "1.6.0",
|
||||||
"default_base_url": "http://localhost:8080",
|
"default_base_url": "http://localhost:8080",
|
||||||
"grading": "3; 4 includes 3; 5 includes 4 plus one completed research track",
|
"grading": "3; 4 includes 3; 5 includes 4 plus one completed research track",
|
||||||
"scaffold_has_application": false
|
"scaffold_has_application": true
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,34 @@
|
|||||||
|
import asyncio
|
||||||
|
|
||||||
|
from alembic import context
|
||||||
|
from sqlalchemy import pool
|
||||||
|
from sqlalchemy.ext.asyncio import create_async_engine
|
||||||
|
|
||||||
|
from src.core.db.models import Base
|
||||||
|
from src.core.settings import settings
|
||||||
|
|
||||||
|
url = settings.sqlalchemy_database_url
|
||||||
|
target_metadata = Base.metadata
|
||||||
|
|
||||||
|
|
||||||
|
def run_migrations(connection):
|
||||||
|
context.configure(connection=connection, target_metadata=target_metadata, compare_type=True)
|
||||||
|
with context.begin_transaction():
|
||||||
|
context.run_migrations()
|
||||||
|
|
||||||
|
|
||||||
|
async def run_online():
|
||||||
|
engine = create_async_engine(url, poolclass=pool.NullPool)
|
||||||
|
try:
|
||||||
|
async with engine.connect() as connection:
|
||||||
|
await connection.run_sync(run_migrations)
|
||||||
|
finally:
|
||||||
|
await engine.dispose()
|
||||||
|
|
||||||
|
|
||||||
|
if context.is_offline_mode():
|
||||||
|
context.configure(url=url, target_metadata=target_metadata, literal_binds=True)
|
||||||
|
with context.begin_transaction():
|
||||||
|
context.run_migrations()
|
||||||
|
else:
|
||||||
|
asyncio.run(run_online())
|
||||||
@@ -0,0 +1,17 @@
|
|||||||
|
"""${message}"""
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
${imports if imports else ""}
|
||||||
|
|
||||||
|
revision = ${repr(up_revision)}
|
||||||
|
down_revision = ${repr(down_revision)}
|
||||||
|
branch_labels = ${repr(branch_labels)}
|
||||||
|
depends_on = ${repr(depends_on)}
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
${upgrades if upgrades else "pass"}
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
${downgrades if downgrades else "pass"}
|
||||||
@@ -0,0 +1,60 @@
|
|||||||
|
"""Пользователи, чаты, участники, сообщения и сессии."""
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
revision = '001'
|
||||||
|
down_revision = None
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.create_table(
|
||||||
|
'users',
|
||||||
|
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column('username', sa.String(32), nullable=False, unique=True),
|
||||||
|
sa.Column('display_name', sa.String(100), nullable=False),
|
||||||
|
sa.Column('password_hash', sa.Text(), nullable=False),
|
||||||
|
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
|
||||||
|
sa.CheckConstraint('length(trim(display_name)) > 0'),
|
||||||
|
)
|
||||||
|
op.create_table(
|
||||||
|
'chats',
|
||||||
|
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column('title', sa.String(100), nullable=False),
|
||||||
|
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.CheckConstraint('length(trim(title)) > 0'),
|
||||||
|
)
|
||||||
|
op.create_table(
|
||||||
|
'chat_members',
|
||||||
|
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id', ondelete='CASCADE'), primary_key=True),
|
||||||
|
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id'), primary_key=True),
|
||||||
|
)
|
||||||
|
op.create_index('chat_members_user_idx', 'chat_members', ['user_id', 'chat_id'])
|
||||||
|
op.create_table(
|
||||||
|
'messages',
|
||||||
|
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id'), nullable=False),
|
||||||
|
sa.Column('sender_id', sa.Uuid(), sa.ForeignKey('users.id'), nullable=False),
|
||||||
|
sa.Column('text', sa.String(4000), nullable=False),
|
||||||
|
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.ForeignKeyConstraint(['chat_id', 'sender_id'], ['chat_members.chat_id', 'chat_members.user_id']),
|
||||||
|
sa.CheckConstraint('length(trim(text)) > 0'),
|
||||||
|
)
|
||||||
|
op.create_index('messages_history_idx', 'messages', ['chat_id', 'created_at', 'id'])
|
||||||
|
op.create_table(
|
||||||
|
'sessions',
|
||||||
|
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||||
|
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||||
|
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||||
|
)
|
||||||
|
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.drop_table('sessions')
|
||||||
|
op.drop_table('messages')
|
||||||
|
op.drop_table('chat_members')
|
||||||
|
op.drop_table('chats')
|
||||||
|
op.drop_table('users')
|
||||||
@@ -0,0 +1,22 @@
|
|||||||
|
"""Сессии перенесены в Redis."""
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
revision = '002'
|
||||||
|
down_revision = '001'
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.drop_table('sessions')
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.create_table(
|
||||||
|
'sessions',
|
||||||
|
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||||
|
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||||
|
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||||
|
)
|
||||||
|
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||||
@@ -0,0 +1,16 @@
|
|||||||
|
"""Признак системного администратора."""
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
revision = '003'
|
||||||
|
down_revision = '002'
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.add_column('users', sa.Column('is_admin', sa.Boolean(), nullable=False, server_default=sa.false()))
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.drop_column('users', 'is_admin')
|
||||||
@@ -0,0 +1,25 @@
|
|||||||
|
"""Общая идемпотентность сообщений, совместимая с предыдущей схемой."""
|
||||||
|
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
revision = "004"
|
||||||
|
down_revision = "003"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.create_table(
|
||||||
|
"message_requests",
|
||||||
|
sa.Column("sender_id", sa.Uuid(), sa.ForeignKey("users.id"), primary_key=True),
|
||||||
|
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), primary_key=True),
|
||||||
|
sa.Column("key", sa.String(128), primary_key=True),
|
||||||
|
sa.Column("request_text", sa.String(4000), nullable=False),
|
||||||
|
sa.Column("message_id", sa.Uuid(), sa.ForeignKey("messages.id"), nullable=True),
|
||||||
|
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.drop_table("message_requests")
|
||||||
@@ -0,0 +1,55 @@
|
|||||||
|
"""Сохранять весь допустимый Unicode сообщений, включая U+0000, без потерь."""
|
||||||
|
|
||||||
|
import sqlalchemy as sa
|
||||||
|
from alembic import op
|
||||||
|
|
||||||
|
revision = "005"
|
||||||
|
down_revision = "004"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.drop_constraint("messages_text_check", "messages", type_="check")
|
||||||
|
op.alter_column(
|
||||||
|
"messages",
|
||||||
|
"text",
|
||||||
|
existing_type=sa.String(4000),
|
||||||
|
type_=sa.LargeBinary(),
|
||||||
|
existing_nullable=False,
|
||||||
|
postgresql_using="convert_to(text, 'UTF8')",
|
||||||
|
)
|
||||||
|
op.alter_column(
|
||||||
|
"message_requests",
|
||||||
|
"request_text",
|
||||||
|
existing_type=sa.String(4000),
|
||||||
|
type_=sa.LargeBinary(),
|
||||||
|
existing_nullable=False,
|
||||||
|
postgresql_using="convert_to(request_text, 'UTF8')",
|
||||||
|
)
|
||||||
|
op.create_check_constraint(
|
||||||
|
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
# convert_from откажет при наличии U+0000: не удаляем символы или строки
|
||||||
|
# молча. Откат возможен только если все данные представимы в PostgreSQL text.
|
||||||
|
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||||
|
op.alter_column(
|
||||||
|
"messages",
|
||||||
|
"text",
|
||||||
|
existing_type=sa.LargeBinary(),
|
||||||
|
type_=sa.String(4000),
|
||||||
|
existing_nullable=False,
|
||||||
|
postgresql_using="convert_from(text, 'UTF8')",
|
||||||
|
)
|
||||||
|
op.alter_column(
|
||||||
|
"message_requests",
|
||||||
|
"request_text",
|
||||||
|
existing_type=sa.LargeBinary(),
|
||||||
|
type_=sa.String(4000),
|
||||||
|
existing_nullable=False,
|
||||||
|
postgresql_using="convert_from(request_text, 'UTF8')",
|
||||||
|
)
|
||||||
|
op.create_check_constraint("messages_text_check", "messages", "length(trim(text)) > 0")
|
||||||
@@ -0,0 +1,40 @@
|
|||||||
|
"""Сохранение допустимого Unicode имён и названий, включая U+0000."""
|
||||||
|
|
||||||
|
import sqlalchemy as sa
|
||||||
|
from alembic import op
|
||||||
|
|
||||||
|
revision = "006"
|
||||||
|
down_revision = "005"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||||
|
op.drop_constraint(f"{table}_{column}_check", table, type_="check")
|
||||||
|
op.alter_column(
|
||||||
|
table,
|
||||||
|
column,
|
||||||
|
existing_type=sa.String(100),
|
||||||
|
type_=sa.LargeBinary(),
|
||||||
|
existing_nullable=False,
|
||||||
|
postgresql_using=f"convert_to({column}, 'UTF8')",
|
||||||
|
)
|
||||||
|
op.create_check_constraint(
|
||||||
|
f"{table}_{column}_bytes_check", table, f"octet_length({column}) BETWEEN 1 AND 400"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
# PostgreSQL откажет при U+0000 и откатит транзакцию вместо потери символов.
|
||||||
|
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||||
|
op.drop_constraint(f"{table}_{column}_bytes_check", table, type_="check")
|
||||||
|
op.alter_column(
|
||||||
|
table,
|
||||||
|
column,
|
||||||
|
existing_type=sa.LargeBinary(),
|
||||||
|
type_=sa.String(100),
|
||||||
|
existing_nullable=False,
|
||||||
|
postgresql_using=f"convert_from({column}, 'UTF8')",
|
||||||
|
)
|
||||||
|
op.create_check_constraint(f"{table}_{column}_check", table, f"length(trim({column})) > 0")
|
||||||
@@ -0,0 +1,65 @@
|
|||||||
|
"""Private S3 attachment metadata and ordered message links."""
|
||||||
|
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
revision = "007"
|
||||||
|
down_revision = "006"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.create_table(
|
||||||
|
"attachments",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), nullable=False),
|
||||||
|
sa.Column("owner_id", sa.Uuid(), sa.ForeignKey("users.id"), nullable=False),
|
||||||
|
sa.Column("filename", sa.String(255), nullable=False),
|
||||||
|
sa.Column("object_key", sa.Text(), nullable=False, unique=True),
|
||||||
|
sa.Column("content_type", sa.String(32), nullable=False),
|
||||||
|
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||||
|
sa.Column("sha256", sa.String(64), nullable=False),
|
||||||
|
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.UniqueConstraint("chat_id", "id"),
|
||||||
|
sa.CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
|
||||||
|
sa.CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
|
||||||
|
)
|
||||||
|
op.create_index("attachments_chat_idx", "attachments", ["chat_id"])
|
||||||
|
op.create_unique_constraint("messages_chat_id_id_key", "messages", ["chat_id", "id"])
|
||||||
|
op.create_table(
|
||||||
|
"message_attachments",
|
||||||
|
sa.Column("message_id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("attachment_id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||||
|
sa.Column("position", sa.Integer(), nullable=False),
|
||||||
|
sa.ForeignKeyConstraint(
|
||||||
|
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
|
||||||
|
),
|
||||||
|
sa.ForeignKeyConstraint(
|
||||||
|
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
|
||||||
|
),
|
||||||
|
sa.UniqueConstraint("message_id", "position"),
|
||||||
|
sa.CheckConstraint("position BETWEEN 0 AND 9"),
|
||||||
|
)
|
||||||
|
op.add_column("message_requests", sa.Column(
|
||||||
|
"request_attachment_ids", sa.Text(), nullable=False, server_default=""
|
||||||
|
))
|
||||||
|
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||||
|
op.create_check_constraint(
|
||||||
|
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 0 AND 16000"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
# Refuse downgrade if attachment-only messages cannot satisfy the old schema.
|
||||||
|
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||||
|
op.create_check_constraint(
|
||||||
|
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||||
|
)
|
||||||
|
op.drop_column("message_requests", "request_attachment_ids")
|
||||||
|
op.drop_table("message_attachments")
|
||||||
|
op.drop_constraint("messages_chat_id_id_key", "messages", type_="unique")
|
||||||
|
op.drop_index("attachments_chat_idx", "attachments")
|
||||||
|
op.drop_table("attachments")
|
||||||
@@ -0,0 +1,37 @@
|
|||||||
|
"""Durable upload intents, missing-content marker and reconciliation observations."""
|
||||||
|
|
||||||
|
import sqlalchemy as sa
|
||||||
|
from alembic import op
|
||||||
|
|
||||||
|
revision = "008"
|
||||||
|
down_revision = "007"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.add_column("attachments", sa.Column("storage_missing_since", sa.DateTime(timezone=True)))
|
||||||
|
op.create_table(
|
||||||
|
"upload_intents",
|
||||||
|
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||||
|
sa.Column("state", sa.String(16), nullable=False),
|
||||||
|
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False,
|
||||||
|
server_default=sa.func.now()),
|
||||||
|
sa.CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),
|
||||||
|
)
|
||||||
|
op.create_table(
|
||||||
|
"storage_findings",
|
||||||
|
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||||
|
sa.Column("kind", sa.String(16), primary_key=True),
|
||||||
|
sa.Column("fingerprint", sa.Text()),
|
||||||
|
sa.Column("first_seen", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("last_seen", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("resolved_at", sa.DateTime(timezone=True)),
|
||||||
|
sa.CheckConstraint("kind IN ('orphan', 'missing')"),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.drop_table("storage_findings")
|
||||||
|
op.drop_table("upload_intents")
|
||||||
|
op.drop_column("attachments", "storage_missing_since")
|
||||||
@@ -0,0 +1,67 @@
|
|||||||
|
"""Asynchronous image pipeline, durable jobs/outbox and replay audit."""
|
||||||
|
import sqlalchemy as sa
|
||||||
|
from alembic import op
|
||||||
|
|
||||||
|
revision = "009"
|
||||||
|
down_revision = "008"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.add_column("attachments", sa.Column("status", sa.String(16), nullable=False, server_default="ready"))
|
||||||
|
op.add_column("attachments", sa.Column("error_code", sa.String(64)))
|
||||||
|
op.add_column("attachments", sa.Column("staging_key", sa.Text()))
|
||||||
|
op.add_column("attachments", sa.Column("variants", sa.JSON(), nullable=False, server_default="[]"))
|
||||||
|
op.create_check_constraint("attachments_status_check", "attachments", "status IN ('queued', 'processing', 'ready', 'failed')")
|
||||||
|
op.create_table(
|
||||||
|
"attachment_jobs",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||||
|
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||||
|
sa.Column("state", sa.String(16), nullable=False),
|
||||||
|
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||||
|
sa.Column("cycle_attempt", sa.Integer(), nullable=False),
|
||||||
|
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("next_run_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("published_at", sa.DateTime(timezone=True)),
|
||||||
|
sa.Column("lease_until", sa.DateTime(timezone=True)),
|
||||||
|
sa.Column("claim_token", sa.Uuid()),
|
||||||
|
sa.Column("error_code", sa.String(64)),
|
||||||
|
sa.Column("fault", sa.String(32)),
|
||||||
|
sa.UniqueConstraint("attachment_id", "pipeline_version"),
|
||||||
|
sa.CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
|
||||||
|
sa.CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
|
||||||
|
sa.CheckConstraint("pipeline_version = 1"),
|
||||||
|
)
|
||||||
|
op.create_index("attachment_jobs_dispatch_idx", "attachment_jobs", ["state", "next_run_at"])
|
||||||
|
op.create_table(
|
||||||
|
"job_replays",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("attachment_jobs.id"), nullable=False),
|
||||||
|
sa.Column("operator", sa.String(100), nullable=False),
|
||||||
|
sa.Column("reason", sa.String(500), nullable=False),
|
||||||
|
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||||
|
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||||
|
)
|
||||||
|
|
||||||
|
# Existing lab4 originals remain readable by the worker as their staging
|
||||||
|
# source. Retention must never delete this shared source/final key.
|
||||||
|
op.execute("""
|
||||||
|
INSERT INTO attachment_jobs
|
||||||
|
(id, attachment_id, pipeline_version, state, attempt, cycle_attempt,
|
||||||
|
created_at, updated_at, next_run_at)
|
||||||
|
SELECT gen_random_uuid(), id, 1, 'queued', 1, 1,
|
||||||
|
clock_timestamp(), clock_timestamp(), clock_timestamp()
|
||||||
|
FROM attachments
|
||||||
|
""")
|
||||||
|
op.execute("UPDATE attachments SET staging_key=object_key, status='queued', updated_at=clock_timestamp()")
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.drop_table("job_replays")
|
||||||
|
op.drop_table("attachment_jobs")
|
||||||
|
op.drop_constraint("attachments_status_check", "attachments")
|
||||||
|
for name in ("variants", "staging_key", "error_code", "status"):
|
||||||
|
op.drop_column("attachments", name)
|
||||||
@@ -0,0 +1,15 @@
|
|||||||
|
"""Persist W3C context across durable outbox, retry and process restarts."""
|
||||||
|
import sqlalchemy as sa
|
||||||
|
from alembic import op
|
||||||
|
revision = "010"
|
||||||
|
down_revision = "009"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
def upgrade():
|
||||||
|
op.add_column('attachment_jobs', sa.Column('traceparent', sa.String(128)))
|
||||||
|
op.add_column('attachment_jobs', sa.Column('tracestate', sa.String(512)))
|
||||||
|
|
||||||
|
def downgrade():
|
||||||
|
op.drop_column('attachment_jobs','tracestate')
|
||||||
|
op.drop_column('attachment_jobs','traceparent')
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
[tool.ruff]
|
||||||
|
target-version = "py313"
|
||||||
|
line-length = 100
|
||||||
|
include = ["src/**/*.py"]
|
||||||
|
|
||||||
|
[tool.ruff.lint]
|
||||||
|
select = ["E4", "E7", "E9", "F", "I"]
|
||||||
@@ -1,2 +1,2 @@
|
|||||||
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
|
|
||||||
openapi-spec-validator==0.7.2
|
openapi-spec-validator==0.7.2
|
||||||
|
ruff==0.14.2
|
||||||
|
|||||||
@@ -0,0 +1,25 @@
|
|||||||
|
annotated-doc==0.0.5
|
||||||
|
annotated-types==0.8.0
|
||||||
|
anyio==4.15.1
|
||||||
|
click==8.5.0
|
||||||
|
fastapi==0.141.1
|
||||||
|
h11==0.16.0
|
||||||
|
idna==3.20
|
||||||
|
pydantic==2.13.5
|
||||||
|
pydantic-core==2.46.5
|
||||||
|
starlette==1.7.0
|
||||||
|
typing-extensions==4.16.0
|
||||||
|
typing-inspection==0.4.4
|
||||||
|
uvicorn==0.53.0
|
||||||
|
asyncpg==0.30.0
|
||||||
|
redis==5.2.1
|
||||||
|
argon2-cffi==25.1.0
|
||||||
|
SQLAlchemy[asyncio]==2.0.44
|
||||||
|
alembic==1.17.0
|
||||||
|
pydantic-settings==2.15.0
|
||||||
|
minio==7.2.20
|
||||||
|
Pillow==13.0.0
|
||||||
|
|
||||||
|
opentelemetry-api==1.31.1
|
||||||
|
opentelemetry-sdk==1.31.1
|
||||||
|
opentelemetry-exporter-otlp-proto-http==1.31.1
|
||||||
@@ -0,0 +1,56 @@
|
|||||||
|
"""Управление только API-контейнерами текущего Compose-проекта."""
|
||||||
|
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import subprocess
|
||||||
|
import time
|
||||||
|
import urllib.request
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
|
||||||
|
|
||||||
|
def docker(*args):
|
||||||
|
return subprocess.check_output(["docker", *args], cwd=ROOT, text=True).strip()
|
||||||
|
|
||||||
|
|
||||||
|
def compose(*args):
|
||||||
|
return docker("compose", "--env-file", os.environ.get("ENV_FILE", ".env"), *args)
|
||||||
|
|
||||||
|
|
||||||
|
def containers():
|
||||||
|
return compose("ps", "--all", "-q", "api").split()
|
||||||
|
|
||||||
|
|
||||||
|
def describe(container):
|
||||||
|
# Никогда не выводим Config.Env: там credentials.
|
||||||
|
return json.loads(docker("inspect", "--format", "{{json .State}}", container))
|
||||||
|
|
||||||
|
|
||||||
|
def instance_id(container):
|
||||||
|
code = "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2); print(r.headers['X-Instance-Id'])"
|
||||||
|
return docker("exec", container, "python", "-c", code)
|
||||||
|
|
||||||
|
|
||||||
|
def wait_ready(container, timeout=60):
|
||||||
|
deadline = time.monotonic() + timeout
|
||||||
|
while time.monotonic() < deadline:
|
||||||
|
state = describe(container)
|
||||||
|
if state.get("Health", {}).get("Status") == "healthy":
|
||||||
|
return instance_id(container)
|
||||||
|
time.sleep(0.5)
|
||||||
|
raise RuntimeError("API container did not become healthy: " + container[:12])
|
||||||
|
|
||||||
|
|
||||||
|
def wait_visible(instance, timeout=30):
|
||||||
|
base = os.environ.get("BASE_URL", "http://localhost:8080").rstrip("/")
|
||||||
|
deadline = time.monotonic() + timeout
|
||||||
|
while time.monotonic() < deadline:
|
||||||
|
try:
|
||||||
|
with urllib.request.urlopen(base + "/health/ready", timeout=2) as response:
|
||||||
|
if response.headers.get("X-Instance-Id") == instance:
|
||||||
|
return
|
||||||
|
except OSError:
|
||||||
|
pass
|
||||||
|
time.sleep(0.1)
|
||||||
|
raise RuntimeError("New replica was not discovered by HAProxy")
|
||||||
@@ -1,10 +0,0 @@
|
|||||||
#!/bin/sh
|
|
||||||
set -eu
|
|
||||||
# TODO: copy to restart.sh and implement using YOUR compose/stack services.
|
|
||||||
# Restart API and ALL used state stores (DB, sessions, S3, broker as applicable).
|
|
||||||
# Preserve persistent volumes and schema/data; never down -v / flush / re-seed.
|
|
||||||
# Allow operator unseal if required in lab7; do not print credentials.
|
|
||||||
# Exit 0 only after the intended action; test waits for API readiness separately.
|
|
||||||
printf '%s
|
|
||||||
' 'TODO: implement restart.sh for your infrastructure' >&2
|
|
||||||
exit 2
|
|
||||||
Executable
+7
@@ -0,0 +1,7 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
cd "$(dirname "$0")/.."
|
||||||
|
# Полный restart работающих ролей; volumes не удаляются.
|
||||||
|
docker compose --env-file "${ENV_FILE:-.env}" restart postgres redis minio broker
|
||||||
|
docker compose --env-file "${ENV_FILE:-.env}" up -d --wait --force-recreate api
|
||||||
|
docker compose --env-file "${ENV_FILE:-.env}" restart reconciler dispatcher worker lb
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
"""Create local synthetic credentials without overwriting an existing .env."""
|
||||||
|
import argparse
|
||||||
|
import os
|
||||||
|
import secrets
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
root=Path(__file__).resolve().parents[1]
|
||||||
|
parser=argparse.ArgumentParser(description=__doc__)
|
||||||
|
parser.add_argument('--output',type=Path,default=root/'.env')
|
||||||
|
args=parser.parse_args()
|
||||||
|
values={
|
||||||
|
'GRAFANA_ADMIN_PASSWORD':secrets.token_hex(24),
|
||||||
|
'POSTGRES_PASSWORD':secrets.token_hex(24),
|
||||||
|
'ADMIN_PASSWORD':secrets.token_hex(24),
|
||||||
|
'MINIO_ROOT_PASSWORD':secrets.token_hex(24),
|
||||||
|
'S3_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||||
|
'S3_RECONCILE_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||||
|
'S3_WORKER_SECRET_ACCESS_KEY':secrets.token_hex(24),
|
||||||
|
}
|
||||||
|
lines=(root/'.env.example').read_text().splitlines()
|
||||||
|
content='\n'.join(key+'='+values[key] if '=' in line and (key:=line.split('=',1)[0]) in values else line for line in lines)+'\n'
|
||||||
|
try:
|
||||||
|
descriptor=os.open(args.output,os.O_WRONLY|os.O_CREAT|os.O_EXCL,0o600)
|
||||||
|
except FileExistsError:
|
||||||
|
parser.exit(1,'Файл уже существует; его настройки и пароли сохранены.\n')
|
||||||
|
with os.fdopen(descriptor,'w') as stream:
|
||||||
|
stream.write(content)
|
||||||
|
print('Создан файл локальных настроек с новыми паролями; значения не выводятся.')
|
||||||
@@ -1,10 +0,0 @@
|
|||||||
#!/bin/sh
|
|
||||||
set -eu
|
|
||||||
# TODO: copy to stop-one.sh, map TARGET_INSTANCE_ID to ONE API container/task.
|
|
||||||
# Stop that instance and leave it stopped; no stop of DB/LB/volumes.
|
|
||||||
# Return quickly (within 10 s); the test sends requests during this script.
|
|
||||||
# Restore the replica explicitly after the test. Never print credentials.
|
|
||||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
|
||||||
printf '%s
|
|
||||||
' 'TODO: implement stop-one.sh for your infrastructure' >&2
|
|
||||||
exit 2
|
|
||||||
@@ -0,0 +1,34 @@
|
|||||||
|
"""Сопоставить X-Instance-Id реальному контейнеру и оставить его остановленным."""
|
||||||
|
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import time
|
||||||
|
|
||||||
|
from replicas import containers, describe, docker, instance_id
|
||||||
|
|
||||||
|
target = os.environ["TARGET_INSTANCE_ID"]
|
||||||
|
running = [c for c in containers() if describe(c)["Running"]]
|
||||||
|
if len(running) < 2:
|
||||||
|
raise SystemExit("Need at least two running API containers")
|
||||||
|
for container in running:
|
||||||
|
if instance_id(container) == target:
|
||||||
|
before = describe(container)
|
||||||
|
started = time.monotonic()
|
||||||
|
docker("stop", "--time", "10", container)
|
||||||
|
after = describe(container)
|
||||||
|
assert not after["Running"]
|
||||||
|
print(
|
||||||
|
json.dumps(
|
||||||
|
{
|
||||||
|
"container": container[:12],
|
||||||
|
"instance_id": target,
|
||||||
|
"started_at": before["StartedAt"],
|
||||||
|
"finished_at": after["FinishedAt"],
|
||||||
|
"stop_seconds": round(time.monotonic() - started, 3),
|
||||||
|
"exit_code": after["ExitCode"],
|
||||||
|
}
|
||||||
|
)
|
||||||
|
)
|
||||||
|
break
|
||||||
|
else:
|
||||||
|
raise SystemExit("Requested instance not found in this Compose project")
|
||||||
Executable
+4
@@ -0,0 +1,4 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
cd "$(dirname "$0")/.."
|
||||||
|
exec "${PYTHON:-python3}" scripts/stop-one.py
|
||||||
@@ -0,0 +1,46 @@
|
|||||||
|
"""Исходный persistence-сценарий плюс доказательство рестарта API и всех хранилищ."""
|
||||||
|
import argparse
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
|
||||||
|
|
||||||
|
def states():
|
||||||
|
result = {}
|
||||||
|
for service in ('api', 'postgres', 'redis', 'minio', 'broker', 'worker', 'dispatcher', 'reconciler', 'lb'):
|
||||||
|
ids = subprocess.check_output(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, text=True).split()
|
||||||
|
if not ids:
|
||||||
|
raise RuntimeError('Не запущен сервис ' + service)
|
||||||
|
result[service] = {}
|
||||||
|
for container in ids:
|
||||||
|
state = json.loads(subprocess.check_output(['docker', 'inspect', '--format', '{{json .State}}', container], cwd=ROOT, text=True))
|
||||||
|
result[service][container] = {'StartedAt': state['StartedAt'], 'Pid': state['Pid']}
|
||||||
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser = argparse.ArgumentParser(description=__doc__)
|
||||||
|
parser.add_argument('--base-url', default='http://localhost:8080')
|
||||||
|
parser.add_argument('--action-script', required=True)
|
||||||
|
parser.add_argument('--ca-file')
|
||||||
|
args = parser.parse_args()
|
||||||
|
before = states()
|
||||||
|
print('ДО: ' + json.dumps(before), flush=True)
|
||||||
|
command = [sys.executable, str(ROOT / 'tests/resilience.py'), '--mode', 'persistence',
|
||||||
|
'--action-script', args.action_script, '--base-url', args.base_url]
|
||||||
|
if args.ca_file:
|
||||||
|
command += ['--ca-file', args.ca_file]
|
||||||
|
subprocess.run(command, cwd=ROOT, check=True)
|
||||||
|
after = states()
|
||||||
|
print('ПОСЛЕ: ' + json.dumps(after), flush=True)
|
||||||
|
for service in before:
|
||||||
|
if before[service] == after[service]:
|
||||||
|
raise AssertionError('Сервис не перезапущен: ' + service)
|
||||||
|
print('PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, broker, worker, dispatcher, reconciler и LB; прежний токен и данные сохранены')
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
@@ -0,0 +1,20 @@
|
|||||||
|
"""Short acceptance: structure, public API and real telemetry. Incidents are opt-in."""
|
||||||
|
import argparse
|
||||||
|
import os
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
ROOT=Path(__file__).resolve().parents[1]
|
||||||
|
p=argparse.ArgumentParser(description=__doc__)
|
||||||
|
p.add_argument('--incidents',action='store_true')
|
||||||
|
args=p.parse_args()
|
||||||
|
|
||||||
|
def run(command):subprocess.run(command,cwd=ROOT,check=True)
|
||||||
|
|
||||||
|
if not (ROOT/'.env').exists():run([sys.executable,'scripts/setup-env.py'])
|
||||||
|
run(['make','check','validate','lint','PYTHON='+sys.executable])
|
||||||
|
run(['docker','compose','up','-d','--build','--wait'])
|
||||||
|
base=os.environ.get('BASE_URL','http://localhost:8086')
|
||||||
|
run([sys.executable,'tests/smoke.py','--base-url',base])
|
||||||
|
run([sys.executable,'tests/observability.py','--base-url',base]+(['--incidents'] if args.incidents else []))
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
import uvicorn
|
||||||
|
|
||||||
|
from src.core.settings import settings
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
uvicorn.run(
|
||||||
|
"src.main:app",
|
||||||
|
host=settings.app_host,
|
||||||
|
port=settings.app_port,
|
||||||
|
workers=settings.app_workers,
|
||||||
|
log_level=settings.log_level.lower(),
|
||||||
|
timeout_graceful_shutdown=settings.shutdown_timeout_seconds,
|
||||||
|
)
|
||||||
@@ -0,0 +1,106 @@
|
|||||||
|
import base64
|
||||||
|
import binascii
|
||||||
|
import re
|
||||||
|
from typing import Annotated
|
||||||
|
|
||||||
|
from fastapi import Depends, Request
|
||||||
|
from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer
|
||||||
|
from fastapi.security.http import HTTPBase, HTTPBasicCredentials
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
|
from src.core.db.session import get_db_session
|
||||||
|
from src.core.errors import ApiError
|
||||||
|
from src.core.settings import settings
|
||||||
|
from src.service.auth import AuthService
|
||||||
|
from src.service.chat import ChatService
|
||||||
|
from src.service.dto import UserDTO
|
||||||
|
from src.service.exceptions import InvalidSessionException
|
||||||
|
from src.service.message import MessageService
|
||||||
|
from src.service.user import UserService
|
||||||
|
|
||||||
|
bearer_scheme = HTTPBearer(
|
||||||
|
scheme_name="bearerAuth",
|
||||||
|
description="Вставьте токен из ответа на вход, без префикса Bearer.",
|
||||||
|
auto_error=False,
|
||||||
|
)
|
||||||
|
basic_scheme = HTTPBase(scheme="basic", scheme_name="basicAuth", auto_error=False)
|
||||||
|
|
||||||
|
|
||||||
|
async def get_basic_credentials(
|
||||||
|
request: Request,
|
||||||
|
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(basic_scheme)],
|
||||||
|
) -> HTTPBasicCredentials:
|
||||||
|
if await request.body():
|
||||||
|
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
|
||||||
|
try:
|
||||||
|
authorization = request.headers.getlist("authorization")
|
||||||
|
if len(authorization) != 1 or len(authorization[0]) > settings.authorization_max_length:
|
||||||
|
raise ValueError
|
||||||
|
if credentials is None or credentials.scheme.lower() != "basic":
|
||||||
|
raise ValueError
|
||||||
|
decoded = base64.b64decode(credentials.credentials, validate=True).decode("utf-8")
|
||||||
|
username, separator, password = decoded.partition(":")
|
||||||
|
if (
|
||||||
|
not separator
|
||||||
|
or re.fullmatch(r"[a-z0-9_]{3,32}", username) is None
|
||||||
|
or not 12 <= len(password) <= 128
|
||||||
|
or not password.strip()
|
||||||
|
):
|
||||||
|
raise ValueError
|
||||||
|
except (ValueError, UnicodeError, binascii.Error):
|
||||||
|
raise ApiError(401, "unauthorized", "Неверный логин или пароль") from None
|
||||||
|
return HTTPBasicCredentials(username=username, password=password)
|
||||||
|
|
||||||
|
|
||||||
|
def get_user_service(
|
||||||
|
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||||
|
) -> UserService:
|
||||||
|
return UserService(db_session=db_session)
|
||||||
|
|
||||||
|
|
||||||
|
def get_chat_service(
|
||||||
|
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||||
|
) -> ChatService:
|
||||||
|
return ChatService(db_session=db_session)
|
||||||
|
|
||||||
|
|
||||||
|
def get_message_service(
|
||||||
|
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||||
|
) -> MessageService:
|
||||||
|
return MessageService(db_session=db_session)
|
||||||
|
|
||||||
|
|
||||||
|
def get_auth_service(
|
||||||
|
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||||
|
) -> AuthService:
|
||||||
|
return AuthService(
|
||||||
|
db_session=db_session,
|
||||||
|
session_ttl_seconds=settings.session_ttl_seconds,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def get_bearer_token(
|
||||||
|
request: Request,
|
||||||
|
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(bearer_scheme)],
|
||||||
|
) -> str:
|
||||||
|
if credentials is None or len(request.headers.getlist("authorization")) != 1:
|
||||||
|
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
|
||||||
|
token = credentials.credentials
|
||||||
|
if (
|
||||||
|
credentials.scheme.lower() != "bearer"
|
||||||
|
or not token
|
||||||
|
or len(token) > 512
|
||||||
|
or any(c.isspace() for c in token)
|
||||||
|
):
|
||||||
|
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
|
||||||
|
return token
|
||||||
|
|
||||||
|
|
||||||
|
async def get_current_user(
|
||||||
|
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||||
|
token: Annotated[str, Depends(get_bearer_token)],
|
||||||
|
) -> UserDTO:
|
||||||
|
try:
|
||||||
|
return await auth.get_user(token=token)
|
||||||
|
except InvalidSessionException as error:
|
||||||
|
raise ApiError(401, "unauthorized", str(error)) from error
|
||||||
@@ -0,0 +1,17 @@
|
|||||||
|
from fastapi import APIRouter
|
||||||
|
|
||||||
|
from src.api.v1.routers.attachments import router as attachments_router
|
||||||
|
from src.api.v1.routers.auth.router import router as auth_router
|
||||||
|
from src.api.v1.routers.chats.router import router as chats_router
|
||||||
|
from src.api.v1.routers.messages.router import router as messages_router
|
||||||
|
from src.api.v1.routers.users.router import router as users_router
|
||||||
|
|
||||||
|
router = APIRouter(prefix="/api/v1", tags=["Версия 1"])
|
||||||
|
|
||||||
|
router.include_router(users_router)
|
||||||
|
router.include_router(chats_router)
|
||||||
|
router.include_router(messages_router)
|
||||||
|
|
||||||
|
router.include_router(auth_router)
|
||||||
|
|
||||||
|
router.include_router(attachments_router)
|
||||||
@@ -0,0 +1,134 @@
|
|||||||
|
from datetime import datetime
|
||||||
|
from typing import Annotated, Literal
|
||||||
|
from uuid import UUID
|
||||||
|
|
||||||
|
from anyio import to_thread
|
||||||
|
from fastapi import APIRouter, Depends, Query, Request
|
||||||
|
from fastapi.responses import StreamingResponse
|
||||||
|
from pydantic import BaseModel, Field
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
|
from src.api.dependencies import get_current_user
|
||||||
|
from src.core.db.models import Attachment
|
||||||
|
from src.core.db.session import get_db_session
|
||||||
|
from src.core.errors import ApiError
|
||||||
|
from src.core.settings import settings
|
||||||
|
from src.core.storage import STORAGE_ERRORS, get_storage, unavailable
|
||||||
|
from src.service.attachment import AttachmentService
|
||||||
|
from src.service.dto import UserDTO
|
||||||
|
|
||||||
|
router = APIRouter(tags=["Вложения"])
|
||||||
|
|
||||||
|
|
||||||
|
class VariantOut(BaseModel):
|
||||||
|
name: Literal["thumbnail", "crop", "optimized"]
|
||||||
|
content_type: Literal["image/jpeg", "image/webp"]
|
||||||
|
size_bytes: int
|
||||||
|
sha256: str
|
||||||
|
width: int
|
||||||
|
height: int
|
||||||
|
|
||||||
|
|
||||||
|
class AttachmentOut(BaseModel):
|
||||||
|
id: UUID
|
||||||
|
chat_id: UUID
|
||||||
|
owner_id: UUID
|
||||||
|
filename: str
|
||||||
|
content_type: str
|
||||||
|
size_bytes: int
|
||||||
|
sha256: str
|
||||||
|
status: Literal["queued", "processing", "ready", "failed"]
|
||||||
|
variants: list[VariantOut] = Field(default_factory=list)
|
||||||
|
error_code: str | None = None
|
||||||
|
created_at: datetime
|
||||||
|
updated_at: datetime
|
||||||
|
|
||||||
|
|
||||||
|
def to_output(attachment: Attachment) -> AttachmentOut:
|
||||||
|
return AttachmentOut.model_validate(attachment, from_attributes=True)
|
||||||
|
|
||||||
|
|
||||||
|
def get_service(
|
||||||
|
session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
|
||||||
|
) -> AttachmentService:
|
||||||
|
return AttachmentService(session)
|
||||||
|
|
||||||
|
|
||||||
|
@router.post(
|
||||||
|
"/chats/{chat_id}/attachments",
|
||||||
|
status_code=202,
|
||||||
|
openapi_extra={
|
||||||
|
"requestBody": {
|
||||||
|
"required": True,
|
||||||
|
"content": {
|
||||||
|
mime: {"schema": {"type": "string", "format": "binary"}}
|
||||||
|
for mime in ("image/png", "image/jpeg")
|
||||||
|
},
|
||||||
|
}
|
||||||
|
},
|
||||||
|
)
|
||||||
|
async def upload_attachment(
|
||||||
|
chat_id: UUID,
|
||||||
|
request: Request,
|
||||||
|
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
service: Annotated[AttachmentService, Depends(get_service)],
|
||||||
|
filename: Annotated[str, Query(min_length=1, max_length=255)],
|
||||||
|
) -> AttachmentOut:
|
||||||
|
if len(request.query_params.getlist("filename")) != 1:
|
||||||
|
raise ApiError(400, "invalid_request", "Неоднозначное имя файла")
|
||||||
|
return to_output(await service.upload(request, chat_id, user.id, filename))
|
||||||
|
|
||||||
|
|
||||||
|
@router.get("/attachments/{attachment_id}")
|
||||||
|
async def get_attachment(
|
||||||
|
attachment_id: UUID,
|
||||||
|
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
service: Annotated[AttachmentService, Depends(get_service)],
|
||||||
|
) -> AttachmentOut:
|
||||||
|
return to_output(await service.get(attachment_id, user.id))
|
||||||
|
|
||||||
|
|
||||||
|
@router.get("/attachments/{attachment_id}/content")
|
||||||
|
async def download_attachment(
|
||||||
|
attachment_id: UUID,
|
||||||
|
request: Request,
|
||||||
|
user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
service: Annotated[AttachmentService, Depends(get_service)],
|
||||||
|
variant: str = "original",
|
||||||
|
):
|
||||||
|
attachment = await service.get(attachment_id, user.id)
|
||||||
|
if len(request.query_params.getlist("variant")) > 1:
|
||||||
|
raise ApiError(400, "invalid_request", "Неоднозначный вариант")
|
||||||
|
if variant not in {"original", "thumbnail", "crop", "optimized"}:
|
||||||
|
raise ApiError(400, "invalid_request", "Некорректный вариант")
|
||||||
|
if attachment.status != "ready":
|
||||||
|
raise ApiError(409, "conflict", "Вложение ещё не готово")
|
||||||
|
key, mime, size = attachment.object_key, attachment.content_type, attachment.size_bytes
|
||||||
|
if variant != "original":
|
||||||
|
item = next((v for v in attachment.variants if v["name"] == variant), None)
|
||||||
|
if item is None:
|
||||||
|
raise ApiError(404, "not_found", "Вариант не найден")
|
||||||
|
key = f"variants/{attachment.id}/v1/{variant}"
|
||||||
|
mime, size = item["content_type"], item["size_bytes"]
|
||||||
|
try:
|
||||||
|
response = await to_thread.run_sync(
|
||||||
|
lambda: get_storage().get_object(settings.s3_bucket, key)
|
||||||
|
)
|
||||||
|
except STORAGE_ERRORS as error:
|
||||||
|
raise unavailable(error) from error
|
||||||
|
|
||||||
|
async def content():
|
||||||
|
try:
|
||||||
|
while chunk := await to_thread.run_sync(response.read, 64 * 1024):
|
||||||
|
yield chunk
|
||||||
|
finally:
|
||||||
|
response.close()
|
||||||
|
response.release_conn()
|
||||||
|
|
||||||
|
return StreamingResponse(
|
||||||
|
content(),
|
||||||
|
media_type=mime,
|
||||||
|
headers={
|
||||||
|
"Content-Length": str(size),
|
||||||
|
},
|
||||||
|
)
|
||||||
@@ -0,0 +1,31 @@
|
|||||||
|
import logging
|
||||||
|
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
|
||||||
|
|
||||||
|
from src.core.db.repo.auth import fetch_user_credentials
|
||||||
|
from src.core.security import verify_password_async
|
||||||
|
from src.core.settings import settings
|
||||||
|
from src.service.user import UserService
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
|
||||||
|
async def create_admin(session_factory: async_sessionmaker[AsyncSession]) -> None:
|
||||||
|
async with session_factory.begin() as session:
|
||||||
|
admin = await UserService(db_session=session).create_admin(
|
||||||
|
username=settings.admin_username,
|
||||||
|
display_name=settings.admin_display_name,
|
||||||
|
password=settings.admin_password.get_secret_value(),
|
||||||
|
)
|
||||||
|
if admin is None and settings.app_env == "production":
|
||||||
|
credentials = await fetch_user_credentials(session, settings.admin_username)
|
||||||
|
if credentials is None or not await verify_password_async(
|
||||||
|
settings.admin_password.get_secret_value(), credentials.password_hash
|
||||||
|
):
|
||||||
|
raise RuntimeError(
|
||||||
|
"Пароль существующего администратора не совпадает с настройкой production"
|
||||||
|
)
|
||||||
|
if admin is None:
|
||||||
|
logger.info("Администратор уже существует")
|
||||||
|
else:
|
||||||
|
logger.info("Администратор создан: пользователь=%s", admin.id)
|
||||||
@@ -0,0 +1,50 @@
|
|||||||
|
from dataclasses import asdict
|
||||||
|
from typing import Annotated
|
||||||
|
|
||||||
|
from fastapi import APIRouter, Depends, Response
|
||||||
|
from fastapi.security import HTTPBasicCredentials
|
||||||
|
|
||||||
|
from src.api.dependencies import (
|
||||||
|
get_auth_service,
|
||||||
|
get_basic_credentials,
|
||||||
|
get_bearer_token,
|
||||||
|
get_current_user,
|
||||||
|
)
|
||||||
|
from src.api.v1.routers.auth.schemas import SessionOut
|
||||||
|
from src.api.v1.routers.users.schemas import UserOut
|
||||||
|
from src.core.errors import ApiError
|
||||||
|
from src.service.auth import AuthService
|
||||||
|
from src.service.dto import UserDTO
|
||||||
|
from src.service.exceptions import InvalidCredentialsException
|
||||||
|
|
||||||
|
router = APIRouter(prefix="/auth/sessions", tags=["Сессии"])
|
||||||
|
|
||||||
|
|
||||||
|
@router.post("", status_code=201, response_model=SessionOut)
|
||||||
|
async def login(
|
||||||
|
credentials: Annotated[HTTPBasicCredentials, Depends(get_basic_credentials)],
|
||||||
|
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||||
|
) -> SessionOut:
|
||||||
|
try:
|
||||||
|
result = await auth.login(
|
||||||
|
username=credentials.username,
|
||||||
|
password=credentials.password,
|
||||||
|
)
|
||||||
|
except InvalidCredentialsException as error:
|
||||||
|
raise ApiError(401, "unauthorized", str(error)) from error
|
||||||
|
return SessionOut(
|
||||||
|
token=result.token,
|
||||||
|
token_type=result.token_type,
|
||||||
|
expires_at=result.expires_at,
|
||||||
|
user=UserOut(**asdict(result.user)),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@router.delete("/current", status_code=204)
|
||||||
|
async def logout(
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
token: Annotated[str, Depends(get_bearer_token)],
|
||||||
|
auth: Annotated[AuthService, Depends(get_auth_service)],
|
||||||
|
) -> Response:
|
||||||
|
await auth.logout(token=token)
|
||||||
|
return Response(status_code=204)
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
from datetime import datetime
|
||||||
|
from typing import Literal
|
||||||
|
|
||||||
|
from pydantic import BaseModel
|
||||||
|
|
||||||
|
from src.api.v1.routers.users.schemas import UserOut
|
||||||
|
|
||||||
|
|
||||||
|
class SessionOut(BaseModel):
|
||||||
|
token: str
|
||||||
|
token_type: Literal["Bearer"]
|
||||||
|
expires_at: datetime
|
||||||
|
user: UserOut
|
||||||
@@ -0,0 +1,86 @@
|
|||||||
|
from typing import Annotated
|
||||||
|
from uuid import UUID
|
||||||
|
|
||||||
|
from fastapi import APIRouter, Depends, Query, status
|
||||||
|
|
||||||
|
from src.api.dependencies import get_chat_service, get_current_user
|
||||||
|
from src.api.v1.routers.chats.schemas import ChatOut, CreateChatIn, GetChatOut
|
||||||
|
from src.api.v1.schemas import PaginationQuery
|
||||||
|
from src.core.errors import ApiError
|
||||||
|
from src.core.pagination import decode_cursor, encode_cursor
|
||||||
|
from src.service.chat import ChatService
|
||||||
|
from src.service.dto import ChatDTO, UserDTO
|
||||||
|
from src.service.exceptions import ChatNotFoundException, InvalidChatMembersException
|
||||||
|
|
||||||
|
router = APIRouter(prefix="/chats", tags=["Чаты"])
|
||||||
|
|
||||||
|
|
||||||
|
def _to_chat_out(chat: ChatDTO) -> ChatOut:
|
||||||
|
return ChatOut(
|
||||||
|
id=chat.id,
|
||||||
|
title=chat.title,
|
||||||
|
member_ids=list(chat.member_ids),
|
||||||
|
created_at=chat.created_at,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@router.post("", status_code=status.HTTP_201_CREATED)
|
||||||
|
async def create_chat(
|
||||||
|
chat_in: CreateChatIn,
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||||
|
) -> ChatOut:
|
||||||
|
try:
|
||||||
|
chat = await chat_service.create_chat(
|
||||||
|
title=chat_in.title,
|
||||||
|
member_ids=chat_in.member_ids,
|
||||||
|
current_user_id=current_user.id,
|
||||||
|
)
|
||||||
|
except InvalidChatMembersException as error:
|
||||||
|
raise ApiError(400, "invalid_request", str(error)) from error
|
||||||
|
return _to_chat_out(chat)
|
||||||
|
|
||||||
|
|
||||||
|
@router.get("", status_code=status.HTTP_200_OK)
|
||||||
|
async def get_chats(
|
||||||
|
pagination: Annotated[PaginationQuery, Query()],
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||||
|
) -> GetChatOut:
|
||||||
|
after = None
|
||||||
|
if pagination.cursor is not None:
|
||||||
|
after = decode_cursor(
|
||||||
|
pagination.cursor,
|
||||||
|
expected_kind="chats",
|
||||||
|
expected_owner_id=current_user.id,
|
||||||
|
)
|
||||||
|
chats = await chat_service.get_chats(
|
||||||
|
current_user_id=current_user.id, limit=pagination.limit + 1, after=after
|
||||||
|
)
|
||||||
|
|
||||||
|
page = chats[: pagination.limit]
|
||||||
|
next_cursor = None
|
||||||
|
if len(chats) > pagination.limit:
|
||||||
|
last = page[-1]
|
||||||
|
next_cursor = encode_cursor("chats", current_user.id, last.created_at, last.id)
|
||||||
|
|
||||||
|
return GetChatOut(
|
||||||
|
items=[_to_chat_out(chat) for chat in page],
|
||||||
|
next_cursor=next_cursor,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@router.get("/{chat_id}", summary="Получить доступный чат")
|
||||||
|
async def get_chat(
|
||||||
|
chat_id: UUID,
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
chat_service: Annotated[ChatService, Depends(get_chat_service)],
|
||||||
|
) -> ChatOut:
|
||||||
|
try:
|
||||||
|
chat = await chat_service.get_chat(
|
||||||
|
chat_id=chat_id,
|
||||||
|
current_user_id=current_user.id,
|
||||||
|
)
|
||||||
|
except ChatNotFoundException as error:
|
||||||
|
raise ApiError(404, "not_found", str(error)) from error
|
||||||
|
return _to_chat_out(chat)
|
||||||
@@ -0,0 +1,42 @@
|
|||||||
|
from datetime import datetime
|
||||||
|
from uuid import UUID
|
||||||
|
|
||||||
|
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||||
|
|
||||||
|
|
||||||
|
class CreateChatIn(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
title: str = Field(min_length=1, max_length=100)
|
||||||
|
member_ids: list[UUID] = Field(min_length=1, max_length=100)
|
||||||
|
|
||||||
|
@field_validator("title")
|
||||||
|
@classmethod
|
||||||
|
def title_must_not_be_blank(cls, value: str) -> str:
|
||||||
|
value.encode("utf-8")
|
||||||
|
if not value.strip():
|
||||||
|
raise ValueError("title не может состоять только из пробелов")
|
||||||
|
return value
|
||||||
|
|
||||||
|
@field_validator("member_ids")
|
||||||
|
@classmethod
|
||||||
|
def member_ids_must_be_unique(cls, value: list[UUID]) -> list[UUID]:
|
||||||
|
if len(value) != len(set(value)):
|
||||||
|
raise ValueError("member_ids не должен содержать дубликаты")
|
||||||
|
return value
|
||||||
|
|
||||||
|
|
||||||
|
class ChatOut(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
id: UUID
|
||||||
|
title: str
|
||||||
|
member_ids: list[UUID]
|
||||||
|
created_at: datetime
|
||||||
|
|
||||||
|
|
||||||
|
class GetChatOut(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
items: list[ChatOut]
|
||||||
|
next_cursor: str | None
|
||||||
@@ -0,0 +1,96 @@
|
|||||||
|
import re
|
||||||
|
from typing import Annotated
|
||||||
|
from uuid import UUID
|
||||||
|
|
||||||
|
from fastapi import APIRouter, Depends, Header, Query, Request, status
|
||||||
|
|
||||||
|
from src.api.dependencies import get_current_user, get_message_service
|
||||||
|
from src.api.v1.routers.messages.schemas import (
|
||||||
|
CreateMessageIn,
|
||||||
|
MessageOut,
|
||||||
|
MessagePageOut,
|
||||||
|
)
|
||||||
|
from src.api.v1.schemas import PaginationQuery
|
||||||
|
from src.core.errors import ApiError
|
||||||
|
from src.core.pagination import decode_cursor, encode_cursor
|
||||||
|
from src.service.dto import MessageDTO, UserDTO
|
||||||
|
from src.service.exceptions import ChatNotFoundException, IdempotencyConflictException
|
||||||
|
from src.service.message import MessageService
|
||||||
|
|
||||||
|
router = APIRouter(prefix="/chats", tags=["Сообщения"])
|
||||||
|
|
||||||
|
|
||||||
|
def _to_message_out(message: MessageDTO) -> MessageOut:
|
||||||
|
return MessageOut(
|
||||||
|
id=message.id,
|
||||||
|
chat_id=message.chat_id,
|
||||||
|
sender_id=message.sender_id,
|
||||||
|
text=message.text,
|
||||||
|
attachment_ids=list(message.attachment_ids),
|
||||||
|
created_at=message.created_at,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@router.post("/{chat_id}/messages", status_code=status.HTTP_201_CREATED)
|
||||||
|
async def create_message(
|
||||||
|
chat_id: UUID,
|
||||||
|
message_in: CreateMessageIn,
|
||||||
|
request: Request,
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
message_service: Annotated[MessageService, Depends(get_message_service)],
|
||||||
|
idempotency_key: Annotated[str, Header()],
|
||||||
|
) -> MessageOut:
|
||||||
|
if (
|
||||||
|
len(request.headers.getlist("idempotency-key")) != 1
|
||||||
|
or re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", idempotency_key) is None
|
||||||
|
):
|
||||||
|
raise ApiError(400, "invalid_request", "Требуется корректный Idempotency-Key")
|
||||||
|
try:
|
||||||
|
message = await message_service.create_message(
|
||||||
|
chat_id=chat_id,
|
||||||
|
sender_id=current_user.id,
|
||||||
|
text=message_in.text,
|
||||||
|
attachment_ids=message_in.attachment_ids,
|
||||||
|
idempotency_key=idempotency_key,
|
||||||
|
)
|
||||||
|
except ChatNotFoundException as error:
|
||||||
|
raise ApiError(404, "not_found", str(error)) from error
|
||||||
|
except IdempotencyConflictException as error:
|
||||||
|
raise ApiError(409, "conflict", "Ключ уже использован для другого сообщения") from error
|
||||||
|
return _to_message_out(message)
|
||||||
|
|
||||||
|
|
||||||
|
@router.get("/{chat_id}/messages", status_code=status.HTTP_200_OK)
|
||||||
|
async def get_messages(
|
||||||
|
chat_id: UUID,
|
||||||
|
pagination: Annotated[PaginationQuery, Query()],
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
message_service: Annotated[MessageService, Depends(get_message_service)],
|
||||||
|
) -> MessagePageOut:
|
||||||
|
after = None
|
||||||
|
if pagination.cursor is not None:
|
||||||
|
after = decode_cursor(
|
||||||
|
pagination.cursor,
|
||||||
|
expected_kind="messages",
|
||||||
|
expected_owner_id=chat_id,
|
||||||
|
)
|
||||||
|
try:
|
||||||
|
messages = await message_service.get_messages(
|
||||||
|
chat_id=chat_id,
|
||||||
|
current_user_id=current_user.id,
|
||||||
|
limit=pagination.limit + 1,
|
||||||
|
after=after,
|
||||||
|
)
|
||||||
|
except ChatNotFoundException as error:
|
||||||
|
raise ApiError(404, "not_found", str(error)) from error
|
||||||
|
|
||||||
|
page = messages[: pagination.limit]
|
||||||
|
next_cursor = None
|
||||||
|
if len(messages) > pagination.limit:
|
||||||
|
last = page[-1]
|
||||||
|
next_cursor = encode_cursor("messages", chat_id, last.created_at, last.id)
|
||||||
|
|
||||||
|
return MessagePageOut(
|
||||||
|
items=[_to_message_out(message) for message in page],
|
||||||
|
next_cursor=next_cursor,
|
||||||
|
)
|
||||||
@@ -0,0 +1,43 @@
|
|||||||
|
from datetime import datetime
|
||||||
|
from uuid import UUID
|
||||||
|
|
||||||
|
from pydantic import BaseModel, ConfigDict, Field, field_validator, model_validator
|
||||||
|
|
||||||
|
|
||||||
|
class CreateMessageIn(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
text: str = Field(max_length=4000)
|
||||||
|
attachment_ids: list[UUID] = Field(default_factory=list, max_length=10)
|
||||||
|
|
||||||
|
@field_validator("text")
|
||||||
|
@classmethod
|
||||||
|
def text_must_not_be_blank(cls, value: str) -> str:
|
||||||
|
value.encode("utf-8")
|
||||||
|
return value
|
||||||
|
|
||||||
|
@model_validator(mode="after")
|
||||||
|
def validate_message(self):
|
||||||
|
if not self.text.strip() and not self.attachment_ids:
|
||||||
|
raise ValueError("Требуется текст или вложение")
|
||||||
|
if len(set(self.attachment_ids)) != len(self.attachment_ids):
|
||||||
|
raise ValueError("Вложения не должны повторяться")
|
||||||
|
return self
|
||||||
|
|
||||||
|
|
||||||
|
class MessageOut(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
id: UUID
|
||||||
|
chat_id: UUID
|
||||||
|
sender_id: UUID
|
||||||
|
text: str
|
||||||
|
attachment_ids: list[UUID]
|
||||||
|
created_at: datetime
|
||||||
|
|
||||||
|
|
||||||
|
class MessagePageOut(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
items: list[MessageOut]
|
||||||
|
next_cursor: str | None
|
||||||
@@ -0,0 +1,44 @@
|
|||||||
|
from typing import Annotated
|
||||||
|
|
||||||
|
from fastapi import APIRouter, Depends, status
|
||||||
|
|
||||||
|
from src.api.dependencies import get_current_user, get_user_service
|
||||||
|
from src.api.v1.routers.users.schemas import CreateUserIn, UserOut
|
||||||
|
from src.core.errors import ApiError
|
||||||
|
from src.service.dto import UserDTO
|
||||||
|
from src.service.exceptions import UserAlreadyExistsException
|
||||||
|
from src.service.user import UserService
|
||||||
|
|
||||||
|
router = APIRouter(prefix="/users", tags=["Пользователи"])
|
||||||
|
|
||||||
|
|
||||||
|
def _to_user_out(user: UserDTO) -> UserOut:
|
||||||
|
return UserOut(
|
||||||
|
id=user.id,
|
||||||
|
username=user.username,
|
||||||
|
display_name=user.display_name,
|
||||||
|
created_at=user.created_at,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@router.post("", status_code=status.HTTP_201_CREATED)
|
||||||
|
async def create_user(
|
||||||
|
user_in: CreateUserIn,
|
||||||
|
user_service: Annotated[UserService, Depends(get_user_service)],
|
||||||
|
) -> UserOut:
|
||||||
|
try:
|
||||||
|
user = await user_service.create_user(
|
||||||
|
password=user_in.password,
|
||||||
|
username=user_in.username,
|
||||||
|
display_name=user_in.display_name,
|
||||||
|
)
|
||||||
|
except UserAlreadyExistsException as error:
|
||||||
|
raise ApiError(409, "conflict", str(error)) from error
|
||||||
|
return _to_user_out(user)
|
||||||
|
|
||||||
|
|
||||||
|
@router.get("/me", status_code=status.HTTP_200_OK)
|
||||||
|
async def get_me(
|
||||||
|
current_user: Annotated[UserDTO, Depends(get_current_user)],
|
||||||
|
) -> UserOut:
|
||||||
|
return _to_user_out(current_user)
|
||||||
@@ -0,0 +1,29 @@
|
|||||||
|
from datetime import datetime
|
||||||
|
from uuid import UUID
|
||||||
|
|
||||||
|
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||||
|
|
||||||
|
|
||||||
|
class CreateUserIn(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
|
||||||
|
password: str = Field(min_length=12, max_length=128)
|
||||||
|
display_name: str = Field(min_length=1, max_length=100)
|
||||||
|
|
||||||
|
@field_validator("display_name", "password")
|
||||||
|
@classmethod
|
||||||
|
def required_string_must_not_be_blank(cls, value: str) -> str:
|
||||||
|
value.encode("utf-8")
|
||||||
|
if not value.strip():
|
||||||
|
raise ValueError("Обязательная строка не может состоять только из пробелов")
|
||||||
|
return value
|
||||||
|
|
||||||
|
|
||||||
|
class UserOut(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
id: UUID
|
||||||
|
username: str
|
||||||
|
display_name: str
|
||||||
|
created_at: datetime
|
||||||
@@ -0,0 +1,21 @@
|
|||||||
|
import re
|
||||||
|
|
||||||
|
from pydantic import BaseModel, ConfigDict, Field, field_validator
|
||||||
|
|
||||||
|
from src.core.settings import settings
|
||||||
|
|
||||||
|
|
||||||
|
class PaginationQuery(BaseModel):
|
||||||
|
model_config = ConfigDict(extra="forbid")
|
||||||
|
|
||||||
|
limit: int = Field(default=50, ge=1, le=100)
|
||||||
|
cursor: str | None = Field(default=None, min_length=1, max_length=settings.cursor_max_length)
|
||||||
|
|
||||||
|
@field_validator("limit", mode="before")
|
||||||
|
@classmethod
|
||||||
|
def limit_must_be_integer(cls, value):
|
||||||
|
if isinstance(value, bool) or isinstance(value, float):
|
||||||
|
raise ValueError("limit должен быть целым числом")
|
||||||
|
if isinstance(value, str) and re.fullmatch(r"[0-9]+", value) is None:
|
||||||
|
raise ValueError("limit должен содержать десятичные цифры")
|
||||||
|
return value
|
||||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user