Compare commits

1 Commits
Author SHA1 Message Date
gonne 8c253a0e5a Implement lab6 observability with OpenTelemetry and Grafana 2026-11-19 16:36:40 +03:00
149 changed files with 11752 additions and 229 deletions
+66 -23
View File
@@ -1,30 +1,73 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_PORT=8086
APP_ENV=lab
POSTGRES_DB=messenger
POSTGRES_USER=messenger
# Задай свой локальный пароль перед запуском. Не добавляй .env в Git.
POSTGRES_PASSWORD=
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
# REDIS_URL задаётся в compose.yaml; Redis хранит сессии с TTL и кэш профилей на 60 секунд.
LOG_LEVEL=INFO
# DATABASE_URL и REDIS_URL передаёт Compose. При ручном запуске задай их в окружении.
# Остальные параметры и значения по умолчанию: src/core/settings.py (AppSettings).
# Стартовый администратор; повторный запуск не меняет существующий пароль.
ADMIN_USERNAME=admin
ADMIN_PASSWORD=admin-password-123
ADMIN_DISPLAY_NAME=Администратор
# APP_ENV=production запрещает учебный ADMIN_PASSWORD. Пароль существующего
# администратора должен совпадать с настройкой; автоматического сброса нет.
# HTTP_MAX_BODY_BYTES=65536
# HTTP_BODY_TIMEOUT_SECONDS=5
# HTTP_REQUEST_TIMEOUT_SECONDS=5
# HTTP_CONCURRENCY_LIMIT=64
# PASSWORD_HASH_CONCURRENCY=2
# Lab3: число реплик и лимиты каждой API-реплики. Наружу доступен только LB.
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_REGION=us-east-1
API_CPUS=0.5
API_MEMORY=512m
DATABASE_POOL_SIZE=10
POSTGRES_CPUS=1.0
# Lab4. Local synthetic credentials; MinIO is accessible only inside Compose.
MINIO_ROOT_USER=messenger
MINIO_ROOT_PASSWORD=local-messenger-s3-password
S3_ACCESS_KEY_ID=messenger-api
S3_SECRET_ACCESS_KEY=local-messenger-api-password
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
BROKER_URL_FILE=/run/secrets/broker_url
WORKER_CONCURRENCY=2
UPLOAD_CONCURRENCY=1
# Manual API startup additionally needs S3_ENDPOINT=http://host:9000.
# Automatic reconciliation runs every 300 seconds; default grace is five minutes.
S3_RECONCILE_ACCESS_KEY_ID=messenger-reconciler
S3_RECONCILE_SECRET_ACCESS_KEY=local-messenger-reconciler-password
RECONCILE_GRACE_SECONDS=300
# Lab5: separate durable Redis Streams broker and isolated image worker.
BROKER_URL=redis://broker:6379/0
S3_WORKER_ACCESS_KEY_ID=messenger-worker
S3_WORKER_SECRET_ACCESS_KEY=local-messenger-worker-password
WORKER_CONCURRENCY=1
WORKER_MEMORY=1g
WORKER_MEMORY_MB=768
WORKER_CPUS=1.0
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
STAGING_RETENTION_SECONDS=86400
OTEL_SERVICE_NAME=messenger-api
# Worker must set a distinct service.name.
JOB_TIMEOUT_SECONDS=30
JOB_LEASE_SECONDS=120
JOB_RETRY_BASE_SECONDS=2
JOB_RETRY_CAP_SECONDS=60
STAGING_RETENTION_SECONDS=604800
# Only enable on an isolated fault-test stand, never normal operation.
PIPELINE_FAULT_INJECTION=false
# Lab6: telemetry is asynchronous and is not an API readiness dependency.
OTEL_ENABLED=true
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
GRAFANA_ADMIN_PASSWORD=local-grafana-password-change-me
GRAFANA_PORT=3000
PROMETHEUS_PORT=9090
LOKI_PORT=3100
TEMPO_PORT=3200
COLLECTOR_METRICS_PORT=8889
+4
View File
@@ -0,0 +1,4 @@
# Matplotlib SVG paths contain generated trailing separators.
evidence/**/*.svg -whitespace
# Preserve generated measurements byte-for-byte for evidence checksums.
evidence/**/*.csv -text -whitespace
+10 -15
View File
@@ -1,18 +1,13 @@
## Лабораторная 6
## Лабораторная 6 — наблюдаемость
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Сохранён бизнес-API lab5. Добавлены OTLP SDK API/worker, отдельный Collector,
Prometheus, Loki, Tempo, Grafana provisioning и dashboard. W3C context проходит
через durable outbox/Redis Streams и retry. Есть SLI/SLO, локальные alert rules
и RUNBOOK.md. SDK/Collector имеют ограниченные очереди и память.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Быстрая проверка: `make test test-observability`.
Контролируемые инциденты: `python3 tests/observability.py --base-url http://localhost:8086 --incidents`.
Отчёт: REPORT.md; результаты: evidence/lab6-*. Публичные tests/контракты не изменены.
Трек на оценку 5 не заявлен.
+21 -5
View File
@@ -1,4 +1,4 @@
name: Skeleton contracts
name: Lab6 contracts and application
on: [push, pull_request]
permissions:
contents: read
@@ -9,8 +9,24 @@ jobs:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.12'
python-version: '3.13'
- run: python -m pip install -r requirements-dev.txt
- run: make check validate PYTHON=python
# This job validates the skeleton, not a student solution.
# Add build, readiness and make test in a separate application job.
- run: make check validate lint PYTHON=python
application:
needs: contracts
runs-on: ubuntu-latest
timeout-minutes: 25
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.13'
- run: python -m pip install -r requirements.txt -r requirements-dev.txt
- run: make verify-lab6 PYTHON=python
- uses: actions/upload-artifact@v4
if: always()
with:
name: lab6-evidence
path: |
evidence/lab6-*.json
evidence/lab6-*.txt
+2
View File
@@ -30,3 +30,5 @@ coverage/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
.ruff_cache/
+25
View File
@@ -0,0 +1,25 @@
FROM python:3.13.0-slim-bookworm
ENV PYTHONDONTWRITEBYTECODE=1 \
PYTHONUNBUFFERED=1
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt \
&& python -m pip uninstall --yes pip \
&& addgroup --system app \
&& adduser --system --ingroup app app
COPY --chown=app:app src ./src
COPY --chown=app:app migrations ./migrations
COPY --chown=app:app infra/s3 ./infra/s3
COPY --chown=app:app alembic.ini ./alembic.ini
USER app
EXPOSE 8080
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
CMD python -c "import urllib.request; from src.core.settings import settings; urllib.request.urlopen(f'http://127.0.0.1:{settings.app_port}/health/ready', timeout=settings.healthcheck_timeout_seconds)"
CMD ["python", "-m", "src"]
-8
View File
@@ -1,8 +0,0 @@
# Teaching outline, not a runnable Dockerfile. Implement your own Dockerfile.
# 1. Choose a runtime/toolchain version and pin the base image tag/digest.
# 2. Copy dependency manifests first; install from the language lockfile.
# 3. Copy source and build. For compiled languages use a separate runtime stage.
# 4. Run the HTTP process as PID 1; listen on 0.0.0.0:8080.
# 5. Add non-root, signals and healthcheck according to the current rubric.
# 6. Pass runtime config/secrets at startup, never COPY .env or secret files.
# This file deliberately has no FROM/CMD: selecting/implementing them is the task.
+83
View File
@@ -0,0 +1,83 @@
# Как работает lab6 и что объяснять на защите
Автор: **Каменский Андрей, БПИ2301**.
## Что осталось от lab5
Картинка полностью передаётся API, проходит базовые проверки и сохраняется в MinIO
в staging/. В одной транзакции PostgreSQL создаются вложение queued и job/outbox.
API отвечает 202. Dispatcher отправляет job в отдельный Redis Streams broker.
Worker получает её, читает исходник из MinIO, создаёт thumbnail, crop и WebP,
сохраняет результат и фиксирует ready. Оригинал не перекодируется.
RabbitMQ не нужен, потому что Redis Streams даёт хранимый журнал, consumer groups,
pending deliveries и подтверждения. Redis очереди отделён от Redis сессий.
Данные очереди лежат в volume, включены AOF, appendfsync=always и noeviction.
| Механизм | Что делает у нас |
| --- | --- |
| XADD | Dispatcher добавляет ID задания и служебные поля в Stream |
| XREADGROUP | Worker получает очередную доставку в consumer group |
| Pending Entries List | Хранит доставки, которые consumer ещё не подтвердил |
| XAUTOCLAIM | Позволяет забрать зависшую неподтверждённую доставку |
| XACK | Подтверждает результат после DB COMMIT |
| XDEL | Удаляет уже подтверждённую запись, чтобы Stream не рос бесконечно |
| Outbox в PostgreSQL | Сохраняет намерение отправки, если broker недоступен |
| Lease и DB row lock | Защищают захват и восстанавливают работу после смерти worker |
Один consumer берёт по одной записи; WORKER_CONCURRENCY задаёт число consumers.
Повтор доставки нормален: используем стабильный job_id и детерминированные ключи
результатов. Ready-дубль подтверждается без нового resize. Временные ошибки
повторяются с backoff/jitter, максимум пять попыток на цикл; постоянные дают failed.
CLI позволяет явно повторить failed и пишет audit.
## Что нового в шестой
Теперь каждый HTTP-запрос получает trace. Внутри него есть spans — отдельные
участки работы: db.SELECT/INSERT/UPDATE, s3.PUT/GET, queue.publish, queue.consume,
image.transform. Span содержит начало, конец, родителя и результат.
После HTTP-ответа worker работает в другом процессе. Чтобы связь не потерялась,
мы сохраняем traceparent/tracestate в job, dispatcher извлекает их, создаёт
producer span и записывает новый carrier в очередь. Worker создаёт consumer span
с этим родителем. Retry сохраняет context попытки перед повторной публикацией.
Логи http.completed/job.started/job.completed/db.error — структурный JSON.
trace_id связывает их с трассой, span_id указывает конкретную операцию.
request_id связывает HTTP-ответ и соответствующее событие. В telemetry не передаются
Authorization, пароль, текст сообщения, изображение, SQL или filename.
| Компонент | Роль |
| --- | --- |
| OpenTelemetry SDK | Создаёт spans, counters/histograms и структурные события в API/worker |
| Collector | Принимает OTLP, ограничивает память, группирует и отправляет данные |
| Prometheus | Хранит временные ряды и вычисляет alert rules |
| Loki | Хранит логи, позволяет найти события по trace_id |
| Tempo | Хранит трассы и причинные связи между процессами |
| Grafana | Показывает данные из трёх источников; не заменяет эти хранилища |
## Почему метрики не содержат chat_id
Каждое новое значение label создаёт новый временной ряд. UUID чатов или вложений
дали бы неограниченный рост. Поэтому route — шаблон /chats/{chat_id}/messages,
а labels — method, route, status_class, outcome, job_type или queue.
Технические trace/span IDs находятся в логах/трассах, не в labels метрик.
## Что значит p95
95% измерений попали ниже этого времени. Мы собираем histogram buckets и
агрегируем buckets всех API-реплик, затем применяем histogram_quantile.
Усреднять p95 разных реплик или заменять p95 средней задержкой неправильно.
## Что показать
1. make test: весь бизнес-API работает с включённой телеметрией.
2. Dashboard в Grafana: свежие RPS/latency, очередь и worker.
3. tests/observability.py: один upload найден в Tempo вместе с producer/consumer,
DB/S3 и связанными логами API/worker.
4. Prometheus /alerts: правила и локальные firing/resolved.
5. RUNBOOK.md: как отличить остановленный worker от ожидания INSERT в БД.
Недоступная telemetry не участвует в /health/ready. SDK экспортирует в фоне,
очереди ограничены; Collector при длительном отказе backend теряет telemetry,
но не бизнес-задания. Эти ограничения описаны в отчёте.
+105
View File
@@ -0,0 +1,105 @@
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
## Откуда начинаем
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
## Что сделать
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
## Оценка «3»: работающий минимум
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
## Оценка «4»: уровень стажёра/джуна
Весь уровень 3 **и все** пункты ниже:
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
## Оценка «5»: исследование и доказанный результат
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
## Как начать и проверить
```sh
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
make check
# После реализации запустите свой сервер/стенд по REPORT.md.
# По умолчанию тест использует http://localhost:8080.
make test
```
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
```sh
# Compose-вариант после реализации:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь /health/ready; затем make test.
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
```
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
```
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
## Сценарий защиты
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
## Что должно быть в PR
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
## Вопросы на защите
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
- Почему chat_id в labels может исчерпать хранилище?
- Как очередь переносит причинную связь между процессами?
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
## Первичные материалы
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
+1 -1
View File
@@ -1,4 +1,4 @@
# Памятка преподавателю — лабораторная 6
# Памятка преподавателю — лабораторная 5
## Что подготовлено
+39 -13
View File
@@ -1,30 +1,56 @@
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
BASE_URL ?= http://localhost:8086
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
.PHONY: help up down migrate lint format check validate test load test-attachments test-idempotency test-api-regressions test-attachment-failover test-persistence test-failover test-lab5 test-lab5-faults verify-lab6 jobs-failed
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@echo "up: start; test: public lab6 smoke; test-observability: real signals; verify-lab6: quick acceptance"
up:
docker compose up -d --build --wait
down:
docker compose down
migrate:
docker compose run --rm migration
lint:
$(PYTHON) -m ruff check src
$(PYTHON) -m ruff format --check src
format:
$(PYTHON) -m ruff check --fix src
$(PYTHON) -m ruff format src
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-attachments:
$(PYTHON) tests/attachments.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-idempotency:
$(PYTHON) tests/idempotency.py --base-url "$(BASE_URL)"
test-api-regressions:
$(PYTHON) tests/api_regressions.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-attachment-failover:
$(PYTHON) tests/attachment_failover.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/restart.sh"; exit 2)
$(PYTHON) scripts/test-persistence.py --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/stop-one.sh"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-lab5:
$(PYTHON) tests/lab5.py --base-url "$(BASE_URL)"
test-lab5-faults:
@test -n "$(COMPOSE_PROJECT_NAME)" || (echo "Set COMPOSE_PROJECT_NAME to your isolated test project"; exit 2)
$(PYTHON) tests/lab5.py --faults --project "$(COMPOSE_PROJECT_NAME)" --base-url "$(BASE_URL)"
verify-lab6:
$(PYTHON) scripts/verify-lab6.py
jobs-failed:
docker compose exec -T dispatcher python -m src.pipeline.admin failed
.PHONY: test-observability
test-observability:
$(PYTHON) tests/observability.py --base-url "$(BASE_URL)"
+55 -86
View File
@@ -1,105 +1,74 @@
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
# Лабораторная 6: OpenTelemetry и Grafana
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO,
Redis Streams broker и worker. Добавлены реальные метрики, структурные логи,
сквозные трассы, готовый dashboard и локальные alerts.
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
[Задание](LAB6_TASK.md) · [Отчёт](REPORT.md) · [Объяснение](LAB6_GUIDE.md) ·
[Диагностика инцидентов](RUNBOOK.md) · [Контракт](contracts/observability.md)
## Откуда начинаем
## Запуск
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
## Что сделать
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
## Оценка «3»: работающий минимум
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
## Оценка «4»: уровень стажёра/джуна
Весь уровень 3 **и все** пункты ниже:
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
## Оценка «5»: исследование и доказанный результат
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
## Как начать и проверить
Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается
из закреплённого commit. Все компоненты входят в репозиторий.
```sh
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
make check
# После реализации запустите свой сервер/стенд по REPORT.md.
# По умолчанию тест использует http://localhost:8080.
make test
python3 scripts/setup-env.py # если .env ещё нет
docker compose up -d --build --wait
python3 tests/smoke.py --base-url http://localhost:8086
python3 tests/observability.py --base-url http://localhost:8086
```
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
- API: http://localhost:8086/docs
- Grafana: http://localhost:3000/d/messenger-lab6
- Prometheus / локальные alerts: http://localhost:9090/alerts
- Tempo API: http://localhost:3200
- Loki API: http://localhost:3100
```sh
# Compose-вариант после реализации:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь /health/ready; затем make test.
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
```
Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback.
Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env.
Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий
.env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/.
Остановить с сохранением данных: `docker compose down`.
Намеренно удалить все учебные данные текущего проекта: `docker compose down --volumes`.
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
## Что добавлено
API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana.
Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло»,
трасса — «на каком участке потрачено время или возникла ошибка».
W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и
восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной
причинной цепочке. При retry следующий producer продолжает consumer предыдущей
попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id.
Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready,
backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик
не содержат пользовательские ID, имена файлов, токены или сырые URL.
## Проверки
Быстрый тест запущенного стенда: `make test test-observability`.
Публичные tests skeleton lab6 и контракты не изменены.
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make check validate lint PYTHON=.venv/bin/python
make verify-lab6 PYTHON=.venv/bin/python
```
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде:
## Сценарий защиты
```sh
python3 tests/observability.py --base-url http://localhost:8086 --incidents
```
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
## Что должно быть в PR
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
## Вопросы на защите
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
- Почему chat_id в labels может исчерпать хранилище?
- Как очередь переносит причинную связь между процессами?
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
## Первичные материалы
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет
alerts firing/resolved и работу API при остановленном Tempo. Все воздействия
снимаются в finally. Результаты и реальные traces/logs находятся в evidence/.
По умолчанию verify-lab6 запускает только smoke и проверку сигналов.
+190 -24
View File
@@ -1,37 +1,203 @@
# Отчёт — лабораторная 6
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
Исследовательский трек на 5 не заявлен. Реализация продолжает собственную lab5.
Commit/PR в рамках этой работы не публиковались.
## Запуск из чистого clone
## Запуск и проверка
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Docker с Compose v2, Python 3.13 для полного набора инструментов. Все зависимости
поднимаются из этого репозитория. Предварительно установленный broker/БД/S3 не нужен.
## Архитектура и решения
```sh
python3 scripts/setup-env.py
docker compose config --quiet
docker compose up -d --build --wait
python3 tests/smoke.py --base-url http://localhost:8086
python3 tests/observability.py --base-url http://localhost:8086
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
setup-env.py создаёт .env со случайными паролями и правами 0600, не выводит секреты
и не перезаписывает существующий файл. Первый запуск скачивает образы и компилирует
закреплённый MinIO. Миграции до 010 и bootstrap bucket/политик выполняются автоматически.
010 добавляет traceparent/tracestate к durable jobs, прежние данные сохраняются.
## Доказательства критериев
Grafana: http://localhost:3000/d/messenger-lab6. Просмотр без входа разрешён только
на локальном loopback, права Viewer. Редактор: admin / GRAFANA_ADMIN_PASSWORD из .env.
API: http://localhost:8086/docs. Prometheus и alerts: http://localhost:9090/alerts.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Обычная остановка `docker compose down` сохраняет данные.
Намеренное удаление всех учебных данных выбранного проекта:
`docker compose down --volumes`. Эта команда для обычного запуска не нужна.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Быстрая приёмка: `make verify-lab6 PYTHON=.venv/bin/python` после установки
requirements.txt и requirements-dev.txt. Опциональная проверка инцидентов:
`python3 tests/observability.py --base-url http://localhost:8086 --incidents`.
Тест снимает воздействия в finally. Долгие эксперименты и исследование цены
наблюдаемости не проводились по выбранному уровню и запросу на короткие проверки.
## Эксперименты и отказы
## Компоненты и версии
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Компонент | Версия / роль |
| --- | --- |
| Python / FastAPI / Pillow | 3.13.0 / 0.141.1 / 13.0.0; приложение и изображения |
| PostgreSQL / Redis | 16.6 / 7.4.2; данные, сессии и отдельный Streams broker |
| HAProxy / MinIO | 3.0.12 / закреплённый commit RELEASE.2025-10-15T17-29-55Z |
| OpenTelemetry Python | API/SDK/OTLP HTTP 1.31.1, semconv 0.52b1 |
| Collector contrib | 0.123.0; OTLP receiver, memory_limiter, batch, exporters |
| Prometheus | 3.2.1; временные ряды и вычисление alert rules |
| Loki | 3.4.2; структурные логи через нативный OTLP endpoint |
| Tempo | 2.7.2; реальные traces API/worker |
| Grafana | 11.6.0; импортируемые datasource/dashboard provisioning |
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Схема: API/worker/dispatcher → OTLP HTTP/protobuf → Collector → Prometheus / Loki /
Tempo → Grafana. Collector не является долговременным хранилищем, Grafana — интерфейс.
Все backend имеют persistent volumes; Prometheus, Loki и Tempo настроены на 7 дней.
Конфигурация находится в infra/observability/. JSON dashboard содержит запросы и единицы.
## Ограничения и следующие шаги
Бизнес-API lab5 сохранён: пользователи, Bearer-сессии, два API, сообщения/пагинация,
идемпотентность, raw upload 202 queued, durable outbox, очередь, worker, оригинал и
thumbnail/crop/WebP, retry, failed и replay. Публичные tests/контракты skeleton lab6
не изменены. Дополнительный X-Trace-Id облегчает поиск своего запроса.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
## Инструментация и перенос контекста
Каждый HTTP-запрос получает настоящий SERVER span. После маршрутизации его имя и
http.route используют шаблон, а не URL с UUID. SQLAlchemy events создают CLIENT spans
DB-операций без SQL/parameters. S3 transport создаёт CLIENT spans без object key/URL.
Worker создаёт CONSUMER span и дочерний image.transform; dispatcher — PRODUCER.
При принятии файла текущий W3C context сохраняется вместе с job/outbox в PostgreSQL.
После перезапуска он не зависит от памяти API. Dispatcher извлекает его, создаёт
queue.publish и inject-ит traceparent/tracestate в envelope Redis Streams.
Worker extract-ит carrier и создаёт queue.consume с producer-родителем.
При retry текущий consumer context сохраняется в job; следующая публикация
продолжает ту же причинную цепь. Нет передачи тела картинки или произвольного URL.
Resource attributes: service.name=messenger-api / messenger-worker /
messenger-dispatcher, service.version=1.6.0, service.instance.id=случайный UUID
жизни процесса, deployment.environment.name=lab. API, worker и dispatcher имеют
разные service.name; две API-реплики различаются instance ID.
Отдельный безопасный event logger экспортирует JSON с timestamp, severity,
service_name, event, trace_id, span_id; HTTP содержит request_id. Не экспортируются
пароли, Authorization/session tokens, тела сообщений, изображения, filename,
SQL, parameters, S3 keys или signed URLs. В exceptions передаётся только класс
ошибки, без произвольного сообщения/stack trace. SDK exception auto-recording
для бизнес-spans отключён. Внутренние предупреждения SDK не пересылаются в Loki.
## Сигналы и единицы
| Контракт | Реальная Prometheus-метрика | Labels / единица |
| --- | --- | --- |
| HTTP requests | http_server_requests_total | method, route template, status_class; count |
| HTTP duration | http_server_duration_seconds_bucket / sum / count | те же labels; seconds |
| Jobs processed/failed | worker_jobs_total | job_type, outcome=ready/retry/failed; attempts count |
| Job processing duration | worker_job_duration_seconds_bucket | job_type/outcome; seconds |
| Acceptance → ready | attachment_ready_duration_seconds_bucket | job_type; seconds |
| Queue depth | queue_depth | queue; число queued + processing в PostgreSQL, включая outbox |
| Oldest job | queue_oldest_age_seconds | queue; seconds от принятия самой старой незавершённой job |
| DB pool | db_pool_used / db_pool_waiting | checked-out connections / ожидающие checkout |
| Worker saturation | worker_busy / worker_capacity | число занятых consumers / конфигурационная ёмкость |
| Process resources | process_memory_rss_bytes / process_cpu_time_seconds_total | текущий RSS bytes / CPU seconds |
Collector также добавляет ограниченные resource labels. Пользовательские IDs,
request/trace IDs, raw URL и filename не используются в labels метрик.
job_id тоже не label. Технические trace/span IDs находятся только в логах/трассах.
Histogram boundaries: 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10,
30, 60, 120 секунд и +Inf. p95 API, например:
```promql
histogram_quantile(0.95,
sum by (le) (rate(http_server_duration_seconds_bucket{route=~"/api/v1/.*"}[1m])))
```
Для p50/p99 меняется quantile. Buckets агрегируются по всем репликам ДО quantile.
Средние и средние перцентили реплик не используются. HTTP duration измеряется
до готовности ответа/его заголовков, а не длительности полного download stream.
Backlog age не является histogram processing duration.
## SLI, SLO и alerts
SLI = 1 − число 5xx / число всех бизнес-запросов за скользящие **5 минут**.
SLO: **не менее 99%** запросов без server error в таком окне. Бизнес-запросы —
route под /api/v1/, достигшие API; health исключены, 4xx не считаются server error.
Ошибки самого HAProxy до попадания в API этот SLI не измеряет — ограничение стенда.
При отсутствии запросов SLI не следует трактовать как доказанное выполнение SLO.
Prometheus rules в infra/observability/alerts.yaml, evaluation interval 2 секунды:
- ApiHighErrorRate: 5xx/all >5% в окне 30 секунд, минимум 3 запроса, for=5 секунд.
- QueueLagGrowing: oldest accepted job >15 секунд и depth>0, for=5 секунд.
Это короткие учебные диагностические пороги, а не multi-window burn-rate трека 5.
Отправка во внешние каналы отсутствует, проверяется локальное firing/resolved.
Правила содержат описание и ссылку на RUNBOOK.md. Prometheus ALERTS хранит историю
состояний; после восстановления правило становится inactive (resolved).
## Два инцидента и диагностика
**1. Worker остановлен.** API принимает файл и сообщение с queued-вложением.
queue_depth/oldest растут, QueueLagGrowing переходит в firing. По сохранённым
наблюдениям: публикация есть, свежего consumer/completion нет, HTTP не деградировал.
Причина локализуется в фоновой обработке. После запуска worker тот же ID доходит
до ready, backlog/age возвращаются в 0, alert resolved.
Дополнительная краткая пауза S3 демонстрирует retry: consumer получает временный
отказ, следующая попытка сохраняет trace ID upload. После восстановления S3
видны несколько consumer spans в одной трассе и готовый результат.
**2. INSERT блокирован PostgreSQL.** Учебная SHARE-блокировка messages задерживает
запись, но совместима с SELECT readiness. Запросы получают ограниченный 503,
появляются ApiHighErrorRate firing, длинные ERROR db.INSERT spans и db.error logs.
Причина — ожидание DB-операции, а не image resize или просто медленный HTTP handler.
После снятия блокировки запись снова даёт 201; по выходу ошибок из окна alert resolved.
Команды, подтверждения и trace/log evidence сохраняет tests/observability.py.
Сценарий не требует чтения секретов или ручного поиска по Docker stdout.
## Ограничение буферов и отказ backend
В SDK spans/logs передаются background processors: queue=256, batch=32,
schedule=500 ms, HTTP timeout=1 s. Метрики экспортируются раз в 2 s,
export timeout=1.5 s; агрегируются ограниченные наборы атрибутов. Нет sync export
в обработчике запроса. При переполнении SDK теряет telemetry, а не блокирует API.
Collector: memory_limiter 192 MiB, spike 32 MiB при container limit 256 MiB;
batch до 256 записей, timeout 1 s. Для Loki/Tempo sending_queue=64 batch,
2 consumers, HTTP timeout 2 s, retry до 10 s с интервалом 1–3 s. Очереди in-memory:
при длительном отказе/restart возможны потери, они не называются durable telemetry.
Метрики Collector фиксируют failures/queue. При остановке Tempo бизнес-сообщения
и новый attachment продолжают работать, а exporter показывает ошибки. Это
проверка ограниченного сценария и конфигурационных caps; длительного исследования
роста RAM под многодневной нагрузкой не проводилось. Бизнес-readiness не зависит
от Collector, Grafana, Prometheus, Loki или Tempo.
## Доказательства и ограничения
- evidence/lab6-checks.txt — offline/OpenAPI/lint и публичный smoke.
- evidence/lab6-signals.txt — короткая проверка трёх сигналов и dashboard queries.
- evidence/lab6-trace.json, lab6-correlated-logs.json — реальные связанные данные.
- evidence/lab6-incidents.txt, lab6-observability-summary.json — DB/backend проверки;
lab6-worker-incident.json — ранее проверенные остановка worker и retry.
- evidence/lab6-retry-trace.json — цепочка с повтором.
- evidence/lab6-db-incident-trace.json, lab6-db-incident-logs.json — диагностика DB.
Стек однокопийный учебный, backend и host — точки отказа; нет HA/backups.
Sampling по умолчанию сохраняет все созданные traces; нагрузочных выводов о цене
такого режима нет. worker.capacity — конфигурация, не heartbeat; последнее значение
может временно сохраняться после остановки процесса. Loss telemetry при отказах
допускается и наблюдается, не обещается exactly-once доставка telemetry.
## Источники и помощь
Задание/контракты взяты из предоставленного skeleton lab6.
- https://opentelemetry.io/docs/collector/configuration/
- https://opentelemetry.io/docs/collector/internal-telemetry/
- https://opentelemetry.io/docs/concepts/context-propagation/
- https://redis.io/docs/latest/develop/data-types/streams/
- https://grafana.com/docs/loki/latest/send-data/otel/
- https://prometheus.io/docs/practices/histograms/
+46
View File
@@ -0,0 +1,46 @@
# Диагностика lab6
Автор: Каменский Андрей, БПИ2301.
## QueueLagGrowing
Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд
не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox.
1. Grafana: проверить queue depth и oldest age. Рост обоих при работающем API
означает накопление фоновой работы, а не медленный HTTP upload.
2. Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих
consumer events при наличии публикаций указывает на worker/доставку.
3. Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует,
обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3.
4. Проверить процесс `docker compose ps worker`, восстановить `docker compose start worker`.
5. Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved.
worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее
значение не доказывает, что процесс всё ещё жив.
## ApiHighErrorRate
Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса,
условие сохраняется 5 секунд. Health и 4xx в numerator не входят.
1. Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU.
2. Loki: найти http.completed со status=503 и его trace_id; найти db.error.
3. Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции.
Это отличается от длительного image.transform в worker или HTTP без DB-задержки.
4. Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД.
5. Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд
и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра.
## Backend telemetry недоступен
Остановка Tempo не должна ломать сообщения или создание вариантов изображения.
Collector продолжает metrics/logs, в traces exporter растут failures/queue.
Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании
данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения.
Проверить Collector self metrics на localhost:8889/metrics:
`otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`,
`otelcol_exporter_send_failed_spans_total` и `otelcol_exporter_enqueue_failed_spans_total`.
Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест.
Восстановить `docker compose start tempo`, выполнить свежий запрос и найти новый trace.
+3
View File
@@ -0,0 +1,3 @@
[alembic]
script_location = %(here)s/migrations
prepend_sys_path = .
-17
View File
@@ -1,17 +0,0 @@
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
# Service names below are logical roles, not imposed container names.
x-lab-number: 6
x-required-roles:
- api
- postgres
- load_balancer
- s3
- broker
- worker
- otel_collector
- telemetry_storage
- grafana
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
services: {}
+367
View File
@@ -0,0 +1,367 @@
x-logging: &logging
driver: json-file
options:
max-size: "10m"
max-file: "3"
x-app: &app
build: .
image: ${APP_IMAGE:-mtusi-messenger:lab6}
env_file: ${ENV_FILE:-.env}
logging: *logging
services:
minio:
build: ./infra/minio
image: ${MINIO_IMAGE:-mtusi-minio:RELEASE.2025-10-15T17-29-55Z}
logging: *logging
mem_limit: 512m
cpus: 1.0
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
MINIO_BROWSER: "off"
MINIO_API_STALE_UPLOADS_EXPIRY: "24h"
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVAL: "1h"
volumes:
- minio_data:/data
healthcheck:
test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9000/minio/health/live"]
interval: 2s
timeout: 3s
retries: 60
start_period: 10s
s3-bootstrap:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab6}-s3-bootstrap
command: ["python", "-m", "src.core.storage_bootstrap"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-messenger}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-local-messenger-s3-password}
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
DATABASE_URL: postgresql://unused:unused@postgres/unused
REDIS_URL: redis://redis:6379/0
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
depends_on:
minio:
condition: service_healthy
healthcheck:
disable: true
postgres:
logging: *logging
image: postgres:16.6-bookworm
cpus: ${POSTGRES_CPUS:-1.0}
mem_limit: 512m
environment:
POSTGRES_DB: ${POSTGRES_DB:-messenger}
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
interval: 2s
timeout: 3s
retries: 30
redis:
logging: *logging
image: redis:7.4.2-bookworm
cpus: 0.25
mem_limit: 128m
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "64mb", "--maxmemory-policy", "noeviction"]
volumes:
- redis_data:/data
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 2s
timeout: 3s
retries: 30
migration:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab6}-migration
command: ["alembic", "upgrade", "head"]
cpus: 0.5
mem_limit: 256m
environment:
REDIS_URL: &redis_url redis://redis:6379/0
DATABASE_URL: &database_url postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?Задай POSTGRES_PASSWORD в .env}@postgres:5432/${POSTGRES_DB:-messenger}
depends_on:
postgres:
condition: service_healthy
healthcheck:
disable: true
api:
<<: *app
cpus: ${API_CPUS:-0.5}
mem_limit: ${API_MEMORY:-512m}
stop_grace_period: 15s
deploy:
replicas: ${API_REPLICAS:-2}
read_only: true
tmpfs:
- /tmp:rw,noexec,nosuid,size=64m
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment:
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID:-messenger-api}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY:-local-messenger-api-password}
S3_WORKER_ACCESS_KEY_ID: ""
S3_WORKER_SECRET_ACCESS_KEY: ""
# Do not inherit privileged S3 credentials from env_file into API containers.
MINIO_ROOT_USER: ""
MINIO_ROOT_PASSWORD: ""
S3_RECONCILE_ACCESS_KEY_ID: ""
S3_RECONCILE_SECRET_ACCESS_KEY: ""
OTEL_ENABLED: ${OTEL_ENABLED:-true}
OTEL_SERVICE_NAME: messenger-api
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4318
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-1}
APP_HOST: 0.0.0.0
APP_PORT: 8080
DATABASE_URL: *database_url
REDIS_URL: *redis_url
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
LOG_LEVEL: ${LOG_LEVEL:-INFO}
APP_WORKERS: 1
DATABASE_POOL_SIZE: ${DATABASE_POOL_SIZE:-10}
DATABASE_POOL_TIMEOUT_SECONDS: 2
DATABASE_CONNECT_TIMEOUT_SECONDS: 1
DATABASE_COMMAND_TIMEOUT_SECONDS: 3
DATABASE_STATEMENT_TIMEOUT_MS: 2500
SHUTDOWN_TIMEOUT_SECONDS: 10
HTTP_REQUEST_TIMEOUT_SECONDS: ${HTTP_REQUEST_TIMEOUT_SECONDS:-5}
expose: ["8080"]
depends_on:
s3-bootstrap:
condition: service_completed_successfully
migration:
condition: service_completed_successfully
redis:
condition: service_healthy
healthcheck:
interval: 2s
timeout: 3s
retries: 30
start_period: 10s
reconciler:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab6}-reconciler
command: ["python", "-m", "src.maintenance.reconcile", "--apply", "--interval", "300"]
mem_limit: 256m
cpus: 0.5
read_only: true
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment:
DATABASE_URL: *database_url
REDIS_URL: *redis_url
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_RECONCILE_ACCESS_KEY_ID: ${S3_RECONCILE_ACCESS_KEY_ID:-messenger-reconciler}
S3_RECONCILE_SECRET_ACCESS_KEY: ${S3_RECONCILE_SECRET_ACCESS_KEY:-local-messenger-reconciler-password}
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-300}
MINIO_ROOT_USER: ""
MINIO_ROOT_PASSWORD: ""
S3_ACCESS_KEY_ID: ""
S3_SECRET_ACCESS_KEY: ""
depends_on:
migration:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
interval: 10s
timeout: 3s
retries: 3
start_period: 2s
broker:
image: redis:7.4.2-bookworm
logging: *logging
mem_limit: 256m
cpus: 0.25
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory", "192mb", "--maxmemory-policy", "noeviction"]
volumes:
- broker_data:/data
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 2s
timeout: 3s
retries: 30
worker:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab6}-worker
command: ["python", "-m", "src.pipeline.worker"]
init: true
mem_limit: ${WORKER_MEMORY:-1g}
cpus: ${WORKER_CPUS:-1.0}
stop_grace_period: 45s
read_only: true
tmpfs: ["/tmp:rw,noexec,nosuid,size=128m"]
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment: &pipeline_env
DATABASE_URL: *database_url
REDIS_URL: *redis_url
BROKER_URL: redis://broker:6379/0
S3_ENDPOINT: http://minio:9000
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_WORKER_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY_ID:-messenger-worker}
S3_WORKER_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_ACCESS_KEY:-local-messenger-worker-password}
MINIO_ROOT_USER: ""
MINIO_ROOT_PASSWORD: ""
S3_RECONCILE_ACCESS_KEY_ID: ""
S3_RECONCILE_SECRET_ACCESS_KEY: ""
S3_ACCESS_KEY_ID: ""
S3_SECRET_ACCESS_KEY: ""
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1}
WORKER_MEMORY_MB: ${WORKER_MEMORY_MB:-768}
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-120}
JOB_RETRY_BASE_SECONDS: ${JOB_RETRY_BASE_SECONDS:-2}
JOB_RETRY_CAP_SECONDS: ${JOB_RETRY_CAP_SECONDS:-60}
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-604800}
OTEL_ENABLED: ${OTEL_ENABLED:-true}
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4318
PIPELINE_FAULT_INJECTION: ${PIPELINE_FAULT_INJECTION:-false}
depends_on:
migration:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
broker:
condition: service_healthy
healthcheck:
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
interval: 5s
timeout: 3s
retries: 3
dispatcher:
<<: *app
image: ${APP_IMAGE:-mtusi-messenger:lab6}-dispatcher
command: ["python", "-m", "src.pipeline.dispatcher"]
init: true
mem_limit: 256m
cpus: 0.25
read_only: true
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
environment: *pipeline_env
depends_on:
migration:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
broker:
condition: service_healthy
healthcheck:
test: ["CMD", "python", "-c", "import os; os.kill(1, 0)"]
interval: 5s
timeout: 3s
retries: 3
otel-collector:
image: otel/opentelemetry-collector-contrib:0.123.0
command: ["--config=/etc/otelcol/config.yaml"]
mem_limit: 256m
cpus: 0.5
volumes:
- ./infra/observability/collector.yaml:/etc/otelcol/config.yaml:ro
ports:
- "127.0.0.1:${COLLECTOR_METRICS_PORT:-8889}:8888"
prometheus:
image: prom/prometheus:v3.2.1
mem_limit: 512m
cpus: 0.5
command: ["--config.file=/etc/prometheus/prometheus.yaml", "--storage.tsdb.retention.time=7d"]
volumes:
- ./infra/observability/prometheus.yaml:/etc/prometheus/prometheus.yaml:ro
- ./infra/observability/alerts.yaml:/etc/prometheus/alerts.yaml:ro
- prometheus_data:/prometheus
ports: ["127.0.0.1:${PROMETHEUS_PORT:-9090}:9090"]
loki:
image: grafana/loki:3.4.2
mem_limit: 384m
cpus: 0.5
command: ["-config.file=/etc/loki/config.yaml"]
volumes:
- ./infra/observability/loki.yaml:/etc/loki/config.yaml:ro
- loki_data:/loki
ports: ["127.0.0.1:${LOKI_PORT:-3100}:3100"]
tempo:
image: grafana/tempo:2.7.2
user: "0:0"
mem_limit: 384m
cpus: 0.5
command: ["-config.file=/etc/tempo/config.yaml"]
volumes:
- ./infra/observability/tempo.yaml:/etc/tempo/config.yaml:ro
- tempo_data:/var/tempo
ports: ["127.0.0.1:${TEMPO_PORT:-3200}:3200"]
grafana:
image: grafana/grafana:11.6.0
mem_limit: 384m
cpus: 0.5
environment:
GF_AUTH_ANONYMOUS_ENABLED: "true"
GF_AUTH_ANONYMOUS_ORG_ROLE: Viewer
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:?Set GRAFANA_ADMIN_PASSWORD in .env}
GF_USERS_ALLOW_SIGN_UP: "false"
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_DASHBOARDS_DEFAULT_HOME_DASHBOARD_PATH: /var/lib/grafana/dashboards/messenger.json
volumes:
- grafana_data:/var/lib/grafana
- ./infra/observability/grafana/provisioning:/etc/grafana/provisioning:ro
- ./infra/observability/grafana/dashboards:/var/lib/grafana/dashboards:ro
ports: ["127.0.0.1:${GRAFANA_PORT:-3000}:3000"]
lb:
image: haproxy:3.0.12-alpine
logging: *logging
cpus: 0.5
mem_limit: 128m
read_only: true
tmpfs: ["/tmp:rw,noexec,nosuid,size=4m"]
security_opt: ["no-new-privileges:true"]
ports:
- "127.0.0.1:${APP_PORT:-8080}:8080"
volumes:
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
depends_on:
api:
condition: service_healthy
stop_signal: SIGUSR1
stop_grace_period: 15s
volumes:
redis_data:
postgres_data:
minio_data:
broker_data:
prometheus_data:
loki_data:
tempo_data:
grafana_data:
+57
View File
@@ -0,0 +1,57 @@
# Публичные проверки
Python **3.9+**, стандартная библиотека. Сервер уже должен быть запущен; проверки не создают готовое приложение и сами не управляют Docker. `make check` можно выполнить на исходном skeleton, `make test` — только после реализации API. Полная OpenAPI-валидация отдельно: `make validate` после установки `requirements-dev.txt` в venv.
```sh
make check
make test BASE_URL=http://localhost:8080
# без make:
python3 tests/smoke.py --base-url http://localhost:8080
```
`smoke.py` выполняет **один сквозной сценарий**, автоматически выбирая профиль из `lab.json`: health → три пользователя → вход с lab2 → чат → сообщения → пагинация → ошибки доступа → идемпотентность с lab3 → файл с lab4 → thumbnail с lab5 → logout. Он проверяет JSON по используемому подмножеству схемы, коды/headers, Unicode, SHA-256 оригинала и фактические JPEG-размеры thumbnail. Это публичный минимум, не полный fuzz/security/load suite.
Каждый запуск создаёт уникальных синтетических пользователей, чат и сообщения. Данные автоматически не удаляются: в API курса нет delete. Для чистого повтора используйте отдельный тестовый стенд/volume и осознанный сброс своего окружения. Session tokens хранятся только в памяти процесса и не печатаются/не сохраняются.
## Проверка сохранности, lab2+
Скопируйте `scripts/restart.example.sh` в `scripts/restart.sh`, реализуйте перезапуск **API и всех используемых хранилищ** с сохранением volumes и задайте executable bit. Скрипт может опираться на ваш compose.yaml или stack.yaml. Он не должен удалять volumes, повторно seed-ить БД или менять тестовые данные.
```sh
chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
Тест создаёт данные и сессию, запускает указанный файл без shell interpolation, ожидает готовности и проверяет те же данные **с прежним токеном**. В lab4+ также проверяется исходный файл. Hook может работать до 90 секунд, готовность затем ожидается до 90 секунд. TTL сессии для этого теста — минимум 300 секунд. Успех не доказывает, что hook действительно перезапустил БД: приложите команды/состояния контейнеров до и после.
## Проверка отказа, lab3+
Реализуйте `scripts/stop-one.sh` на основе примера. `TARGET_INSTANCE_ID` в окружении содержит alias обслужившей тест API-реплики: сопоставьте его своему контейнеру/Swarm task и остановите именно его. Скрипт должен быстро вернуть 0 и **оставить эту реплику остановленной**; восстановление выполняйте отдельно. Swarm может создать новую task с другим ID — это допустимо.
```sh
chmod +x scripts/stop-one.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
Перед отказом тест наблюдает ≥2 API-реплики; 15 секунд отправляет сообщения параллельно выполнению hook, повторяет неопределённый POST с тем же ключом, проверяет восстановление записи за ≤10 секунд, отсутствие остановленной реплики в последних ответах, сохранность подтверждённых сообщений и отсутствие дублей. Ошибки переходного периода учитываются. Затем восстановите реплику и повторите для другой. Скрипт — проверка одного отказа API, не гарантия HA БД/LB/host. Вывод hook скрыт, чтобы не утекли секреты; отлаживайте его отдельно с безопасным выводом.
## Нагрузка
```sh
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
```
Это простой **closed-loop** генератор POST сообщений; он ограничен производительностью клиента и страдает coordinated omission. Он выдаёт successful RPS, ошибки и p50/p95/p99 **только успешных запросов**. Во время нагрузки нет прозрачных retry; timeout мог скрыть совершённую запись, поэтому это throughput HTTP-подтверждений, не точный счётчик COMMIT. Изменение размера истории входит в профиль. Для серьёзного исследования используйте k6/Locust/wrk либо свой обоснованный генератор, а не выводите максимальную пропускную способность из одного запуска этого скрипта. Для нагрузки pipeline изображений нужен отдельный сценарий студента.
## HTTPS, lab7
```sh
make test BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
make test-security BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
```
Все скрипты принимают `--ca-file`/`CA_FILE` и проверяют серверный сертификат и hostname. `--insecure` отсутствует. TLS-тест сначала проверяет рабочее доверенное соединение, затем намеренно пустой trust store и именно ошибку проверки сертификата; network timeout не засчитывается как правильный отказ. **Внутреннее mTLS, identity/authorization, OpenBao policy и hardening проверяют отдельные тесты студента** по trust matrix. Клиентский сертификат внешнему учебному REST-клиенту не требуется: mTLS находится на внутренних связях.
## Что ещё остаётся доказать
Smoke не доказывает persistence, число реальных контейнеров, durability брокера, outbox, отсутствие утечек/уязвимостей, полноту telemetry или выполнение уровня 4/5. Конкурентные/нагрузочные/негативные проверки своего решения добавляйте отдельно. Список защиты текущей лабы находится в README.md. Проверки рассчитаны на localhost-стенд, не на production.
+217
View File
@@ -0,0 +1,217 @@
"""HTTP helpers for public black-box tests; Python 3.9+, standard library only."""
import base64
import datetime as dt
import hashlib
import json
import os
from pathlib import Path
import re
import ssl
import time
import urllib.error
import urllib.request
import uuid
ROOT = Path(__file__).resolve().parents[1]
LAB = json.loads((ROOT / 'lab.json').read_text())['number']
SPEC = json.loads((ROOT / 'contracts/openapi.json').read_text())
class Failure(AssertionError):
pass
def check(condition, message):
if not condition:
raise Failure(message)
def timestamp(value):
check(isinstance(value, str) and value.endswith('Z'), 'timestamp must be UTC ending in Z')
try:
return dt.datetime.fromisoformat(value[:-1] + '+00:00')
except ValueError as exc:
raise Failure('invalid RFC3339 timestamp') from exc
def validate(value, schema, where='response'):
"""Validate the JSON Schema subset used by the supplied contract, not arbitrary OpenAPI."""
if '$ref' in schema:
target = SPEC
for part in schema['$ref'].split('/')[1:]:
target = target[part]
return validate(value, target, where)
kinds = schema.get('type', [])
if isinstance(kinds, str):
kinds = [kinds]
matches = {'null':value is None, 'boolean':isinstance(value,bool), 'integer':isinstance(value,int) and not isinstance(value,bool), 'number':isinstance(value,(int,float)) and not isinstance(value,bool), 'string':isinstance(value,str), 'array':isinstance(value,list), 'object':isinstance(value,dict)}
if kinds:
check(any(matches.get(k,False) for k in kinds), where + ': incorrect type')
if 'enum' in schema:
check(value in schema['enum'], where + ': invalid enum')
if 'const' in schema:
check(value == schema['const'], where + ': invalid const')
if isinstance(value,dict):
props = schema.get('properties',{})
check(all(k in value for k in schema.get('required',[])), where + ': missing required fields')
if schema.get('additionalProperties') is False:
check(not set(value).difference(props), where + ': unexpected fields')
for key, sub in props.items():
if key in value:
validate(value[key], sub, where + '.' + key)
if isinstance(value,list):
check(len(value) >= schema.get('minItems',0), where + ': too few items')
check(len(value) <= schema.get('maxItems',float('inf')), where + ': too many items')
if schema.get('uniqueItems'):
encoded = [json.dumps(x,sort_keys=True) for x in value]
check(len(encoded)==len(set(encoded)), where + ': duplicate items')
if 'items' in schema:
for item in value:
validate(item, schema['items'], where + '[]')
if isinstance(value,str):
check(len(value) >= schema.get('minLength',0), where + ': too short')
check(len(value) <= schema.get('maxLength',float('inf')), where + ': too long')
if 'pattern' in schema:
check(re.search(schema['pattern'], value) is not None, where + ': pattern mismatch')
if schema.get('format') == 'uuid':
try:
uuid.UUID(value)
except ValueError as exc:
raise Failure(where + ': invalid UUID') from exc
if schema.get('format') == 'date-time':
timestamp(value)
if isinstance(value,(int,float)) and not isinstance(value,bool):
check(value >= schema.get('minimum',-float('inf')), where + ': below minimum')
check(value <= schema.get('maximum',float('inf')), where + ': above maximum')
if 'anyOf' in schema:
for alternative in schema['anyOf']:
try:
validate(value, alternative, where)
break
except Failure:
pass
else:
raise Failure(where + ': no anyOf branch matches')
def shape(value, name):
validate(value, SPEC['components']['schemas'][name])
return value
class NoRedirect(urllib.request.HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
class Client:
def __init__(self, base_url=None, ca_file=None, timeout=10):
self.base = (base_url or os.environ.get('BASE_URL') or ('https://localhost:8443' if LAB==7 else 'http://localhost:8080')).rstrip('/')
check(self.base.startswith(('http://','https://')), 'BASE_URL must be HTTP(S)')
check(LAB != 7 or self.base.startswith('https://'), 'lab7 requires HTTPS')
self.timeout = timeout
context = ssl.create_default_context(cafile=ca_file or os.environ.get('CA_FILE') or None)
self.opener = urllib.request.build_opener(NoRedirect(), urllib.request.HTTPSHandler(context=context))
def call(self, method, path, expected=200, body=None, actor=None, headers=None, raw=None, schema=None):
h = {'Accept':'application/json'}
if actor:
h['X-User-Id' if LAB==1 else 'Authorization'] = actor['id'] if LAB==1 else 'Bearer ' + actor['token']
if body is not None:
raw = json.dumps(body,ensure_ascii=False).encode('utf-8')
h['Content-Type'] = 'application/json'
h.update(headers or {})
req = urllib.request.Request(self.base + path, data=raw, headers=h, method=method)
start = time.monotonic()
try:
response = self.opener.open(req, timeout=self.timeout)
except urllib.error.HTTPError as error:
response = error
except (urllib.error.URLError,TimeoutError,OSError) as exc:
# Do not print URL query, headers, request body, or credentials.
raise Failure(method + ' ' + path.split('?')[0] + ': connection/TLS failure (' + type(exc).__name__ + ')') from None
with response:
status = response.code
rh = response.headers
data = response.read(16*1024*1024 + 1)
check(len(data) <= 16*1024*1024, 'response exceeds test safety limit')
allowed = [expected] if isinstance(expected,int) else expected
check(status in allowed, method + ' ' + path.split('?')[0] + ': expected ' + str(allowed) + ', received ' + str(status))
check(bool(rh.get('X-Request-Id')), 'missing X-Request-Id')
if LAB>=3:
check(bool(rh.get('X-Instance-Id')), 'missing X-Instance-Id')
payload = None
if schema or status>=400:
check(rh.get_content_type()=='application/json', 'expected application/json')
try:
payload = json.loads(data)
except (ValueError,UnicodeError):
raise Failure('invalid response JSON') from None
shape(payload, 'Error' if status>=400 else schema)
if status>=400:
check(payload['error']['request_id']==rh.get('X-Request-Id'),'error request_id differs from header')
if status==401 and LAB>=2:
scheme = 'Basic' if path=='/api/v1/auth/sessions' else 'Bearer'
check(rh.get('WWW-Authenticate','').lower().startswith(scheme.lower()), 'incorrect WWW-Authenticate challenge')
if status==204:
check(not data, '204 must not contain body')
return {'status':status,'headers':rh,'json':payload,'bytes':data,'elapsed':time.monotonic()-start}
def user(self, label):
username = 'u_' + label + '_' + uuid.uuid4().hex[:12]
password = 'T3st-' + uuid.uuid4().hex
body = {'username':username,'display_name':'Студент ' + label}
if LAB>=2:
body['password'] = password
user = self.call('POST','/api/v1/users',201,body=body,schema='User')['json']
check(user['username']==username,'username changed')
actor = {'id':user['id'],'user':user,'registration':body}
if LAB>=2:
credential = base64.b64encode((username+':'+password).encode()).decode()
session = self.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')['json']
check(session['user']==user,'session user mismatch')
check(timestamp(session['expires_at']) > dt.datetime.now(dt.timezone.utc),'session already expired')
actor['token'] = session['token']
return actor
def bootstrap(self):
self.call('GET','/health/live',schema='Health')
self.call('GET','/health/ready',schema='Health')
alice, bob, eve = (self.user(label) for label in ('alice','bob','eve'))
chat = self.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Контрактный тест','member_ids':[alice['id'],bob['id']]},schema='Chat')['json']
check(set(chat['member_ids'])=={alice['id'],bob['id']},'chat member mismatch')
return alice,bob,eve,chat
def message(self, actor, chat, text, key=None, attachments=None):
body = {'text':text}
if attachments is not None:
body['attachment_ids'] = attachments
headers = {'Idempotency-Key':key or uuid.uuid4().hex} if LAB>=3 else {}
return self.call('POST','/api/v1/chats/'+chat['id']+'/messages',201,actor=actor,body=body,headers=headers,schema='Message')
def attachment(self, actor, chat):
content = (ROOT / 'tests/fixtures/sample.png').read_bytes()
att = self.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',201 if LAB==4 else 202,actor=actor,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')['json']
check(att['status']==('ready' if LAB==4 else 'queued'),'incorrect upload status')
check(att['chat_id']==chat['id'] and att['owner_id']==actor['id'],'attachment ownership mismatch')
check(att['sha256']==hashlib.sha256(content).hexdigest() and att['size_bytes']==len(content),'original checksum/size mismatch')
return att,content
def wait_ready(self, actor, att, wait_seconds=60):
deadline = time.monotonic()+wait_seconds
while time.monotonic()<deadline:
att = self.call('GET','/api/v1/attachments/'+att['id'],actor=actor,schema='Attachment')['json']
check(att['status']!='failed','attachment reached failed')
if att['status']=='ready':
return att
time.sleep(0.3)
raise Failure('attachment did not become ready within test deadline')
def arguments(description, configure=None):
import argparse
p = argparse.ArgumentParser(description=description)
p.add_argument('--base-url', default=None)
p.add_argument('--ca-file', default=None)
if configure:
configure(p)
return p.parse_args()
def run(main):
try:
main()
except (Failure,ValueError,OSError) as exc:
print('FAIL:', str(exc))
raise SystemExit(1)
+9
View File
@@ -0,0 +1,9 @@
# Синтетический fixture
sample.png: RGB PNG 320×200, создан программно специально для курса, без персональных данных и EXIF. Можно свободно использовать и менять в собственных тестах; исходный публичный fixture сохраните.
- Размер: 111817 байт.
- SHA-256: `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75`.
- Обязательный thumbnail с lab5: JPEG 256×160.
Проверяющий читает SHA-256 оригинала, metadata вариантов и реальные размеры JPEG, а не только JSON-обещание сервера. Повреждённые, oversized и decompression-bomb fixtures для собственного negative suite создавайте отдельно; не храните огромные файлы в Git.
Binary file not shown.

After

Width:  |  Height:  |  Size: 109 KiB

+26
View File
@@ -0,0 +1,26 @@
"""Read JPEG SOF dimensions without external libraries; not a full image decoder."""
from client import Failure, check
def jpeg_size(data):
check(data[:2]==b'\xff\xd8','thumbnail is not JPEG')
i = 2
sof = {0xc0,0xc1,0xc2,0xc3,0xc5,0xc6,0xc7,0xc9,0xca,0xcb,0xcd,0xce,0xcf}
while i < len(data):
check(data[i]==0xff,'invalid JPEG marker')
while i<len(data) and data[i]==0xff:
i += 1
check(i<len(data),'truncated JPEG marker')
marker = data[i]
i += 1
if marker in {0xd9,0xda}:
break
if marker in {0x01,0xd8} or 0xd0<=marker<=0xd7:
continue
check(i+2<=len(data),'truncated JPEG segment')
length = int.from_bytes(data[i:i+2],'big')
check(length>=2 and i+length<=len(data),'invalid JPEG segment length')
if marker in sof:
check(length>=8,'invalid JPEG SOF')
return (int.from_bytes(data[i+5:i+7],'big'),int.from_bytes(data[i+3:i+5],'big'))
i += length
raise Failure('JPEG dimensions not found')
+58
View File
@@ -0,0 +1,58 @@
#!/usr/bin/env python3
"""Small closed-loop HTTP write benchmark; not an open-loop capacity proof."""
from concurrent.futures import ThreadPoolExecutor
import json
import math
from pathlib import Path
import threading
import time
from client import Client, Failure, LAB, arguments, check, run
def main():
def configure(p):
p.add_argument('--duration',type=float,default=30)
p.add_argument('--concurrency',type=int,default=4)
p.add_argument('--output',default=None,help='Optional JSON metrics, no session tokens')
args = arguments('Synthetic POST message load, closed loop; creates users/messages',configure)
check(1<=args.duration<=3600,'duration must be 1..3600 seconds')
check(1<=args.concurrency<=128,'concurrency must be 1..128')
c = Client(args.base_url,args.ca_file)
alice,bob,eve,chat = c.bootstrap()
barrier = threading.Barrier(args.concurrency)
def worker(worker_id):
local = Client(args.base_url,args.ca_file,timeout=5)
barrier.wait()
deadline = time.monotonic()+args.duration
latencies,errors = [],0
index = 0
while time.monotonic()<deadline:
start = time.monotonic()
try:
local.message(alice,chat,'load-%s-%s' % (worker_id,index))
latencies.append(time.monotonic()-start)
except Failure:
errors += 1
index += 1
return latencies,errors
started = time.monotonic()
with ThreadPoolExecutor(max_workers=args.concurrency) as pool:
results = list(pool.map(worker,range(args.concurrency)))
elapsed = time.monotonic()-started
latencies = sorted(x for values,_ in results for x in values)
errors = sum(n for _,n in results)
total = len(latencies)+errors
def percentile(p):
return round(1000*latencies[max(0,math.ceil(p*len(latencies))-1)],3) if latencies else None
report = {'lab':LAB,'workload':'closed-loop POST messages; no automatic retries','requested_duration_seconds':args.duration,'elapsed_seconds':round(elapsed,3),'concurrency':args.concurrency,'successful_requests':len(latencies),'failed_requests':errors,'error_ratio':round(errors/total,6) if total else None,'successful_rps':round(len(latencies)/elapsed,3),'successful_latency_ms':{'p50':percentile(.50),'p95':percentile(.95),'p99':percentile(.99)},'note':'Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.'}
text = json.dumps(report,ensure_ascii=False,indent=2)
if args.output:
dest = Path(args.output)
dest.parent.mkdir(parents=True,exist_ok=True)
dest.write_text(text+'\n')
print(text)
check(bool(latencies),'no successful writes')
# Errors are reported, not treated as a universal load-test threshold.
if __name__=='__main__':
run(main)
+129
View File
@@ -0,0 +1,129 @@
#!/usr/bin/env python3
"""Explicit operator-authored hook; tokens remain in memory, volumes are never removed by this test."""
import json
import os
from pathlib import Path
import subprocess
import time
import uuid
from urllib.parse import quote
from client import Client, Failure, LAB, arguments, check, run
def history(c, actor, chat):
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100'
result = []
seen = set()
for _ in range(1000):
page = c.call('GET',path,actor=actor,schema='MessagePage')['json']
result.extend(page['items'])
cursor = page['next_cursor']
if cursor is None:
return result
check(cursor not in seen,'cursor cycle')
seen.add(cursor)
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(cursor,safe='')
raise Failure('history pagination exceeded safety bound')
def main():
def configure(p):
p.add_argument('--mode', choices=['persistence','failover'], required=True)
p.add_argument('--action-script',required=True,help='Executable script authored by student; restarts stack or stops ONE API replica')
args = arguments('Explicit restart/failover scenario; modifies only synthetic API data',configure)
check(LAB>=2,'persistence requires lab2+')
check(args.mode!='failover' or LAB>=3,'failover requires lab3+')
script = Path(args.action_script).expanduser().resolve()
check(script.is_file() and os.access(script,os.X_OK),'action script must exist and be executable (chmod +x)')
check('.example.' not in script.name,'copy and implement the example hook first')
c = Client(args.base_url,args.ca_file,timeout=2)
alice,bob,eve,chat = c.bootstrap()
sent = c.message(alice,chat,'Сохранить при отказе')
original = sent['json']
target = sent['headers'].get('X-Instance-Id','')
attachment = content = None
if LAB>=4:
attachment,content = c.attachment(alice,chat)
if LAB>=5:
attachment = c.wait_ready(alice,attachment)
env = dict(os.environ)
env['TARGET_INSTANCE_ID'] = target
observed = set()
if args.mode=='failover':
for _ in range(40):
observed.add(c.call('GET','/api/v1/users/me',actor=alice,schema='User')['headers']['X-Instance-Id'])
check(len(observed)>=2,'less than two API instances observed before failure; verify LB/session affinity')
print('Executing explicit '+args.mode+' hook; hook output suppressed to avoid leaking secrets.')
# No shell interpolation and no Docker commands in this test.
proc = subprocess.Popen([str(script)],env=env,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
started = time.monotonic()
successes,failures,after_instances = [],0,[]
try:
if args.mode=='persistence':
try:
code = proc.wait(timeout=90)
except subprocess.TimeoutExpired:
raise Failure('restart hook exceeded 90 seconds') from None
check(code==0,'restart hook failed (inspect your script locally)')
deadline = time.monotonic()+90
while True:
try:
c.call('GET','/health/ready',schema='Health')
c.call('GET','/api/v1/users/me',actor=alice,schema='User')
break
except Failure:
check(time.monotonic()<deadline,'stack/session did not recover within 90 seconds')
time.sleep(0.5)
else:
first_recovery = None
key = uuid.uuid4().hex
text = 'Запись во время отказа ' + key
while time.monotonic()-started < 15:
code = proc.poll()
check(code is None or code==0,'stop-one hook failed (inspect your script locally)')
check(code is not None or time.monotonic()-started<10,'stop-one hook must return within 10 seconds')
try:
response = c.message(alice,chat,text,key=key)
msg = response['json']
if code==0:
if first_recovery is None:
first_recovery = time.monotonic()-started
after_instances.append(response['headers']['X-Instance-Id'])
successes.append(msg)
key = uuid.uuid4().hex
text = 'Запись во время отказа ' + key
except Failure:
failures += 1
# Keep SAME key/body after an uncertain POST result.
time.sleep(0.1)
check(proc.poll()==0,'stop-one hook did not finish successfully')
check(first_recovery is not None and first_recovery<=10,'writes did not recover within 10 seconds from hook start')
check(len(after_instances)>=5,'too few successful writes after stop')
check(target not in after_instances[-5:],'target replica still serves requests; hook must leave it stopped')
print(json.dumps({'observed_instances_before':len(observed),'successful_writes':len(successes),'failed_attempts':failures,'first_recovery_seconds':round(first_recovery,3)},ensure_ascii=False))
# Existing token, no re-login. Read all confirmations and reject duplicates.
messages = history(c,bob,chat)
ids = [m['id'] for m in messages]
check(len(ids)==len(set(ids)),'duplicated message IDs in history')
check(any(m==original for m in messages),'confirmed pre-failure message lost or altered')
for msg in successes:
check(any(m==msg for m in messages),'confirmed in-flight message lost or altered')
# Bodies are unique in this scenario: an uncertain request may exist once, never twice.
texts = [m['text'] for m in messages]
check(len(texts)==len(set(texts)),'uncertain retry created duplicate message')
if attachment:
c.call('GET','/api/v1/attachments/'+attachment['id'],actor=bob,schema='Attachment')
downloaded = c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob)
check(downloaded['bytes']==content,'attachment lost or changed across failure')
print('PASS: '+args.mode+' preserved confirmed data and existing session. Hook scope needs operator evidence.')
finally:
if proc.poll() is None:
proc.terminate()
try:
proc.wait(timeout=5)
except subprocess.TimeoutExpired:
proc.kill()
proc.wait()
if __name__=='__main__':
run(main)
+82
View File
@@ -0,0 +1,82 @@
#!/usr/bin/env python3
"""One complete public acceptance scenario, cumulative by lab number."""
import base64
import hashlib
import uuid
from client import Client, LAB, arguments, check, run, timestamp
def main():
args = arguments('Messenger public smoke; creates synthetic users and messages')
c = Client(args.base_url,args.ca_file)
alice,bob,eve,chat = c.bootstrap()
path = '/api/v1/chats/'+chat['id']
c.call('POST','/api/v1/users',409,body=alice['registration'])
c.call('GET','/api/v1/users/me',401)
c.call('GET',path,404,actor=eve)
me = c.call('GET','/api/v1/users/me',actor=alice,schema='User')['json']
check(me==alice['user'],'current user mismatch')
listed = c.call('GET','/api/v1/chats?limit=100',actor=bob,schema='ChatPage')['json']
check(any(x['id']==chat['id'] for x in listed['items']),'member cannot list chat')
hidden = c.call('GET','/api/v1/chats?limit=100',actor=eve,schema='ChatPage')['json']
check(all(x['id']!=chat['id'] for x in hidden['items']),'chat leaks to outsider')
key = uuid.uuid4().hex
first = c.message(alice,chat,'Привет, мир 👋',key=key)['json']
second = c.message(bob,chat,'Сообщение Боба')['json']
check(first['sender_id']==alice['id'] and second['sender_id']==bob['id'],'sender was not derived from actor')
check(first['chat_id']==second['chat_id']==chat['id'],'wrong chat in message')
check(first['text']=='Привет, мир 👋' and second['text']=='Сообщение Боба','message text changed')
page1 = c.call('GET',path+'/messages?limit=1',actor=bob,schema='MessagePage')['json']
check(len(page1['items'])==1 and page1['next_cursor'],'first page must have one item and cursor')
from urllib.parse import quote
page2 = c.call('GET',path+'/messages?limit=1&cursor='+quote(page1['next_cursor'],safe=''),actor=alice,schema='MessagePage')['json']
check(len(page2['items'])==1 and page2['next_cursor'] is None,'second page must finish history')
ordered = sorted([first,second],key=lambda x:(timestamp(x['created_at']),uuid.UUID(x['id']).int))
check(page1['items']+page2['items']==ordered,'pagination lost, duplicated or reordered a message')
h = {'Idempotency-Key':uuid.uuid4().hex} if LAB>=3 else {}
c.call('POST',path+'/messages',400,actor=alice,body={'text':''},headers=h)
c.call('POST',path+'/messages',404,actor=eve,body={'text':'чужое'},headers=h)
c.call('GET',path+'/messages?limit=0',400,actor=alice)
if LAB>=2:
bad = base64.b64encode((alice['registration']['username']+':wrong-password').encode()).decode()
c.call('POST','/api/v1/auth/sessions',401,headers={'Authorization':'Basic '+bad})
good = base64.b64encode((alice['registration']['username']+':'+alice['registration']['password']).encode()).decode()
c.call('GET','/api/v1/users/me',401,headers={'Authorization':'Basic '+good})
c.call('GET','/api/v1/users/me',401,headers={'X-User-Id':alice['id']})
me = c.call('GET','/api/v1/users/me',actor=alice,headers={'X-User-Id':eve['id']},schema='User')['json']
check(me['id']==alice['id'],'X-User-Id overrode bearer identity')
if LAB>=3:
replay = c.message(alice,chat,first['text'],key=key)['json']
check(replay==first,'idempotency replay differs')
c.call('POST',path+'/messages',409,actor=alice,body={'text':'другой body'},headers={'Idempotency-Key':key})
c.call('POST',path+'/messages',400,actor=alice,body={'text':'без ключа'})
if LAB>=4:
att,content = c.attachment(alice,chat)
# A queued attachment must already be linkable to its own chat.
attached = c.message(alice,chat,'',attachments=[att['id']])['json']
check(attached['attachment_ids']==[att['id']],'message lost attachment')
ready = c.wait_ready(bob,att) if LAB>=5 else att
check(ready['error_code'] is None,'ready attachment has an error')
download = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
check(download['bytes']==content,'download differs from original')
check(download['headers'].get_content_type()=='image/png','original content type mismatch')
for suffix in ('','/content'):
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
if LAB>=5:
variants = [x for x in ready['variants'] if x['name']=='thumbnail']
check(len(variants)==1,'expected exactly one thumbnail')
v = variants[0]
check((v['width'],v['height'])==(256,160),'thumbnail metadata has wrong dimensions')
thumb = c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',actor=bob)
check(thumb['headers'].get_content_type()=='image/jpeg','thumbnail content type mismatch')
check(len(thumb['bytes'])==v['size_bytes'] and hashlib.sha256(thumb['bytes']).hexdigest()==v['sha256'],'thumbnail checksum mismatch')
from image_probe import jpeg_size
check(jpeg_size(thumb['bytes'])==(256,160),'actual JPEG dimensions mismatch')
if LAB>=2:
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
c.call('GET','/api/v1/users/me',401,actor=alice)
c.call('DELETE','/api/v1/auth/sessions/current',401,actor=alice)
print('PASS: lab%d public API scenario; infrastructure and grading evidence remain separate.' % LAB)
if __name__=='__main__':
run(main)
+10 -3
View File
@@ -1,5 +1,12 @@
# Доказательства
# Доказательства lab6
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Автор: Каменский Андрей, БПИ2301.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
lab6-checks.txt — короткие проверки структуры, OpenAPI, стиля и публичного API.
lab6-signals.txt — метрики, реальные traces/logs и запросы dashboard.
lab6-incidents.txt и lab6-observability-summary.json — контролируемые отказы.
JSON traces/logs относятся к реальным синтетическим запросам, не к статическим
образцам. Tokens/passwords/body изображения в telemetry не сохраняются.
lab6-worker-incident.json сохраняет проверку очереди/retry; lab6-incidents.txt —
отдельное продолжение DB/backend после исправления префикса route в метриках.
+10
View File
@@ -0,0 +1,10 @@
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff check src
All checks passed!
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python -m ruff format --check src
64 files already formatted
/Users/andrejkamenskij/PycharmProjects/mtusi2026lab1/.venv/bin/python tests/smoke.py --base-url "http://localhost:8086"
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
+56
View File
@@ -0,0 +1,56 @@
[
{
"event": "job.completed",
"timestamp": "2026-11-17T15:15:07.104258+00:00",
"severity": "INFO",
"service_name": "messenger-worker",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"span_id": "6d789cf2190bed03",
"outcome": "ready",
"attempt": 1,
"job_type": "attachment.process.v1",
"duration_seconds": 0.2017499170001429
},
{
"event": "job.published",
"timestamp": "2026-11-17T15:15:06.902250+00:00",
"severity": "INFO",
"service_name": "messenger-dispatcher",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"span_id": "3bfbceb139effbd1",
"attempt": 1,
"job_type": "attachment.process.v1"
},
{
"event": "job.started",
"timestamp": "2026-11-17T15:15:06.902991+00:00",
"severity": "INFO",
"service_name": "messenger-worker",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"span_id": "6d789cf2190bed03",
"attempt": 1,
"job_type": "attachment.process.v1"
},
{
"event": "http.completed",
"timestamp": "2026-11-17T15:15:06.675742+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"span_id": "801bdc6abdbaba59",
"request_id": "0ecdbe17-1712-4864-ae79-38df19ef2c7d",
"method": "POST",
"route": "/api/v1/chats/{chat_id}/attachments",
"status": 202,
"duration_seconds": 0.1755593749999207
},
{
"event": "attachment.accepted",
"timestamp": "2026-11-17T15:15:06.675308+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"span_id": "801bdc6abdbaba59",
"job_type": "attachment.process.v1"
}
]
+227
View File
@@ -0,0 +1,227 @@
[
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:12.113656+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "f1ab8757e130d9b3b8e87acd85115012",
"span_id": "10ca75d8e0ce9007",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:12.114704+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "69dde9e84908f5b14ab39da9d6b2c30f",
"span_id": "2b1d606367557c42",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:12.170591+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "98aa6fecf2eda04174aec162d532413f",
"span_id": "4543089015e17a65",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:12.172345+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "d574895b96f583d31bd53d226301bac6",
"span_id": "59cbe017ec796d04",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:14.625536+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "4fb197690cd7ed8c34cbaf3af2d2c8c0",
"span_id": "f3b71c918bb75a88",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:14.671622+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "22d882d3ea564d808dabc96d24e18a37",
"span_id": "b20632277beb3c6b",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:14.681385+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "314dbd0e393abd2865e38d046f87cf27",
"span_id": "37f57af5302ad41a",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:14.681488+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "2881ad7651c2ead16b142a1d53525644",
"span_id": "264b3e80956650c9",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:17.152802+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "2b68f18c2fd49fdebe5b64e69fb8de33",
"span_id": "a71fac67af31936e",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:17.183320+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "40ae54a6e8ba7b0b6b2dfca8de351760",
"span_id": "36b42761727ba91f",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:17.191879+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "a3d0183572c94e432db07a2efd9a12d1",
"span_id": "ca24eed9905a9bf9",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:13:17.191979+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "54b3085f4640962ddffd63936435a4d8",
"span_id": "340c3562a22a467e",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:12.505367+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "acaaafad8ba06b4e7e105cd3f4355987",
"span_id": "38dff7c61d3f6e4d",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:12.515931+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "c9efffd152bab3e6d2355f7127b3e8d1",
"span_id": "6dd8695d5581baf2",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:12.575617+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "f7364c5486bdc6b3b14b7ef885f00a95",
"span_id": "8db09be701daf82e",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:12.576730+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "ac3e797c761d77bfbf7cda54ff6b02b9",
"span_id": "cdf3e2de745cfc13",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:15.027064+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "68e11662b15be879a6794f2450b1347b",
"span_id": "780b4cfe086b291e",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:15.074288+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "f03afd499dac3f577a1a3a7508b308e9",
"span_id": "cc1f1e6882bbc154",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:15.085689+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "7e42f82236d190f5e5c5208fcb1f6f39",
"span_id": "0be523a4032a2c36",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:15.085975+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "829e4fa63c820aa7e3f2de1761f21caf",
"span_id": "4c5aa3f29019e1f6",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:17.543116+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "f6a52507f2922e42155d659bba763970",
"span_id": "5e892c5ae6a001d6",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:17.590820+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "8f965bae4f6ffa0b3c3cef5c9c52f38e",
"span_id": "6bdafe4d596a25cb",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:17.595806+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "2f25a5ca948c2aa0c2ef38bd80230d1f",
"span_id": "17b0d785eca64d68",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:15:17.595865+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "96bf062721f9b68548202ca761ec56e0",
"span_id": "21a167132ebdb621",
"error_type": "Error"
},
{
"event": "db.error",
"timestamp": "2026-11-17T15:08:12.863991+00:00",
"severity": "INFO",
"service_name": "messenger-api",
"trace_id": "4df9dbc6eaaaee821bbcc649852367dc",
"span_id": "44727a31e3111cd0",
"error_type": "IntegrityError"
}
]
+255
View File
@@ -0,0 +1,255 @@
{
"batches": [
{
"resource": {
"attributes": [
{
"key": "telemetry.sdk.language",
"value": {
"stringValue": "python"
}
},
{
"key": "telemetry.sdk.name",
"value": {
"stringValue": "opentelemetry"
}
},
{
"key": "telemetry.sdk.version",
"value": {
"stringValue": "1.31.1"
}
},
{
"key": "service.version",
"value": {
"stringValue": "1.6.0"
}
},
{
"key": "service.instance.id",
"value": {
"stringValue": "ec467075-05bd-4271-bb1e-a272ae3dd3c3"
}
},
{
"key": "deployment.environment.name",
"value": {
"stringValue": "lab"
}
},
{
"key": "service.name",
"value": {
"stringValue": "messenger-api"
}
}
]
},
"scopeSpans": [
{
"scope": {
"name": "messenger",
"version": "1.6.0"
},
"spans": [
{
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
"spanId": "CNWCiXdj/44=",
"parentSpanId": "jbCb5wHa+C4=",
"name": "db.INSERT",
"kind": "SPAN_KIND_CLIENT",
"startTimeUnixNano": "1794928510074339418",
"endTimeUnixNano": "1794928512575607086",
"attributes": [
{
"key": "db.system",
"value": {
"stringValue": "postgresql"
}
},
{
"key": "db.operation.name",
"value": {
"stringValue": "INSERT"
}
},
{
"key": "error.type",
"value": {
"stringValue": "Error"
}
}
],
"status": {
"code": "STATUS_CODE_ERROR"
}
},
{
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
"spanId": "jbCb5wHa+C4=",
"name": "POST /api/v1/chats/{chat_id}/messages",
"kind": "SPAN_KIND_SERVER",
"startTimeUnixNano": "1794928509995947085",
"endTimeUnixNano": "1794928512576277919",
"attributes": [
{
"key": "http.request.method",
"value": {
"stringValue": "POST"
}
},
{
"key": "http.route",
"value": {
"stringValue": "/api/v1/chats/{chat_id}/messages"
}
},
{
"key": "http.response.status_code",
"value": {
"intValue": "503"
}
}
],
"status": {
"code": "STATUS_CODE_ERROR"
}
}
]
}
]
},
{
"resource": {
"attributes": [
{
"key": "telemetry.sdk.language",
"value": {
"stringValue": "python"
}
},
{
"key": "telemetry.sdk.name",
"value": {
"stringValue": "opentelemetry"
}
},
{
"key": "telemetry.sdk.version",
"value": {
"stringValue": "1.31.1"
}
},
{
"key": "service.version",
"value": {
"stringValue": "1.6.0"
}
},
{
"key": "service.instance.id",
"value": {
"stringValue": "ec467075-05bd-4271-bb1e-a272ae3dd3c3"
}
},
{
"key": "deployment.environment.name",
"value": {
"stringValue": "lab"
}
},
{
"key": "service.name",
"value": {
"stringValue": "messenger-api"
}
}
]
},
"scopeSpans": [
{
"scope": {
"name": "messenger",
"version": "1.6.0"
},
"spans": [
{
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
"spanId": "sbSL3OACRAM=",
"parentSpanId": "jbCb5wHa+C4=",
"name": "db.SELECT",
"kind": "SPAN_KIND_CLIENT",
"startTimeUnixNano": "1794928510069821585",
"endTimeUnixNano": "1794928510070631168",
"attributes": [
{
"key": "db.system",
"value": {
"stringValue": "postgresql"
}
},
{
"key": "db.operation.name",
"value": {
"stringValue": "SELECT"
}
}
],
"status": {}
},
{
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
"spanId": "26YgITrtuvE=",
"parentSpanId": "jbCb5wHa+C4=",
"name": "db.SELECT",
"kind": "SPAN_KIND_CLIENT",
"startTimeUnixNano": "1794928510071310626",
"endTimeUnixNano": "1794928510071793293",
"attributes": [
{
"key": "db.system",
"value": {
"stringValue": "postgresql"
}
},
{
"key": "db.operation.name",
"value": {
"stringValue": "SELECT"
}
}
],
"status": {}
},
{
"traceId": "9zZMVIa9xrOxS374hfAKlQ==",
"spanId": "20d9NgzWuKs=",
"parentSpanId": "jbCb5wHa+C4=",
"name": "db.INSERT",
"kind": "SPAN_KIND_CLIENT",
"startTimeUnixNano": "1794928510072845626",
"endTimeUnixNano": "1794928510073726543",
"attributes": [
{
"key": "db.system",
"value": {
"stringValue": "postgresql"
}
},
{
"key": "db.operation.name",
"value": {
"stringValue": "INSERT"
}
}
],
"status": {}
}
]
}
]
}
]
}
+5
View File
@@ -0,0 +1,5 @@
{"case": "upload_to_worker_trace_and_logs", "result": "PASS", "trace_id": "fd47457d00c7436da8d99589929e44a5", "spans": 29}
{"case": "metrics_labels_and_dashboard_queries", "result": "PASS", "metrics": 13, "panels": 18}
{"case": "incident_DB_firing", "result": "PASS", "errors": 12, "db_error_spans": 1, "diagnosis": "db.INSERT timeout, matching db.error event; API readiness remains available"}
{"case": "incident_DB_resolved", "result": "PASS"}
{"case": "telemetry_backend_outage_business_survives", "result": "PASS", "messages": 15, "attachment_ready": true, "api_memory": {"bytes": 93831168, "limit": 536870912}, "collector_rss_bytes": 207998976.0, "exporter_failed_spans": 32.0, "max_exporter_queue": 9.0}
+40
View File
@@ -0,0 +1,40 @@
{
"results": [
{
"case": "upload_to_worker_trace_and_logs",
"result": "PASS",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"spans": 29
},
{
"case": "metrics_labels_and_dashboard_queries",
"result": "PASS",
"metrics": 13,
"panels": 18
},
{
"case": "incident_DB_firing",
"result": "PASS",
"errors": 12,
"db_error_spans": 1,
"diagnosis": "db.INSERT timeout, matching db.error event; API readiness remains available"
},
{
"case": "incident_DB_resolved",
"result": "PASS"
},
{
"case": "telemetry_backend_outage_business_survives",
"result": "PASS",
"messages": 15,
"attachment_ready": true,
"api_memory": {
"bytes": 93831168,
"limit": 536870912
},
"collector_rss_bytes": 207998976.0,
"exporter_failed_spans": 32.0,
"max_exporter_queue": 9.0
}
]
}
File diff suppressed because it is too large Load Diff
+2
View File
@@ -0,0 +1,2 @@
{"case": "upload_to_worker_trace_and_logs", "result": "PASS", "trace_id": "6127dd4877af4ee8a4c0411427c57ec5", "spans": 29}
{"case": "metrics_labels_and_dashboard_queries", "result": "PASS", "metrics": 13, "panels": 18}
+71
View File
@@ -0,0 +1,71 @@
{
"author": "Каменский Андрей, БПИ2301",
"grade_target": 4,
"public_contract_tests_unchanged": true,
"results": [
{
"case": "upload_to_worker_trace_and_logs",
"result": "PASS",
"trace_id": "c4674a56c0144140973ffadebfb865b4",
"spans": 29
},
{
"case": "metrics_labels_and_dashboard_queries",
"result": "PASS",
"metrics": 13,
"panels": 18
},
{
"case": "incident_worker_firing",
"result": "PASS",
"queue_depth": 1.0,
"oldest_seconds": 22.580556
},
{
"case": "retry_keeps_upload_trace",
"result": "PASS",
"trace_id": "6cb20e12f97745b5834e1d4153e363ad",
"consumer_spans": 2
},
{
"case": "incident_worker_resolved",
"result": "PASS"
},
{
"case": "upload_to_worker_trace_and_logs",
"result": "PASS",
"trace_id": "fd47457d00c7436da8d99589929e44a5",
"spans": 29
},
{
"case": "metrics_labels_and_dashboard_queries",
"result": "PASS",
"metrics": 13,
"panels": 18
},
{
"case": "incident_DB_firing",
"result": "PASS",
"errors": 12,
"db_error_spans": 1,
"diagnosis": "db.INSERT timeout, matching db.error event; API readiness remains available"
},
{
"case": "incident_DB_resolved",
"result": "PASS"
},
{
"case": "telemetry_backend_outage_business_survives",
"result": "PASS",
"messages": 15,
"attachment_ready": true,
"api_memory": {
"bytes": 93831168,
"limit": 536870912
},
"collector_rss_bytes": 207998976.0,
"exporter_failed_spans": 32.0,
"max_exporter_queue": 9.0
}
]
}
File diff suppressed because it is too large Load Diff
+32
View File
@@ -0,0 +1,32 @@
{
"results": [
{
"case": "upload_to_worker_trace_and_logs",
"result": "PASS",
"trace_id": "c4674a56c0144140973ffadebfb865b4",
"spans": 29
},
{
"case": "metrics_labels_and_dashboard_queries",
"result": "PASS",
"metrics": 13,
"panels": 18
},
{
"case": "incident_worker_firing",
"result": "PASS",
"queue_depth": 1.0,
"oldest_seconds": 22.580556
},
{
"case": "retry_keeps_upload_trace",
"result": "PASS",
"trace_id": "6cb20e12f97745b5834e1d4153e363ad",
"consumer_spans": 2
},
{
"case": "incident_worker_resolved",
"result": "PASS"
}
]
}
+6 -5
View File
@@ -1,7 +1,8 @@
# Инфраструктура студента
# Инфраструктура lab6
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
Автор: Каменский Андрей, БПИ2301.
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
compose.yaml включает приложение, PostgreSQL, Redis-сессии, отдельный Streams broker,
MinIO, worker/dispatcher, HAProxy и наблюдаемость. infra/observability содержит
Collector, Prometheus/alerts, Loki, Tempo и импортируемые Grafana datasources/dashboard.
Все настройки воспроизводимы без ручного создания панелей. Данные сохраняются в volumes.
+43
View File
@@ -0,0 +1,43 @@
global
log stdout format raw local0
maxconn 2048
stats socket /tmp/haproxy.sock mode 600 level admin
stats socket ipv4@127.0.0.1:9999 level admin
defaults
log global
mode http
option httplog
timeout connect 1s
timeout client 15s
timeout server 12s
timeout http-request 7s
timeout http-keep-alive 2s
timeout check 1s
# Не повторяем POST автоматически: неизвестный результат повторяет клиент
# с исходным Idempotency-Key. Соединения к недоступному API не ждут долго.
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
hold nx 1s
hold timeout 1s
hold refused 1s
accepted_payload_size 8192
frontend public
bind :8080
default_backend api_pool
backend api_pool
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 2
server-template api 1-16 api:8080 check resolvers docker resolve-prefer ipv4 init-addr none
+20
View File
@@ -0,0 +1,20 @@
# MinIO community distribution is source-only; pin the reviewed release commit.
FROM golang:1.24.8-alpine3.22 AS build
RUN apk add --no-cache git
WORKDIR /source
RUN git init . \
&& git remote add origin https://github.com/minio/minio.git \
&& git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
&& git checkout --detach FETCH_HEAD
ENV CGO_ENABLED=0 GOMAXPROCS=2
RUN go build -p 2 -trimpath -o /minio .
FROM alpine:3.22.2
RUN apk add --no-cache ca-certificates \
&& addgroup -S minio && adduser -S -G minio minio \
&& mkdir /data && chown minio:minio /data
COPY --from=build /minio /usr/local/bin/minio
USER minio
EXPOSE 9000
ENTRYPOINT ["minio"]
CMD ["server", "/data", "--console-address", ":9001"]
+23
View File
@@ -0,0 +1,23 @@
groups:
- name: lab6
interval: 2s
rules:
- alert: ApiHighErrorRate
expr: |
(sum(increase(http_server_requests_total{route=~"/api/v1/.*",status_class="5xx"}[30s]))
/ clamp_min(sum(increase(http_server_requests_total{route=~"/api/v1/.*"}[30s])), 1) > 0.05)
and sum(increase(http_server_requests_total{route=~"/api/v1/.*"}[30s])) >= 3
for: 5s
labels:
severity: warning
annotations:
summary: "Business API 5xx ratio exceeds 5% over 30 seconds"
description: "Exclude health and client errors. Inspect DB spans, db.error logs and pool waiting. See RUNBOOK.md."
- alert: QueueLagGrowing
expr: max(queue_oldest_age_seconds) > 15 and max(queue_depth) > 0
for: 5s
labels:
severity: warning
annotations:
summary: "Oldest accepted job has waited more than 15 seconds"
description: "Inspect queue depth, worker capacity/busy and job traces. Restore worker and verify lag returns to zero. See RUNBOOK.md."
+67
View File
@@ -0,0 +1,67 @@
receivers:
otlp:
protocols:
http:
endpoint: 0.0.0.0:4318
processors:
memory_limiter:
check_interval: 1s
limit_mib: 192
spike_limit_mib: 32
batch:
timeout: 1s
send_batch_size: 128
send_batch_max_size: 256
exporters:
prometheus:
endpoint: 0.0.0.0:8889
resource_to_telemetry_conversion:
enabled: true
otlphttp/tempo:
endpoint: http://tempo:4318
timeout: 2s
sending_queue:
enabled: true
num_consumers: 2
queue_size: 64
retry_on_failure:
initial_interval: 1s
max_interval: 3s
max_elapsed_time: 10s
otlphttp/loki:
endpoint: http://loki:3100/otlp
timeout: 2s
sending_queue:
enabled: true
num_consumers: 2
queue_size: 64
retry_on_failure:
initial_interval: 1s
max_interval: 3s
max_elapsed_time: 10s
extensions:
health_check:
endpoint: 0.0.0.0:13133
service:
extensions: [health_check]
telemetry:
metrics:
readers:
- pull:
exporter:
prometheus:
host: 0.0.0.0
port: 8888
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlphttp/tempo]
logs:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlphttp/loki]
metrics:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [prometheus]
@@ -0,0 +1,519 @@
{
"uid": "messenger-lab6",
"title": "Мессенджер · Lab6 · Каменский Андрей",
"schemaVersion": 39,
"version": 1,
"refresh": "5s",
"time": {
"from": "now-15m",
"to": "now"
},
"tags": [
"lab6",
"messenger"
],
"panels": [
{
"id": 1,
"title": "Business API requests / second",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 0,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum(rate(http_server_requests_total{route=~\"/api/v1/.*\"}[1m]))",
"legendFormat": "RPS",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "reqps"
},
"overrides": []
}
},
{
"id": 2,
"title": "Business API 5xx ratio",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 0,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum(rate(http_server_requests_total{route=~\"/api/v1/.*\",status_class=\"5xx\"}[1m])) / clamp_min(sum(rate(http_server_requests_total{route=~\"/api/v1/.*\"}[1m])), 0.00001)",
"legendFormat": "5xx / all business requests",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "percentunit"
},
"overrides": []
}
},
{
"id": 3,
"title": "API latency p50 (histogram, all replicas)",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 8,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "histogram_quantile(0.5, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
"legendFormat": "p50",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "s"
},
"overrides": []
}
},
{
"id": 4,
"title": "API latency p95 (histogram, all replicas)",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 8,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "histogram_quantile(0.95, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
"legendFormat": "p95",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "s"
},
"overrides": []
}
},
{
"id": 5,
"title": "API latency p99 (histogram, all replicas)",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 16,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "histogram_quantile(0.99, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
"legendFormat": "p99",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "s"
},
"overrides": []
}
},
{
"id": 6,
"title": "Jobs per second by outcome",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 16,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum by(outcome)(rate(worker_jobs_total[1m]))",
"legendFormat": "{{outcome}}",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "ops"
},
"overrides": []
}
},
{
"id": 7,
"title": "Worker processing p95",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 24,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "histogram_quantile(0.95, sum by(le)(rate(worker_job_duration_seconds_bucket[1m])))",
"legendFormat": "p95",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "s"
},
"overrides": []
}
},
{
"id": 8,
"title": "Acceptance to ready p95",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 24,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "histogram_quantile(0.95, sum by(le)(rate(attachment_ready_duration_seconds_bucket[1m])))",
"legendFormat": "p95",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "s"
},
"overrides": []
}
},
{
"id": 9,
"title": "Accepted unfinished jobs (includes outbox)",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 32,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "max(queue_depth)",
"legendFormat": "jobs",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "short"
},
"overrides": []
}
},
{
"id": 10,
"title": "Oldest unfinished job age",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 32,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "max(queue_oldest_age_seconds)",
"legendFormat": "age",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "s"
},
"overrides": []
}
},
{
"id": 11,
"title": "DB pool used / waiting",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 40,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum by(service_name)(db_pool_used)",
"legendFormat": "{{service_name}}",
"refId": "A"
},
{
"expr": "sum by(service_name)(db_pool_waiting)",
"legendFormat": "{{service_name}} waiting",
"refId": "B"
}
],
"fieldConfig": {
"defaults": {
"unit": "short"
},
"overrides": []
}
},
{
"id": 12,
"title": "Worker saturation",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 40,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum(worker_busy) / clamp_min(sum(worker_capacity),1)",
"legendFormat": "busy / capacity",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "percentunit"
},
"overrides": []
}
},
{
"id": 13,
"title": "Process resident memory",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 48,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum by(service_name)(process_memory_rss_bytes)",
"legendFormat": "{{service_name}}",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "bytes"
},
"overrides": []
}
},
{
"id": 14,
"title": "Process CPU cores",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 48,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum by(service_name)(rate(process_cpu_time_seconds_total[1m]))",
"legendFormat": "{{service_name}}",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "short"
},
"overrides": []
}
},
{
"id": 15,
"title": "API availability SLI (5m), SLO 99%",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 56,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "1 - (sum(increase(http_server_requests_total{route=~\"/api/v1/.*\",status_class=\"5xx\"}[5m])) or vector(0)) / clamp_min(sum(increase(http_server_requests_total{route=~\"/api/v1/.*\"}[5m])),1)",
"legendFormat": "SLI",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "percentunit"
},
"overrides": []
}
},
{
"id": 16,
"title": "Collector export failures / second",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 12,
"y": 56,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "sum by(exporter)(rate(otelcol_exporter_send_failed_spans_total[1m]))",
"legendFormat": "{{exporter}}",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "ops"
},
"overrides": []
}
},
{
"id": 17,
"title": "Local firing alerts",
"type": "timeseries",
"datasource": {
"type": "prometheus",
"uid": "prometheus"
},
"gridPos": {
"x": 0,
"y": 64,
"w": 12,
"h": 8
},
"targets": [
{
"expr": "ALERTS{alertstate=\"firing\"}",
"legendFormat": "{{alertname}}",
"refId": "A"
}
],
"fieldConfig": {
"defaults": {
"unit": "short"
},
"overrides": []
}
},
{
"id": 99,
"title": "Structured API / worker logs — trace_id links to Tempo",
"type": "logs",
"datasource": {
"type": "loki",
"uid": "loki"
},
"gridPos": {
"x": 0,
"y": 72,
"w": 24,
"h": 10
},
"targets": [
{
"expr": "{service_name=~\"messenger-(api|worker)\"}",
"refId": "A"
}
]
}
]
}
@@ -0,0 +1,10 @@
apiVersion: 1
providers:
- name: messenger
orgId: 1
folder: Lab6
type: file
disableDeletion: true
updateIntervalSeconds: 10
options:
path: /var/lib/grafana/dashboards
@@ -0,0 +1,34 @@
apiVersion: 1
datasources:
- name: Prometheus
uid: prometheus
type: prometheus
access: proxy
url: http://prometheus:9090
isDefault: true
jsonData:
timeInterval: 2s
- name: Loki
uid: loki
type: loki
access: proxy
url: http://loki:3100
jsonData:
derivedFields:
- name: TraceID
matcherRegex: '"trace_id":\s*"([0-9a-f]{32})"'
datasourceUid: tempo
url: '$${__value.raw}'
- name: Tempo
uid: tempo
type: tempo
access: proxy
url: http://tempo:3200
jsonData:
tracesToLogsV2:
datasourceUid: loki
spanStartTimeShift: '-1m'
spanEndTimeShift: '1m'
filterByTraceID: false
customQuery: true
query: '{service_name=~"messenger-.*"} | json | trace_id="$${__trace.traceId}"'
+30
View File
@@ -0,0 +1,30 @@
auth_enabled: false
server:
http_listen_port: 3100
common:
path_prefix: /loki
instance_addr: 127.0.0.1
replication_factor: 1
ring:
kvstore:
store: inmemory
storage:
filesystem:
chunks_directory: /loki/chunks
rules_directory: /loki/rules
schema_config:
configs:
- from: 2024-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
limits_config:
allow_structured_metadata: true
retention_period: 168h
compactor:
working_directory: /loki/compactor
retention_enabled: true
delete_request_store: filesystem
+12
View File
@@ -0,0 +1,12 @@
global:
scrape_interval: 2s
evaluation_interval: 2s
rule_files:
- /etc/prometheus/alerts.yaml
scrape_configs:
- job_name: messenger
static_configs:
- targets: [otel-collector:8889]
- job_name: collector
static_configs:
- targets: [otel-collector:8888]
+21
View File
@@ -0,0 +1,21 @@
server:
http_listen_port: 3200
distributor:
receivers:
otlp:
protocols:
http:
endpoint: 0.0.0.0:4318
ingester:
trace_idle_period: 2s
max_block_duration: 1m
compactor:
compaction:
block_retention: 168h
storage:
trace:
backend: local
wal:
path: /var/tempo/wal
local:
path: /var/tempo/blocks
-7
View File
@@ -1,7 +0,0 @@
# Конфигурация наблюдаемости — реализовать
Добавьте `collector.yaml` с OTLP receivers, processors и exporters выбранной версии Collector. Укажите явные bind endpoints, внутренние сети, memory limits/batch и поведение при backpressure по уровню. Сопоставьте все три pipeline с реально развёрнутыми backend.
Добавьте конфигурации storage, Grafana provisioning/datasources, provisioning/dashboards и импортируемые dashboard JSON. На 4 — alert rules и runbooks. Пустой dashboard или debug exporter, который только печатает данные в stdout, не заменяют хранилища/доказательства из `contracts/observability.md`.
Не публикуйте OTLP/metrics/административные ports в общую сеть без необходимости. В lab7 реализуйте TLS/mTLS по trust matrix; экспорт Authorization и message bodies запрещён.
+29
View File
@@ -0,0 +1,29 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::${bucket}"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListMultipartUploadParts"
],
"Resource": [
"arn:aws:s3:::${bucket}/originals/*",
"arn:aws:s3:::${bucket}/staging/*",
"arn:aws:s3:::${bucket}/variants/*"
]
}
]
}
+28
View File
@@ -0,0 +1,28 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation",
"s3:GetBucketVersioning"
],
"Resource": [
"arn:aws:s3:::${bucket}"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::${bucket}/originals/*",
"arn:aws:s3:::${bucket}/staging/*",
"arn:aws:s3:::${bucket}/variants/*"
]
}
]
}
+30
View File
@@ -0,0 +1,30 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::${bucket}"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListMultipartUploadParts",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::${bucket}/originals/*",
"arn:aws:s3:::${bucket}/staging/*",
"arn:aws:s3:::${bucket}/variants/*"
]
}
]
}
+1 -1
View File
@@ -4,5 +4,5 @@
"contract_version": "1.6.0",
"default_base_url": "http://localhost:8080",
"grading": "3; 4 includes 3; 5 includes 4 plus one completed research track",
"scaffold_has_application": false
"scaffold_has_application": true
}
+34
View File
@@ -0,0 +1,34 @@
import asyncio
from alembic import context
from sqlalchemy import pool
from sqlalchemy.ext.asyncio import create_async_engine
from src.core.db.models import Base
from src.core.settings import settings
url = settings.sqlalchemy_database_url
target_metadata = Base.metadata
def run_migrations(connection):
context.configure(connection=connection, target_metadata=target_metadata, compare_type=True)
with context.begin_transaction():
context.run_migrations()
async def run_online():
engine = create_async_engine(url, poolclass=pool.NullPool)
try:
async with engine.connect() as connection:
await connection.run_sync(run_migrations)
finally:
await engine.dispose()
if context.is_offline_mode():
context.configure(url=url, target_metadata=target_metadata, literal_binds=True)
with context.begin_transaction():
context.run_migrations()
else:
asyncio.run(run_online())
+17
View File
@@ -0,0 +1,17 @@
"""${message}"""
from alembic import op
import sqlalchemy as sa
${imports if imports else ""}
revision = ${repr(up_revision)}
down_revision = ${repr(down_revision)}
branch_labels = ${repr(branch_labels)}
depends_on = ${repr(depends_on)}
def upgrade():
${upgrades if upgrades else "pass"}
def downgrade():
${downgrades if downgrades else "pass"}
+60
View File
@@ -0,0 +1,60 @@
"""Пользователи, чаты, участники, сообщения и сессии."""
from alembic import op
import sqlalchemy as sa
revision = '001'
down_revision = None
branch_labels = None
depends_on = None
def upgrade():
op.create_table(
'users',
sa.Column('id', sa.Uuid(), primary_key=True),
sa.Column('username', sa.String(32), nullable=False, unique=True),
sa.Column('display_name', sa.String(100), nullable=False),
sa.Column('password_hash', sa.Text(), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
sa.CheckConstraint('length(trim(display_name)) > 0'),
)
op.create_table(
'chats',
sa.Column('id', sa.Uuid(), primary_key=True),
sa.Column('title', sa.String(100), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
sa.CheckConstraint('length(trim(title)) > 0'),
)
op.create_table(
'chat_members',
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id', ondelete='CASCADE'), primary_key=True),
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id'), primary_key=True),
)
op.create_index('chat_members_user_idx', 'chat_members', ['user_id', 'chat_id'])
op.create_table(
'messages',
sa.Column('id', sa.Uuid(), primary_key=True),
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id'), nullable=False),
sa.Column('sender_id', sa.Uuid(), sa.ForeignKey('users.id'), nullable=False),
sa.Column('text', sa.String(4000), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
sa.ForeignKeyConstraint(['chat_id', 'sender_id'], ['chat_members.chat_id', 'chat_members.user_id']),
sa.CheckConstraint('length(trim(text)) > 0'),
)
op.create_index('messages_history_idx', 'messages', ['chat_id', 'created_at', 'id'])
op.create_table(
'sessions',
sa.Column('token_hash', sa.Text(), primary_key=True),
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
)
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
def downgrade():
op.drop_table('sessions')
op.drop_table('messages')
op.drop_table('chat_members')
op.drop_table('chats')
op.drop_table('users')
+22
View File
@@ -0,0 +1,22 @@
"""Сессии перенесены в Redis."""
from alembic import op
import sqlalchemy as sa
revision = '002'
down_revision = '001'
branch_labels = None
depends_on = None
def upgrade():
op.drop_table('sessions')
def downgrade():
op.create_table(
'sessions',
sa.Column('token_hash', sa.Text(), primary_key=True),
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
)
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
+16
View File
@@ -0,0 +1,16 @@
"""Признак системного администратора."""
from alembic import op
import sqlalchemy as sa
revision = '003'
down_revision = '002'
branch_labels = None
depends_on = None
def upgrade():
op.add_column('users', sa.Column('is_admin', sa.Boolean(), nullable=False, server_default=sa.false()))
def downgrade():
op.drop_column('users', 'is_admin')
+25
View File
@@ -0,0 +1,25 @@
"""Общая идемпотентность сообщений, совместимая с предыдущей схемой."""
from alembic import op
import sqlalchemy as sa
revision = "004"
down_revision = "003"
branch_labels = None
depends_on = None
def upgrade():
op.create_table(
"message_requests",
sa.Column("sender_id", sa.Uuid(), sa.ForeignKey("users.id"), primary_key=True),
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), primary_key=True),
sa.Column("key", sa.String(128), primary_key=True),
sa.Column("request_text", sa.String(4000), nullable=False),
sa.Column("message_id", sa.Uuid(), sa.ForeignKey("messages.id"), nullable=True),
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
)
def downgrade():
op.drop_table("message_requests")
@@ -0,0 +1,55 @@
"""Сохранять весь допустимый Unicode сообщений, включая U+0000, без потерь."""
import sqlalchemy as sa
from alembic import op
revision = "005"
down_revision = "004"
branch_labels = None
depends_on = None
def upgrade():
op.drop_constraint("messages_text_check", "messages", type_="check")
op.alter_column(
"messages",
"text",
existing_type=sa.String(4000),
type_=sa.LargeBinary(),
existing_nullable=False,
postgresql_using="convert_to(text, 'UTF8')",
)
op.alter_column(
"message_requests",
"request_text",
existing_type=sa.String(4000),
type_=sa.LargeBinary(),
existing_nullable=False,
postgresql_using="convert_to(request_text, 'UTF8')",
)
op.create_check_constraint(
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
)
def downgrade():
# convert_from откажет при наличии U+0000: не удаляем символы или строки
# молча. Откат возможен только если все данные представимы в PostgreSQL text.
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
op.alter_column(
"messages",
"text",
existing_type=sa.LargeBinary(),
type_=sa.String(4000),
existing_nullable=False,
postgresql_using="convert_from(text, 'UTF8')",
)
op.alter_column(
"message_requests",
"request_text",
existing_type=sa.LargeBinary(),
type_=sa.String(4000),
existing_nullable=False,
postgresql_using="convert_from(request_text, 'UTF8')",
)
op.create_check_constraint("messages_text_check", "messages", "length(trim(text)) > 0")
+40
View File
@@ -0,0 +1,40 @@
"""Сохранение допустимого Unicode имён и названий, включая U+0000."""
import sqlalchemy as sa
from alembic import op
revision = "006"
down_revision = "005"
branch_labels = None
depends_on = None
def upgrade():
for table, column in [("users", "display_name"), ("chats", "title")]:
op.drop_constraint(f"{table}_{column}_check", table, type_="check")
op.alter_column(
table,
column,
existing_type=sa.String(100),
type_=sa.LargeBinary(),
existing_nullable=False,
postgresql_using=f"convert_to({column}, 'UTF8')",
)
op.create_check_constraint(
f"{table}_{column}_bytes_check", table, f"octet_length({column}) BETWEEN 1 AND 400"
)
def downgrade():
# PostgreSQL откажет при U+0000 и откатит транзакцию вместо потери символов.
for table, column in [("users", "display_name"), ("chats", "title")]:
op.drop_constraint(f"{table}_{column}_bytes_check", table, type_="check")
op.alter_column(
table,
column,
existing_type=sa.LargeBinary(),
type_=sa.String(100),
existing_nullable=False,
postgresql_using=f"convert_from({column}, 'UTF8')",
)
op.create_check_constraint(f"{table}_{column}_check", table, f"length(trim({column})) > 0")
+65
View File
@@ -0,0 +1,65 @@
"""Private S3 attachment metadata and ordered message links."""
from alembic import op
import sqlalchemy as sa
revision = "007"
down_revision = "006"
branch_labels = None
depends_on = None
def upgrade():
op.create_table(
"attachments",
sa.Column("id", sa.Uuid(), primary_key=True),
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), nullable=False),
sa.Column("owner_id", sa.Uuid(), sa.ForeignKey("users.id"), nullable=False),
sa.Column("filename", sa.String(255), nullable=False),
sa.Column("object_key", sa.Text(), nullable=False, unique=True),
sa.Column("content_type", sa.String(32), nullable=False),
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
sa.Column("sha256", sa.String(64), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
sa.UniqueConstraint("chat_id", "id"),
sa.CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
sa.CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
)
op.create_index("attachments_chat_idx", "attachments", ["chat_id"])
op.create_unique_constraint("messages_chat_id_id_key", "messages", ["chat_id", "id"])
op.create_table(
"message_attachments",
sa.Column("message_id", sa.Uuid(), primary_key=True),
sa.Column("attachment_id", sa.Uuid(), primary_key=True),
sa.Column("chat_id", sa.Uuid(), nullable=False),
sa.Column("position", sa.Integer(), nullable=False),
sa.ForeignKeyConstraint(
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
),
sa.ForeignKeyConstraint(
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
),
sa.UniqueConstraint("message_id", "position"),
sa.CheckConstraint("position BETWEEN 0 AND 9"),
)
op.add_column("message_requests", sa.Column(
"request_attachment_ids", sa.Text(), nullable=False, server_default=""
))
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
op.create_check_constraint(
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 0 AND 16000"
)
def downgrade():
# Refuse downgrade if attachment-only messages cannot satisfy the old schema.
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
op.create_check_constraint(
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
)
op.drop_column("message_requests", "request_attachment_ids")
op.drop_table("message_attachments")
op.drop_constraint("messages_chat_id_id_key", "messages", type_="unique")
op.drop_index("attachments_chat_idx", "attachments")
op.drop_table("attachments")
+37
View File
@@ -0,0 +1,37 @@
"""Durable upload intents, missing-content marker and reconciliation observations."""
import sqlalchemy as sa
from alembic import op
revision = "008"
down_revision = "007"
branch_labels = None
depends_on = None
def upgrade():
op.add_column("attachments", sa.Column("storage_missing_since", sa.DateTime(timezone=True)))
op.create_table(
"upload_intents",
sa.Column("object_key", sa.Text(), primary_key=True),
sa.Column("state", sa.String(16), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False,
server_default=sa.func.now()),
sa.CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),
)
op.create_table(
"storage_findings",
sa.Column("object_key", sa.Text(), primary_key=True),
sa.Column("kind", sa.String(16), primary_key=True),
sa.Column("fingerprint", sa.Text()),
sa.Column("first_seen", sa.DateTime(timezone=True), nullable=False),
sa.Column("last_seen", sa.DateTime(timezone=True), nullable=False),
sa.Column("resolved_at", sa.DateTime(timezone=True)),
sa.CheckConstraint("kind IN ('orphan', 'missing')"),
)
def downgrade():
op.drop_table("storage_findings")
op.drop_table("upload_intents")
op.drop_column("attachments", "storage_missing_since")
+67
View File
@@ -0,0 +1,67 @@
"""Asynchronous image pipeline, durable jobs/outbox and replay audit."""
import sqlalchemy as sa
from alembic import op
revision = "009"
down_revision = "008"
branch_labels = None
depends_on = None
def upgrade():
op.add_column("attachments", sa.Column("status", sa.String(16), nullable=False, server_default="ready"))
op.add_column("attachments", sa.Column("error_code", sa.String(64)))
op.add_column("attachments", sa.Column("staging_key", sa.Text()))
op.add_column("attachments", sa.Column("variants", sa.JSON(), nullable=False, server_default="[]"))
op.create_check_constraint("attachments_status_check", "attachments", "status IN ('queued', 'processing', 'ready', 'failed')")
op.create_table(
"attachment_jobs",
sa.Column("id", sa.Uuid(), primary_key=True),
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
sa.Column("pipeline_version", sa.Integer(), nullable=False),
sa.Column("state", sa.String(16), nullable=False),
sa.Column("attempt", sa.Integer(), nullable=False),
sa.Column("cycle_attempt", sa.Integer(), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("next_run_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("published_at", sa.DateTime(timezone=True)),
sa.Column("lease_until", sa.DateTime(timezone=True)),
sa.Column("claim_token", sa.Uuid()),
sa.Column("error_code", sa.String(64)),
sa.Column("fault", sa.String(32)),
sa.UniqueConstraint("attachment_id", "pipeline_version"),
sa.CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
sa.CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
sa.CheckConstraint("pipeline_version = 1"),
)
op.create_index("attachment_jobs_dispatch_idx", "attachment_jobs", ["state", "next_run_at"])
op.create_table(
"job_replays",
sa.Column("id", sa.Uuid(), primary_key=True),
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("attachment_jobs.id"), nullable=False),
sa.Column("operator", sa.String(100), nullable=False),
sa.Column("reason", sa.String(500), nullable=False),
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
sa.Column("attempt", sa.Integer(), nullable=False),
)
# Existing lab4 originals remain readable by the worker as their staging
# source. Retention must never delete this shared source/final key.
op.execute("""
INSERT INTO attachment_jobs
(id, attachment_id, pipeline_version, state, attempt, cycle_attempt,
created_at, updated_at, next_run_at)
SELECT gen_random_uuid(), id, 1, 'queued', 1, 1,
clock_timestamp(), clock_timestamp(), clock_timestamp()
FROM attachments
""")
op.execute("UPDATE attachments SET staging_key=object_key, status='queued', updated_at=clock_timestamp()")
def downgrade():
op.drop_table("job_replays")
op.drop_table("attachment_jobs")
op.drop_constraint("attachments_status_check", "attachments")
for name in ("variants", "staging_key", "error_code", "status"):
op.drop_column("attachments", name)
+15
View File
@@ -0,0 +1,15 @@
"""Persist W3C context across durable outbox, retry and process restarts."""
import sqlalchemy as sa
from alembic import op
revision = "010"
down_revision = "009"
branch_labels = None
depends_on = None
def upgrade():
op.add_column('attachment_jobs', sa.Column('traceparent', sa.String(128)))
op.add_column('attachment_jobs', sa.Column('tracestate', sa.String(512)))
def downgrade():
op.drop_column('attachment_jobs','tracestate')
op.drop_column('attachment_jobs','traceparent')
+7
View File
@@ -0,0 +1,7 @@
[tool.ruff]
target-version = "py313"
line-length = 100
include = ["src/**/*.py"]
[tool.ruff.lint]
select = ["E4", "E7", "E9", "F", "I"]
+1 -1
View File
@@ -1,2 +1,2 @@
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
openapi-spec-validator==0.7.2
ruff==0.14.2
+25
View File
@@ -0,0 +1,25 @@
annotated-doc==0.0.5
annotated-types==0.8.0
anyio==4.15.1
click==8.5.0
fastapi==0.141.1
h11==0.16.0
idna==3.20
pydantic==2.13.5
pydantic-core==2.46.5
starlette==1.7.0
typing-extensions==4.16.0
typing-inspection==0.4.4
uvicorn==0.53.0
asyncpg==0.30.0
redis==5.2.1
argon2-cffi==25.1.0
SQLAlchemy[asyncio]==2.0.44
alembic==1.17.0
pydantic-settings==2.15.0
minio==7.2.20
Pillow==13.0.0
opentelemetry-api==1.31.1
opentelemetry-sdk==1.31.1
opentelemetry-exporter-otlp-proto-http==1.31.1
+56
View File
@@ -0,0 +1,56 @@
"""Управление только API-контейнерами текущего Compose-проекта."""
import json
import os
import subprocess
import time
import urllib.request
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
def docker(*args):
return subprocess.check_output(["docker", *args], cwd=ROOT, text=True).strip()
def compose(*args):
return docker("compose", "--env-file", os.environ.get("ENV_FILE", ".env"), *args)
def containers():
return compose("ps", "--all", "-q", "api").split()
def describe(container):
# Никогда не выводим Config.Env: там credentials.
return json.loads(docker("inspect", "--format", "{{json .State}}", container))
def instance_id(container):
code = "import urllib.request; r=urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2); print(r.headers['X-Instance-Id'])"
return docker("exec", container, "python", "-c", code)
def wait_ready(container, timeout=60):
deadline = time.monotonic() + timeout
while time.monotonic() < deadline:
state = describe(container)
if state.get("Health", {}).get("Status") == "healthy":
return instance_id(container)
time.sleep(0.5)
raise RuntimeError("API container did not become healthy: " + container[:12])
def wait_visible(instance, timeout=30):
base = os.environ.get("BASE_URL", "http://localhost:8080").rstrip("/")
deadline = time.monotonic() + timeout
while time.monotonic() < deadline:
try:
with urllib.request.urlopen(base + "/health/ready", timeout=2) as response:
if response.headers.get("X-Instance-Id") == instance:
return
except OSError:
pass
time.sleep(0.1)
raise RuntimeError("New replica was not discovered by HAProxy")
-10
View File
@@ -1,10 +0,0 @@
#!/bin/sh
set -eu
# TODO: copy to restart.sh and implement using YOUR compose/stack services.
# Restart API and ALL used state stores (DB, sessions, S3, broker as applicable).
# Preserve persistent volumes and schema/data; never down -v / flush / re-seed.
# Allow operator unseal if required in lab7; do not print credentials.
# Exit 0 only after the intended action; test waits for API readiness separately.
printf '%s
' 'TODO: implement restart.sh for your infrastructure' >&2
exit 2
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# Полный restart работающих ролей; volumes не удаляются.
docker compose --env-file "${ENV_FILE:-.env}" restart postgres redis minio broker
docker compose --env-file "${ENV_FILE:-.env}" up -d --wait --force-recreate api
docker compose --env-file "${ENV_FILE:-.env}" restart reconciler dispatcher worker lb
+28
View File
@@ -0,0 +1,28 @@
"""Create local synthetic credentials without overwriting an existing .env."""
import argparse
import os
import secrets
from pathlib import Path
root=Path(__file__).resolve().parents[1]
parser=argparse.ArgumentParser(description=__doc__)
parser.add_argument('--output',type=Path,default=root/'.env')
args=parser.parse_args()
values={
'GRAFANA_ADMIN_PASSWORD':secrets.token_hex(24),
'POSTGRES_PASSWORD':secrets.token_hex(24),
'ADMIN_PASSWORD':secrets.token_hex(24),
'MINIO_ROOT_PASSWORD':secrets.token_hex(24),
'S3_SECRET_ACCESS_KEY':secrets.token_hex(24),
'S3_RECONCILE_SECRET_ACCESS_KEY':secrets.token_hex(24),
'S3_WORKER_SECRET_ACCESS_KEY':secrets.token_hex(24),
}
lines=(root/'.env.example').read_text().splitlines()
content='\n'.join(key+'='+values[key] if '=' in line and (key:=line.split('=',1)[0]) in values else line for line in lines)+'\n'
try:
descriptor=os.open(args.output,os.O_WRONLY|os.O_CREAT|os.O_EXCL,0o600)
except FileExistsError:
parser.exit(1,'Файл уже существует; его настройки и пароли сохранены.\n')
with os.fdopen(descriptor,'w') as stream:
stream.write(content)
print('Создан файл локальных настроек с новыми паролями; значения не выводятся.')
-10
View File
@@ -1,10 +0,0 @@
#!/bin/sh
set -eu
# TODO: copy to stop-one.sh, map TARGET_INSTANCE_ID to ONE API container/task.
# Stop that instance and leave it stopped; no stop of DB/LB/volumes.
# Return quickly (within 10 s); the test sends requests during this script.
# Restore the replica explicitly after the test. Never print credentials.
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
printf '%s
' 'TODO: implement stop-one.sh for your infrastructure' >&2
exit 2
+34
View File
@@ -0,0 +1,34 @@
"""Сопоставить X-Instance-Id реальному контейнеру и оставить его остановленным."""
import json
import os
import time
from replicas import containers, describe, docker, instance_id
target = os.environ["TARGET_INSTANCE_ID"]
running = [c for c in containers() if describe(c)["Running"]]
if len(running) < 2:
raise SystemExit("Need at least two running API containers")
for container in running:
if instance_id(container) == target:
before = describe(container)
started = time.monotonic()
docker("stop", "--time", "10", container)
after = describe(container)
assert not after["Running"]
print(
json.dumps(
{
"container": container[:12],
"instance_id": target,
"started_at": before["StartedAt"],
"finished_at": after["FinishedAt"],
"stop_seconds": round(time.monotonic() - started, 3),
"exit_code": after["ExitCode"],
}
)
)
break
else:
raise SystemExit("Requested instance not found in this Compose project")
+4
View File
@@ -0,0 +1,4 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
exec "${PYTHON:-python3}" scripts/stop-one.py
+46
View File
@@ -0,0 +1,46 @@
"""Исходный persistence-сценарий плюс доказательство рестарта API и всех хранилищ."""
import argparse
import json
from pathlib import Path
import subprocess
import sys
ROOT = Path(__file__).resolve().parents[1]
def states():
result = {}
for service in ('api', 'postgres', 'redis', 'minio', 'broker', 'worker', 'dispatcher', 'reconciler', 'lb'):
ids = subprocess.check_output(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, text=True).split()
if not ids:
raise RuntimeError('Не запущен сервис ' + service)
result[service] = {}
for container in ids:
state = json.loads(subprocess.check_output(['docker', 'inspect', '--format', '{{json .State}}', container], cwd=ROOT, text=True))
result[service][container] = {'StartedAt': state['StartedAt'], 'Pid': state['Pid']}
return result
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--base-url', default='http://localhost:8080')
parser.add_argument('--action-script', required=True)
parser.add_argument('--ca-file')
args = parser.parse_args()
before = states()
print('ДО: ' + json.dumps(before), flush=True)
command = [sys.executable, str(ROOT / 'tests/resilience.py'), '--mode', 'persistence',
'--action-script', args.action_script, '--base-url', args.base_url]
if args.ca_file:
command += ['--ca-file', args.ca_file]
subprocess.run(command, cwd=ROOT, check=True)
after = states()
print('ПОСЛЕ: ' + json.dumps(after), flush=True)
for service in before:
if before[service] == after[service]:
raise AssertionError('Сервис не перезапущен: ' + service)
print('PASS: StartedAt изменился у API, PostgreSQL, Redis, MinIO, broker, worker, dispatcher, reconciler и LB; прежний токен и данные сохранены')
if __name__ == '__main__':
main()
+20
View File
@@ -0,0 +1,20 @@
"""Short acceptance: structure, public API and real telemetry. Incidents are opt-in."""
import argparse
import os
import subprocess
import sys
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1]
p=argparse.ArgumentParser(description=__doc__)
p.add_argument('--incidents',action='store_true')
args=p.parse_args()
def run(command):subprocess.run(command,cwd=ROOT,check=True)
if not (ROOT/'.env').exists():run([sys.executable,'scripts/setup-env.py'])
run(['make','check','validate','lint','PYTHON='+sys.executable])
run(['docker','compose','up','-d','--build','--wait'])
base=os.environ.get('BASE_URL','http://localhost:8086')
run([sys.executable,'tests/smoke.py','--base-url',base])
run([sys.executable,'tests/observability.py','--base-url',base]+(['--incidents'] if args.incidents else []))
View File
+13
View File
@@ -0,0 +1,13 @@
import uvicorn
from src.core.settings import settings
if __name__ == "__main__":
uvicorn.run(
"src.main:app",
host=settings.app_host,
port=settings.app_port,
workers=settings.app_workers,
log_level=settings.log_level.lower(),
timeout_graceful_shutdown=settings.shutdown_timeout_seconds,
)
View File
+106
View File
@@ -0,0 +1,106 @@
import base64
import binascii
import re
from typing import Annotated
from fastapi import Depends, Request
from fastapi.security import HTTPAuthorizationCredentials, HTTPBearer
from fastapi.security.http import HTTPBase, HTTPBasicCredentials
from sqlalchemy.ext.asyncio import AsyncSession
from src.core.db.session import get_db_session
from src.core.errors import ApiError
from src.core.settings import settings
from src.service.auth import AuthService
from src.service.chat import ChatService
from src.service.dto import UserDTO
from src.service.exceptions import InvalidSessionException
from src.service.message import MessageService
from src.service.user import UserService
bearer_scheme = HTTPBearer(
scheme_name="bearerAuth",
description="Вставьте токен из ответа на вход, без префикса Bearer.",
auto_error=False,
)
basic_scheme = HTTPBase(scheme="basic", scheme_name="basicAuth", auto_error=False)
async def get_basic_credentials(
request: Request,
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(basic_scheme)],
) -> HTTPBasicCredentials:
if await request.body():
raise ApiError(400, "invalid_request", "Вход не принимает тело запроса")
try:
authorization = request.headers.getlist("authorization")
if len(authorization) != 1 or len(authorization[0]) > settings.authorization_max_length:
raise ValueError
if credentials is None or credentials.scheme.lower() != "basic":
raise ValueError
decoded = base64.b64decode(credentials.credentials, validate=True).decode("utf-8")
username, separator, password = decoded.partition(":")
if (
not separator
or re.fullmatch(r"[a-z0-9_]{3,32}", username) is None
or not 12 <= len(password) <= 128
or not password.strip()
):
raise ValueError
except (ValueError, UnicodeError, binascii.Error):
raise ApiError(401, "unauthorized", "Неверный логин или пароль") from None
return HTTPBasicCredentials(username=username, password=password)
def get_user_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> UserService:
return UserService(db_session=db_session)
def get_chat_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> ChatService:
return ChatService(db_session=db_session)
def get_message_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> MessageService:
return MessageService(db_session=db_session)
def get_auth_service(
db_session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> AuthService:
return AuthService(
db_session=db_session,
session_ttl_seconds=settings.session_ttl_seconds,
)
def get_bearer_token(
request: Request,
credentials: Annotated[HTTPAuthorizationCredentials | None, Depends(bearer_scheme)],
) -> str:
if credentials is None or len(request.headers.getlist("authorization")) != 1:
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
token = credentials.credentials
if (
credentials.scheme.lower() != "bearer"
or not token
or len(token) > 512
or any(c.isspace() for c in token)
):
raise ApiError(401, "unauthorized", "Требуется Bearer-токен")
return token
async def get_current_user(
auth: Annotated[AuthService, Depends(get_auth_service)],
token: Annotated[str, Depends(get_bearer_token)],
) -> UserDTO:
try:
return await auth.get_user(token=token)
except InvalidSessionException as error:
raise ApiError(401, "unauthorized", str(error)) from error
+17
View File
@@ -0,0 +1,17 @@
from fastapi import APIRouter
from src.api.v1.routers.attachments import router as attachments_router
from src.api.v1.routers.auth.router import router as auth_router
from src.api.v1.routers.chats.router import router as chats_router
from src.api.v1.routers.messages.router import router as messages_router
from src.api.v1.routers.users.router import router as users_router
router = APIRouter(prefix="/api/v1", tags=["Версия 1"])
router.include_router(users_router)
router.include_router(chats_router)
router.include_router(messages_router)
router.include_router(auth_router)
router.include_router(attachments_router)
View File
View File
+134
View File
@@ -0,0 +1,134 @@
from datetime import datetime
from typing import Annotated, Literal
from uuid import UUID
from anyio import to_thread
from fastapi import APIRouter, Depends, Query, Request
from fastapi.responses import StreamingResponse
from pydantic import BaseModel, Field
from sqlalchemy.ext.asyncio import AsyncSession
from src.api.dependencies import get_current_user
from src.core.db.models import Attachment
from src.core.db.session import get_db_session
from src.core.errors import ApiError
from src.core.settings import settings
from src.core.storage import STORAGE_ERRORS, get_storage, unavailable
from src.service.attachment import AttachmentService
from src.service.dto import UserDTO
router = APIRouter(tags=["Вложения"])
class VariantOut(BaseModel):
name: Literal["thumbnail", "crop", "optimized"]
content_type: Literal["image/jpeg", "image/webp"]
size_bytes: int
sha256: str
width: int
height: int
class AttachmentOut(BaseModel):
id: UUID
chat_id: UUID
owner_id: UUID
filename: str
content_type: str
size_bytes: int
sha256: str
status: Literal["queued", "processing", "ready", "failed"]
variants: list[VariantOut] = Field(default_factory=list)
error_code: str | None = None
created_at: datetime
updated_at: datetime
def to_output(attachment: Attachment) -> AttachmentOut:
return AttachmentOut.model_validate(attachment, from_attributes=True)
def get_service(
session: Annotated[AsyncSession, Depends(get_db_session, scope="function")],
) -> AttachmentService:
return AttachmentService(session)
@router.post(
"/chats/{chat_id}/attachments",
status_code=202,
openapi_extra={
"requestBody": {
"required": True,
"content": {
mime: {"schema": {"type": "string", "format": "binary"}}
for mime in ("image/png", "image/jpeg")
},
}
},
)
async def upload_attachment(
chat_id: UUID,
request: Request,
user: Annotated[UserDTO, Depends(get_current_user)],
service: Annotated[AttachmentService, Depends(get_service)],
filename: Annotated[str, Query(min_length=1, max_length=255)],
) -> AttachmentOut:
if len(request.query_params.getlist("filename")) != 1:
raise ApiError(400, "invalid_request", "Неоднозначное имя файла")
return to_output(await service.upload(request, chat_id, user.id, filename))
@router.get("/attachments/{attachment_id}")
async def get_attachment(
attachment_id: UUID,
user: Annotated[UserDTO, Depends(get_current_user)],
service: Annotated[AttachmentService, Depends(get_service)],
) -> AttachmentOut:
return to_output(await service.get(attachment_id, user.id))
@router.get("/attachments/{attachment_id}/content")
async def download_attachment(
attachment_id: UUID,
request: Request,
user: Annotated[UserDTO, Depends(get_current_user)],
service: Annotated[AttachmentService, Depends(get_service)],
variant: str = "original",
):
attachment = await service.get(attachment_id, user.id)
if len(request.query_params.getlist("variant")) > 1:
raise ApiError(400, "invalid_request", "Неоднозначный вариант")
if variant not in {"original", "thumbnail", "crop", "optimized"}:
raise ApiError(400, "invalid_request", "Некорректный вариант")
if attachment.status != "ready":
raise ApiError(409, "conflict", "Вложение ещё не готово")
key, mime, size = attachment.object_key, attachment.content_type, attachment.size_bytes
if variant != "original":
item = next((v for v in attachment.variants if v["name"] == variant), None)
if item is None:
raise ApiError(404, "not_found", "Вариант не найден")
key = f"variants/{attachment.id}/v1/{variant}"
mime, size = item["content_type"], item["size_bytes"]
try:
response = await to_thread.run_sync(
lambda: get_storage().get_object(settings.s3_bucket, key)
)
except STORAGE_ERRORS as error:
raise unavailable(error) from error
async def content():
try:
while chunk := await to_thread.run_sync(response.read, 64 * 1024):
yield chunk
finally:
response.close()
response.release_conn()
return StreamingResponse(
content(),
media_type=mime,
headers={
"Content-Length": str(size),
},
)
View File
+31
View File
@@ -0,0 +1,31 @@
import logging
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
from src.core.db.repo.auth import fetch_user_credentials
from src.core.security import verify_password_async
from src.core.settings import settings
from src.service.user import UserService
logger = logging.getLogger(__name__)
async def create_admin(session_factory: async_sessionmaker[AsyncSession]) -> None:
async with session_factory.begin() as session:
admin = await UserService(db_session=session).create_admin(
username=settings.admin_username,
display_name=settings.admin_display_name,
password=settings.admin_password.get_secret_value(),
)
if admin is None and settings.app_env == "production":
credentials = await fetch_user_credentials(session, settings.admin_username)
if credentials is None or not await verify_password_async(
settings.admin_password.get_secret_value(), credentials.password_hash
):
raise RuntimeError(
"Пароль существующего администратора не совпадает с настройкой production"
)
if admin is None:
logger.info("Администратор уже существует")
else:
logger.info("Администратор создан: пользователь=%s", admin.id)
+50
View File
@@ -0,0 +1,50 @@
from dataclasses import asdict
from typing import Annotated
from fastapi import APIRouter, Depends, Response
from fastapi.security import HTTPBasicCredentials
from src.api.dependencies import (
get_auth_service,
get_basic_credentials,
get_bearer_token,
get_current_user,
)
from src.api.v1.routers.auth.schemas import SessionOut
from src.api.v1.routers.users.schemas import UserOut
from src.core.errors import ApiError
from src.service.auth import AuthService
from src.service.dto import UserDTO
from src.service.exceptions import InvalidCredentialsException
router = APIRouter(prefix="/auth/sessions", tags=["Сессии"])
@router.post("", status_code=201, response_model=SessionOut)
async def login(
credentials: Annotated[HTTPBasicCredentials, Depends(get_basic_credentials)],
auth: Annotated[AuthService, Depends(get_auth_service)],
) -> SessionOut:
try:
result = await auth.login(
username=credentials.username,
password=credentials.password,
)
except InvalidCredentialsException as error:
raise ApiError(401, "unauthorized", str(error)) from error
return SessionOut(
token=result.token,
token_type=result.token_type,
expires_at=result.expires_at,
user=UserOut(**asdict(result.user)),
)
@router.delete("/current", status_code=204)
async def logout(
current_user: Annotated[UserDTO, Depends(get_current_user)],
token: Annotated[str, Depends(get_bearer_token)],
auth: Annotated[AuthService, Depends(get_auth_service)],
) -> Response:
await auth.logout(token=token)
return Response(status_code=204)
+13
View File
@@ -0,0 +1,13 @@
from datetime import datetime
from typing import Literal
from pydantic import BaseModel
from src.api.v1.routers.users.schemas import UserOut
class SessionOut(BaseModel):
token: str
token_type: Literal["Bearer"]
expires_at: datetime
user: UserOut
+86
View File
@@ -0,0 +1,86 @@
from typing import Annotated
from uuid import UUID
from fastapi import APIRouter, Depends, Query, status
from src.api.dependencies import get_chat_service, get_current_user
from src.api.v1.routers.chats.schemas import ChatOut, CreateChatIn, GetChatOut
from src.api.v1.schemas import PaginationQuery
from src.core.errors import ApiError
from src.core.pagination import decode_cursor, encode_cursor
from src.service.chat import ChatService
from src.service.dto import ChatDTO, UserDTO
from src.service.exceptions import ChatNotFoundException, InvalidChatMembersException
router = APIRouter(prefix="/chats", tags=["Чаты"])
def _to_chat_out(chat: ChatDTO) -> ChatOut:
return ChatOut(
id=chat.id,
title=chat.title,
member_ids=list(chat.member_ids),
created_at=chat.created_at,
)
@router.post("", status_code=status.HTTP_201_CREATED)
async def create_chat(
chat_in: CreateChatIn,
current_user: Annotated[UserDTO, Depends(get_current_user)],
chat_service: Annotated[ChatService, Depends(get_chat_service)],
) -> ChatOut:
try:
chat = await chat_service.create_chat(
title=chat_in.title,
member_ids=chat_in.member_ids,
current_user_id=current_user.id,
)
except InvalidChatMembersException as error:
raise ApiError(400, "invalid_request", str(error)) from error
return _to_chat_out(chat)
@router.get("", status_code=status.HTTP_200_OK)
async def get_chats(
pagination: Annotated[PaginationQuery, Query()],
current_user: Annotated[UserDTO, Depends(get_current_user)],
chat_service: Annotated[ChatService, Depends(get_chat_service)],
) -> GetChatOut:
after = None
if pagination.cursor is not None:
after = decode_cursor(
pagination.cursor,
expected_kind="chats",
expected_owner_id=current_user.id,
)
chats = await chat_service.get_chats(
current_user_id=current_user.id, limit=pagination.limit + 1, after=after
)
page = chats[: pagination.limit]
next_cursor = None
if len(chats) > pagination.limit:
last = page[-1]
next_cursor = encode_cursor("chats", current_user.id, last.created_at, last.id)
return GetChatOut(
items=[_to_chat_out(chat) for chat in page],
next_cursor=next_cursor,
)
@router.get("/{chat_id}", summary="Получить доступный чат")
async def get_chat(
chat_id: UUID,
current_user: Annotated[UserDTO, Depends(get_current_user)],
chat_service: Annotated[ChatService, Depends(get_chat_service)],
) -> ChatOut:
try:
chat = await chat_service.get_chat(
chat_id=chat_id,
current_user_id=current_user.id,
)
except ChatNotFoundException as error:
raise ApiError(404, "not_found", str(error)) from error
return _to_chat_out(chat)
+42
View File
@@ -0,0 +1,42 @@
from datetime import datetime
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field, field_validator
class CreateChatIn(BaseModel):
model_config = ConfigDict(extra="forbid")
title: str = Field(min_length=1, max_length=100)
member_ids: list[UUID] = Field(min_length=1, max_length=100)
@field_validator("title")
@classmethod
def title_must_not_be_blank(cls, value: str) -> str:
value.encode("utf-8")
if not value.strip():
raise ValueError("title не может состоять только из пробелов")
return value
@field_validator("member_ids")
@classmethod
def member_ids_must_be_unique(cls, value: list[UUID]) -> list[UUID]:
if len(value) != len(set(value)):
raise ValueError("member_ids не должен содержать дубликаты")
return value
class ChatOut(BaseModel):
model_config = ConfigDict(extra="forbid")
id: UUID
title: str
member_ids: list[UUID]
created_at: datetime
class GetChatOut(BaseModel):
model_config = ConfigDict(extra="forbid")
items: list[ChatOut]
next_cursor: str | None
+96
View File
@@ -0,0 +1,96 @@
import re
from typing import Annotated
from uuid import UUID
from fastapi import APIRouter, Depends, Header, Query, Request, status
from src.api.dependencies import get_current_user, get_message_service
from src.api.v1.routers.messages.schemas import (
CreateMessageIn,
MessageOut,
MessagePageOut,
)
from src.api.v1.schemas import PaginationQuery
from src.core.errors import ApiError
from src.core.pagination import decode_cursor, encode_cursor
from src.service.dto import MessageDTO, UserDTO
from src.service.exceptions import ChatNotFoundException, IdempotencyConflictException
from src.service.message import MessageService
router = APIRouter(prefix="/chats", tags=["Сообщения"])
def _to_message_out(message: MessageDTO) -> MessageOut:
return MessageOut(
id=message.id,
chat_id=message.chat_id,
sender_id=message.sender_id,
text=message.text,
attachment_ids=list(message.attachment_ids),
created_at=message.created_at,
)
@router.post("/{chat_id}/messages", status_code=status.HTTP_201_CREATED)
async def create_message(
chat_id: UUID,
message_in: CreateMessageIn,
request: Request,
current_user: Annotated[UserDTO, Depends(get_current_user)],
message_service: Annotated[MessageService, Depends(get_message_service)],
idempotency_key: Annotated[str, Header()],
) -> MessageOut:
if (
len(request.headers.getlist("idempotency-key")) != 1
or re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", idempotency_key) is None
):
raise ApiError(400, "invalid_request", "Требуется корректный Idempotency-Key")
try:
message = await message_service.create_message(
chat_id=chat_id,
sender_id=current_user.id,
text=message_in.text,
attachment_ids=message_in.attachment_ids,
idempotency_key=idempotency_key,
)
except ChatNotFoundException as error:
raise ApiError(404, "not_found", str(error)) from error
except IdempotencyConflictException as error:
raise ApiError(409, "conflict", "Ключ уже использован для другого сообщения") from error
return _to_message_out(message)
@router.get("/{chat_id}/messages", status_code=status.HTTP_200_OK)
async def get_messages(
chat_id: UUID,
pagination: Annotated[PaginationQuery, Query()],
current_user: Annotated[UserDTO, Depends(get_current_user)],
message_service: Annotated[MessageService, Depends(get_message_service)],
) -> MessagePageOut:
after = None
if pagination.cursor is not None:
after = decode_cursor(
pagination.cursor,
expected_kind="messages",
expected_owner_id=chat_id,
)
try:
messages = await message_service.get_messages(
chat_id=chat_id,
current_user_id=current_user.id,
limit=pagination.limit + 1,
after=after,
)
except ChatNotFoundException as error:
raise ApiError(404, "not_found", str(error)) from error
page = messages[: pagination.limit]
next_cursor = None
if len(messages) > pagination.limit:
last = page[-1]
next_cursor = encode_cursor("messages", chat_id, last.created_at, last.id)
return MessagePageOut(
items=[_to_message_out(message) for message in page],
next_cursor=next_cursor,
)
+43
View File
@@ -0,0 +1,43 @@
from datetime import datetime
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field, field_validator, model_validator
class CreateMessageIn(BaseModel):
model_config = ConfigDict(extra="forbid")
text: str = Field(max_length=4000)
attachment_ids: list[UUID] = Field(default_factory=list, max_length=10)
@field_validator("text")
@classmethod
def text_must_not_be_blank(cls, value: str) -> str:
value.encode("utf-8")
return value
@model_validator(mode="after")
def validate_message(self):
if not self.text.strip() and not self.attachment_ids:
raise ValueError("Требуется текст или вложение")
if len(set(self.attachment_ids)) != len(self.attachment_ids):
raise ValueError("Вложения не должны повторяться")
return self
class MessageOut(BaseModel):
model_config = ConfigDict(extra="forbid")
id: UUID
chat_id: UUID
sender_id: UUID
text: str
attachment_ids: list[UUID]
created_at: datetime
class MessagePageOut(BaseModel):
model_config = ConfigDict(extra="forbid")
items: list[MessageOut]
next_cursor: str | None
+44
View File
@@ -0,0 +1,44 @@
from typing import Annotated
from fastapi import APIRouter, Depends, status
from src.api.dependencies import get_current_user, get_user_service
from src.api.v1.routers.users.schemas import CreateUserIn, UserOut
from src.core.errors import ApiError
from src.service.dto import UserDTO
from src.service.exceptions import UserAlreadyExistsException
from src.service.user import UserService
router = APIRouter(prefix="/users", tags=["Пользователи"])
def _to_user_out(user: UserDTO) -> UserOut:
return UserOut(
id=user.id,
username=user.username,
display_name=user.display_name,
created_at=user.created_at,
)
@router.post("", status_code=status.HTTP_201_CREATED)
async def create_user(
user_in: CreateUserIn,
user_service: Annotated[UserService, Depends(get_user_service)],
) -> UserOut:
try:
user = await user_service.create_user(
password=user_in.password,
username=user_in.username,
display_name=user_in.display_name,
)
except UserAlreadyExistsException as error:
raise ApiError(409, "conflict", str(error)) from error
return _to_user_out(user)
@router.get("/me", status_code=status.HTTP_200_OK)
async def get_me(
current_user: Annotated[UserDTO, Depends(get_current_user)],
) -> UserOut:
return _to_user_out(current_user)
+29
View File
@@ -0,0 +1,29 @@
from datetime import datetime
from uuid import UUID
from pydantic import BaseModel, ConfigDict, Field, field_validator
class CreateUserIn(BaseModel):
model_config = ConfigDict(extra="forbid")
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
password: str = Field(min_length=12, max_length=128)
display_name: str = Field(min_length=1, max_length=100)
@field_validator("display_name", "password")
@classmethod
def required_string_must_not_be_blank(cls, value: str) -> str:
value.encode("utf-8")
if not value.strip():
raise ValueError("Обязательная строка не может состоять только из пробелов")
return value
class UserOut(BaseModel):
model_config = ConfigDict(extra="forbid")
id: UUID
username: str
display_name: str
created_at: datetime
+21
View File
@@ -0,0 +1,21 @@
import re
from pydantic import BaseModel, ConfigDict, Field, field_validator
from src.core.settings import settings
class PaginationQuery(BaseModel):
model_config = ConfigDict(extra="forbid")
limit: int = Field(default=50, ge=1, le=100)
cursor: str | None = Field(default=None, min_length=1, max_length=settings.cursor_max_length)
@field_validator("limit", mode="before")
@classmethod
def limit_must_be_integer(cls, value):
if isinstance(value, bool) or isinstance(value, float):
raise ValueError("limit должен быть целым числом")
if isinstance(value, str) and re.fullmatch(r"[0-9]+", value) is None:
raise ValueError("limit должен содержать десятичные цифры")
return value
View File

Some files were not shown because too many files have changed in this diff Show More