ЛР 6 — БВТ2304— Тюрина — на 4 #54

Open
Rakshasa wants to merge 1 commits from Rakshasa/mtusi2026lab6-fork:solution/bvt2304-tyurina into main
First-time contributor

Лабораторная 6 — Наблюдаемость высоконагруженного приложения

Автор / группа: Тюрина Александра / БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

1. Что реализовано и что перенесено

Перенесено из lab5 (контракт и тесты не ослаблены)

  • REST API мессенджера: users, sessions, chats, messages, attachments;
  • сессии в Redis с TTL, персистентность в PostgreSQL, миграции;
  • асинхронная обработка вложений через Redis Streams: worker, leases, retries с backoff, DLQ, janitor, reclaim;
  • S3-хранилище для оригиналов и вариантов (thumbnail / crop / optimized.webp);
  • graceful shutdown API и worker.

Добавлено в lab6

  • OpenTelemetry SDK в API и worker (src/internal/telemetry/telemetry.go):
    TracerProvider (batch), MeterProvider (periodic reader 10s), LoggerProvider (otelslog-bridge);
    при недоступности Collector — fallback на no-op провайдеры и stderr-логгер;
  • W3C Trace Context через брокер: API инжектит traceparent в сообщение Redis Streams
    (otel.GetTextMapPropagator().Inject), worker извлекает его (extractParent) и стартует
    CONSUMER-span process_job с корректным parent;
  • slog + TraceContextHandler: trace_id и span_id в каждом логе;
  • Observability-стек в docker-compose: otelcol (contrib 0.112.0), prometheus (v2.55.0),
    loki (3.2.0), tempo (2.6.0), grafana (11.2.0);
  • Collector: memory_limiter + batch во всех pipelines; exporters: otlp/tempo, prometheus, loki;
  • Grafana provisioning: datasources (Prometheus, Loki, Tempo) и дашборд
    infra/grafana/dashboards/messenger-overview.json;
  • Alert rules (infra/prometheus/rules.yml): ApiHighErrorRate, AttachmentQueueLagHigh,
    WorkerStalled, ApiLatencyP95High;
  • Метрики: http_server_request_duration_seconds (histogram), worker_jobs_processed_total,
    worker_job_duration_seconds, attachment_jobs_queue_depth, attachment_jobs_oldest_age_seconds,
    worker_in_flight_jobs, worker_concurrency_limit, db_pool_acquired_conns/idle_conns/max_conns.

2. Команды запуска из чистого clone

git clone <url-форка>
cd mtusi2026lab6-fork
git checkout solution/bvt2304-tyurina

cp .env.example .env          # секреты создаются локально, вне Git

docker compose --env-file .env up -d --build
sleep 30                      # ожидание healthchecks

make check
make test

UI: Grafana http://localhost:3000 (admin/admin), Prometheus http://localhost:9090,
Tempo http://localhost:3200, Loki http://localhost:3100.

3. Результаты проверок

make test

PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.

Метрики (Prometheus)

curl -s 'http://localhost:9090/api/v1/query?query=attachment_jobs_queue_depth'   # есть серии от messenger-worker
curl -s 'http://localhost:9090/api/v1/query?query=worker_in_flight_jobs'         # saturation worker
curl -s 'http://localhost:9090/api/v1/query?query=http_server_request_duration_seconds_count'  # RPS/errors API

Логи (Loki) — с trace_id и span_id

START=$(date -u -v-5M +%s)000000000; END=$(date -u +%s)000000000
curl -sG 'http://localhost:3100/loki/api/v1/query_range' \
  --data-urlencode 'query={service_name=~".+"}' \
  --data-urlencode 'limit=5' --data-urlencode "start=$START" --data-urlencode "end=$END"
# в теле лога: "traceid":"...", "spanid":"...", attributes.trace_id / attributes.span_id

Трейсы (Tempo) — связка API → broker → worker

Trace b682be338f7d4e1d3ba5aeed1630ed98 (копия в evidence/trace_upload_to_worker.json):

  • messenger-api: POST /api/v1/chats/{chat_id}/attachments (SERVER, root), s3.put_object, db.create_attachment_and_job;
  • messenger-worker: process_job (CONSUMER, parentSpanId = span API), s3.get_staging,
    image.decode, db.complete_attachment, s3.put_variants.

Человекочитаемый дамп: evidence/trace_upload_to_worker.txt.

Alert firing (доказательство)

evidence/alerts_firing.json — ApiHighErrorRate: firing в момент отказа PostgreSQL;
evidence/error_rate_metric.json — значение метрики в момент firing (240 ошибок 5xx при пороге > 10).

Grafana

Дашборд «Messenger Lab 6 Overview» импортирован из JSON: панели RPS, доля ошибок,
p50/p95/p99, queue depth, возраст старейшей job, in-flight и concurrency limit, DB pool.

4. Сценарии отказов и разбор инцидентов

Инцидент 1: PostgreSQL недоступен → ApiHighErrorRate firing

Симптом: alert ApiHighErrorRate перешёл в firing (порог: > 10 ответов 5xx, for: 30s).
Диагностика: Prometheus — рост http_server_request_duration_seconds_count{status=~"5.."};
Loki — {service_name="messenger-api"} |= "ERROR" с postgres: connection refused;
Tempo — обрыв трейсов на CLIENT-span обращения к БД.
Причина: контейнер postgres остановлен (эксперимент student-tests/capture_firing_alert.sh).
Восстановление: docker compose start postgres → alert resolved, make test PASS.
Вывод: все три сигнала (метрика/лог/трейс) указали на одну причину; время реакции alert ≈ 30–40 c.

Инцидент 2: Tempo недоступен → graceful degradation

Симптом: Tempo остановлен, при этом API и worker продолжают обслуживать запросы.
Диагностика: логи Collector — ошибки экспорта трейсов; Loki и Prometheus продолжают принимать данные;
make test PASS при остановленном Tempo.
Причина: эксперимент на устойчивость телеметрии.
Восстановление: docker compose start tempo — экспорт трейсов возобновился.
Вывод: остановка telemetry-хранилища не ломает бизнес-логику: сказались memory_limiter/batch
в Collector и fallback-поведение SDK; теряются только трейсы за окно простоя.

Дополнительно: S3 недоступен

POST .../attachments возвращает 503, метаданные не создаются; worker для уже созданных jobs
делает retries с backoff и DLQ. Восстановление: docker compose start s3.

5. Ограничения / известные ошибки

  • Локальный toolchain Go 1.22.12, в go.mod и Dockerfile зафиксирован go 1.22;
  • loki-exporter Collector печатает deprecation-warning (планируется переход на OTLP-приём Loki);
  • sampling трейсов 100% (для продакшена нужен ratio-based sampler);
  • IDE (gopls) может показывать предупреждения при несовпадении toolchain — на сборку не влияет.

6. Источники и использование ИИ

Документация: OpenTelemetry Go SDK, Prometheus alerting rules, Loki LogQL, Tempo API,
W3C Trace Context, Redis Streams.
ИИ-ассистент использовался для диагностики конфигураций (Collector, Prometheus rules, Loki-запросы)
и формулировок отчёта; весь код приложения написан и проверен вручную.

7. Чек-лист

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; реальный вывод приложен (раздел 3).
  • Сценарии отказов своего уровня воспроизведены (раздел 4).
  • Все секреты и приватные ключи вне Git (.env в .gitignore); отчёт не содержит tokens.
  • README задания сохранён; REPORT.md содержит инструкцию именно моего решения.

8. Доказательства (evidence/)

  • trace_upload_to_worker.json, trace_upload_to_worker.txt — связный трейс API → worker;
  • alerts_firing.json, error_rate_metric.json — firing alert и метрика в момент отказа;
  • metric_queue_depth.json, metric_in_flight.json — очереди и saturation worker;
  • prometheus_rules.json — загруженные alert rules;
  • smoke_output.txt, smoke_tempo_down.txt — вывод make test в штатном режиме и при остановленном Tempo.
# Лабораторная 6 — Наблюдаемость высоконагруженного приложения **Автор / группа:** Тюрина Александра / БВТ2304 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен ## 1. Что реализовано и что перенесено ### Перенесено из lab5 (контракт и тесты не ослаблены) - REST API мессенджера: users, sessions, chats, messages, attachments; - сессии в Redis с TTL, персистентность в PostgreSQL, миграции; - асинхронная обработка вложений через Redis Streams: worker, leases, retries с backoff, DLQ, janitor, reclaim; - S3-хранилище для оригиналов и вариантов (thumbnail / crop / optimized.webp); - graceful shutdown API и worker. ### Добавлено в lab6 - **OpenTelemetry SDK** в API и worker (`src/internal/telemetry/telemetry.go`): TracerProvider (batch), MeterProvider (periodic reader 10s), LoggerProvider (otelslog-bridge); при недоступности Collector — fallback на no-op провайдеры и stderr-логгер; - **W3C Trace Context через брокер**: API инжектит `traceparent` в сообщение Redis Streams (`otel.GetTextMapPropagator().Inject`), worker извлекает его (`extractParent`) и стартует CONSUMER-span `process_job` с корректным parent; - **slog + TraceContextHandler**: `trace_id` и `span_id` в каждом логе; - **Observability-стек в docker-compose**: otelcol (contrib 0.112.0), prometheus (v2.55.0), loki (3.2.0), tempo (2.6.0), grafana (11.2.0); - **Collector**: `memory_limiter` + `batch` во всех pipelines; exporters: otlp/tempo, prometheus, loki; - **Grafana provisioning**: datasources (Prometheus, Loki, Tempo) и дашборд `infra/grafana/dashboards/messenger-overview.json`; - **Alert rules** (`infra/prometheus/rules.yml`): ApiHighErrorRate, AttachmentQueueLagHigh, WorkerStalled, ApiLatencyP95High; - **Метрики**: `http_server_request_duration_seconds` (histogram), `worker_jobs_processed_total`, `worker_job_duration_seconds`, `attachment_jobs_queue_depth`, `attachment_jobs_oldest_age_seconds`, `worker_in_flight_jobs`, `worker_concurrency_limit`, `db_pool_acquired_conns/idle_conns/max_conns`. ## 2. Команды запуска из чистого clone ```bash git clone <url-форка> cd mtusi2026lab6-fork git checkout solution/bvt2304-tyurina cp .env.example .env # секреты создаются локально, вне Git docker compose --env-file .env up -d --build sleep 30 # ожидание healthchecks make check make test ``` UI: Grafana http://localhost:3000 (admin/admin), Prometheus http://localhost:9090, Tempo http://localhost:3200, Loki http://localhost:3100. ## 3. Результаты проверок ### make test ``` PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. ``` ### Метрики (Prometheus) ```bash curl -s 'http://localhost:9090/api/v1/query?query=attachment_jobs_queue_depth' # есть серии от messenger-worker curl -s 'http://localhost:9090/api/v1/query?query=worker_in_flight_jobs' # saturation worker curl -s 'http://localhost:9090/api/v1/query?query=http_server_request_duration_seconds_count' # RPS/errors API ``` ### Логи (Loki) — с trace_id и span_id ```bash START=$(date -u -v-5M +%s)000000000; END=$(date -u +%s)000000000 curl -sG 'http://localhost:3100/loki/api/v1/query_range' \ --data-urlencode 'query={service_name=~".+"}' \ --data-urlencode 'limit=5' --data-urlencode "start=$START" --data-urlencode "end=$END" # в теле лога: "traceid":"...", "spanid":"...", attributes.trace_id / attributes.span_id ``` ### Трейсы (Tempo) — связка API → broker → worker Trace `b682be338f7d4e1d3ba5aeed1630ed98` (копия в `evidence/trace_upload_to_worker.json`): - `messenger-api`: `POST /api/v1/chats/{chat_id}/attachments` (SERVER, root), `s3.put_object`, `db.create_attachment_and_job`; - `messenger-worker`: `process_job` (CONSUMER, parentSpanId = span API), `s3.get_staging`, `image.decode`, `db.complete_attachment`, `s3.put_variants`. Человекочитаемый дамп: `evidence/trace_upload_to_worker.txt`. ### Alert firing (доказательство) `evidence/alerts_firing.json` — `ApiHighErrorRate: firing` в момент отказа PostgreSQL; `evidence/error_rate_metric.json` — значение метрики в момент firing (240 ошибок 5xx при пороге > 10). ### Grafana Дашборд «Messenger Lab 6 Overview» импортирован из JSON: панели RPS, доля ошибок, p50/p95/p99, queue depth, возраст старейшей job, in-flight и concurrency limit, DB pool. ## 4. Сценарии отказов и разбор инцидентов ### Инцидент 1: PostgreSQL недоступен → ApiHighErrorRate firing **Симптом:** alert `ApiHighErrorRate` перешёл в `firing` (порог: > 10 ответов 5xx, `for: 30s`). **Диагностика:** Prometheus — рост `http_server_request_duration_seconds_count{status=~"5.."}`; Loki — `{service_name="messenger-api"} |= "ERROR"` с `postgres: connection refused`; Tempo — обрыв трейсов на CLIENT-span обращения к БД. **Причина:** контейнер postgres остановлен (эксперимент `student-tests/capture_firing_alert.sh`). **Восстановление:** `docker compose start postgres` → alert resolved, `make test` PASS. **Вывод:** все три сигнала (метрика/лог/трейс) указали на одну причину; время реакции alert ≈ 30–40 c. ### Инцидент 2: Tempo недоступен → graceful degradation **Симптом:** Tempo остановлен, при этом API и worker продолжают обслуживать запросы. **Диагностика:** логи Collector — ошибки экспорта трейсов; Loki и Prometheus продолжают принимать данные; `make test` PASS при остановленном Tempo. **Причина:** эксперимент на устойчивость телеметрии. **Восстановление:** `docker compose start tempo` — экспорт трейсов возобновился. **Вывод:** остановка telemetry-хранилища не ломает бизнес-логику: сказались `memory_limiter`/`batch` в Collector и fallback-поведение SDK; теряются только трейсы за окно простоя. ### Дополнительно: S3 недоступен `POST .../attachments` возвращает 503, метаданные не создаются; worker для уже созданных jobs делает retries с backoff и DLQ. Восстановление: `docker compose start s3`. ## 5. Ограничения / известные ошибки - Локальный toolchain Go 1.22.12, в `go.mod` и Dockerfile зафиксирован `go 1.22`; - loki-exporter Collector печатает deprecation-warning (планируется переход на OTLP-приём Loki); - sampling трейсов 100% (для продакшена нужен ratio-based sampler); - IDE (gopls) может показывать предупреждения при несовпадении toolchain — на сборку не влияет. ## 6. Источники и использование ИИ Документация: OpenTelemetry Go SDK, Prometheus alerting rules, Loki LogQL, Tempo API, W3C Trace Context, Redis Streams. ИИ-ассистент использовался для диагностики конфигураций (Collector, Prometheus rules, Loki-запросы) и формулировок отчёта; весь код приложения написан и проверен вручную. ## 7. Чек-лист - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; реальный вывод приложен (раздел 3). - [x] Сценарии отказов своего уровня воспроизведены (раздел 4). - [x] Все секреты и приватные ключи вне Git (`.env` в `.gitignore`); отчёт не содержит tokens. - [x] README задания сохранён; REPORT.md содержит инструкцию именно моего решения. ## 8. Доказательства (evidence/) - `trace_upload_to_worker.json`, `trace_upload_to_worker.txt` — связный трейс API → worker; - `alerts_firing.json`, `error_rate_metric.json` — firing alert и метрика в момент отказа; - `metric_queue_depth.json`, `metric_in_flight.json` — очереди и saturation worker; - `prometheus_rules.json` — загруженные alert rules; - `smoke_output.txt`, `smoke_tempo_down.txt` — вывод make test в штатном режиме и при остановленном Tempo.
Rakshasa added 1 commit 2026-11-20 14:19:38 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Rakshasa/mtusi2026lab6-fork solution/bvt2304-tyurina:Rakshasa-solution/bvt2304-tyurina
git checkout Rakshasa-solution/bvt2304-tyurina
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#54