Автор / группа: Тюрина Александра / БВТ2304 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен
1. Что реализовано и что перенесено
Перенесено из lab5 (контракт и тесты не ослаблены)
REST API мессенджера: users, sessions, chats, messages, attachments;
сессии в Redis с TTL, персистентность в PostgreSQL, миграции;
асинхронная обработка вложений через Redis Streams: worker, leases, retries с backoff, DLQ, janitor, reclaim;
S3-хранилище для оригиналов и вариантов (thumbnail / crop / optimized.webp);
graceful shutdown API и worker.
Добавлено в lab6
OpenTelemetry SDK в API и worker (src/internal/telemetry/telemetry.go):
TracerProvider (batch), MeterProvider (periodic reader 10s), LoggerProvider (otelslog-bridge);
при недоступности Collector — fallback на no-op провайдеры и stderr-логгер;
W3C Trace Context через брокер: API инжектит traceparent в сообщение Redis Streams
(otel.GetTextMapPropagator().Inject), worker извлекает его (extractParent) и стартует
CONSUMER-span process_job с корректным parent;
slog + TraceContextHandler: trace_id и span_id в каждом логе;
Observability-стек в docker-compose: otelcol (contrib 0.112.0), prometheus (v2.55.0),
loki (3.2.0), tempo (2.6.0), grafana (11.2.0);
Collector: memory_limiter + batch во всех pipelines; exporters: otlp/tempo, prometheus, loki;
Grafana provisioning: datasources (Prometheus, Loki, Tempo) и дашборд infra/grafana/dashboards/messenger-overview.json;
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
Метрики (Prometheus)
curl -s 'http://localhost:9090/api/v1/query?query=attachment_jobs_queue_depth'# есть серии от messenger-worker
curl -s 'http://localhost:9090/api/v1/query?query=worker_in_flight_jobs'# saturation worker
curl -s 'http://localhost:9090/api/v1/query?query=http_server_request_duration_seconds_count'# RPS/errors API
evidence/alerts_firing.json — ApiHighErrorRate: firing в момент отказа PostgreSQL; evidence/error_rate_metric.json — значение метрики в момент firing (240 ошибок 5xx при пороге > 10).
Grafana
Дашборд «Messenger Lab 6 Overview» импортирован из JSON: панели RPS, доля ошибок,
p50/p95/p99, queue depth, возраст старейшей job, in-flight и concurrency limit, DB pool.
Симптом: alert ApiHighErrorRate перешёл в firing (порог: > 10 ответов 5xx, for: 30s). Диагностика: Prometheus — рост http_server_request_duration_seconds_count{status=~"5.."};
Loki — {service_name="messenger-api"} |= "ERROR" с postgres: connection refused;
Tempo — обрыв трейсов на CLIENT-span обращения к БД. Причина: контейнер postgres остановлен (эксперимент student-tests/capture_firing_alert.sh). Восстановление:docker compose start postgres → alert resolved, make test PASS. Вывод: все три сигнала (метрика/лог/трейс) указали на одну причину; время реакции alert ≈ 30–40 c.
Инцидент 2: Tempo недоступен → graceful degradation
Симптом: Tempo остановлен, при этом API и worker продолжают обслуживать запросы. Диагностика: логи Collector — ошибки экспорта трейсов; Loki и Prometheus продолжают принимать данные; make test PASS при остановленном Tempo. Причина: эксперимент на устойчивость телеметрии. Восстановление:docker compose start tempo — экспорт трейсов возобновился. Вывод: остановка telemetry-хранилища не ломает бизнес-логику: сказались memory_limiter/batch
в Collector и fallback-поведение SDK; теряются только трейсы за окно простоя.
Дополнительно: S3 недоступен
POST .../attachments возвращает 503, метаданные не создаются; worker для уже созданных jobs
делает retries с backoff и DLQ. Восстановление: docker compose start s3.
5. Ограничения / известные ошибки
Локальный toolchain Go 1.22.12, в go.mod и Dockerfile зафиксирован go 1.22;
loki-exporter Collector печатает deprecation-warning (планируется переход на OTLP-приём Loki);
sampling трейсов 100% (для продакшена нужен ratio-based sampler);
IDE (gopls) может показывать предупреждения при несовпадении toolchain — на сборку не влияет.
6. Источники и использование ИИ
Документация: OpenTelemetry Go SDK, Prometheus alerting rules, Loki LogQL, Tempo API,
W3C Trace Context, Redis Streams.
ИИ-ассистент использовался для диагностики конфигураций (Collector, Prometheus rules, Loki-запросы)
и формулировок отчёта; весь код приложения написан и проверен вручную.
7. Чек-лист
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; реальный вывод приложен (раздел 3).
Сценарии отказов своего уровня воспроизведены (раздел 4).
Все секреты и приватные ключи вне Git (.env в .gitignore); отчёт не содержит tokens.
README задания сохранён; REPORT.md содержит инструкцию именно моего решения.
8. Доказательства (evidence/)
trace_upload_to_worker.json, trace_upload_to_worker.txt — связный трейс API → worker;
alerts_firing.json, error_rate_metric.json — firing alert и метрика в момент отказа;
metric_queue_depth.json, metric_in_flight.json — очереди и saturation worker;
prometheus_rules.json — загруженные alert rules;
smoke_output.txt, smoke_tempo_down.txt — вывод make test в штатном режиме и при остановленном Tempo.
# Лабораторная 6 — Наблюдаемость высоконагруженного приложения
**Автор / группа:** Тюрина Александра / БВТ2304
**Целевая оценка (3/4/5):** 4
**Трек 5, если заявлен:** не заявлен
## 1. Что реализовано и что перенесено
### Перенесено из lab5 (контракт и тесты не ослаблены)
- REST API мессенджера: users, sessions, chats, messages, attachments;
- сессии в Redis с TTL, персистентность в PostgreSQL, миграции;
- асинхронная обработка вложений через Redis Streams: worker, leases, retries с backoff, DLQ, janitor, reclaim;
- S3-хранилище для оригиналов и вариантов (thumbnail / crop / optimized.webp);
- graceful shutdown API и worker.
### Добавлено в lab6
- **OpenTelemetry SDK** в API и worker (`src/internal/telemetry/telemetry.go`):
TracerProvider (batch), MeterProvider (periodic reader 10s), LoggerProvider (otelslog-bridge);
при недоступности Collector — fallback на no-op провайдеры и stderr-логгер;
- **W3C Trace Context через брокер**: API инжектит `traceparent` в сообщение Redis Streams
(`otel.GetTextMapPropagator().Inject`), worker извлекает его (`extractParent`) и стартует
CONSUMER-span `process_job` с корректным parent;
- **slog + TraceContextHandler**: `trace_id` и `span_id` в каждом логе;
- **Observability-стек в docker-compose**: otelcol (contrib 0.112.0), prometheus (v2.55.0),
loki (3.2.0), tempo (2.6.0), grafana (11.2.0);
- **Collector**: `memory_limiter` + `batch` во всех pipelines; exporters: otlp/tempo, prometheus, loki;
- **Grafana provisioning**: datasources (Prometheus, Loki, Tempo) и дашборд
`infra/grafana/dashboards/messenger-overview.json`;
- **Alert rules** (`infra/prometheus/rules.yml`): ApiHighErrorRate, AttachmentQueueLagHigh,
WorkerStalled, ApiLatencyP95High;
- **Метрики**: `http_server_request_duration_seconds` (histogram), `worker_jobs_processed_total`,
`worker_job_duration_seconds`, `attachment_jobs_queue_depth`, `attachment_jobs_oldest_age_seconds`,
`worker_in_flight_jobs`, `worker_concurrency_limit`, `db_pool_acquired_conns/idle_conns/max_conns`.
## 2. Команды запуска из чистого clone
```bash
git clone <url-форка>
cd mtusi2026lab6-fork
git checkout solution/bvt2304-tyurina
cp .env.example .env # секреты создаются локально, вне Git
docker compose --env-file .env up -d --build
sleep 30 # ожидание healthchecks
make check
make test
```
UI: Grafana http://localhost:3000 (admin/admin), Prometheus http://localhost:9090,
Tempo http://localhost:3200, Loki http://localhost:3100.
## 3. Результаты проверок
### make test
```
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
```
### Метрики (Prometheus)
```bash
curl -s 'http://localhost:9090/api/v1/query?query=attachment_jobs_queue_depth' # есть серии от messenger-worker
curl -s 'http://localhost:9090/api/v1/query?query=worker_in_flight_jobs' # saturation worker
curl -s 'http://localhost:9090/api/v1/query?query=http_server_request_duration_seconds_count' # RPS/errors API
```
### Логи (Loki) — с trace_id и span_id
```bash
START=$(date -u -v-5M +%s)000000000; END=$(date -u +%s)000000000
curl -sG 'http://localhost:3100/loki/api/v1/query_range' \
--data-urlencode 'query={service_name=~".+"}' \
--data-urlencode 'limit=5' --data-urlencode "start=$START" --data-urlencode "end=$END"
# в теле лога: "traceid":"...", "spanid":"...", attributes.trace_id / attributes.span_id
```
### Трейсы (Tempo) — связка API → broker → worker
Trace `b682be338f7d4e1d3ba5aeed1630ed98` (копия в `evidence/trace_upload_to_worker.json`):
- `messenger-api`: `POST /api/v1/chats/{chat_id}/attachments` (SERVER, root), `s3.put_object`, `db.create_attachment_and_job`;
- `messenger-worker`: `process_job` (CONSUMER, parentSpanId = span API), `s3.get_staging`,
`image.decode`, `db.complete_attachment`, `s3.put_variants`.
Человекочитаемый дамп: `evidence/trace_upload_to_worker.txt`.
### Alert firing (доказательство)
`evidence/alerts_firing.json` — `ApiHighErrorRate: firing` в момент отказа PostgreSQL;
`evidence/error_rate_metric.json` — значение метрики в момент firing (240 ошибок 5xx при пороге > 10).
### Grafana
Дашборд «Messenger Lab 6 Overview» импортирован из JSON: панели RPS, доля ошибок,
p50/p95/p99, queue depth, возраст старейшей job, in-flight и concurrency limit, DB pool.
## 4. Сценарии отказов и разбор инцидентов
### Инцидент 1: PostgreSQL недоступен → ApiHighErrorRate firing
**Симптом:** alert `ApiHighErrorRate` перешёл в `firing` (порог: > 10 ответов 5xx, `for: 30s`).
**Диагностика:** Prometheus — рост `http_server_request_duration_seconds_count{status=~"5.."}`;
Loki — `{service_name="messenger-api"} |= "ERROR"` с `postgres: connection refused`;
Tempo — обрыв трейсов на CLIENT-span обращения к БД.
**Причина:** контейнер postgres остановлен (эксперимент `student-tests/capture_firing_alert.sh`).
**Восстановление:** `docker compose start postgres` → alert resolved, `make test` PASS.
**Вывод:** все три сигнала (метрика/лог/трейс) указали на одну причину; время реакции alert ≈ 30–40 c.
### Инцидент 2: Tempo недоступен → graceful degradation
**Симптом:** Tempo остановлен, при этом API и worker продолжают обслуживать запросы.
**Диагностика:** логи Collector — ошибки экспорта трейсов; Loki и Prometheus продолжают принимать данные;
`make test` PASS при остановленном Tempo.
**Причина:** эксперимент на устойчивость телеметрии.
**Восстановление:** `docker compose start tempo` — экспорт трейсов возобновился.
**Вывод:** остановка telemetry-хранилища не ломает бизнес-логику: сказались `memory_limiter`/`batch`
в Collector и fallback-поведение SDK; теряются только трейсы за окно простоя.
### Дополнительно: S3 недоступен
`POST .../attachments` возвращает 503, метаданные не создаются; worker для уже созданных jobs
делает retries с backoff и DLQ. Восстановление: `docker compose start s3`.
## 5. Ограничения / известные ошибки
- Локальный toolchain Go 1.22.12, в `go.mod` и Dockerfile зафиксирован `go 1.22`;
- loki-exporter Collector печатает deprecation-warning (планируется переход на OTLP-приём Loki);
- sampling трейсов 100% (для продакшена нужен ratio-based sampler);
- IDE (gopls) может показывать предупреждения при несовпадении toolchain — на сборку не влияет.
## 6. Источники и использование ИИ
Документация: OpenTelemetry Go SDK, Prometheus alerting rules, Loki LogQL, Tempo API,
W3C Trace Context, Redis Streams.
ИИ-ассистент использовался для диагностики конфигураций (Collector, Prometheus rules, Loki-запросы)
и формулировок отчёта; весь код приложения написан и проверен вручную.
## 7. Чек-лист
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] `make check` и `make test` выполнены; реальный вывод приложен (раздел 3).
- [x] Сценарии отказов своего уровня воспроизведены (раздел 4).
- [x] Все секреты и приватные ключи вне Git (`.env` в `.gitignore`); отчёт не содержит tokens.
- [x] README задания сохранён; REPORT.md содержит инструкцию именно моего решения.
## 8. Доказательства (evidence/)
- `trace_upload_to_worker.json`, `trace_upload_to_worker.txt` — связный трейс API → worker;
- `alerts_firing.json`, `error_rate_metric.json` — firing alert и метрика в момент отказа;
- `metric_queue_depth.json`, `metric_in_flight.json` — очереди и saturation worker;
- `prometheus_rules.json` — загруженные alert rules;
- `smoke_output.txt`, `smoke_tempo_down.txt` — вывод make test в штатном режиме и при остановленном Tempo.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6 — Наблюдаемость высоконагруженного приложения
Автор / группа: Тюрина Александра / БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
1. Что реализовано и что перенесено
Перенесено из lab5 (контракт и тесты не ослаблены)
Добавлено в lab6
src/internal/telemetry/telemetry.go):TracerProvider (batch), MeterProvider (periodic reader 10s), LoggerProvider (otelslog-bridge);
при недоступности Collector — fallback на no-op провайдеры и stderr-логгер;
traceparentв сообщение Redis Streams(
otel.GetTextMapPropagator().Inject), worker извлекает его (extractParent) и стартуетCONSUMER-span
process_jobс корректным parent;trace_idиspan_idв каждом логе;loki (3.2.0), tempo (2.6.0), grafana (11.2.0);
memory_limiter+batchво всех pipelines; exporters: otlp/tempo, prometheus, loki;infra/grafana/dashboards/messenger-overview.json;infra/prometheus/rules.yml): ApiHighErrorRate, AttachmentQueueLagHigh,WorkerStalled, ApiLatencyP95High;
http_server_request_duration_seconds(histogram),worker_jobs_processed_total,worker_job_duration_seconds,attachment_jobs_queue_depth,attachment_jobs_oldest_age_seconds,worker_in_flight_jobs,worker_concurrency_limit,db_pool_acquired_conns/idle_conns/max_conns.2. Команды запуска из чистого clone
UI: Grafana http://localhost:3000 (admin/admin), Prometheus http://localhost:9090,
Tempo http://localhost:3200, Loki http://localhost:3100.
3. Результаты проверок
make test
Метрики (Prometheus)
Логи (Loki) — с trace_id и span_id
Трейсы (Tempo) — связка API → broker → worker
Trace
b682be338f7d4e1d3ba5aeed1630ed98(копия вevidence/trace_upload_to_worker.json):messenger-api:POST /api/v1/chats/{chat_id}/attachments(SERVER, root),s3.put_object,db.create_attachment_and_job;messenger-worker:process_job(CONSUMER, parentSpanId = span API),s3.get_staging,image.decode,db.complete_attachment,s3.put_variants.Человекочитаемый дамп:
evidence/trace_upload_to_worker.txt.Alert firing (доказательство)
evidence/alerts_firing.json—ApiHighErrorRate: firingв момент отказа PostgreSQL;evidence/error_rate_metric.json— значение метрики в момент firing (240 ошибок 5xx при пороге > 10).Grafana
Дашборд «Messenger Lab 6 Overview» импортирован из JSON: панели RPS, доля ошибок,
p50/p95/p99, queue depth, возраст старейшей job, in-flight и concurrency limit, DB pool.
4. Сценарии отказов и разбор инцидентов
Инцидент 1: PostgreSQL недоступен → ApiHighErrorRate firing
Симптом: alert
ApiHighErrorRateперешёл вfiring(порог: > 10 ответов 5xx,for: 30s).Диагностика: Prometheus — рост
http_server_request_duration_seconds_count{status=~"5.."};Loki —
{service_name="messenger-api"} |= "ERROR"сpostgres: connection refused;Tempo — обрыв трейсов на CLIENT-span обращения к БД.
Причина: контейнер postgres остановлен (эксперимент
student-tests/capture_firing_alert.sh).Восстановление:
docker compose start postgres→ alert resolved,make testPASS.Вывод: все три сигнала (метрика/лог/трейс) указали на одну причину; время реакции alert ≈ 30–40 c.
Инцидент 2: Tempo недоступен → graceful degradation
Симптом: Tempo остановлен, при этом API и worker продолжают обслуживать запросы.
Диагностика: логи Collector — ошибки экспорта трейсов; Loki и Prometheus продолжают принимать данные;
make testPASS при остановленном Tempo.Причина: эксперимент на устойчивость телеметрии.
Восстановление:
docker compose start tempo— экспорт трейсов возобновился.Вывод: остановка telemetry-хранилища не ломает бизнес-логику: сказались
memory_limiter/batchв Collector и fallback-поведение SDK; теряются только трейсы за окно простоя.
Дополнительно: S3 недоступен
POST .../attachmentsвозвращает 503, метаданные не создаются; worker для уже созданных jobsделает retries с backoff и DLQ. Восстановление:
docker compose start s3.5. Ограничения / известные ошибки
go.modи Dockerfile зафиксированgo 1.22;6. Источники и использование ИИ
Документация: OpenTelemetry Go SDK, Prometheus alerting rules, Loki LogQL, Tempo API,
W3C Trace Context, Redis Streams.
ИИ-ассистент использовался для диагностики конфигураций (Collector, Prometheus rules, Loki-запросы)
и формулировок отчёта; весь код приложения написан и проверен вручную.
7. Чек-лист
make checkиmake testвыполнены; реальный вывод приложен (раздел 3)..envв.gitignore); отчёт не содержит tokens.8. Доказательства (evidence/)
trace_upload_to_worker.json,trace_upload_to_worker.txt— связный трейс API → worker;alerts_firing.json,error_rate_metric.json— firing alert и метрика в момент отказа;metric_queue_depth.json,metric_in_flight.json— очереди и saturation worker;prometheus_rules.json— загруженные alert rules;smoke_output.txt,smoke_tempo_down.txt— вывод make test в штатном режиме и при остановленном Tempo.View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.