Шиян Лаб6 - оценка 4 #53

Open
BVT2304_Shiyan wants to merge 1 commits from BVT2304_Shiyan/mtusi2026lab6:solution/BVT2304-Shiyan into main
First-time contributor

Лабораторная 6

Автор / группа: maksimator / МТУСИ, поток 2026 (уточнить ФИО и номер группы перед отправкой)
Целевая оценка (3/4/5): 5 — реализован уровень 4 observability.md целиком (dashboards с percentiles, alert rules с runbook, SLI/SLO, три сценария отказов с firing→resolved)
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

Реализовано в лабе 6 (observability, уровень 4):

  • OTel SDK в приложении: src/internal/otel/otel.go (TracerProvider/MeterProvider/LoggerProvider, resource: service.name, service.version, service.instance.id, deployment.environment.name; sampler ParentBased(AlwaysSample)); экспорт OTLP/HTTP с явными путями /v1/traces|/v1/metrics|/v1/logs.
  • Structured logs: slog_bridge.go (stdout JSON + OTLP через официальный otelslog), trace_id/span_id в записях при активном span; все значимые логи переведены на *Context.
  • Traces: otelhttp (HTTP server spans, route template в имени span и http.route), exaring/otelpgx (db client spans PostgreSQL), собственный redis_hook.go (db client spans Redis; contrib-пакет otelredis удалён из upstream), producer span в queue.Publish + consumer span в worker.handle с переносом W3C traceparent/tracestate через поля JobMessage (схема contracts/jobs.schema.json дополнена, omitempty).
  • Metrics: metrics.go — messenger.jobs.processed{outcome,error_code}, messenger.job.duration, messenger.time.to_ready, observable gauges queue.depth/oldest_age, jobs.queued/oldest_queued_age, db.pool.used/capacity/empty_acquires, worker.busy/capacity; сбор gauge в runStatsCollector (main.go) с подавлением фоновых трасс (suppress.go).
  • Инфраструктура: otel-collector.yaml (memory_limiter первым, batch, resource; exporters: prometheus pull, otlphttp→Loki, otlp→Tempo; bounded sending_queue + retry с max_elapsed_time), prometheus.yaml, loki.yaml, tempo.yaml, Grafana provisioning из Git (datasources, dashboards/json/messenger.json, alerting/alerts.yaml — 2 правила с условием/окном/порогом/for/описанием/runbook); в compose.yaml добавлены 5 сервисов с пинами версий и resource limits.
  • Документы: REPORT.md (архитектура, SLI/SLO, инциденты, найденные дефекты), DEMO.md (сценарий защиты), evidence/ (выводы команд и скриншоты по шагам).

Перенесено из предыдущих_lab (без ослабления):

  • Лаба 5: transactional outbox + relay, Redis Streams broker (XADD/XREADGROUP/XACK/XAUTOCLAIM), leases/retries/reap, reconcile, миграции one-shot сервисом.
  • Лаба 4: pipeline вложений (staging → variants → original, SHA-256, S3/rustfs).
  • Лабы 2–3: auth Basic/Bearer, idempotency-key, 2 реплики API за nginx, instance id, cache.
  • Лаба 1: guard-middleware (request id, logging без тел, recovery).
    Объявленные переходы: сигнатуры Queue.Publish, worker.New, api.NewServer не менялись; JobMessage расширен двумя опциональными полями; публичный контракт OpenAPI и tests/smoke.py не изменены.

Команды запуска из чистого clone

git clone <url-репозитория> && cd mtusi2026lab6
cp .env.example .env                      # секреты создаются отдельно, вне Git
docker compose --compatibility up -d --build
docker compose ps                         # 12–13 контейнеров Up, migrate Exited(0)
python -X utf8 tests/smoke.py --base-url http://localhost:8080
make check && make test                   # check = go vet + go build, test = smoke против стенда
# наблюдаемость: http://localhost:3000/d/messenger-overview (учётка из .env)
# сценарий защиты целиком: см. DEMO.md (powershell-команды, ожидаемые выводы)

Результаты проверок и ссылка на REPORT.md

  • go build ./..., go vet ./... — чисто; docker compose --compatibility config --quiet — без ошибок.
  • tests/smoke.py — PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. (до, во время и после инцидентов где ожидался PASS).
  • Collector: otelcol_receiver_accepted_spans=2082, ..._metric_points=5652, ..._log_records=942 и равные otelcol_exporter_sent_* (prometheus/loki/tempo) — все три сигнала доходят.
  • Сквозная трасса: Tempo search по service.name=messenger-worker даёт трассу с корнем POST /api/v1/chats/{chat_id}/attachments; один trace_id присутствует в логах API и worker и в записях Loki (structured metadata).
  • Инцидент 1 (worker down): messenger_queue_oldest_age_seconds до 204 s, alert messenger-queue-lag firing 09:34:30, после start worker depth=0 и resolved, smoke PASS.
  • Инцидент 2 (БД недоступна): docker pause postgres → /health/ready = 503 {"code":"unavailable","message":"database unavailable"}, smoke FAIL; после unpause — PASS. Отличимо от медленного handler (там ready=200, p99 растёт, db-spans без ERROR).
  • Инцидент 3 (Collector down): smoke PASS при остановленном Collector, up{job="otel-app"} пустой, RAM API стабильна; после старта — up=1.
  • Alert rules: provenance=file через /api/v1/provisioning/alert-rules; dashboard поднят из grafana/provisioning/dashboards/json/messenger.json без ручного набора.
    Полный отчёт: REPORT.md (разделы «Архитектура», «SLI/SLO», «Эксперименты и отказы», «Найденные дефекты»); доказательства: evidence/demo-<ts>/, evidence/incident-*/.

Ограничения / известные ошибки

  • Доставка alert-уведомлений наружу не настроена (SMTP отсутствует) — по заданию достаточно локальных firing/resolved; в логах Grafana видны Notify for alerts failed ... SMTP not configured, это ожидаемо.
  • Правило messenger-high-error-rate при нулевом трафике показывает синтетический DatasourceNoData (окно 2m пустое) — документировано в REPORT.md, не дефект приложения.
  • Collector закреплён на 0.115.1 при Go SDK v1.47.0: OTLP/protobuf совместим по проводу, версии и digest зафиксированы в REPORT.md сознательно.
  • Сценарий «медленная БД» через docker update --cpus=0.05 не деградирует лёгкий healthcheck (Postgres успевает отвечать) — вместо него для отказа использован docker pause; ограничение эксперимента зафиксировано.
  • trace_id в Loki хранится в structured metadata; derived field Loki→Tempo может требовать подстройки regex в других версиях Grafana.
  • messenger.worker.capacity=1 по дизайну стенда (один worker), gauge saturation вырожден; горизонтальное масштабирование worker не проверялось.
  • Upstream-пакеты contrib/otelredis и contrib/.../otelpgx недоступны/удалены — использованы собственный redis hook и exaring/otelpgx.

Источники и использование ИИ

  • Источники: документация OpenTelemetry Go (SDK, OTLP exporters, semconv), go-redis v9 Hook API, pgx v5 tracing API, exaring/otelpgx README, Grafana provisioning и unified alerting docs, Loki OTLP ingest docs, Tempo configuration docs, Docker Hub API для проверки тегов/digest образов.

  • ИИ: ассистент (Qwen) использовался для генерации и отладки кода/конфигов и текстов отчётов; все изменения проверены сборкой, go vet, smoke-тестами и живыми проверками стенда; ключевые найденные и исправленные дефекты перечислены в REPORT.md («Найденные дефекты»: OTLP-пути 404, XPending.Lower вместо Min, EmptyAcquireCount() int64, отсутствие atomic.Float64, semconv.DeploymentEnvironmentName, удаление contrib-пакетов, stale-образы контейнеров). Авторское решение и финальные формулировки — мои.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод (evidence/demo-/02-.txt, 04-smoke-.txt).

  • Сценарии отказов/безопасности своего уровня воспроизведены (3 инцидента, evidence/incident-*).

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens (.env.example в репозитории, .env игнорируется).

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 6 Автор / группа: maksimator / МТУСИ, поток 2026 (уточнить ФИО и номер группы перед отправкой) Целевая оценка (3/4/5): 5 — реализован уровень 4 observability.md целиком (dashboards с percentiles, alert rules с runbook, SLI/SLO, три сценария отказов с firing→resolved) Трек 5, если заявлен: не заявлен ### Что реализовано и что перенесено Реализовано в лабе 6 (observability, уровень 4): - OTel SDK в приложении: `src/internal/otel/otel.go` (TracerProvider/MeterProvider/LoggerProvider, resource: service.name, service.version, service.instance.id, deployment.environment.name; sampler ParentBased(AlwaysSample)); экспорт OTLP/HTTP с явными путями `/v1/traces|/v1/metrics|/v1/logs`. - Structured logs: `slog_bridge.go` (stdout JSON + OTLP через официальный `otelslog`), `trace_id`/`span_id` в записях при активном span; все значимые логи переведены на `*Context`. - Traces: `otelhttp` (HTTP server spans, route template в имени span и `http.route`), `exaring/otelpgx` (db client spans PostgreSQL), собственный `redis_hook.go` (db client spans Redis; contrib-пакет `otelredis` удалён из upstream), producer span в `queue.Publish` + consumer span в `worker.handle` с переносом W3C `traceparent`/`tracestate` через поля `JobMessage` (схема `contracts/jobs.schema.json` дополнена, `omitempty`). - Metrics: `metrics.go` — `messenger.jobs.processed{outcome,error_code}`, `messenger.job.duration`, `messenger.time.to_ready`, observable gauges `queue.depth/oldest_age`, `jobs.queued/oldest_queued_age`, `db.pool.used/capacity/empty_acquires`, `worker.busy/capacity`; сбор gauge в `runStatsCollector` (main.go) с подавлением фоновых трасс (`suppress.go`). - Инфраструктура: `otel-collector.yaml` (memory_limiter первым, batch, resource; exporters: prometheus pull, otlphttp→Loki, otlp→Tempo; bounded sending_queue + retry с max_elapsed_time), `prometheus.yaml`, `loki.yaml`, `tempo.yaml`, Grafana provisioning из Git (`datasources`, `dashboards/json/messenger.json`, `alerting/alerts.yaml` — 2 правила с условием/окном/порогом/for/описанием/runbook); в `compose.yaml` добавлены 5 сервисов с пинами версий и resource limits. - Документы: `REPORT.md` (архитектура, SLI/SLO, инциденты, найденные дефекты), `DEMO.md` (сценарий защиты), `evidence/` (выводы команд и скриншоты по шагам). Перенесено из предыдущих_lab (без ослабления): - Лаба 5: transactional outbox + relay, Redis Streams broker (XADD/XREADGROUP/XACK/XAUTOCLAIM), leases/retries/reap, reconcile, миграции one-shot сервисом. - Лаба 4: pipeline вложений (staging → variants → original, SHA-256, S3/rustfs). - Лабы 2–3: auth Basic/Bearer, idempotency-key, 2 реплики API за nginx, instance id, cache. - Лаба 1: guard-middleware (request id, logging без тел, recovery). Объявленные переходы: сигнатуры `Queue.Publish`, `worker.New`, `api.NewServer` не менялись; `JobMessage` расширен двумя опциональными полями; публичный контракт OpenAPI и `tests/smoke.py` не изменены. ### Команды запуска из чистого clone ```bash git clone <url-репозитория> && cd mtusi2026lab6 cp .env.example .env # секреты создаются отдельно, вне Git docker compose --compatibility up -d --build docker compose ps # 12–13 контейнеров Up, migrate Exited(0) python -X utf8 tests/smoke.py --base-url http://localhost:8080 make check && make test # check = go vet + go build, test = smoke против стенда # наблюдаемость: http://localhost:3000/d/messenger-overview (учётка из .env) # сценарий защиты целиком: см. DEMO.md (powershell-команды, ожидаемые выводы) ``` ### Результаты проверок и ссылка на REPORT.md - `go build ./...`, `go vet ./...` — чисто; `docker compose --compatibility config --quiet` — без ошибок. - `tests/smoke.py` — `PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.` (до, во время и после инцидентов где ожидался PASS). - Collector: `otelcol_receiver_accepted_spans=2082`, `..._metric_points=5652`, `..._log_records=942` и равные `otelcol_exporter_sent_*` (prometheus/loki/tempo) — все три сигнала доходят. - Сквозная трасса: Tempo search по `service.name=messenger-worker` даёт трассу с корнем `POST /api/v1/chats/{chat_id}/attachments`; один `trace_id` присутствует в логах API и worker и в записях Loki (structured metadata). - Инцидент 1 (worker down): `messenger_queue_oldest_age_seconds` до 204 s, alert `messenger-queue-lag` firing 09:34:30, после `start worker` depth=0 и resolved, smoke PASS. - Инцидент 2 (БД недоступна): `docker pause postgres` → `/health/ready` = 503 `{"code":"unavailable","message":"database unavailable"}`, smoke FAIL; после unpause — PASS. Отличимо от медленного handler (там ready=200, p99 растёт, db-spans без ERROR). - Инцидент 3 (Collector down): smoke PASS при остановленном Collector, `up{job="otel-app"}` пустой, RAM API стабильна; после старта — `up=1`. - Alert rules: `provenance=file` через `/api/v1/provisioning/alert-rules`; dashboard поднят из `grafana/provisioning/dashboards/json/messenger.json` без ручного набора. Полный отчёт: `REPORT.md` (разделы «Архитектура», «SLI/SLO», «Эксперименты и отказы», «Найденные дефекты»); доказательства: `evidence/demo-<ts>/`, `evidence/incident-*/`. ### Ограничения / известные ошибки - Доставка alert-уведомлений наружу не настроена (SMTP отсутствует) — по заданию достаточно локальных firing/resolved; в логах Grafana видны `Notify for alerts failed ... SMTP not configured`, это ожидаемо. - Правило `messenger-high-error-rate` при нулевом трафике показывает синтетический `DatasourceNoData` (окно 2m пустое) — документировано в REPORT.md, не дефект приложения. - Collector закреплён на 0.115.1 при Go SDK v1.47.0: OTLP/protobuf совместим по проводу, версии и digest зафиксированы в REPORT.md сознательно. - Сценарий «медленная БД» через `docker update --cpus=0.05` не деградирует лёгкий healthcheck (Postgres успевает отвечать) — вместо него для отказа использован `docker pause`; ограничение эксперимента зафиксировано. - `trace_id` в Loki хранится в structured metadata; derived field Loki→Tempo может требовать подстройки regex в других версиях Grafana. - `messenger.worker.capacity=1` по дизайну стенда (один worker), gauge saturation вырожден; горизонтальное масштабирование worker не проверялось. - Upstream-пакеты `contrib/otelredis` и `contrib/.../otelpgx` недоступны/удалены — использованы собственный redis hook и `exaring/otelpgx`. ### Источники и использование ИИ - Источники: документация OpenTelemetry Go (SDK, OTLP exporters, semconv), go-redis v9 Hook API, pgx v5 tracing API, exaring/otelpgx README, Grafana provisioning и unified alerting docs, Loki OTLP ingest docs, Tempo configuration docs, Docker Hub API для проверки тегов/digest образов. - ИИ: ассистент (Qwen) использовался для генерации и отладки кода/конфигов и текстов отчётов; все изменения проверены сборкой, `go vet`, smoke-тестами и живыми проверками стенда; ключевые найденные и исправленные дефекты перечислены в REPORT.md («Найденные дефекты»: OTLP-пути 404, `XPending.Lower` вместо `Min`, `EmptyAcquireCount() int64`, отсутствие `atomic.Float64`, `semconv.DeploymentEnvironmentName`, удаление contrib-пакетов, stale-образы контейнеров). Авторское решение и финальные формулировки — мои. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод (evidence/demo-<ts>/02-*.txt, 04-smoke-*.txt). - [x] Сценарии отказов/безопасности своего уровня воспроизведены (3 инцидента, evidence/incident-*). - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens (.env.example в репозитории, .env игнорируется). - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
BVT2304_Shiyan added 1 commit 2026-11-20 13:41:31 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/BVT2304_Shiyan/mtusi2026lab6 solution/BVT2304-Shiyan:BVT2304_Shiyan-solution/BVT2304-Shiyan
git checkout BVT2304_Shiyan-solution/BVT2304-Shiyan
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#53