Автор / группа: maksimator / МТУСИ, поток 2026 (уточнить ФИО и номер группы перед отправкой)
Целевая оценка (3/4/5): 5 — реализован уровень 4 observability.md целиком (dashboards с percentiles, alert rules с runbook, SLI/SLO, три сценария отказов с firing→resolved)
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Реализовано в лабе 6 (observability, уровень 4):
OTel SDK в приложении: src/internal/otel/otel.go (TracerProvider/MeterProvider/LoggerProvider, resource: service.name, service.version, service.instance.id, deployment.environment.name; sampler ParentBased(AlwaysSample)); экспорт OTLP/HTTP с явными путями /v1/traces|/v1/metrics|/v1/logs.
Structured logs: slog_bridge.go (stdout JSON + OTLP через официальный otelslog), trace_id/span_id в записях при активном span; все значимые логи переведены на *Context.
Traces: otelhttp (HTTP server spans, route template в имени span и http.route), exaring/otelpgx (db client spans PostgreSQL), собственный redis_hook.go (db client spans Redis; contrib-пакет otelredis удалён из upstream), producer span в queue.Publish + consumer span в worker.handle с переносом W3C traceparent/tracestate через поля JobMessage (схема contracts/jobs.schema.json дополнена, omitempty).
Лабы 2–3: auth Basic/Bearer, idempotency-key, 2 реплики API за nginx, instance id, cache.
Лаба 1: guard-middleware (request id, logging без тел, recovery).
Объявленные переходы: сигнатуры Queue.Publish, worker.New, api.NewServer не менялись; JobMessage расширен двумя опциональными полями; публичный контракт OpenAPI и tests/smoke.py не изменены.
Команды запуска из чистого clone
git clone <url-репозитория> &&cd mtusi2026lab6
cp .env.example .env # секреты создаются отдельно, вне Git
docker compose --compatibility up -d --build
docker compose ps # 12–13 контейнеров Up, migrate Exited(0)
python -X utf8 tests/smoke.py --base-url http://localhost:8080
make check && make test# check = go vet + go build, test = smoke против стенда# наблюдаемость: http://localhost:3000/d/messenger-overview (учётка из .env)# сценарий защиты целиком: см. DEMO.md (powershell-команды, ожидаемые выводы)
Результаты проверок и ссылка на REPORT.md
go build ./..., go vet ./... — чисто; docker compose --compatibility config --quiet — без ошибок.
tests/smoke.py — PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. (до, во время и после инцидентов где ожидался PASS).
Collector: otelcol_receiver_accepted_spans=2082, ..._metric_points=5652, ..._log_records=942 и равные otelcol_exporter_sent_* (prometheus/loki/tempo) — все три сигнала доходят.
Сквозная трасса: Tempo search по service.name=messenger-worker даёт трассу с корнем POST /api/v1/chats/{chat_id}/attachments; один trace_id присутствует в логах API и worker и в записях Loki (structured metadata).
Инцидент 1 (worker down): messenger_queue_oldest_age_seconds до 204 s, alert messenger-queue-lag firing 09:34:30, после start worker depth=0 и resolved, smoke PASS.
Инцидент 2 (БД недоступна): docker pause postgres → /health/ready = 503 {"code":"unavailable","message":"database unavailable"}, smoke FAIL; после unpause — PASS. Отличимо от медленного handler (там ready=200, p99 растёт, db-spans без ERROR).
Инцидент 3 (Collector down): smoke PASS при остановленном Collector, up{job="otel-app"} пустой, RAM API стабильна; после старта — up=1.
Alert rules: provenance=file через /api/v1/provisioning/alert-rules; dashboard поднят из grafana/provisioning/dashboards/json/messenger.json без ручного набора.
Полный отчёт: REPORT.md (разделы «Архитектура», «SLI/SLO», «Эксперименты и отказы», «Найденные дефекты»); доказательства: evidence/demo-<ts>/, evidence/incident-*/.
Ограничения / известные ошибки
Доставка alert-уведомлений наружу не настроена (SMTP отсутствует) — по заданию достаточно локальных firing/resolved; в логах Grafana видны Notify for alerts failed ... SMTP not configured, это ожидаемо.
Правило messenger-high-error-rate при нулевом трафике показывает синтетический DatasourceNoData (окно 2m пустое) — документировано в REPORT.md, не дефект приложения.
Collector закреплён на 0.115.1 при Go SDK v1.47.0: OTLP/protobuf совместим по проводу, версии и digest зафиксированы в REPORT.md сознательно.
Сценарий «медленная БД» через docker update --cpus=0.05 не деградирует лёгкий healthcheck (Postgres успевает отвечать) — вместо него для отказа использован docker pause; ограничение эксперимента зафиксировано.
trace_id в Loki хранится в structured metadata; derived field Loki→Tempo может требовать подстройки regex в других версиях Grafana.
messenger.worker.capacity=1 по дизайну стенда (один worker), gauge saturation вырожден; горизонтальное масштабирование worker не проверялось.
Upstream-пакеты contrib/otelredis и contrib/.../otelpgx недоступны/удалены — использованы собственный redis hook и exaring/otelpgx.
Источники и использование ИИ
Источники: документация OpenTelemetry Go (SDK, OTLP exporters, semconv), go-redis v9 Hook API, pgx v5 tracing API, exaring/otelpgx README, Grafana provisioning и unified alerting docs, Loki OTLP ingest docs, Tempo configuration docs, Docker Hub API для проверки тегов/digest образов.
ИИ: ассистент (Qwen) использовался для генерации и отладки кода/конфигов и текстов отчётов; все изменения проверены сборкой, go vet, smoke-тестами и живыми проверками стенда; ключевые найденные и исправленные дефекты перечислены в REPORT.md («Найденные дефекты»: OTLP-пути 404, XPending.Lower вместо Min, EmptyAcquireCount() int64, отсутствие atomic.Float64, semconv.DeploymentEnvironmentName, удаление contrib-пакетов, stale-образы контейнеров). Авторское решение и финальные формулировки — мои.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод (evidence/demo-/02-.txt, 04-smoke-.txt).
Сценарии отказов/безопасности своего уровня воспроизведены (3 инцидента, evidence/incident-*).
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens (.env.example в репозитории, .env игнорируется).
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6
Автор / группа: maksimator / МТУСИ, поток 2026 (уточнить ФИО и номер группы перед отправкой)
Целевая оценка (3/4/5): 5 — реализован уровень 4 observability.md целиком (dashboards с percentiles, alert rules с runbook, SLI/SLO, три сценария отказов с firing→resolved)
Трек 5, если заявлен: не заявлен
### Что реализовано и что перенесено
Реализовано в лабе 6 (observability, уровень 4):
- OTel SDK в приложении: `src/internal/otel/otel.go` (TracerProvider/MeterProvider/LoggerProvider, resource: service.name, service.version, service.instance.id, deployment.environment.name; sampler ParentBased(AlwaysSample)); экспорт OTLP/HTTP с явными путями `/v1/traces|/v1/metrics|/v1/logs`.
- Structured logs: `slog_bridge.go` (stdout JSON + OTLP через официальный `otelslog`), `trace_id`/`span_id` в записях при активном span; все значимые логи переведены на `*Context`.
- Traces: `otelhttp` (HTTP server spans, route template в имени span и `http.route`), `exaring/otelpgx` (db client spans PostgreSQL), собственный `redis_hook.go` (db client spans Redis; contrib-пакет `otelredis` удалён из upstream), producer span в `queue.Publish` + consumer span в `worker.handle` с переносом W3C `traceparent`/`tracestate` через поля `JobMessage` (схема `contracts/jobs.schema.json` дополнена, `omitempty`).
- Metrics: `metrics.go` — `messenger.jobs.processed{outcome,error_code}`, `messenger.job.duration`, `messenger.time.to_ready`, observable gauges `queue.depth/oldest_age`, `jobs.queued/oldest_queued_age`, `db.pool.used/capacity/empty_acquires`, `worker.busy/capacity`; сбор gauge в `runStatsCollector` (main.go) с подавлением фоновых трасс (`suppress.go`).
- Инфраструктура: `otel-collector.yaml` (memory_limiter первым, batch, resource; exporters: prometheus pull, otlphttp→Loki, otlp→Tempo; bounded sending_queue + retry с max_elapsed_time), `prometheus.yaml`, `loki.yaml`, `tempo.yaml`, Grafana provisioning из Git (`datasources`, `dashboards/json/messenger.json`, `alerting/alerts.yaml` — 2 правила с условием/окном/порогом/for/описанием/runbook); в `compose.yaml` добавлены 5 сервисов с пинами версий и resource limits.
- Документы: `REPORT.md` (архитектура, SLI/SLO, инциденты, найденные дефекты), `DEMO.md` (сценарий защиты), `evidence/` (выводы команд и скриншоты по шагам).
Перенесено из предыдущих_lab (без ослабления):
- Лаба 5: transactional outbox + relay, Redis Streams broker (XADD/XREADGROUP/XACK/XAUTOCLAIM), leases/retries/reap, reconcile, миграции one-shot сервисом.
- Лаба 4: pipeline вложений (staging → variants → original, SHA-256, S3/rustfs).
- Лабы 2–3: auth Basic/Bearer, idempotency-key, 2 реплики API за nginx, instance id, cache.
- Лаба 1: guard-middleware (request id, logging без тел, recovery).
Объявленные переходы: сигнатуры `Queue.Publish`, `worker.New`, `api.NewServer` не менялись; `JobMessage` расширен двумя опциональными полями; публичный контракт OpenAPI и `tests/smoke.py` не изменены.
### Команды запуска из чистого clone
```bash
git clone <url-репозитория> && cd mtusi2026lab6
cp .env.example .env # секреты создаются отдельно, вне Git
docker compose --compatibility up -d --build
docker compose ps # 12–13 контейнеров Up, migrate Exited(0)
python -X utf8 tests/smoke.py --base-url http://localhost:8080
make check && make test # check = go vet + go build, test = smoke против стенда
# наблюдаемость: http://localhost:3000/d/messenger-overview (учётка из .env)
# сценарий защиты целиком: см. DEMO.md (powershell-команды, ожидаемые выводы)
```
### Результаты проверок и ссылка на REPORT.md
- `go build ./...`, `go vet ./...` — чисто; `docker compose --compatibility config --quiet` — без ошибок.
- `tests/smoke.py` — `PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.` (до, во время и после инцидентов где ожидался PASS).
- Collector: `otelcol_receiver_accepted_spans=2082`, `..._metric_points=5652`, `..._log_records=942` и равные `otelcol_exporter_sent_*` (prometheus/loki/tempo) — все три сигнала доходят.
- Сквозная трасса: Tempo search по `service.name=messenger-worker` даёт трассу с корнем `POST /api/v1/chats/{chat_id}/attachments`; один `trace_id` присутствует в логах API и worker и в записях Loki (structured metadata).
- Инцидент 1 (worker down): `messenger_queue_oldest_age_seconds` до 204 s, alert `messenger-queue-lag` firing 09:34:30, после `start worker` depth=0 и resolved, smoke PASS.
- Инцидент 2 (БД недоступна): `docker pause postgres` → `/health/ready` = 503 `{"code":"unavailable","message":"database unavailable"}`, smoke FAIL; после unpause — PASS. Отличимо от медленного handler (там ready=200, p99 растёт, db-spans без ERROR).
- Инцидент 3 (Collector down): smoke PASS при остановленном Collector, `up{job="otel-app"}` пустой, RAM API стабильна; после старта — `up=1`.
- Alert rules: `provenance=file` через `/api/v1/provisioning/alert-rules`; dashboard поднят из `grafana/provisioning/dashboards/json/messenger.json` без ручного набора.
Полный отчёт: `REPORT.md` (разделы «Архитектура», «SLI/SLO», «Эксперименты и отказы», «Найденные дефекты»); доказательства: `evidence/demo-<ts>/`, `evidence/incident-*/`.
### Ограничения / известные ошибки
- Доставка alert-уведомлений наружу не настроена (SMTP отсутствует) — по заданию достаточно локальных firing/resolved; в логах Grafana видны `Notify for alerts failed ... SMTP not configured`, это ожидаемо.
- Правило `messenger-high-error-rate` при нулевом трафике показывает синтетический `DatasourceNoData` (окно 2m пустое) — документировано в REPORT.md, не дефект приложения.
- Collector закреплён на 0.115.1 при Go SDK v1.47.0: OTLP/protobuf совместим по проводу, версии и digest зафиксированы в REPORT.md сознательно.
- Сценарий «медленная БД» через `docker update --cpus=0.05` не деградирует лёгкий healthcheck (Postgres успевает отвечать) — вместо него для отказа использован `docker pause`; ограничение эксперимента зафиксировано.
- `trace_id` в Loki хранится в structured metadata; derived field Loki→Tempo может требовать подстройки regex в других версиях Grafana.
- `messenger.worker.capacity=1` по дизайну стенда (один worker), gauge saturation вырожден; горизонтальное масштабирование worker не проверялось.
- Upstream-пакеты `contrib/otelredis` и `contrib/.../otelpgx` недоступны/удалены — использованы собственный redis hook и `exaring/otelpgx`.
### Источники и использование ИИ
- Источники: документация OpenTelemetry Go (SDK, OTLP exporters, semconv), go-redis v9 Hook API, pgx v5 tracing API, exaring/otelpgx README, Grafana provisioning и unified alerting docs, Loki OTLP ingest docs, Tempo configuration docs, Docker Hub API для проверки тегов/digest образов.
- ИИ: ассистент (Qwen) использовался для генерации и отладки кода/конфигов и текстов отчётов; все изменения проверены сборкой, `go vet`, smoke-тестами и живыми проверками стенда; ключевые найденные и исправленные дефекты перечислены в REPORT.md («Найденные дефекты»: OTLP-пути 404, `XPending.Lower` вместо `Min`, `EmptyAcquireCount() int64`, отсутствие `atomic.Float64`, `semconv.DeploymentEnvironmentName`, удаление contrib-пакетов, stale-образы контейнеров). Авторское решение и финальные формулировки — мои.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод (evidence/demo-<ts>/02-*.txt, 04-smoke-*.txt).
- [x] Сценарии отказов/безопасности своего уровня воспроизведены (3 инцидента, evidence/incident-*).
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens (.env.example в репозитории, .env игнорируется).
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6
Автор / группа: maksimator / МТУСИ, поток 2026 (уточнить ФИО и номер группы перед отправкой)
Целевая оценка (3/4/5): 5 — реализован уровень 4 observability.md целиком (dashboards с percentiles, alert rules с runbook, SLI/SLO, три сценария отказов с firing→resolved)
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Реализовано в лабе 6 (observability, уровень 4):
src/internal/otel/otel.go(TracerProvider/MeterProvider/LoggerProvider, resource: service.name, service.version, service.instance.id, deployment.environment.name; sampler ParentBased(AlwaysSample)); экспорт OTLP/HTTP с явными путями/v1/traces|/v1/metrics|/v1/logs.slog_bridge.go(stdout JSON + OTLP через официальныйotelslog),trace_id/span_idв записях при активном span; все значимые логи переведены на*Context.otelhttp(HTTP server spans, route template в имени span иhttp.route),exaring/otelpgx(db client spans PostgreSQL), собственныйredis_hook.go(db client spans Redis; contrib-пакетotelredisудалён из upstream), producer span вqueue.Publish+ consumer span вworker.handleс переносом W3Ctraceparent/tracestateчерез поляJobMessage(схемаcontracts/jobs.schema.jsonдополнена,omitempty).metrics.go—messenger.jobs.processed{outcome,error_code},messenger.job.duration,messenger.time.to_ready, observable gaugesqueue.depth/oldest_age,jobs.queued/oldest_queued_age,db.pool.used/capacity/empty_acquires,worker.busy/capacity; сбор gauge вrunStatsCollector(main.go) с подавлением фоновых трасс (suppress.go).otel-collector.yaml(memory_limiter первым, batch, resource; exporters: prometheus pull, otlphttp→Loki, otlp→Tempo; bounded sending_queue + retry с max_elapsed_time),prometheus.yaml,loki.yaml,tempo.yaml, Grafana provisioning из Git (datasources,dashboards/json/messenger.json,alerting/alerts.yaml— 2 правила с условием/окном/порогом/for/описанием/runbook); вcompose.yamlдобавлены 5 сервисов с пинами версий и resource limits.REPORT.md(архитектура, SLI/SLO, инциденты, найденные дефекты),DEMO.md(сценарий защиты),evidence/(выводы команд и скриншоты по шагам).Перенесено из предыдущих_lab (без ослабления):
Объявленные переходы: сигнатуры
Queue.Publish,worker.New,api.NewServerне менялись;JobMessageрасширен двумя опциональными полями; публичный контракт OpenAPI иtests/smoke.pyне изменены.Команды запуска из чистого clone
Результаты проверок и ссылка на REPORT.md
go build ./...,go vet ./...— чисто;docker compose --compatibility config --quiet— без ошибок.tests/smoke.py—PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.(до, во время и после инцидентов где ожидался PASS).otelcol_receiver_accepted_spans=2082,..._metric_points=5652,..._log_records=942и равныеotelcol_exporter_sent_*(prometheus/loki/tempo) — все три сигнала доходят.service.name=messenger-workerдаёт трассу с корнемPOST /api/v1/chats/{chat_id}/attachments; одинtrace_idприсутствует в логах API и worker и в записях Loki (structured metadata).messenger_queue_oldest_age_secondsдо 204 s, alertmessenger-queue-lagfiring 09:34:30, послеstart workerdepth=0 и resolved, smoke PASS.docker pause postgres→/health/ready= 503{"code":"unavailable","message":"database unavailable"}, smoke FAIL; после unpause — PASS. Отличимо от медленного handler (там ready=200, p99 растёт, db-spans без ERROR).up{job="otel-app"}пустой, RAM API стабильна; после старта —up=1.provenance=fileчерез/api/v1/provisioning/alert-rules; dashboard поднят изgrafana/provisioning/dashboards/json/messenger.jsonбез ручного набора.Полный отчёт:
REPORT.md(разделы «Архитектура», «SLI/SLO», «Эксперименты и отказы», «Найденные дефекты»); доказательства:evidence/demo-<ts>/,evidence/incident-*/.Ограничения / известные ошибки
Notify for alerts failed ... SMTP not configured, это ожидаемо.messenger-high-error-rateпри нулевом трафике показывает синтетическийDatasourceNoData(окно 2m пустое) — документировано в REPORT.md, не дефект приложения.docker update --cpus=0.05не деградирует лёгкий healthcheck (Postgres успевает отвечать) — вместо него для отказа использованdocker pause; ограничение эксперимента зафиксировано.trace_idв Loki хранится в structured metadata; derived field Loki→Tempo может требовать подстройки regex в других версиях Grafana.messenger.worker.capacity=1по дизайну стенда (один worker), gauge saturation вырожден; горизонтальное масштабирование worker не проверялось.contrib/otelredisиcontrib/.../otelpgxнедоступны/удалены — использованы собственный redis hook иexaring/otelpgx.Источники и использование ИИ
Источники: документация OpenTelemetry Go (SDK, OTLP exporters, semconv), go-redis v9 Hook API, pgx v5 tracing API, exaring/otelpgx README, Grafana provisioning и unified alerting docs, Loki OTLP ingest docs, Tempo configuration docs, Docker Hub API для проверки тегов/digest образов.
ИИ: ассистент (Qwen) использовался для генерации и отладки кода/конфигов и текстов отчётов; все изменения проверены сборкой,
go vet, smoke-тестами и живыми проверками стенда; ключевые найденные и исправленные дефекты перечислены в REPORT.md («Найденные дефекты»: OTLP-пути 404,XPending.LowerвместоMin,EmptyAcquireCount() int64, отсутствиеatomic.Float64,semconv.DeploymentEnvironmentName, удаление contrib-пакетов, stale-образы контейнеров). Авторское решение и финальные формулировки — мои.Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод (evidence/demo-/02-.txt, 04-smoke-.txt).
Сценарии отказов/безопасности своего уровня воспроизведены (3 инцидента, evidence/incident-*).
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens (.env.example в репозитории, .env игнорируется).
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.