forked from mtusi2026/mtusi2026lab6
220 lines
32 KiB
Markdown
220 lines
32 KiB
Markdown
# Отчёт — лабораторная 6
|
||
|
||
- Автор: **Поликарпов Даниил Александрович**.
|
||
- Группа: **БПИ2303**.
|
||
- Целевая оценка: **5**, трек 2 — SLO и обнаружение инцидентов.
|
||
- Ветка: `solution/bpi2303-polikarpov`. В репозитории есть commit `8b381c1` («Реализация на 5»); завершившиеся после него измерения и итоговый отчёт дополнены в рабочем дереве. Новый commit и PR на этапе завершения не создавались. Базовая ревизия, fingerprint исходников и image IDs фиксируются в `evidence/environment.json` и результатах исследования.
|
||
- Основа: собственная реализация соседней lab5. Использованы Go, pgx, AWS SDK, RabbitMQ amqp091-go, ImageMagick, OpenTelemetry Go и Grafana stack. Перенос, подготовка отчета и проверка выполнены с помощью Codex.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Нужны Docker с Compose, Python 3.9+ и для локальной сборки Go 1.27+. Контейнерная сборка закреплена на Go 1.27.2 / Alpine 3.23.6; ImageMagick 7.1.2.35-r0. Образы и библиотеки имеют фиксированные версии; фактические image IDs и ресурсы приведены в `evidence/environment.json`.
|
||
|
||
```sh
|
||
make check build vet
|
||
make up
|
||
make test test-go
|
||
make prove-correlation observe
|
||
python3 scripts/prove-signals.py
|
||
make test-storage
|
||
make test-images test-staging test-broker-persistence
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||
make restore
|
||
python3 student-tests/pipeline.py --repeats 1 --output evidence/pipeline.json
|
||
make experiment-slo
|
||
python3 scripts/summarize-slo.py
|
||
python3 scripts/analyze-backend.py
|
||
python3 scripts/prove-persistence.py
|
||
python3 scripts/capture-environment.py
|
||
make down
|
||
```
|
||
|
||
Все сценарии отказов запускаются последовательно, отдельно от исследования. Полное исследование длительное: реальное ожидание окон, три повтора, без ускорения часов и подмены метрик.
|
||
|
||
Полная валидация контракта:
|
||
|
||
```sh
|
||
python3 -m venv .venv
|
||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||
make validate PYTHON=.venv/bin/python
|
||
```
|
||
|
||
`make up` идемпотентно создаёт локальные синтетические credentials в `.env.lab6` и `secrets/lab6`, запускает отдельный migrator, bootstrap приватного bucket и provisioning Grafana. Существующие credentials не ротируются. Новая конфигурация задаёт SESSION_TTL_SECONDS=14400 для длительного исследования; стандартный контрактный default без настройки остаётся 3600. Пароли и ключи находятся вне Git и не входят в Docker build context.
|
||
|
||
API: http://127.0.0.1:18086. Grafana: http://127.0.0.1:13006/d/messenger-lab6, login `admin`; пароль читается локально из `secrets/lab6/grafana_password` и не включается в доказательства.
|
||
|
||
Обычная остановка `make down` сохраняет данные. Намеренное удаление **только учебных данных lab6**: `./scripts/compose.sh down --volumes`; автоматически эта команда не выполняется. Стенд lab5 на 18085 имеет отдельные проект, volumes и секреты. Первый локальный запуск перенесённого Go suite ещё использовал старый default URL и создал синтетические записи в lab5; адрес исправлен, результат не засчитывался, проверки повторены на lab6.
|
||
|
||
## Архитектура и границы
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
Client --> LB[HAProxy]
|
||
LB --> API[API x2]
|
||
API --> S3[Private S3 staging/results]
|
||
API --> DB[PostgreSQL metadata/jobs/outbox/SLO]
|
||
DB --> Dispatcher
|
||
Dispatcher --> Rabbit[RabbitMQ]
|
||
Rabbit --> Worker
|
||
Worker --> S3
|
||
Worker --> DB
|
||
API --> Collector[OTel Collector]
|
||
Worker --> Collector
|
||
Dispatcher --> Collector
|
||
Collector --> Prometheus
|
||
Collector --> Loki
|
||
Collector --> Tempo
|
||
Prometheus --> Grafana
|
||
Loki --> Grafana
|
||
Tempo --> Grafana
|
||
```
|
||
|
||
Handler разбирает HTTP, проверяет поля и ограничивает входной поток. Service проверяет доступ, управляет бизнес-состояниями, транзакциями, retries и решением good/bad для SLO. Repo/storage выполняет чтение и сохранение фактов; SQL-агрегаты формируют снимок состояния. `pkg/postgres` содержит только настройку доступа/пула, timeout и подключение безопасного tracer. Новая интеграция SDK расположена в `internal/pkg/telemetry`; обработка изображений и S3 также остаются в своих pkg.
|
||
|
||
Из lab5 перенесены API, сессии, cache, идемпотентность сообщений, durable staging, transactional outbox, RabbitMQ, worker, lease/retry/recovery, versioned manifest и операторские команды. Бизнес-контракт lab6 совпадает с lab5; сохранены контракт и публичные проверки текущего skeleton. Старые README/REPORT, секреты и evidence не переносились как результаты lab6.
|
||
|
||
До 202 проверенный оригинал находится в приватном S3 staging, а metadata/job/outbox фиксируются одной транзакцией. Worker публикует оригинал и варианты в S3 и переводит job в ready одной DB-транзакцией. At-least-once доставка и идемпотентный эффект сохранены; exactly-once доставка не заявляется. S3 staging и results — префиксы одного сервиса, а не независимые отказоустойчивые хранилища.
|
||
|
||
Миграция 010 добавляет durable trace carrier и таблицу однократных SLO-наблюдений; 011 — факт terminal failure. Метаданные готовности и terminal error записываются вместе с соответствующим бизнес-переходом. Observer в dispatcher оценивает deadline даже при остановленном worker. Повторная доставка/replay не отменяет уже зафиксированное нарушение.
|
||
|
||
### Компоненты и эксплуатация
|
||
|
||
| Роль → service | Версия | Readiness / persistent state / доступ |
|
||
| --- | --- | --- |
|
||
| API → api, две реплики | Go 1.27.2, собственный image | `/health/ready`: DB + S3; без durable local state, порты реплик закрыты |
|
||
| LB → lb | HAProxy 3.2-alpine, digest в Compose | HTTP readiness API; localhost:18086 |
|
||
| DB → postgres | PostgreSQL 17.11, digest | pg_isready; postgres_data; локальный пароль env |
|
||
| Cache → redis | Redis 8.2.11, digest | authenticated PING; redis_data/AOF; необязателен для корректности |
|
||
| S3 → s3 | SeaweedFS 4.52, digest | bootstrap проверяет запись; s3_data/internal network; credentials files |
|
||
| Broker → broker | RabbitMQ 4.2.0, digest | check_running; broker_data; durable queue/persistent delivery/confirms/ack |
|
||
| Worker / dispatcher | собственный image | отдельные процессы/reconnect; прогресс по jobs/observations, без HTTP healthcheck |
|
||
| Collector → otel-collector | image tag 0.140.0, binary сообщает 0.140.1 | :13133; ограниченные недолговечные очереди, не хранилище истории |
|
||
| Metrics → prometheus | 3.16.0 | /-/ready; prometheus_data; retention 7d / 1 GiB |
|
||
| Logs → loki | 3.7.10 | /ready; loki_data, TSDB v13/filesystem; retention 7d |
|
||
| Traces → tempo | 2.9.0 | /ready; tempo_data, WAL/local blocks; retention 7d |
|
||
| UI → grafana | 13.3.1 | /api/health; grafana_data + provisioning; localhost:13006, пароль file |
|
||
|
||
Внутренние OTLP/metrics/storage/admin порты не публикуются. `scripts/wait-ready.py` проверяет backend endpoints через внутреннюю сеть, а не только состояние running. `scripts/restart.sh` перезапускает API/worker/dispatcher и все бизнес- и telemetry-хранилища с volumes; жизненные события сохранены отдельно. Grafana — интерфейс, Collector — обработчик/экспортёр; долговременные сигналы хранятся в Prometheus/Loki/Tempo.
|
||
|
||
`.env.example` содержит логические рекомендации skeleton. Реальная конфигурация использует APP_*, POSTGRES_*, REDIS_*, SESSION_TTL_SECONDS, S3_* и *_FILE, BROKER_URL_FILE, WORKER_*, JOB_*, STAGING_RETENTION и OTEL_EXPORTER_OTLP_ENDPOINT/PROTOCOL. DATABASE_URL_FILE/CACHE_URL_FILE/SESSION_STORE из примера не используются: PostgreSQL настраивается отдельными полями, сессии хранятся в DB, Redis — кэш. Секундные JOB_TIMEOUT_SECONDS/STAGING_RETENTION_SECONDS сопоставлены duration-настройкам JOB_TIMEOUT/STAGING_RETENTION. Имена OTel services задаются ролью процесса, resource attributes — кодом Init.
|
||
|
||
### Сигналы и связь процессов
|
||
|
||
SDK: OTel Go 1.47.0, OTLP logs exporter 0.23.0, slog bridge 0.21.0; собственная схема instrumentation `messenger`; выбранное подмножество стандартных имён атрибутов закреплено по Semantic Conventions **1.37.0** (входит в закреплённый OTel Go SDK). Использованы имена атрибутов OTel для ресурсов/HTTP/DB; публичные метрики приложения имеют документированную собственную схему и не дублируют стандартные инструменты.
|
||
|
||
| Сигнал | Реальное имя в Prometheus / поля | Единицы и labels |
|
||
| --- | --- | --- |
|
||
| HTTP count / duration | messenger_http_requests_total / messenger_http_duration_seconds_bucket | counter: method/route/status_class; duration: method/route, секунды |
|
||
| Jobs | messenger_jobs_total | job_type, outcome=ready/retry/failed/duplicate |
|
||
| Processing duration | messenger_job_duration_seconds_bucket | job_type, outcome; секунды |
|
||
| Time to ready | messenger_job_ready_duration_seconds_bucket | job_type; секунды, после COMMIT |
|
||
| Queue | messenger_queue_depth / messenger_queue_oldest_age_seconds | queue; Rabbit ready count / возраст логической незавершённой job |
|
||
| Logical backlog | messenger_jobs_pending / messenger_outbox_pending | число jobs / публикаций, не взаимозаменяемы с broker depth |
|
||
| DB pool | messenger_db_pool_used/capacity/waiting; messenger_db_acquire_duration_seconds_bucket; messenger_db_locks_waiting | соединения, ожидающие acquire / секунды |
|
||
| Worker saturation | messenger_worker_busy/capacity | активные attempts / доступные slots |
|
||
| Process resources | messenger_process_memory / messenger_process_cpu | RSS bytes / накопленные CPU seconds |
|
||
| Ready SLO / freshness | messenger_ready_slo_total / messenger_observation_timestamp | outcome good/bad / Unix seconds |
|
||
| Export health | otelcol_* и messenger_telemetry_export_errors | accepted/sent/failed, queue size/capacity / SDK errors |
|
||
| Logs | timestamp, severity, service.name, event, trace_id, span_id, request_id | технические IDs только вне labels метрик |
|
||
|
||
Histograms: buckets 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 20, 30, 60, 120, 300 seconds. Пример p95: `histogram_quantile(0.95, sum by(le)(rate(messenger_http_duration_seconds_bucket[1m])))`. Resource attributes: service.name/version/instance.id, deployment.environment.name=lab. Default sampling — ParentBased(AlwaysSample).
|
||
|
||
W3C context сохраняется вместе с job/outbox. Dispatcher создаёт producer span из durable context и помещает его carrier в сообщение, worker создаёт дочерний consumer span. Retry наследует consumer context; recovery извлекает его из job. SQL-параметры, raw URL, Authorization, body и object keys не записываются. Error values редактируются до безопасной категории. В Loki service.instance.id и version хранятся как structured metadata; индексируются service.name и environment.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий | Команда / наблюдение | Доказательство |
|
||
| --- | --- | --- |
|
||
| Целостность и схемы | make check validate | evidence/contracts.txt |
|
||
| Сборка и статические проверки | make build vet | evidence/build.txt |
|
||
| Публичный API и прежние Go-проверки с telemetry | make test test-go | evidence/final-checks.txt |
|
||
| Изображения, staging, broker persistence | make test-images test-staging test-broker-persistence | evidence/previous-lab-checks.txt и соответствующие JSON |
|
||
| Storage transactions | make test-storage | evidence/storage-checks.txt |
|
||
| Persistence с прежним токеном | make test-persistence | evidence/persistence.txt, evidence/persistence-processes.json |
|
||
| API failover | make test-failover; затем make restore | evidence/failover.txt, evidence/failover-action.jsonl |
|
||
| API → dispatcher → worker, retry, S3/DB, logs | make prove-correlation | evidence/correlation.json, correlation-check.txt |
|
||
| Реальные метрики, безопасные labels, canary, dashboard queries | python3 scripts/prove-signals.py | evidence/signals.json, signal-checks.txt |
|
||
| Config/provisioning | promtool, Collector validate, Loki verify; readiness | evidence/prometheus-config.txt, collector-config.txt, loki-config.txt; infra/otel/ |
|
||
| SLI/SLO и alerts | реальные recording/alert rules, общий dashboard | infra/otel/alerts.yaml, RUNBOOK.md |
|
||
| Два инцидента и исследование | make experiment-slo; summarize-slo.py | evidence/slo-experiment.json, slo-summary.json |
|
||
| Отказ telemetry backend | остановка Tempo под той же нагрузкой | evidence/backend-outage.json, backend-checks.txt |
|
||
|
||
Итоговый прогон завершён успешно. Сводная проверка полноты: `evidence/research-validation.json`; исходные наблюдения не заменены расчётными или искусственными сигналами. В `evidence/pipeline.json` подтверждены 13/13 сценариев. После них повторно прошли smoke, существующие Go-проверки с race detector, correlation и privacy/dashboard checks. Проверка failover восстановила запись за 1.148s; 133 записи подтверждены, один переходный сбой учтён. Persistence подтвердил перезапуск всех восьми хранилищ с прежними volumes и сохранение старой сессии.
|
||
|
||
## Методика исследования
|
||
|
||
Гипотеза: правила burn-rate с двумя окнами отсекают краткий всплеск и обнаруживают устойчивую деградацию; независимый deadline observer выявляет нарушение ready-SLO при полном отсутствии завершённых jobs.
|
||
|
||
SLO: 99% бизнес-ответов без 5xx и 99% принятых jobs до ready ≤30s, окно 1h. Выбор 99% — учебный бюджет 1% событий за час: при постоянном профиле это соответствует примерно 36 секундам полного отказа. Он допускает единичный 5s всплеск, но не 240s деградацию. Для маленького fixture нормальная обработка существенно короче 30s; такой ready-бюджет оставляет запас на краткий backlog и несколько быстрых retries. Это целевой SLO для данного профиля, а не гарантия для любого изображения/нагрузки; публичный timeout smoke 60s остаётся отдельным условием.
|
||
|
||
Полные формулы, minimum traffic, timestamps и пределы интерпретации — в [runbook](infra/otel/RUNBOOK.md). Fast: 1m/5m, >6×, for20s. Slow: 2m/10m, >3×, for30s. Отдельно QueueLag >30s for20s и stale observations. Уведомления наружу не отправляются.
|
||
|
||
Нагрузка: open-loop 10 message requests/s, 90% GET history / 10% POST message, плюс fixture PNG 320×200 каждые 2s, in-flight ≤64, HTTP timeout6s, без retries. Перцентили успешных ответов включают scheduling delay; неуспешные статусы и пропуски генератора учитываются отдельно. RPS не является поиском максимальной пропускной способности.
|
||
|
||
После обнаружения ограничения S3 первый прогон остановлен и сохранён как `evidence/aborted-capacity-*`; причины и исправление описаны в `evidence/aborted-capacity-diagnosis.md`. Второй промежуточный прогон выявил потерю первого всплеска в rate для новых counter series; причина и исправление: `evidence/aborted-counter-diagnosis.md`. Итоговые counters заранее публикуют нули, duration histogram не разделяется по status class; pool=16 на процесс.
|
||
|
||
Для итогового прогона S3 допускает 16 volume slots с лимитом volume 1024 MiB, без удаления существующих данных.
|
||
|
||
Прогрев 15 минут. Три повтора остановки worker и блокировки messages отдельной ограниченной DB-транзакцией: короткое воздействие 5s, длительное 240s, после длительного — 660s восстановления с трафиком, чтобы очистить 10m окно. Короткие воздействия разделены 60s. Затем Tempo останавливается на 300s при работающих metrics/logs pipelines. Состояния alerts и метрики снимаются каждые ~5s, Docker CPU/RAM — каждые ~30s. Цикл включает время сбора, поэтому точность обнаружения ограничена фактическим интервалом наблюдений, SDK export/scrape/evaluation и планированием процессов.
|
||
|
||
Причины сначала устанавливаются по сохранённым сигналам, затем сопоставляются с отдельными timestamps инъекции. Для worker ожидается рост backlog/age без ухудшения HTTP; для DB — 5xx и длительные DB spans при работающем worker; для Tempo — экспортные ошибки/потери при сохранении бизнес-функций.
|
||
|
||
## Фактические результаты исследования
|
||
|
||
Прогон выполнен **16 ноября 2026, 08:17:58–10:16:11 UTC**, длительность **7092.82s (1ч 58мин 13с)**. Итоговая сверка артефактов выполнена 17 ноября. Аппаратная конфигурация: Apple M4 Pro, 14 CPU, host RAM 24 GiB; Docker VM — 14 CPU, 7.75 GiB. Лимиты приложены в `evidence/environment.json`. У генератора не было пропусков, у сборщика — ошибок чтения наблюдений.
|
||
|
||
Всего **74 094** запроса: **66 860** успешных и **7 234** ответа 503 при намеренных воздействиях на messages. Таймаутов клиента, 401 и 429 в итоговом прогоне нет. Все **6 334** подтверждённых сообщения найдены в PostgreSQL; все **3 529** принятых вложений в конце достигли ready. Исходные PNG — по 111 817 bytes; принятый объём оригиналов **394 602 193 bytes**. История сообщений росла в ходе прогона; профиль читает первую страницу, а не доказывает максимальную пропускную способность на произвольном объёме данных.
|
||
|
||
| Интервал | Успешные RPS | Доля ошибок | p50 / p95 / p99 успешных ответов, ms |
|
||
| --- | ---: | ---: | --- |
|
||
| Прогрев, 900s | 10.50 | 0% | 8.37 / 16.35 / 25.75 |
|
||
| Worker остановлен, повтор 1, 240s | 10.50 | 0% | 8.79 / 17.55 / 28.45 |
|
||
| DB lock, повтор 1, 240s | 0.50 | 95.2% | 27.06 / 41.26 / 48.94 |
|
||
| Tempo остановлен, 300s | 10.50 | 0% | 6.96 / 16.46 / 25.76 |
|
||
|
||
Во время DB lock успешными оставались главным образом upload; низкий percentile **успешных** ответов не означает здоровую работу messages. Медленные ошибки видны в HTTP histogram и DB spans. Для всего прогона p50/p95/p99 успешных ответов: 7.84/17.53/29.31ms. Интервальные статусы классифицируются по моменту завершения ответа; обращения на границах фаз могут завершиться между операторскими действиями. Все ответы входят в общий итог.
|
||
|
||
### Обнаружение и восстановление, три повтора
|
||
|
||
Время ниже — первое сохранённое наблюдение состояния, а не точный момент пересечения порога. Точность ограничена экспортом, scrape/evaluation и опросом; дробные исходные значения находятся в `evidence/slo-summary.json`.
|
||
|
||
| Alert | До первого firing, s: минимум–максимум | До resolved после восстановления, s: минимум–максимум |
|
||
| --- | ---: | ---: |
|
||
| QueueLag | 59.91–64.88 | 12.54–17.60 |
|
||
| ReadyBurnRateFast | 72.20–81.44 | 64.20–72.46 |
|
||
| ReadyBurnRateSlow | 87.29–91.54 | 123.94–129.35 |
|
||
| ApiBurnRateFast | 44.78–53.87 | 55.14–64.97 |
|
||
| ApiBurnRateSlow | 54.89–63.98 | 119.53–124.81 |
|
||
|
||
На **6 коротких воздействиях** firing не наблюдался; на **6 длительных** все ожидаемые alerts сработали и затем разрешились. Это результат данного профиля и трёх повторов, а не доказательство нулевой вероятности ложных срабатываний. Отдельное сравнение с правилами без второго окна/без for не проводилось, поэтому вклад каждого механизма фильтрации из этого эксперимента не выделяется. Целевой SLO во время намеренных деградаций нарушается — обнаружение этого нарушения и проверяется.
|
||
|
||
### Диагноз по сохранённым сигналам
|
||
|
||
- **Worker:** на каждом длительном интервале растут возраст и backlog, новых `job_received` нет, upload продолжает получать 202, API burn rate равен нулю. В первой сохранённой выборке — 35 успешных upload и 0 событий потребления. После запуска появляются consumer/S3/DB spans, очередь убывает, jobs становятся ready. Ready counter учитывал bad по deadline ещё до завершения jobs.
|
||
- **DB:** одновременно наблюдаются около 20 ожиданий Lock, HTTP 5xx и DB client spans длительностью около двух секунд (первая сохранённая трасса — `postgresql SELECT` 1995.4ms). При этом ready burn rate остаётся нулевым. Это указывает на ожидание БД, а не на преобразование изображений или медленный код HTTP handler. Конкретная операторская блокировка messages сверена с журналом воздействия.
|
||
|
||
Девять компактных наборов фактов (worker stop, recovery и DB wait для каждого повтора) сохранены в `evidence/incident-signals.json`; ошибок их сбора нет. [Runbook](infra/otel/RUNBOOK.md) задаёт те же шаги диагностики для другого студента.
|
||
|
||
### Отказ Tempo и границы буферизации
|
||
|
||
За 300s недоступности Tempo генератор получил 3150 успешных ответов: 2700 чтений, 300 сообщений и 150 upload; ошибок нет. После запуска Tempo вновь доступны traces. Очередь exporter достигла **32/32 запросов** и после восстановления стала **0**. Максимальная наблюдавшаяся память Collector — **93.84 MiB** при лимите контейнера **256 MiB**; в этот интервал его CPU составлял медианно 0.61%, максимум 3.51% одного ядра по выборкам Docker. API-реплики использовали примерно 70–77 MiB, dispatcher — 15 MiB, worker — 16 MiB в последних выборках этого интервала.
|
||
|
||
По счётчикам за outage/recovery/drain: принято 51 598 spans, отправлено 13 416, разница — **около 38 182**. Зафиксированы 35 676 enqueue-failed spans и 2524 dropped items в отдельных записях exporter. Баланс приблизительный: остаются фоновые health/observer spans и несколько in-flight batches. Он не включает возможные потери до Collector; send-failed нельзя механически считать уникальными потерями. Telemetry в этом отказе терялась, бизнес-данные сохранились. Подробности: `evidence/backend-outage.json`.
|
||
|
||
Ограничение очереди подтверждается одновременно конфигурацией и наблюдаемым плато; пятиминутная выборка RAM не является доказательством отсутствия любого возможного memory leak на произвольной длительности. CPU/RAM снимались примерно раз в 30s и могли пропустить короткие пики.
|
||
|
||
### Версии артефактов
|
||
|
||
Research записал OCI descriptor `d661ef49…`, повторный pipeline — `c7021c3f…`. Compose добавляет разные service labels и attestations при сборке одного Dockerfile для ролей, поэтому descriptor не является хешем бинарника. Платформенный manifest текущего dispatcher совпал с manifest в сохранённом логе сборки перед research; SHA-256 исполняемого файла — `33c6b59d…`. Доказательство: `evidence/image-provenance.json`; полный fingerprint исходников и фактические container images — в `evidence/environment.json`.
|
||
|
||
## Ограничения
|
||
|
||
Один host, PostgreSQL, S3, broker и LB остаются точками отказа. HA хоста/БД и потеря volumes не проверяются. CPU/RAM ограничены Compose; рядом работал старый стенд lab5, поэтому результаты относятся к этой конфигурации и не являются универсальным benchmark.
|
||
|
||
HTTP SLI считает ответы приложения: сетевые отказы/LB 503 измеряются генератором отдельно, а 4xx входят в denominator. Ready-SLI относится к серверной публикации результата, не скачиванию файла клиентом. Пока DB недоступна, observer не может зафиксировать новые результаты, что должно быть видно по freshness. Клиентские timestamps и серверные timestamps имеют разные границы измерения. accepted_at и ready_at записываются внутри соответствующих транзакций; классификация непосредственно возле 30s зависит от длительности COMMIT. Histogram percentiles также являются интерполяцией внутри заданных buckets, а не точными клиентскими квантилями.
|
||
|
||
Telemetry best effort: ограниченные SDK/Collector очереди допускают потерю сигналов при долгом отказе; sent-failed считает попытки, а не уникальные потерянные spans. Рестарт теряет недолговечные очереди. Retention ограничивает срок хранения; для Loki/Tempo нет отдельной гарантии дисковой квоты/backup. Credentials учебные, HTTP допускается только на localhost. TLS/mTLS и управление секретами относятся к lab7.
|
||
|
||
Источники: [OpenTelemetry Go](https://opentelemetry.io/docs/languages/go/), [Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [Loki native OTLP](https://grafana.com/docs/loki/latest/send-data/otel/), [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/), [Prometheus histograms](https://prometheus.io/docs/practices/histograms/), [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability).
|