diff --git a/.claude/rules/run-modes.md b/.claude/rules/run-modes.md index ffd5c91..f582b06 100644 --- a/.claude/rules/run-modes.md +++ b/.claude/rules/run-modes.md @@ -103,7 +103,8 @@ Design change `otel-telemetry`, решения 8, 13, 20. Консоль (`make run_worker`) — без телеметрии: «Started API» говорит `telemetry_enabled: false`, к `127.0.0.1:4318` обращений нет. На стенде compose её включает окружение `api` и `worker`. Остановка: API закрывает SDK после «Stopped API» и ждёт не дольше -`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с; 8 с дренажа + 1 с < 10 с), worker — в окне `gather` +`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с; 8 с дренажа + 1 с < 10 с; дренаж 9 с с телеметрией — +ошибка настроек, `settings.md`), worker — в окне `gather` закрытия клиентов (0,5 с; худший случай прежний, 9,5 с); `shutdown()` провайдеров — в daemon-потоках, процесс их не ждёт. Без Collector и при замороженном Collector сроки прежние (`driver.py telemetry-outage`). diff --git a/.claude/rules/settings.md b/.claude/rules/settings.md index c9fe6a2..701b07e 100644 --- a/.claude/rules/settings.md +++ b/.claude/rules/settings.md @@ -253,7 +253,12 @@ run_relay` — те же мосты. Имена skeleton: `BROKER_URL_FILE` → compose (`x-telemetry-env`: `TELEMETRY__ENABLED`, `TELEMETRY__OTLP_ENDPOINT`), в `.env` и `config_example.toml` включения нет: файл монтируется и в консоль. Разовая подмена — `TELEMETRY__*`. **`OTEL_*` — не настройки**, как любые переменные без секции: процесс с -включённой телеметрией удаляет их из окружения и пишет `warning` с именами. Имена skeleton: +включённой телеметрией удаляет их из окружения и пишет `warning` с именами; прокси окружения +(`HTTP(S)_PROXY`) экспортёры тоже не берут (`trust_env=False`). Сочетание секций: с включённой +телеметрией `[app] graceful_shutdown_seconds` не больше `API_STOP_BUDGET_SECONDS − +TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` = 8 (валидатор поля `telemetry` в `Settings`, ошибка называет +`app.graceful_shutdown_seconds`), без неё — прежние 9 (design change `otel-telemetry`, +«Уточнения apply», п. 13). Имена skeleton: `OTEL_SERVICE_NAME` → константы `TELEMETRY_SERVICE_API` / `_WORKER`, `OTEL_EXPORTER_OTLP_ENDPOINT` → `otlp_endpoint`, `OTEL_EXPORTER_OTLP_PROTOCOL` — постоянно `http/protobuf`, `OTEL_RESOURCE_ATTRIBUTES` → `environment` (`service.*` вычисляет код). diff --git a/.claude/rules/telemetry.md b/.claude/rules/telemetry.md index fa0b804..112cece 100644 --- a/.claude/rules/telemetry.md +++ b/.claude/rules/telemetry.md @@ -48,7 +48,12 @@ paths: - **Закрытие со сроком** (решение 13): `shutdown()` провайдеров — в daemon-потоках (`begin_shutdown`), ожидание не дольше срока (`wait_closed`), не `asyncio.to_thread` и не `force_flush`: при замороженном Collector `shutdown()` ждёт до 6 с. API — после «Stopped API», - `TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с); worker — в окне `gather` закрытия (0,5 с). + `TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с) внутри `API_STOP_BUDGET_SECONDS` (9 с) вместе с + дренажом — сочетание проверяет `Settings`; worker — в окне `gather` закрытия (0,5 с). Новый срок + в остановке — в этот бюджет, а не сверх него. +- **Отправка только в Collector:** экспортёры получают свою `requests.Session` с + `trust_env=False` (`_export_session`): прокси, `NO_PROXY` и `.netrc` окружения на неё не + действуют, как и `OTEL_*`. - **Исход доставки** (решение 11) называет сервис (`JobDeliveryOutcome`), действие с сообщением выводится из него; span и histogram пишет точка входа после места конкуренции, `error` — у непредвиденного исключения. diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index c45c5cb..7be6803 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -480,10 +480,15 @@ python3 .claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2 - **`telemetry-check`** — всё через HTTP API Grafana (источники-прокси Prometheus, Loki, Tempo): вход 401 / 401 / 200, порт только на `127.0.0.1`, источники по uid и их проверка, dashboard provisioned и отказ его сохранения, цели Prometheus `up`; затем «тихая» база счётчиков (35 с без - изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `BREW` и `PROPFIND`, - `traceparent`, загрузка и недекодируемый JPEG (12 бит, генератор тестов в образе API). - Сверяет stdout ↔ Loki ↔ Tempo по `X-Request-Id`, трассу worker по `attachment_id`, рост - счётчиков ровно на свои запросы и задания по обеим репликам, span S3 с ошибкой при `docker + изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `PROPFIND` и `GET` к + неизвестному пути с UUID (ряды `_OTHER` и `GET` без `http_route` выросли на 1; `BREW` — + только 400 парсера, ограничение), `traceparent`, загрузка и недекодируемый JPEG (12 бит, + генератор тестов в образе API). Сверяет stdout ↔ Loki ↔ Tempo по `X-Request-Id`, переходы лог + ↔ трасса источников Grafana (derived field Loki → `tempo`; запрос `tracesToLogsV2` источника + Tempo с подстановкой span трассы возвращает её записи), трассу worker по `attachment_id` и + `service.instance.id` worker = `instance_id` его stdout, рост счётчиков ровно на свои запросы + и задания по обеим репликам, нет рядов `http_route=~"/health.*"` за срок хранения, span S3 с + ошибкой при `docker compose pause s3` (`unpause` в `finally`), отсутствие трасс health и чужих корней, сети хранилищ из `api` и `worker`, разовый контейнер API с `OTEL_SDK_DISABLED=true` и чужим адресом, пробу приватности (U, P, T, M, K, F, `Bearer `, `Basic ` по всем записям Loki, трассам Tempo и @@ -495,8 +500,10 @@ python3 .claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2 worker»), `make replicas`, возврат Collector — новые запись, трасса и ряды; затем все сервисы телеметрии остановлены — `docker compose restart api worker`, `make test`, возврат. В `finally` — `unpause`, `start` телеметрии, `make replicas`, worker и relay. -- **`stand-from-scratch`** — только свой проект (`--project`, по умолчанию `mtusi-lab6-scratch`; - рабочий — код 2): `make run_docker` с `COMPOSE_PROJECT_NAME` и свободными портами хоста, затем +- **`stand-from-scratch`** — только свой одноразовый проект: `--project` принимает лишь имя + `^mtusi-lab6-scratch(-[a-z0-9]+)?$` (по умолчанию `mtusi-lab6-scratch`), иное — `mtusi-lab6`, + `mtusi-lab5`, `mtusi-lab6-failures` — код 2 до любых вызовов docker: команда сама делает `down + -v` своего проекта. Затем `make run_docker` с `COMPOSE_PROJECT_NAME` и свободными портами хоста, затем состояния, `RestartCount`, `eacces` / `permission denied` в журналах, provisioning Grafana, `make test` через свой LB; `down -v` своего проекта в начале, после каждого прогона и при Ctrl+C. Рабочий стенд лучше остановить заранее (`make stop`): два стенда — 14 ГиБ лимитов на ВМ diff --git a/.claude/skills/run-mtusi-messenger/driver.py b/.claude/skills/run-mtusi-messenger/driver.py index 332f4fb..fcfc662 100644 --- a/.claude/skills/run-mtusi-messenger/driver.py +++ b/.claude/skills/run-mtusi-messenger/driver.py @@ -229,7 +229,9 @@ .env — вход (401, 401, 200), порт на 127.0.0.1, источники по uid и их проверка, dashboard provisioned и неизменяем, цели Prometheus; свой запрос → stdout → Loki → Tempo (ресурс, span - PostgreSQL и COMMIT), traceparent, BREW, 401, 404; загрузка → + PostgreSQL и COMMIT), ссылки лог ↔ трасса источников Grafana, + traceparent, PROPFIND и GET к неизвестному пути (BREW — + ограничение), 401, 404, нет рядов health; загрузка → ready → Loki и трасса worker; недекодируемый JPEG → failed; рост счётчиков по обеим репликам и по исходам; S3 заморожен → 503 и span S3 с ошибкой; нет трасс health и чужих корней; сети @@ -244,7 +246,9 @@ make test, возврат; в finally — unpause и start телеметрии, make replicas, worker и relay; код 1 при расхождении, 2 — нет стенда stand-from-scratch [--project P] [--runs 2] свой проект compose (по - умолчанию mtusi-lab6-scratch; рабочий — код 2) на свободных портах + умолчанию mtusi-lab6-scratch; имя не по шаблону + ^mtusi-lab6-scratch(-[a-z0-9]+)?$ — код 2 до вызовов docker: + команда удаляет volumes проекта) на свободных портах хоста: make run_docker на пустых volumes — код 0, состояния сервисов, RestartCount брокера и телеметрии 0, нет eacces и permission denied, provisioning Grafana, make test через свой LB; @@ -9489,6 +9493,8 @@ SIGNAL_POLL_S = 2 TC_CHAT_GETS = 10 # срок вызова S3 стенда ([s3] timeout_seconds = 5): span S3 при заморозке TC_S3_SPAN_RANGE = (4.0, 7.5) +# срок хранения Prometheus стенда (7 суток): окно поиска рядов health +TC_RETENTION_S = 7 * 86400 UUID_TEXT = re.compile( r"[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-" r"[0-9a-fA-F]{12}", @@ -10088,10 +10094,18 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int: 'messenger_job_type="attachment.process.v1",' 'messenger_job_outcome="{outcome}"}' ) + # запросы к неизвестному пути: без маршрута — без http_route + unknown_expr = ( + "http_server_request_duration_seconds_count" + f'{{job="{API_SERVICE_NAME}",http_route="",' + 'http_request_method="{method}",http_response_status_code="404"}' + ) exprs = { "chat": chat_expr, "ready": jobs_expr.replace("{outcome}", "ready"), "failed": jobs_expr.replace("{outcome}", "failed"), + "other": unknown_expr.replace("{method}", "_OTHER"), + "unknown_get": unknown_expr.replace("{method}", "GET"), } print("waiting for metrics to settle before own traffic", flush=True) base, _ = settled(grafana, exprs) @@ -10155,14 +10169,17 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int: call(port, "GET", f"{CHATS}/{uuid.uuid4()}", token=token)[0], ) odd_uuid = str(uuid.uuid4()) - # BREW парсер HTTP uvicorn (httptools) отклоняет 400 ещё до приложения: - # ни span, ни ряда — проверяется только отсутствие BREW и UUID в метках. - # Метод вне стандартного набора, который доходит до приложения, — - # PROPFIND (design change otel-telemetry, «Уточнения apply») - status, _, _ = call(port, "BREW", f"/api/v1/teapots/{odd_uuid}") - step("BREW rejected by the HTTP parser before the app", 400, status) + # сценарий «Необычный метод и неизвестный путь»: метод вне стандартного + # набора, который парсер HTTP пропускает (PROPFIND), и GET — к пути с UUID. + # BREW парсер uvicorn (httptools) отклоняет 400 до приложения: ни span, + # ни ряда — ограничение спека (KNOWN_ISSUES.md), проверяется только + # отсутствие BREW и UUID в метках status, _, _ = call(port, "PROPFIND", f"/api/v1/teapots/{odd_uuid}") step("PROPFIND of an unknown path with a UUID", 404, status) + status, _, _ = call(port, "GET", f"/api/v1/teapots/{odd_uuid}") + step("GET of an unknown path with a UUID", 404, status) + status, _, _ = call(port, "BREW", f"/api/v1/teapots/{odd_uuid}") + step("BREW rejected by the HTTP parser (limitation)", 400, status) foreign = secrets.token_hex(16) status, tp_hdrs, _ = call( port, @@ -10315,6 +10332,7 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int: "yes", yes(any(span["name"] == "COMMIT" for span in children)), ) + rows.extend(log_trace_links(grafana, trace_id, resource, started)) # --- чужой traceparent ------------------------------------------------- tp_records = loki_request( @@ -10387,6 +10405,12 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int: WORKER_SERVICE_NAME, (job_root.get("resource") or {}).get("service.name"), ) + worker_instances = {str(r.get("instance_id")) for r in worker_stdout} + step( + "worker service.instance.id = instance_id of its stdout", + next(iter(worker_instances)) if len(worker_instances) == 1 else "one", + (job_root.get("resource") or {}).get("service.instance.id"), + ) names = [str(span["name"]) for span in job_spans] step( "job spans: PostgreSQL", @@ -10548,6 +10572,24 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int: step("count grew on every replica", str(len(replicas)), len(grown)) step("jobs ready grew by 1", "1", f"{after['ready'] - base['ready']:g}") step("jobs failed grew by 1", "1", f"{after['failed'] - base['failed']:g}") + step( + "_OTHER 404 count without http_route grew by 1", + "1", + f"{after['other'] - base['other']:g}", + ) + step( + "GET 404 count without http_route grew by 1", + "1", + f"{after['unknown_get'] - base['unknown_get']:g}", + ) + # за весь срок хранения: healthcheck и проверки LB идут постоянно + health_series = grafana.series( + '{__name__=~"http_server_request_duration_seconds.*",' + 'http_route=~"/health.*"}', + time.time() - TC_RETENTION_S, + time.time(), + ) + step("Prometheus series with health routes", "0", len(health_series)) other = grafana.prom( "http_server_request_duration_seconds_count" f'{{job="{API_SERVICE_NAME}",http_request_method="_OTHER"}}', @@ -10705,6 +10747,82 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int: ) +def log_trace_links( + grafana: Grafana, + trace_id: str, + resource: dict[str, object], + since: float, +) -> list[tuple[str, str, str]]: + """Сценарий `observability` «От лога к трассе и обратно» через API + Grafana: у источника Loki поле `trace_id` ведёт в источник `tempo`, а + запрос `tracesToLogsV2` источника Tempo (`infra/otel/grafana/ + datasources.yaml`) с подстановкой span трассы T возвращает её записи.""" + rows: list[tuple[str, str, str]] = [] + _, loki_ds = grafana.request("GET", "/api/datasources/uid/loki") + fields = ( + (loki_ds.get("jsonData") or {}).get("derivedFields") or [] + if isinstance(loki_ds, dict) + else [] + ) + link = next( + (f for f in fields if f.get("matcherRegex") == "trace_id"), + {}, + ) + rows.append( + ( + "Loki field trace_id links to datasource", + "tempo label", + f"{link.get('datasourceUid')} {link.get('matcherType')}", + ), + ) + _, tempo_ds = grafana.request("GET", "/api/datasources/uid/tempo") + to_logs = ( + (tempo_ds.get("jsonData") or {}).get("tracesToLogsV2") or {} + if isinstance(tempo_ds, dict) + else {} + ) + rows.append( + ( + "Tempo span links to logs in datasource", + "loki", + str(to_logs.get("datasourceUid")), + ), + ) + query = ( + str(to_logs.get("query", "")) + .replace( + '${__span.tags["service.name"]}', + str(resource.get("service.name", "")), + ) + .replace("${__trace.traceId}", trace_id) + ) + rows.append( + ( + "span-to-logs query fully substituted", + "yes", + yes(bool(trace_id) and bool(query) and "${" not in query), + ), + ) + records = [] + if trace_id and query and "${" not in query: + records = ( + poll(lambda: grafana.loki(query, since, time.time() + 5)) or [] + ) + rows.append( + ( + "span-to-logs query returns records of trace T", + "yes", + yes( + len(records) >= 2 + and all(r[2].get("trace_id") == trace_id for r in records), + ), + ), + ) + for row in rows: + print(f"{row[0]}: {row[2]}", flush=True) + return rows + + def otel_env_probe(grafana: Grafana) -> list[tuple[str, str, str]]: """Разовый контейнер API с `OTEL_SDK_DISABLED=true` и чужим адресом: шлёт в Collector из `[telemetry]` и пишет `warning` с именами переменных.""" @@ -11206,6 +11324,8 @@ def telemetry_outage(port: int, grafana: Grafana) -> int: SCRATCH_PROJECT = "mtusi-lab6-scratch" +# имена проекта, которые команда принимает: она сама удаляет его volumes +SCRATCH_PROJECT_NAME = re.compile(r"^mtusi-lab6-scratch(-[a-z0-9]+)?$") SCRATCH_PORTS = ( "APP_OUT_PORT", "POSTGRES_OUT_PORT", @@ -11232,6 +11352,14 @@ def cmd_stand_from_scratch(project: str, runs: int) -> int: `otel-telemetry`, решения 19 и 21): свой проект compose на пустых volumes, `make run_docker` с первой попытки, затем проект удаляется вместе с volumes при любом исходе. Рабочий стенд не трогается.""" + # down -v удаляет volumes проекта: только одноразовое имя, проверка — + # до любых вызовов docker + if not SCRATCH_PROJECT_NAME.fullmatch(project): + print( + f"stand-from-scratch: project {project!r} refused: only " + f"{SCRATCH_PROJECT_NAME.pattern} (the command removes its volumes)", + ) + return 2 working = json.loads( subprocess.run( ["docker", "compose", "config", "--format", "json"], diff --git a/QUESTIONS.md b/QUESTIONS.md index 6bef943..a359226 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -135,6 +135,13 @@ Change `openspec/changes/otel-telemetry/`, propose 2026-11-11. Номера — - `level=error` Loki «empty ring» на старте и Tempo «no jobs found» в простое — шум, не отказ (п. 7); - `stand-from-scratch` останавливает рабочий стенд на время проверки (`make stop` / `docker compose start`) (п. 10); - лимиты решения 7 подтверждены замером, не менялись (п. 11). +- Правки по verify (2026-11-11, design, «Уточнения apply», п. 13–18): + - дренаж API 9 с с включённой телеметрией — ошибка настроек с именем `app.graceful_shutdown_seconds` (8 + 1 с SDK ≤ 9 + с), без телеметрии 9 с допустимы; у worker закрытие SDK — внутри прежнего окна 0,5 с (п. 13); + - экспортёры OTLP — своя `requests.Session` с `trust_env=False`: прокси окружения не действуют (п. 14); + - сценарий «Необычный метод и неизвестный путь» — на `PROPFIND` и `GET`, `BREW` — ограничение (п. 15); + - `telemetry-check`: ссылки лог ↔ трасса источников Grafana, нет рядов health, `service.instance.id` worker (п. 16); + - `stand-from-scratch --project` — только `mtusi-lab6-scratch[-…]`, иначе код 2 до docker (п. 17). ### Вопросы @@ -157,3 +164,20 @@ Change `openspec/changes/otel-telemetry/`, propose 2026-11-11. Номера — который доходит до приложения (`PROPFIND`)? Иначе — `http="h11"` у uvicorn или правило HAProxy (отдельный change). 7. Пользователю (apply): перед замерами для отчёта переснять `telemetry-check`, `telemetry-outage`, `stand-from-scratch` и бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх `9b35c25`. +8. Пользователю (verify W4): `driver.py stand-from-scratch` сам удаляет volumes своего проекта (`docker compose -p + mtusi-lab6-scratch… down -v` в начале, после каждого прогона и при Ctrl+C), а deny-правила `.claude/settings.local.json` + запрещают агенту `down -v`. Подтвердите, что так можно для одноразового проекта `mtusi-lab6-scratch*` (как у `make + failure_checks` со своим `<рабочий>-failures`). Имя проекта команда теперь принимает только по шаблону + `^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до вызовов docker. Настройки разрешений не менялись. Иначе — + убирать проект scratch руками пользователя, а команда только печатает команду уборки. + +### Предложения на потом + +Найдено verify, решено не исправлять в этом change. + +- S2: evidence для сценария «Restart hook не трогает телеметрию» — по коду выполняется (`scripts/restart.sh` сервисы + телеметрии не называет), но вывода нет. Предложение: в `telemetry-check` или отдельной пробе — `StartedAt` сервисов + телеметрии до и после `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (задача 11.5 его уже сверяет на глаз). +- S4: relay и уборщик SDK не запускают, но загружают его модули через `SqlAlchemyUnitOfWork` (`src/infra/db/uow.py` → + `src/infra/telemetry`): 139 модулей, RSS уборщика ~100 МиБ при ~90 МиБ в `docker.md`. Предложение для change 2: ленивый + импорт SDK в `src/infra/telemetry` (до `start`) или замер `memory.peak` relay и уборщика и правка `docker.md`. diff --git a/openspec/changes/otel-telemetry/design.md b/openspec/changes/otel-telemetry/design.md index 2df511e..d27c02f 100644 --- a/openspec/changes/otel-telemetry/design.md +++ b/openspec/changes/otel-telemetry/design.md @@ -213,7 +213,7 @@ Loki. | `grafana` | 0,5 | 384 МиБ | 300 МиБ | 251 МиБ | | **итого** | **2,5** | **2048 МиБ** | | ~0,5 ГиБ | -Постоянные лимиты стенда — 11,5 CPU и 7040 МиБ, с одноразовыми — 12,5 CPU и 7424 МиБ при ВМ 12 CPU и 7936 МиБ. Это +Постоянные лимиты стенда — 11,5 CPU и 7040 МиБ, с одноразовыми — 12,5 CPU и 7424 МиБ при ВМ 12 CPU и 7934 МиБ. Это потолки, а не резерв: CPU делится по времени, память стенда в простое ~3 ГиБ. Apply меряет пик каждого сервиса и реплики API под `make test` + `make load` (`docker stats`, `memory.peak`): лимит не меньше 1,5 × пика, иначе поднимается, сумма пересчитывается; таблица — `REPORT.md` и `docker.md`, «Суммы». Стенд `bench/` идёт при остановленном рабочем @@ -534,3 +534,31 @@ Apply 2026-11-11 (второй агент: первый прервался по ближе всех); суммы прежние — 11,5 CPU / 7040 МиБ, с одноразовыми 12,5 / 7424 (`evidence/telemetry/budget.md`). 12. **Быстрые тесты (8.1–8.3)** написал прерванный агент вместе с кодом; красный прогон до кода не снимался и не воспроизводился (git агенту запрещён). Проверяют поведение, а не вызовы: in-memory экспортёры SDK и временная база. + +Правки по `/opsx:verify` (2026-11-11, задачи 12): + +13. **Срок остановки API с телеметрией (W3, решение 13).** Выбрана проверка сочетания, а не `le=8` для всех: без + телеметрии дренаж 9 с по-прежнему укладывается (закрытие клиентов — миллисекунды), и прежнее поведение и спек + «Завершение за заявленный срок» не меняются. Валидатор — на поле `telemetry` класса `Settings` (секции `app` он + видит, она объявлена раньше): `enabled` и `app.graceful_shutdown_seconds + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS > + API_STOP_BUDGET_SECONDS` (9) — ошибка с `loc` `telemetry` и текстом, который называет `app.graceful_shutdown_seconds` + и предел 8. На поле секции без секретов: ошибка секции `app` несла бы её значение. Проверку видят все процессы, что + читают `Settings` с включённой телеметрией, в том числе worker («Invalid worker settings», код 2): `config.toml` + общий, и неверное сочетание — ошибка стенда. Worker — тот же расчёт своего окна: ожидание ≤ 8 + отмена 0,5 + + потребитель 0,5 + `gather` 0,5, в котором ждётся и закрытие SDK, = 9,5 с; новой проверки не требует, тест + фиксирует арифметику (`service-tests/unit/test_settings.py`). +14. **Отправка только в Collector (S5).** Экспортёры получают `requests.Session` с `trust_env=False`: иначе `requests` + берёт `HTTP(S)_PROXY`, `NO_PROXY`, `.netrc` и `REQUESTS_CA_BUNDLE` из окружения — второй источник адреса, как + `OTEL_*`. `requests` — зависимость экспортёра OTLP/HTTP, в `pyproject.toml` не добавлялся. +15. **«Необычный метод» (W2, п. 2).** Сценарий дельты переписан на `PROPFIND` и `GET` к пути с UUID; `BREW` — фраза об + ограничении в тексте требования «Метрики HTTP API». `telemetry-check` проверяет рост рядов `_OTHER` 404 и `GET` 404 без + `http_route` ровно на 1, `BREW` — только 400 парсера и отсутствие в метках. +16. **Проверки verify S1, S2 в `telemetry-check`.** Переход лог ↔ трасса проверяется через API Grafana настройками + источников: derived field `trace_id` Loki ведёт в `tempo` (`matcherType: label`), запрос `tracesToLogsV2` Tempo с + подстановкой `service.name` ресурса и `trace_id` трассы возвращает её записи. Ряды `http_route=~"/health.*"` ищутся за + срок хранения Prometheus; `service.instance.id` трассы задания сверяется с `instance_id` записей worker в stdout. +17. **`stand-from-scratch --project` (W4).** Принимает только `^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до любых + вызовов docker: команда делает `down -v` своего проекта, и чужое имя (`mtusi-lab5`, `mtusi-lab6-failures`) удалило бы + чужие volumes. Разрешено ли агенту это `down -v` при deny-правилах — вопрос пользователю (`QUESTIONS.md`). +18. **Журнал в Loki (S3).** Отправляются записи между запуском SDK и началом закрытия: записи uvicorn до lifespan, ошибки + настроек, остановка до старта и «Stopped worker» — только stdout (дельта `service-logging`). diff --git a/openspec/changes/otel-telemetry/specs/graceful-shutdown/spec.md b/openspec/changes/otel-telemetry/specs/graceful-shutdown/spec.md index d19e858..8fb952f 100644 --- a/openspec/changes/otel-telemetry/specs/graceful-shutdown/spec.md +++ b/openspec/changes/otel-telemetry/specs/graceful-shutdown/spec.md @@ -8,6 +8,12 @@ API — требования «Завершение за заявленный с внутри этого бюджета; что не ушло за срок, теряется, а процесс MUST NOT ждать Collector дольше. Запись об остановке процесса SHALL быть в stdout при любом состоянии Collector. +Срок отправки при остановке SHALL входить в тот же бюджет, а не прибавляться к нему: у API с включённой телеметрией +`[app] graceful_shutdown_seconds` вместе со сроком закрытия SDK MUST NOT превышать 9 с (требование «Завершение за заявленный +срок»), иначе запуск SHALL останавливаться ошибкой проверки настроек с именем поля `app.graceful_shutdown_seconds`; без +телеметрии допустимы прежние 9 с. У worker закрытие SDK SHALL идти внутри окна закрытия клиентов, и худший случай остаётся +прежним (требование «Остановка worker»). + #### Scenario: docker stop при остановленном Collector - **WHEN** Collector остановлен, реплика API только что обслуживала запросы, и выполняется `docker stop` этой реплики, а затем @@ -18,3 +24,9 @@ API — требования «Завершение за заявленный с - **WHEN** контейнер Collector заморожен (`docker pause`), и выполняются те же остановки - **THEN** обе команды завершаются быстрее 10 с, коды выхода 0, а в stdout есть записи об остановке + +#### Scenario: Срок остановки API не оставляет места закрытию SDK + +- **WHEN** API запускается с включённой телеметрией и `APP__GRACEFUL_SHUTDOWN_SECONDS=9` +- **THEN** запуск останавливается ошибкой проверки настроек, которая называет поле `app.graceful_shutdown_seconds` и + допустимый предел, а с выключенной телеметрией то же значение принимается diff --git a/openspec/changes/otel-telemetry/specs/observability/spec.md b/openspec/changes/otel-telemetry/specs/observability/spec.md index ce8549f..0711ee4 100644 --- a/openspec/changes/otel-telemetry/specs/observability/spec.md +++ b/openspec/changes/otel-telemetry/specs/observability/spec.md @@ -156,7 +156,9 @@ buckets SHALL покрывать ожидаемые задержки API — о Доля ошибок SHALL быть определена заранее: числитель — ответы 5xx API, знаменатель — все учтённые запросы; 4xx (неверный пароль, чужой чат) в долю ошибок не входят и показываются отдельно. Ответы, которые сгенерировал сам балансировщик, в -метрики API не попадают — ограничение в `REPORT.md`. +метрики API не попадают — ограничение в `REPORT.md`. Так же вне метрик, трасс и журнала API — запрос с методом, который +HTTP-парсер сервера отклоняет до приложения (`BREW`: его нет в списке методов парсера uvicorn): ответ ему даёт парсер — +ограничение, `KNOWN_ISSUES.md` («Нестандартный метод HTTP»). #### Scenario: Запросы в метрике @@ -171,8 +173,10 @@ buckets SHALL покрывать ожидаемые задержки API — о #### Scenario: Необычный метод и неизвестный путь -- **WHEN** клиент шлёт запрос с методом `BREW` и запрос к несуществующему пути с UUID внутри -- **THEN** их ряды — с методом `_OTHER` и без `http_route`, а ни метода `BREW`, ни этого UUID в метках нет +- **WHEN** клиент шлёт к несуществующему пути с UUID внутри запрос с методом вне стандартного набора, который HTTP-парсер + сервера передаёт приложению (`PROPFIND`), и запрос `GET` +- **THEN** первый учтён в ряду с методом `_OTHER`, второй — в ряду с методом `GET`, оба ряда без `http_route`, а ни метода + `PROPFIND`, ни этого UUID в метках нет ### Requirement: Метрики заданий worker diff --git a/openspec/changes/otel-telemetry/specs/service-logging/spec.md b/openspec/changes/otel-telemetry/specs/service-logging/spec.md index 0bc4fee..7bfbf2b 100644 --- a/openspec/changes/otel-telemetry/specs/service-logging/spec.md +++ b/openspec/changes/otel-telemetry/specs/service-logging/spec.md @@ -27,8 +27,10 @@ stdout, и в записи, отправленной в хранилище ло ### Requirement: Журнал в хранилище логов -При включённой телеметрии каждая запись журнала API и worker, которая пишется в stdout, SHALL ещё и отправляться в хранилище -логов через Collector: тело — `event`, уровень — из `level`, время — `timestamp`, остальные поля записи — атрибутами, ресурс — +При включённой телеметрии каждая запись журнала API и worker, которая пишется в stdout между запуском SDK и началом его +закрытия при остановке, SHALL ещё и отправляться в хранилище логов через Collector; записи до запуска SDK (записи uvicorn до lifespan, +остановка до старта, ошибки настроек) и после начала закрытия (запись «Stopped worker») идут только в stdout. Отправленная +запись: тело — `event`, уровень — из `level`, время — `timestamp`, остальные поля записи — атрибутами, ресурс — `service.name` и остальные атрибуты процесса (capability `observability`, «SDK в API и worker»). Записи stdout при этом MUST NOT меняться, кроме полей трассы (требование «Связь записей с трассой»). Записи самого SDK OpenTelemetry идут только в stdout. Отказ отправки MUST NOT задерживать запись и обработку и MUST NOT терять записи stdout. diff --git a/openspec/changes/otel-telemetry/tasks.md b/openspec/changes/otel-telemetry/tasks.md index 41de34d..3e58b35 100644 --- a/openspec/changes/otel-telemetry/tasks.md +++ b/openspec/changes/otel-telemetry/tasks.md @@ -73,8 +73,9 @@ ## 5. Worker - [x] 5.1 Исход доставки (11): enum в `src/schemas/enums/` (`ready`, `failed`, `retry`, `skipped`, `requeued`, `dropped`) с - действием с сообщением; `AttachmentProcessingService.handle` и его ветки возвращают исход; быстрые тесты сервиса и - `test_worker_deliveries.py` проверяют исход каждой ветки вместо `ACK`. Проверка: `make service_test`. + действием с сообщением; `AttachmentProcessingService.handle` и его ветки возвращают исход; быстрые тесты сервиса + (`test_attachment_processing.py`) проверяют исход каждой ветки вместо `ACK`, а исход → действие, span и histogram — + `test_telemetry.py`. Проверка: `make service_test`. - [x] 5.2 `src/worker/main.py` (11, 13): запуск телеметрии `messenger-worker` после `early_stop.disarm()`, `instrument_engine`; в `_handle` после места конкуренции — span `CONSUMER` `process <очередь>` и histogram `messenger.job.duration` по исходу (`error` при исключении), подтверждение внутри span; «Started worker» — поля телеметрии; @@ -194,3 +195,42 @@ телеметрия выключена; `docker compose config --quiet` — рабочий стенд, CI, `bench/`, стенд отказов. Проверка: выводы команд; причины любых падений — в отчёте apply до правок. - [x] 11.6 `graphify update .` после закрытия задач. Проверка: в графе есть узлы `src/infra/telemetry`. + +## 12. Замечания проверки + +Находки `/opsx:verify` (2026-11-11), которые решено исправить. Evidence переснимается отдельной стадией на коммите правок. + +- [x] 12.1 W2. Дельта `observability`, сценарий «Необычный метод и неизвестный путь»: метод вне стандартного набора, который + пропускает HTTP-парсер (`PROPFIND`), и явное ограничение для методов, которые парсер отклоняет до приложения (`BREW`, + `KNOWN_ISSUES.md`); `telemetry-check` проверяет сценарий в новой формулировке — рост ряда `_OTHER` 404 без `http_route` и + ряда `GET` 404 без `http_route` от своих запросов, ни `PROPFIND`, ни UUID в метках. Проверка: `openspec validate + otel-telemetry --strict`; шаги `telemetry-check` — `expected` = `got`. +- [x] 12.2 W3. Проверка настроек: при включённой телеметрии `[app] graceful_shutdown_seconds` + + `TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` не больше бюджета остановки API (9 с: SIGKILL docker через 10 с), иначе запуск + останавливается ошибкой с именем поля; у worker — тот же расчёт его окна (закрытие SDK внутри окна `gather` 0,5 с, сумма + 9,5 с < 10 с). Дельта `graceful-shutdown` — требование и сценарий неверного сочетания; выбор — design, «Уточнения apply». + Проверка: быстрый тест `service-tests/unit/test_settings.py` (9 + телеметрия — ошибка с полем, 9 без телеметрии и 8 с + ней — допустимо, окно worker); `make service_test`. +- [x] 12.3 W4. `driver.py stand-from-scratch --project`: только имя `^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до + любых действий docker; строка в `SKILL.md`; вопрос пользователю о `down -v` своего проекта — `QUESTIONS.md`. Проверка: + `driver.py stand-from-scratch --project` с `mtusi-lab5`, `mtusi-lab6-failures`, `bp_proxies`, `mtusi-lab6` — код 2 и ни + одного вызова docker (запуск с `PATH` без `docker` и `DOCKER_HOST` на несуществующий сокет). +- [x] 12.4 S1. `telemetry-check`, сценарий «От лога к трассе и обратно»: запрос к Loki через Grafana по подстановке + `tracesToLogsV2` источника Tempo (`infra/otel/grafana/datasources.yaml`) с реальным `trace_id` возвращает записи запроса; + у источника Loki derived field `trace_id` ведёт в источник `tempo`. Проверка: шаги `telemetry-check` — `expected` = `got`. +- [x] 12.5 S2. `telemetry-check`: рядов Prometheus с `http_route=~"/health.*"` нет; `service.instance.id` ресурса трассы + задания равен `instance_id` записи worker в stdout. Проверка: шаги `telemetry-check` — `expected` = `got`. +- [x] 12.6 S3. Дельта `service-logging`, «Журнал в хранилище логов»: отправляются записи между запуском и закрытием SDK; + записи до запуска и после закрытия — только stdout. Проверка: `openspec validate otel-telemetry --strict`. +- [x] 12.7 S5. Экспортёры OTLP получают свою `requests.Session` с `trust_env=False`: `HTTP(S)_PROXY` и `NO_PROXY` окружения + на отправку не влияют, данные идут только в Collector. Проверка: быстрый тест в `service-tests/unit/test_telemetry.py` + `test_exporters_ignore_proxy_environment`: с `HTTP(S)_PROXY` в окружении отправка трёх экспортёров уходит на адрес + Collector без прокси, `requests.Session.send` подменён — сети нет); `make service_test`. +- [x] 12.8 S6. Память ВМ в design (решение 7) — 7934 МиБ, как в `docker.md` и `REPORT.md`; ссылка задачи 5.1 — на + фактические файлы тестов. Проверка: `grep -n 7936` по change — пусто. +- [x] 12.9 Не исправлять, записать: `QUESTIONS.md`, `## otel-telemetry`, «Предложения на потом» — evidence «Restart hook + не трогает телеметрию» (S2) и загрузка SDK relay и уборщиком через `SqlAlchemyUnitOfWork` (S4). Проверка: подраздел есть. +- [x] 12.10 Регрессия: `openspec validate otel-telemetry --strict`, `make lint`, `make service_test`, `make + service_test_db`, пересборка и `docker compose up -d` api и worker, `make test`, `make student_test` через LB (красный + только `test_exclusion_evidence_exists`), `driver.py --port 8080 telemetry-check` — код 0 (вывод в scratchpad; evidence — + следующая стадия на коммите). diff --git a/service-tests/unit/test_settings.py b/service-tests/unit/test_settings.py index 1cf705f..a7e813f 100644 --- a/service-tests/unit/test_settings.py +++ b/service-tests/unit/test_settings.py @@ -1,11 +1,44 @@ """Значения `[uploads]` (спек `service-configuration`, «Неверный параметр -загрузок»). Сама секция, а не `Settings`: тот читает `.env` и `config.toml`. +загрузок») и сочетание срока остановки API с телеметрией (спек +`graceful-shutdown`, «Остановка при недоступном Collector»). Секция или +`Settings` только из аргументов: настоящий читает `.env` и `config.toml`. """ +from typing import Any + import pytest from pydantic import ValidationError +from pydantic_settings import ( + BaseSettings, + PydanticBaseSettingsSource, + SettingsConfigDict, +) -from src.config.settings import Uploads +from src.config.settings import Settings, Uploads, Worker +from src.utils.constants import ( + API_STOP_BUDGET_SECONDS, + CONTAINER_STOP_TIMEOUT_SECONDS, + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS, +) +from src.worker import main as worker_main + + +class _ArgumentsOnly(Settings): + """`Settings` без окружения, `.env` и `config.toml`.""" + + model_config = SettingsConfigDict( + **{**Settings.model_config, "env_file": None, "toml_file": None}, + ) + + @classmethod + def settings_customise_sources( + cls, + settings_cls: type[BaseSettings], # noqa: ARG003 + init_settings: PydanticBaseSettingsSource, + *args: PydanticBaseSettingsSource, # noqa: ARG003 + **kwargs: Any, # noqa: ARG003 + ) -> tuple[PydanticBaseSettingsSource, ...]: + return (init_settings,) @pytest.mark.parametrize( @@ -26,3 +59,38 @@ def test_wrong_value_names_field(field: str, value: object) -> None: def test_zero_turns_backlog_limit_off() -> None: assert Uploads(max_unfinished_jobs=0).max_unfinished_jobs == 0 assert Uploads().max_unfinished_jobs == 250 + + +def test_api_stop_with_telemetry_over_budget_names_field() -> None: + """9 с дренажа + 1 с закрытия SDK — SIGKILL docker (verify W3).""" + with pytest.raises(ValidationError) as caught: + _ArgumentsOnly( + app={"graceful_shutdown_seconds": 9}, + telemetry={"enabled": True}, + ) + errors = caught.value.errors(include_input=False) + assert [error["loc"] for error in errors] == [("telemetry",)] + assert "app.graceful_shutdown_seconds" in errors[0]["msg"] + + +@pytest.mark.parametrize( + ("graceful", "enabled"), + [(9, False), (8, True), (1, True)], +) +def test_api_stop_within_budget(graceful: int, enabled: bool) -> None: + loaded = _ArgumentsOnly( + app={"graceful_shutdown_seconds": graceful}, + telemetry={"enabled": enabled}, + ) + assert loaded.app.graceful_shutdown_seconds == graceful + + +def test_budgets_fit_container_stop() -> None: + """API: дренаж до 8 с + закрытие SDK; worker: ожидание до 8 с, отмена, + потребитель и одно окно `gather` с закрытием SDK — по 0,5 с.""" + assert API_STOP_BUDGET_SECONDS < CONTAINER_STOP_TIMEOUT_SECONDS + assert 8 + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS <= API_STOP_BUDGET_SECONDS + with pytest.raises(ValidationError): + Worker(graceful_shutdown_seconds=8.01) + worker_worst = 8 + 3 * worker_main._CLOSE_TIMEOUT_SECONDS + assert worker_worst < CONTAINER_STOP_TIMEOUT_SECONDS diff --git a/service-tests/unit/test_telemetry.py b/service-tests/unit/test_telemetry.py index 21052c5..a549d89 100644 --- a/service-tests/unit/test_telemetry.py +++ b/service-tests/unit/test_telemetry.py @@ -14,14 +14,24 @@ from typing import Any import httpx import pytest +import requests from botocore.exceptions import ClientError from fastapi import APIRouter, FastAPI from opentelemetry import trace from opentelemetry._logs import SeverityNumber -from opentelemetry.sdk._logs.export import InMemoryLogRecordExporter +from opentelemetry.sdk._logs import LoggerProvider +from opentelemetry.sdk._logs.export import ( + InMemoryLogRecordExporter, + SimpleLogRecordProcessor, +) +from opentelemetry.sdk.metrics import MeterProvider from opentelemetry.sdk.metrics.export import InMemoryMetricReader -from opentelemetry.sdk.trace import ReadableSpan -from opentelemetry.sdk.trace.export import SpanExporter, SpanExportResult +from opentelemetry.sdk.trace import ReadableSpan, TracerProvider +from opentelemetry.sdk.trace.export import ( + SimpleSpanProcessor, + SpanExporter, + SpanExportResult, +) from opentelemetry.sdk.trace.export.in_memory_span_exporter import ( InMemorySpanExporter, ) @@ -30,6 +40,7 @@ from redis.exceptions import RedisError from src.api.middlewares import RequestContextMiddleware from src.config import settings +from src.config.settings import Telemetry as TelemetrySettings from src.infra import logger as app_logger from src.infra import telemetry from src.infra.cache.client import Cache @@ -49,6 +60,8 @@ pytestmark = pytest.mark.anyio SERVICE = "messenger-api" SECRET_TEXT = "secret-text-in-exception" +COLLECTOR = "http://otel-collector:4318" +PROXY = "http://proxy.invalid:3128" @dataclass @@ -583,6 +596,60 @@ async def test_shutdown_is_bounded() -> None: telemetry.remove_log_hooks() +def test_exporters_ignore_proxy_environment( + monkeypatch: pytest.MonkeyPatch, +) -> None: + """Данные идут только в Collector из `[telemetry]`: прокси окружения + (`HTTP(S)_PROXY`) экспортёры не берут (verify S5). Отправка подменена на + уровне `requests.Session.send` — сети нет, видно, с какими прокси она бы + ушла.""" + for name in ("HTTP_PROXY", "HTTPS_PROXY", "ALL_PROXY"): + monkeypatch.setenv(name, PROXY) + monkeypatch.setenv(name.lower(), PROXY) + for name in ("NO_PROXY", "no_proxy"): + monkeypatch.delenv(name, raising=False) + sent: list[tuple[str, dict[str, str]]] = [] + + def send( + self: requests.Session, # noqa: ARG001 + request: requests.PreparedRequest, + **kwargs: Any, + ) -> requests.Response: + sent.append((str(request.url), dict(kwargs.get("proxies") or {}))) + response = requests.Response() + response.status_code = 200 + response._content = b"" + response.request = request + return response + + monkeypatch.setattr(requests.Session, "send", send) + exporters = core._otlp_exporters( + TelemetrySettings(otlp_endpoint=COLLECTOR), + ) + tracer_provider = TracerProvider() + tracer_provider.add_span_processor(SimpleSpanProcessor(exporters.spans)) + logger_provider = LoggerProvider() + logger_provider.add_log_record_processor( + SimpleLogRecordProcessor(exporters.logs), + ) + meter_provider = MeterProvider(metric_readers=[exporters.metrics]) + try: + tracer_provider.get_tracer("t").start_span("probe").end() + logger_provider.get_logger("t").emit(body="probe") + meter_provider.get_meter("t").create_counter("probe").add(1) + exporters.metrics.force_flush() + finally: + tracer_provider.shutdown() + logger_provider.shutdown() + meter_provider.shutdown() + assert {url for url, _ in sent} == { + f"{COLLECTOR}/v1/traces", + f"{COLLECTOR}/v1/logs", + f"{COLLECTOR}/v1/metrics", + } + assert all(proxies == {} for _, proxies in sent), sent + + # --- исход доставки worker ------------------------------------------------ diff --git a/src/config/settings.py b/src/config/settings.py index 50b9da0..df2a369 100644 --- a/src/config/settings.py +++ b/src/config/settings.py @@ -21,7 +21,12 @@ from pydantic_settings import ( from sqlalchemy.engine import URL from src.schemas.enums import RunModeEnum -from src.utils.constants import INSTANCE_ID_PATTERN, S3_BUCKET_NAME_PATTERN +from src.utils.constants import ( + API_STOP_BUDGET_SECONDS, + INSTANCE_ID_PATTERN, + S3_BUCKET_NAME_PATTERN, + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS, +) BASE_DIR = Path(__file__).resolve().parent.parent.parent ENV_PATH = BASE_DIR.joinpath(".env") @@ -40,8 +45,13 @@ class App(BaseModel): port: int = Field(default=8080, ge=1, le=65535) log_level: LogLevel = "INFO" # секунды, которые uvicorn ждёт текущие запросы после SIGTERM; - # docker шлёт SIGKILL через 10 с, поэтому не больше 9 - graceful_shutdown_seconds: int = Field(default=8, ge=1, le=9) + # docker шлёт SIGKILL через 10 с, поэтому не больше 9, а с телеметрией — + # не больше 8: после lifespan ещё закрытие SDK (проверка в Settings) + graceful_shutdown_seconds: int = Field( + default=8, + ge=1, + le=API_STOP_BUDGET_SECONDS, + ) # секунды, которые uvicorn держит простаивающее keep-alive соединение. # Больше, чем HAProxy держит простаивающий сеанс клиента, а с ним и # соединение с репликой (timeout http-keep-alive 10 с и http-reuse @@ -543,6 +553,36 @@ class Settings(BaseSettings): relay: Relay = Relay() telemetry: Telemetry = Telemetry() + @field_validator("telemetry") + @classmethod + def api_stop_fits_container( + cls, + value: Telemetry, + info: ValidationInfo, + ) -> Telemetry: + """С телеметрией API после дренажа ещё ждёт закрытия SDK: сумма не + больше бюджета остановки, иначе SIGKILL docker (код 137). Проверка на + поле секции без секретов: секции `app` ошибка с её значением не + нужна (design change `otel-telemetry`, «Уточнения apply», п. 13).""" + app = info.data.get("app") + if ( + value.enabled + and app is not None + and app.graceful_shutdown_seconds + + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS + > API_STOP_BUDGET_SECONDS + ): + limit = ( + API_STOP_BUDGET_SECONDS - TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS + ) + raise ValueError( + "enabled telemetry requires app.graceful_shutdown_seconds " + f"<= {limit:g}: SDK shutdown takes up to " + f"{TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS:g} s of the " + f"{API_STOP_BUDGET_SECONDS:g} s stop budget", + ) + return value + @classmethod def settings_customise_sources( cls, diff --git a/src/infra/telemetry/core.py b/src/infra/telemetry/core.py index 119a1c6..bbd1521 100644 --- a/src/infra/telemetry/core.py +++ b/src/infra/telemetry/core.py @@ -17,6 +17,9 @@ from contextlib import contextmanager, suppress from dataclasses import dataclass, field from typing import Any +# транспорт экспортёров OTLP/HTTP (зависимость opentelemetry-exporter-otlp- +# proto-http): своя сессия без окружения +import requests from opentelemetry import trace from opentelemetry.context import Context from opentelemetry.exporter.otlp.proto.http import Compression @@ -253,9 +256,18 @@ def start( return True +def _export_session() -> requests.Session: + """Сессия отправки без окружения: `HTTP(S)_PROXY`, `NO_PROXY`, `.netrc` + и `REQUESTS_CA_BUNDLE` на неё не действуют — данные идут только по адресу + `[telemetry]` (verify S5, как с `OTEL_*`, решение 8).""" + session = requests.Session() + session.trust_env = False + return session + + def _otlp_exporters(config: TelemetrySettings) -> Exporters: """OTLP/HTTP protobuf только из `[telemetry]`: адрес, срок, без - заголовков и сжатия.""" + заголовков и сжатия, своя сессия без прокси окружения.""" timeout = config.export_timeout_seconds endpoint = config.otlp_endpoint return Exporters( @@ -264,6 +276,7 @@ def _otlp_exporters(config: TelemetrySettings) -> Exporters: headers={}, timeout=timeout, compression=Compression.NoCompression, + session=_export_session(), ), metrics=PeriodicExportingMetricReader( OTLPMetricExporter( @@ -272,6 +285,7 @@ def _otlp_exporters(config: TelemetrySettings) -> Exporters: timeout=timeout, compression=Compression.NoCompression, preferred_temporality=_CUMULATIVE, + session=_export_session(), ), export_interval_millis=config.metric_export_interval_seconds * 1000, @@ -282,6 +296,7 @@ def _otlp_exporters(config: TelemetrySettings) -> Exporters: headers={}, timeout=timeout, compression=Compression.NoCompression, + session=_export_session(), ), ) diff --git a/src/utils/constants.py b/src/utils/constants.py index 351328f..455fba5 100644 --- a/src/utils/constants.py +++ b/src/utils/constants.py @@ -157,6 +157,12 @@ TELEMETRY_LOGS_PATH = "/v1/logs" # секунды, которые процесс ждёт закрытия SDK при остановке; что не ушло — # теряется (решение 13): API — 8 с дренажа + закрытие клиентов + 1 с < 10 с TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS = 1 +# секунды от SIGTERM до SIGKILL docker (stop_grace_period сервисов приложения) +CONTAINER_STOP_TIMEOUT_SECONDS = 10 +# секунды на дренаж uvicorn и закрытие SDK API: остаток до SIGKILL — закрытие +# клиентов в lifespan и выход процесса. Без телеметрии дренаж до 9 с, с ней — +# дренаж + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS (проверка настроек, verify W3) +API_STOP_BUDGET_SECONDS = 9 # секунды: не больше одной записи логгера `opentelemetry.*` в stdout за окно TELEMETRY_SDK_LOG_WINDOW_SECONDS = 60 # префикс логгеров самого SDK: их записи не экспортируются