fix: address otel-telemetry verify findings
Shutdown budget leaves room for SDK shutdown, stand-from-scratch accepts only its throwaway project, OTLP exporters ignore proxy environment, telemetry-check covers log/trace links, health series and worker instance id; spec deltas match what the parser and SDK lifetime allow. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -103,7 +103,8 @@ Design change `otel-telemetry`, решения 8, 13, 20. Консоль (`make
|
||||
run_worker`) — без телеметрии: «Started API» говорит `telemetry_enabled: false`, к
|
||||
`127.0.0.1:4318` обращений нет. На стенде compose её включает окружение `api` и `worker`.
|
||||
Остановка: API закрывает SDK после «Stopped API» и ждёт не дольше
|
||||
`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с; 8 с дренажа + 1 с < 10 с), worker — в окне `gather`
|
||||
`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с; 8 с дренажа + 1 с < 10 с; дренаж 9 с с телеметрией —
|
||||
ошибка настроек, `settings.md`), worker — в окне `gather`
|
||||
закрытия клиентов (0,5 с; худший случай прежний, 9,5 с); `shutdown()` провайдеров — в
|
||||
daemon-потоках, процесс их не ждёт. Без Collector и при замороженном Collector сроки прежние
|
||||
(`driver.py telemetry-outage`).
|
||||
|
||||
@@ -253,7 +253,12 @@ run_relay` — те же мосты. Имена skeleton: `BROKER_URL_FILE` →
|
||||
compose (`x-telemetry-env`: `TELEMETRY__ENABLED`, `TELEMETRY__OTLP_ENDPOINT`), в `.env` и
|
||||
`config_example.toml` включения нет: файл монтируется и в консоль. Разовая подмена —
|
||||
`TELEMETRY__*`. **`OTEL_*` — не настройки**, как любые переменные без секции: процесс с
|
||||
включённой телеметрией удаляет их из окружения и пишет `warning` с именами. Имена skeleton:
|
||||
включённой телеметрией удаляет их из окружения и пишет `warning` с именами; прокси окружения
|
||||
(`HTTP(S)_PROXY`) экспортёры тоже не берут (`trust_env=False`). Сочетание секций: с включённой
|
||||
телеметрией `[app] graceful_shutdown_seconds` не больше `API_STOP_BUDGET_SECONDS −
|
||||
TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` = 8 (валидатор поля `telemetry` в `Settings`, ошибка называет
|
||||
`app.graceful_shutdown_seconds`), без неё — прежние 9 (design change `otel-telemetry`,
|
||||
«Уточнения apply», п. 13). Имена skeleton:
|
||||
`OTEL_SERVICE_NAME` → константы `TELEMETRY_SERVICE_API` / `_WORKER`,
|
||||
`OTEL_EXPORTER_OTLP_ENDPOINT` → `otlp_endpoint`, `OTEL_EXPORTER_OTLP_PROTOCOL` — постоянно
|
||||
`http/protobuf`, `OTEL_RESOURCE_ATTRIBUTES` → `environment` (`service.*` вычисляет код).
|
||||
|
||||
@@ -48,7 +48,12 @@ paths:
|
||||
- **Закрытие со сроком** (решение 13): `shutdown()` провайдеров — в daemon-потоках
|
||||
(`begin_shutdown`), ожидание не дольше срока (`wait_closed`), не `asyncio.to_thread` и не
|
||||
`force_flush`: при замороженном Collector `shutdown()` ждёт до 6 с. API — после «Stopped API»,
|
||||
`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с); worker — в окне `gather` закрытия (0,5 с).
|
||||
`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` (1 с) внутри `API_STOP_BUDGET_SECONDS` (9 с) вместе с
|
||||
дренажом — сочетание проверяет `Settings`; worker — в окне `gather` закрытия (0,5 с). Новый срок
|
||||
в остановке — в этот бюджет, а не сверх него.
|
||||
- **Отправка только в Collector:** экспортёры получают свою `requests.Session` с
|
||||
`trust_env=False` (`_export_session`): прокси, `NO_PROXY` и `.netrc` окружения на неё не
|
||||
действуют, как и `OTEL_*`.
|
||||
- **Исход доставки** (решение 11) называет сервис (`JobDeliveryOutcome`), действие с сообщением
|
||||
выводится из него; span и histogram пишет точка входа после места конкуренции, `error` — у
|
||||
непредвиденного исключения.
|
||||
|
||||
@@ -480,10 +480,15 @@ python3 .claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2
|
||||
- **`telemetry-check`** — всё через HTTP API Grafana (источники-прокси Prometheus, Loki, Tempo):
|
||||
вход 401 / 401 / 200, порт только на `127.0.0.1`, источники по uid и их проверка, dashboard
|
||||
provisioned и отказ его сохранения, цели Prometheus `up`; затем «тихая» база счётчиков (35 с без
|
||||
изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `BREW` и `PROPFIND`,
|
||||
`traceparent`, загрузка и недекодируемый JPEG (12 бит, генератор тестов в образе API).
|
||||
Сверяет stdout ↔ Loki ↔ Tempo по `X-Request-Id`, трассу worker по `attachment_id`, рост
|
||||
счётчиков ровно на свои запросы и задания по обеим репликам, span S3 с ошибкой при `docker
|
||||
изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `PROPFIND` и `GET` к
|
||||
неизвестному пути с UUID (ряды `_OTHER` и `GET` без `http_route` выросли на 1; `BREW` —
|
||||
только 400 парсера, ограничение), `traceparent`, загрузка и недекодируемый JPEG (12 бит,
|
||||
генератор тестов в образе API). Сверяет stdout ↔ Loki ↔ Tempo по `X-Request-Id`, переходы лог
|
||||
↔ трасса источников Grafana (derived field Loki → `tempo`; запрос `tracesToLogsV2` источника
|
||||
Tempo с подстановкой span трассы возвращает её записи), трассу worker по `attachment_id` и
|
||||
`service.instance.id` worker = `instance_id` его stdout, рост счётчиков ровно на свои запросы
|
||||
и задания по обеим репликам, нет рядов `http_route=~"/health.*"` за срок хранения, span S3 с
|
||||
ошибкой при `docker
|
||||
compose pause s3` (`unpause` в `finally`), отсутствие трасс health и чужих корней, сети
|
||||
хранилищ из `api` и `worker`, разовый контейнер API с `OTEL_SDK_DISABLED=true` и чужим адресом,
|
||||
пробу приватности (U, P, T, M, K, F, `Bearer `, `Basic ` по всем записям Loki, трассам Tempo и
|
||||
@@ -495,8 +500,10 @@ python3 .claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2
|
||||
worker»), `make replicas`, возврат Collector — новые запись, трасса и ряды; затем все сервисы
|
||||
телеметрии остановлены — `docker compose restart api worker`, `make test`, возврат. В `finally`
|
||||
— `unpause`, `start` телеметрии, `make replicas`, worker и relay.
|
||||
- **`stand-from-scratch`** — только свой проект (`--project`, по умолчанию `mtusi-lab6-scratch`;
|
||||
рабочий — код 2): `make run_docker` с `COMPOSE_PROJECT_NAME` и свободными портами хоста, затем
|
||||
- **`stand-from-scratch`** — только свой одноразовый проект: `--project` принимает лишь имя
|
||||
`^mtusi-lab6-scratch(-[a-z0-9]+)?$` (по умолчанию `mtusi-lab6-scratch`), иное — `mtusi-lab6`,
|
||||
`mtusi-lab5`, `mtusi-lab6-failures` — код 2 до любых вызовов docker: команда сама делает `down
|
||||
-v` своего проекта. Затем `make run_docker` с `COMPOSE_PROJECT_NAME` и свободными портами хоста, затем
|
||||
состояния, `RestartCount`, `eacces` / `permission denied` в журналах, provisioning Grafana,
|
||||
`make test` через свой LB; `down -v` своего проекта в начале, после каждого прогона и при
|
||||
Ctrl+C. Рабочий стенд лучше остановить заранее (`make stop`): два стенда — 14 ГиБ лимитов на ВМ
|
||||
|
||||
@@ -229,7 +229,9 @@
|
||||
.env — вход (401, 401, 200), порт на 127.0.0.1, источники по uid
|
||||
и их проверка, dashboard provisioned и неизменяем, цели
|
||||
Prometheus; свой запрос → stdout → Loki → Tempo (ресурс, span
|
||||
PostgreSQL и COMMIT), traceparent, BREW, 401, 404; загрузка →
|
||||
PostgreSQL и COMMIT), ссылки лог ↔ трасса источников Grafana,
|
||||
traceparent, PROPFIND и GET к неизвестному пути (BREW —
|
||||
ограничение), 401, 404, нет рядов health; загрузка →
|
||||
ready → Loki и трасса worker; недекодируемый JPEG → failed; рост
|
||||
счётчиков по обеим репликам и по исходам; S3 заморожен → 503 и
|
||||
span S3 с ошибкой; нет трасс health и чужих корней; сети
|
||||
@@ -244,7 +246,9 @@
|
||||
make test, возврат; в finally — unpause и start телеметрии, make
|
||||
replicas, worker и relay; код 1 при расхождении, 2 — нет стенда
|
||||
stand-from-scratch [--project P] [--runs 2] свой проект compose (по
|
||||
умолчанию mtusi-lab6-scratch; рабочий — код 2) на свободных портах
|
||||
умолчанию mtusi-lab6-scratch; имя не по шаблону
|
||||
^mtusi-lab6-scratch(-[a-z0-9]+)?$ — код 2 до вызовов docker:
|
||||
команда удаляет volumes проекта) на свободных портах
|
||||
хоста: make run_docker на пустых volumes — код 0, состояния
|
||||
сервисов, RestartCount брокера и телеметрии 0, нет eacces и
|
||||
permission denied, provisioning Grafana, make test через свой LB;
|
||||
@@ -9489,6 +9493,8 @@ SIGNAL_POLL_S = 2
|
||||
TC_CHAT_GETS = 10
|
||||
# срок вызова S3 стенда ([s3] timeout_seconds = 5): span S3 при заморозке
|
||||
TC_S3_SPAN_RANGE = (4.0, 7.5)
|
||||
# срок хранения Prometheus стенда (7 суток): окно поиска рядов health
|
||||
TC_RETENTION_S = 7 * 86400
|
||||
UUID_TEXT = re.compile(
|
||||
r"[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-"
|
||||
r"[0-9a-fA-F]{12}",
|
||||
@@ -10088,10 +10094,18 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
|
||||
'messenger_job_type="attachment.process.v1",'
|
||||
'messenger_job_outcome="{outcome}"}'
|
||||
)
|
||||
# запросы к неизвестному пути: без маршрута — без http_route
|
||||
unknown_expr = (
|
||||
"http_server_request_duration_seconds_count"
|
||||
f'{{job="{API_SERVICE_NAME}",http_route="",'
|
||||
'http_request_method="{method}",http_response_status_code="404"}'
|
||||
)
|
||||
exprs = {
|
||||
"chat": chat_expr,
|
||||
"ready": jobs_expr.replace("{outcome}", "ready"),
|
||||
"failed": jobs_expr.replace("{outcome}", "failed"),
|
||||
"other": unknown_expr.replace("{method}", "_OTHER"),
|
||||
"unknown_get": unknown_expr.replace("{method}", "GET"),
|
||||
}
|
||||
print("waiting for metrics to settle before own traffic", flush=True)
|
||||
base, _ = settled(grafana, exprs)
|
||||
@@ -10155,14 +10169,17 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
|
||||
call(port, "GET", f"{CHATS}/{uuid.uuid4()}", token=token)[0],
|
||||
)
|
||||
odd_uuid = str(uuid.uuid4())
|
||||
# BREW парсер HTTP uvicorn (httptools) отклоняет 400 ещё до приложения:
|
||||
# ни span, ни ряда — проверяется только отсутствие BREW и UUID в метках.
|
||||
# Метод вне стандартного набора, который доходит до приложения, —
|
||||
# PROPFIND (design change otel-telemetry, «Уточнения apply»)
|
||||
status, _, _ = call(port, "BREW", f"/api/v1/teapots/{odd_uuid}")
|
||||
step("BREW rejected by the HTTP parser before the app", 400, status)
|
||||
# сценарий «Необычный метод и неизвестный путь»: метод вне стандартного
|
||||
# набора, который парсер HTTP пропускает (PROPFIND), и GET — к пути с UUID.
|
||||
# BREW парсер uvicorn (httptools) отклоняет 400 до приложения: ни span,
|
||||
# ни ряда — ограничение спека (KNOWN_ISSUES.md), проверяется только
|
||||
# отсутствие BREW и UUID в метках
|
||||
status, _, _ = call(port, "PROPFIND", f"/api/v1/teapots/{odd_uuid}")
|
||||
step("PROPFIND of an unknown path with a UUID", 404, status)
|
||||
status, _, _ = call(port, "GET", f"/api/v1/teapots/{odd_uuid}")
|
||||
step("GET of an unknown path with a UUID", 404, status)
|
||||
status, _, _ = call(port, "BREW", f"/api/v1/teapots/{odd_uuid}")
|
||||
step("BREW rejected by the HTTP parser (limitation)", 400, status)
|
||||
foreign = secrets.token_hex(16)
|
||||
status, tp_hdrs, _ = call(
|
||||
port,
|
||||
@@ -10315,6 +10332,7 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
|
||||
"yes",
|
||||
yes(any(span["name"] == "COMMIT" for span in children)),
|
||||
)
|
||||
rows.extend(log_trace_links(grafana, trace_id, resource, started))
|
||||
|
||||
# --- чужой traceparent -------------------------------------------------
|
||||
tp_records = loki_request(
|
||||
@@ -10387,6 +10405,12 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
|
||||
WORKER_SERVICE_NAME,
|
||||
(job_root.get("resource") or {}).get("service.name"),
|
||||
)
|
||||
worker_instances = {str(r.get("instance_id")) for r in worker_stdout}
|
||||
step(
|
||||
"worker service.instance.id = instance_id of its stdout",
|
||||
next(iter(worker_instances)) if len(worker_instances) == 1 else "one",
|
||||
(job_root.get("resource") or {}).get("service.instance.id"),
|
||||
)
|
||||
names = [str(span["name"]) for span in job_spans]
|
||||
step(
|
||||
"job spans: PostgreSQL",
|
||||
@@ -10548,6 +10572,24 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
|
||||
step("count grew on every replica", str(len(replicas)), len(grown))
|
||||
step("jobs ready grew by 1", "1", f"{after['ready'] - base['ready']:g}")
|
||||
step("jobs failed grew by 1", "1", f"{after['failed'] - base['failed']:g}")
|
||||
step(
|
||||
"_OTHER 404 count without http_route grew by 1",
|
||||
"1",
|
||||
f"{after['other'] - base['other']:g}",
|
||||
)
|
||||
step(
|
||||
"GET 404 count without http_route grew by 1",
|
||||
"1",
|
||||
f"{after['unknown_get'] - base['unknown_get']:g}",
|
||||
)
|
||||
# за весь срок хранения: healthcheck и проверки LB идут постоянно
|
||||
health_series = grafana.series(
|
||||
'{__name__=~"http_server_request_duration_seconds.*",'
|
||||
'http_route=~"/health.*"}',
|
||||
time.time() - TC_RETENTION_S,
|
||||
time.time(),
|
||||
)
|
||||
step("Prometheus series with health routes", "0", len(health_series))
|
||||
other = grafana.prom(
|
||||
"http_server_request_duration_seconds_count"
|
||||
f'{{job="{API_SERVICE_NAME}",http_request_method="_OTHER"}}',
|
||||
@@ -10705,6 +10747,82 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
|
||||
)
|
||||
|
||||
|
||||
def log_trace_links(
|
||||
grafana: Grafana,
|
||||
trace_id: str,
|
||||
resource: dict[str, object],
|
||||
since: float,
|
||||
) -> list[tuple[str, str, str]]:
|
||||
"""Сценарий `observability` «От лога к трассе и обратно» через API
|
||||
Grafana: у источника Loki поле `trace_id` ведёт в источник `tempo`, а
|
||||
запрос `tracesToLogsV2` источника Tempo (`infra/otel/grafana/
|
||||
datasources.yaml`) с подстановкой span трассы T возвращает её записи."""
|
||||
rows: list[tuple[str, str, str]] = []
|
||||
_, loki_ds = grafana.request("GET", "/api/datasources/uid/loki")
|
||||
fields = (
|
||||
(loki_ds.get("jsonData") or {}).get("derivedFields") or []
|
||||
if isinstance(loki_ds, dict)
|
||||
else []
|
||||
)
|
||||
link = next(
|
||||
(f for f in fields if f.get("matcherRegex") == "trace_id"),
|
||||
{},
|
||||
)
|
||||
rows.append(
|
||||
(
|
||||
"Loki field trace_id links to datasource",
|
||||
"tempo label",
|
||||
f"{link.get('datasourceUid')} {link.get('matcherType')}",
|
||||
),
|
||||
)
|
||||
_, tempo_ds = grafana.request("GET", "/api/datasources/uid/tempo")
|
||||
to_logs = (
|
||||
(tempo_ds.get("jsonData") or {}).get("tracesToLogsV2") or {}
|
||||
if isinstance(tempo_ds, dict)
|
||||
else {}
|
||||
)
|
||||
rows.append(
|
||||
(
|
||||
"Tempo span links to logs in datasource",
|
||||
"loki",
|
||||
str(to_logs.get("datasourceUid")),
|
||||
),
|
||||
)
|
||||
query = (
|
||||
str(to_logs.get("query", ""))
|
||||
.replace(
|
||||
'${__span.tags["service.name"]}',
|
||||
str(resource.get("service.name", "")),
|
||||
)
|
||||
.replace("${__trace.traceId}", trace_id)
|
||||
)
|
||||
rows.append(
|
||||
(
|
||||
"span-to-logs query fully substituted",
|
||||
"yes",
|
||||
yes(bool(trace_id) and bool(query) and "${" not in query),
|
||||
),
|
||||
)
|
||||
records = []
|
||||
if trace_id and query and "${" not in query:
|
||||
records = (
|
||||
poll(lambda: grafana.loki(query, since, time.time() + 5)) or []
|
||||
)
|
||||
rows.append(
|
||||
(
|
||||
"span-to-logs query returns records of trace T",
|
||||
"yes",
|
||||
yes(
|
||||
len(records) >= 2
|
||||
and all(r[2].get("trace_id") == trace_id for r in records),
|
||||
),
|
||||
),
|
||||
)
|
||||
for row in rows:
|
||||
print(f"{row[0]}: {row[2]}", flush=True)
|
||||
return rows
|
||||
|
||||
|
||||
def otel_env_probe(grafana: Grafana) -> list[tuple[str, str, str]]:
|
||||
"""Разовый контейнер API с `OTEL_SDK_DISABLED=true` и чужим адресом: шлёт
|
||||
в Collector из `[telemetry]` и пишет `warning` с именами переменных."""
|
||||
@@ -11206,6 +11324,8 @@ def telemetry_outage(port: int, grafana: Grafana) -> int:
|
||||
|
||||
|
||||
SCRATCH_PROJECT = "mtusi-lab6-scratch"
|
||||
# имена проекта, которые команда принимает: она сама удаляет его volumes
|
||||
SCRATCH_PROJECT_NAME = re.compile(r"^mtusi-lab6-scratch(-[a-z0-9]+)?$")
|
||||
SCRATCH_PORTS = (
|
||||
"APP_OUT_PORT",
|
||||
"POSTGRES_OUT_PORT",
|
||||
@@ -11232,6 +11352,14 @@ def cmd_stand_from_scratch(project: str, runs: int) -> int:
|
||||
`otel-telemetry`, решения 19 и 21): свой проект compose на пустых volumes,
|
||||
`make run_docker` с первой попытки, затем проект удаляется вместе с volumes
|
||||
при любом исходе. Рабочий стенд не трогается."""
|
||||
# down -v удаляет volumes проекта: только одноразовое имя, проверка —
|
||||
# до любых вызовов docker
|
||||
if not SCRATCH_PROJECT_NAME.fullmatch(project):
|
||||
print(
|
||||
f"stand-from-scratch: project {project!r} refused: only "
|
||||
f"{SCRATCH_PROJECT_NAME.pattern} (the command removes its volumes)",
|
||||
)
|
||||
return 2
|
||||
working = json.loads(
|
||||
subprocess.run(
|
||||
["docker", "compose", "config", "--format", "json"],
|
||||
|
||||
@@ -135,6 +135,13 @@ Change `openspec/changes/otel-telemetry/`, propose 2026-11-11. Номера —
|
||||
- `level=error` Loki «empty ring» на старте и Tempo «no jobs found» в простое — шум, не отказ (п. 7);
|
||||
- `stand-from-scratch` останавливает рабочий стенд на время проверки (`make stop` / `docker compose start`) (п. 10);
|
||||
- лимиты решения 7 подтверждены замером, не менялись (п. 11).
|
||||
- Правки по verify (2026-11-11, design, «Уточнения apply», п. 13–18):
|
||||
- дренаж API 9 с с включённой телеметрией — ошибка настроек с именем `app.graceful_shutdown_seconds` (8 + 1 с SDK ≤ 9
|
||||
с), без телеметрии 9 с допустимы; у worker закрытие SDK — внутри прежнего окна 0,5 с (п. 13);
|
||||
- экспортёры OTLP — своя `requests.Session` с `trust_env=False`: прокси окружения не действуют (п. 14);
|
||||
- сценарий «Необычный метод и неизвестный путь» — на `PROPFIND` и `GET`, `BREW` — ограничение (п. 15);
|
||||
- `telemetry-check`: ссылки лог ↔ трасса источников Grafana, нет рядов health, `service.instance.id` worker (п. 16);
|
||||
- `stand-from-scratch --project` — только `mtusi-lab6-scratch[-…]`, иначе код 2 до docker (п. 17).
|
||||
|
||||
### Вопросы
|
||||
|
||||
@@ -157,3 +164,20 @@ Change `openspec/changes/otel-telemetry/`, propose 2026-11-11. Номера —
|
||||
который доходит до приложения (`PROPFIND`)? Иначе — `http="h11"` у uvicorn или правило HAProxy (отдельный change).
|
||||
7. Пользователю (apply): перед замерами для отчёта переснять `telemetry-check`, `telemetry-outage`,
|
||||
`stand-from-scratch` и бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх `9b35c25`.
|
||||
8. Пользователю (verify W4): `driver.py stand-from-scratch` сам удаляет volumes своего проекта (`docker compose -p
|
||||
mtusi-lab6-scratch… down -v` в начале, после каждого прогона и при Ctrl+C), а deny-правила `.claude/settings.local.json`
|
||||
запрещают агенту `down -v`. Подтвердите, что так можно для одноразового проекта `mtusi-lab6-scratch*` (как у `make
|
||||
failure_checks` со своим `<рабочий>-failures`). Имя проекта команда теперь принимает только по шаблону
|
||||
`^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до вызовов docker. Настройки разрешений не менялись. Иначе —
|
||||
убирать проект scratch руками пользователя, а команда только печатает команду уборки.
|
||||
|
||||
### Предложения на потом
|
||||
|
||||
Найдено verify, решено не исправлять в этом change.
|
||||
|
||||
- S2: evidence для сценария «Restart hook не трогает телеметрию» — по коду выполняется (`scripts/restart.sh` сервисы
|
||||
телеметрии не называет), но вывода нет. Предложение: в `telemetry-check` или отдельной пробе — `StartedAt` сервисов
|
||||
телеметрии до и после `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (задача 11.5 его уже сверяет на глаз).
|
||||
- S4: relay и уборщик SDK не запускают, но загружают его модули через `SqlAlchemyUnitOfWork` (`src/infra/db/uow.py` →
|
||||
`src/infra/telemetry`): 139 модулей, RSS уборщика ~100 МиБ при ~90 МиБ в `docker.md`. Предложение для change 2: ленивый
|
||||
импорт SDK в `src/infra/telemetry` (до `start`) или замер `memory.peak` relay и уборщика и правка `docker.md`.
|
||||
|
||||
@@ -213,7 +213,7 @@ Loki.
|
||||
| `grafana` | 0,5 | 384 МиБ | 300 МиБ | 251 МиБ |
|
||||
| **итого** | **2,5** | **2048 МиБ** | | ~0,5 ГиБ |
|
||||
|
||||
Постоянные лимиты стенда — 11,5 CPU и 7040 МиБ, с одноразовыми — 12,5 CPU и 7424 МиБ при ВМ 12 CPU и 7936 МиБ. Это
|
||||
Постоянные лимиты стенда — 11,5 CPU и 7040 МиБ, с одноразовыми — 12,5 CPU и 7424 МиБ при ВМ 12 CPU и 7934 МиБ. Это
|
||||
потолки, а не резерв: CPU делится по времени, память стенда в простое ~3 ГиБ. Apply меряет пик каждого сервиса и реплики
|
||||
API под `make test` + `make load` (`docker stats`, `memory.peak`): лимит не меньше 1,5 × пика, иначе поднимается, сумма
|
||||
пересчитывается; таблица — `REPORT.md` и `docker.md`, «Суммы». Стенд `bench/` идёт при остановленном рабочем
|
||||
@@ -534,3 +534,31 @@ Apply 2026-11-11 (второй агент: первый прервался по
|
||||
ближе всех); суммы прежние — 11,5 CPU / 7040 МиБ, с одноразовыми 12,5 / 7424 (`evidence/telemetry/budget.md`).
|
||||
12. **Быстрые тесты (8.1–8.3)** написал прерванный агент вместе с кодом; красный прогон до кода не снимался и не
|
||||
воспроизводился (git агенту запрещён). Проверяют поведение, а не вызовы: in-memory экспортёры SDK и временная база.
|
||||
|
||||
Правки по `/opsx:verify` (2026-11-11, задачи 12):
|
||||
|
||||
13. **Срок остановки API с телеметрией (W3, решение 13).** Выбрана проверка сочетания, а не `le=8` для всех: без
|
||||
телеметрии дренаж 9 с по-прежнему укладывается (закрытие клиентов — миллисекунды), и прежнее поведение и спек
|
||||
«Завершение за заявленный срок» не меняются. Валидатор — на поле `telemetry` класса `Settings` (секции `app` он
|
||||
видит, она объявлена раньше): `enabled` и `app.graceful_shutdown_seconds + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS >
|
||||
API_STOP_BUDGET_SECONDS` (9) — ошибка с `loc` `telemetry` и текстом, который называет `app.graceful_shutdown_seconds`
|
||||
и предел 8. На поле секции без секретов: ошибка секции `app` несла бы её значение. Проверку видят все процессы, что
|
||||
читают `Settings` с включённой телеметрией, в том числе worker («Invalid worker settings», код 2): `config.toml`
|
||||
общий, и неверное сочетание — ошибка стенда. Worker — тот же расчёт своего окна: ожидание ≤ 8 + отмена 0,5 +
|
||||
потребитель 0,5 + `gather` 0,5, в котором ждётся и закрытие SDK, = 9,5 с; новой проверки не требует, тест
|
||||
фиксирует арифметику (`service-tests/unit/test_settings.py`).
|
||||
14. **Отправка только в Collector (S5).** Экспортёры получают `requests.Session` с `trust_env=False`: иначе `requests`
|
||||
берёт `HTTP(S)_PROXY`, `NO_PROXY`, `.netrc` и `REQUESTS_CA_BUNDLE` из окружения — второй источник адреса, как
|
||||
`OTEL_*`. `requests` — зависимость экспортёра OTLP/HTTP, в `pyproject.toml` не добавлялся.
|
||||
15. **«Необычный метод» (W2, п. 2).** Сценарий дельты переписан на `PROPFIND` и `GET` к пути с UUID; `BREW` — фраза об
|
||||
ограничении в тексте требования «Метрики HTTP API». `telemetry-check` проверяет рост рядов `_OTHER` 404 и `GET` 404 без
|
||||
`http_route` ровно на 1, `BREW` — только 400 парсера и отсутствие в метках.
|
||||
16. **Проверки verify S1, S2 в `telemetry-check`.** Переход лог ↔ трасса проверяется через API Grafana настройками
|
||||
источников: derived field `trace_id` Loki ведёт в `tempo` (`matcherType: label`), запрос `tracesToLogsV2` Tempo с
|
||||
подстановкой `service.name` ресурса и `trace_id` трассы возвращает её записи. Ряды `http_route=~"/health.*"` ищутся за
|
||||
срок хранения Prometheus; `service.instance.id` трассы задания сверяется с `instance_id` записей worker в stdout.
|
||||
17. **`stand-from-scratch --project` (W4).** Принимает только `^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до любых
|
||||
вызовов docker: команда делает `down -v` своего проекта, и чужое имя (`mtusi-lab5`, `mtusi-lab6-failures`) удалило бы
|
||||
чужие volumes. Разрешено ли агенту это `down -v` при deny-правилах — вопрос пользователю (`QUESTIONS.md`).
|
||||
18. **Журнал в Loki (S3).** Отправляются записи между запуском SDK и началом закрытия: записи uvicorn до lifespan, ошибки
|
||||
настроек, остановка до старта и «Stopped worker» — только stdout (дельта `service-logging`).
|
||||
|
||||
@@ -8,6 +8,12 @@ API — требования «Завершение за заявленный с
|
||||
внутри этого бюджета; что не ушло за срок, теряется, а процесс MUST NOT ждать Collector дольше. Запись об остановке
|
||||
процесса SHALL быть в stdout при любом состоянии Collector.
|
||||
|
||||
Срок отправки при остановке SHALL входить в тот же бюджет, а не прибавляться к нему: у API с включённой телеметрией
|
||||
`[app] graceful_shutdown_seconds` вместе со сроком закрытия SDK MUST NOT превышать 9 с (требование «Завершение за заявленный
|
||||
срок»), иначе запуск SHALL останавливаться ошибкой проверки настроек с именем поля `app.graceful_shutdown_seconds`; без
|
||||
телеметрии допустимы прежние 9 с. У worker закрытие SDK SHALL идти внутри окна закрытия клиентов, и худший случай остаётся
|
||||
прежним (требование «Остановка worker»).
|
||||
|
||||
#### Scenario: docker stop при остановленном Collector
|
||||
|
||||
- **WHEN** Collector остановлен, реплика API только что обслуживала запросы, и выполняется `docker stop` этой реплики, а затем
|
||||
@@ -18,3 +24,9 @@ API — требования «Завершение за заявленный с
|
||||
|
||||
- **WHEN** контейнер Collector заморожен (`docker pause`), и выполняются те же остановки
|
||||
- **THEN** обе команды завершаются быстрее 10 с, коды выхода 0, а в stdout есть записи об остановке
|
||||
|
||||
#### Scenario: Срок остановки API не оставляет места закрытию SDK
|
||||
|
||||
- **WHEN** API запускается с включённой телеметрией и `APP__GRACEFUL_SHUTDOWN_SECONDS=9`
|
||||
- **THEN** запуск останавливается ошибкой проверки настроек, которая называет поле `app.graceful_shutdown_seconds` и
|
||||
допустимый предел, а с выключенной телеметрией то же значение принимается
|
||||
|
||||
@@ -156,7 +156,9 @@ buckets SHALL покрывать ожидаемые задержки API — о
|
||||
|
||||
Доля ошибок SHALL быть определена заранее: числитель — ответы 5xx API, знаменатель — все учтённые запросы; 4xx (неверный
|
||||
пароль, чужой чат) в долю ошибок не входят и показываются отдельно. Ответы, которые сгенерировал сам балансировщик, в
|
||||
метрики API не попадают — ограничение в `REPORT.md`.
|
||||
метрики API не попадают — ограничение в `REPORT.md`. Так же вне метрик, трасс и журнала API — запрос с методом, который
|
||||
HTTP-парсер сервера отклоняет до приложения (`BREW`: его нет в списке методов парсера uvicorn): ответ ему даёт парсер —
|
||||
ограничение, `KNOWN_ISSUES.md` («Нестандартный метод HTTP»).
|
||||
|
||||
#### Scenario: Запросы в метрике
|
||||
|
||||
@@ -171,8 +173,10 @@ buckets SHALL покрывать ожидаемые задержки API — о
|
||||
|
||||
#### Scenario: Необычный метод и неизвестный путь
|
||||
|
||||
- **WHEN** клиент шлёт запрос с методом `BREW` и запрос к несуществующему пути с UUID внутри
|
||||
- **THEN** их ряды — с методом `_OTHER` и без `http_route`, а ни метода `BREW`, ни этого UUID в метках нет
|
||||
- **WHEN** клиент шлёт к несуществующему пути с UUID внутри запрос с методом вне стандартного набора, который HTTP-парсер
|
||||
сервера передаёт приложению (`PROPFIND`), и запрос `GET`
|
||||
- **THEN** первый учтён в ряду с методом `_OTHER`, второй — в ряду с методом `GET`, оба ряда без `http_route`, а ни метода
|
||||
`PROPFIND`, ни этого UUID в метках нет
|
||||
|
||||
### Requirement: Метрики заданий worker
|
||||
|
||||
|
||||
@@ -27,8 +27,10 @@ stdout, и в записи, отправленной в хранилище ло
|
||||
|
||||
### Requirement: Журнал в хранилище логов
|
||||
|
||||
При включённой телеметрии каждая запись журнала API и worker, которая пишется в stdout, SHALL ещё и отправляться в хранилище
|
||||
логов через Collector: тело — `event`, уровень — из `level`, время — `timestamp`, остальные поля записи — атрибутами, ресурс —
|
||||
При включённой телеметрии каждая запись журнала API и worker, которая пишется в stdout между запуском SDK и началом его
|
||||
закрытия при остановке, SHALL ещё и отправляться в хранилище логов через Collector; записи до запуска SDK (записи uvicorn до lifespan,
|
||||
остановка до старта, ошибки настроек) и после начала закрытия (запись «Stopped worker») идут только в stdout. Отправленная
|
||||
запись: тело — `event`, уровень — из `level`, время — `timestamp`, остальные поля записи — атрибутами, ресурс —
|
||||
`service.name` и остальные атрибуты процесса (capability `observability`, «SDK в API и worker»). Записи stdout при этом MUST
|
||||
NOT меняться, кроме полей трассы (требование «Связь записей с трассой»). Записи самого SDK OpenTelemetry идут только в stdout.
|
||||
Отказ отправки MUST NOT задерживать запись и обработку и MUST NOT терять записи stdout.
|
||||
|
||||
@@ -73,8 +73,9 @@
|
||||
## 5. Worker
|
||||
|
||||
- [x] 5.1 Исход доставки (11): enum в `src/schemas/enums/` (`ready`, `failed`, `retry`, `skipped`, `requeued`, `dropped`) с
|
||||
действием с сообщением; `AttachmentProcessingService.handle` и его ветки возвращают исход; быстрые тесты сервиса и
|
||||
`test_worker_deliveries.py` проверяют исход каждой ветки вместо `ACK`. Проверка: `make service_test`.
|
||||
действием с сообщением; `AttachmentProcessingService.handle` и его ветки возвращают исход; быстрые тесты сервиса
|
||||
(`test_attachment_processing.py`) проверяют исход каждой ветки вместо `ACK`, а исход → действие, span и histogram —
|
||||
`test_telemetry.py`. Проверка: `make service_test`.
|
||||
- [x] 5.2 `src/worker/main.py` (11, 13): запуск телеметрии `messenger-worker` после `early_stop.disarm()`,
|
||||
`instrument_engine`; в `_handle` после места конкуренции — span `CONSUMER` `process <очередь>` и histogram
|
||||
`messenger.job.duration` по исходу (`error` при исключении), подтверждение внутри span; «Started worker» — поля телеметрии;
|
||||
@@ -194,3 +195,42 @@
|
||||
телеметрия выключена; `docker compose config --quiet` — рабочий стенд, CI, `bench/`, стенд отказов. Проверка: выводы команд;
|
||||
причины любых падений — в отчёте apply до правок.
|
||||
- [x] 11.6 `graphify update .` после закрытия задач. Проверка: в графе есть узлы `src/infra/telemetry`.
|
||||
|
||||
## 12. Замечания проверки
|
||||
|
||||
Находки `/opsx:verify` (2026-11-11), которые решено исправить. Evidence переснимается отдельной стадией на коммите правок.
|
||||
|
||||
- [x] 12.1 W2. Дельта `observability`, сценарий «Необычный метод и неизвестный путь»: метод вне стандартного набора, который
|
||||
пропускает HTTP-парсер (`PROPFIND`), и явное ограничение для методов, которые парсер отклоняет до приложения (`BREW`,
|
||||
`KNOWN_ISSUES.md`); `telemetry-check` проверяет сценарий в новой формулировке — рост ряда `_OTHER` 404 без `http_route` и
|
||||
ряда `GET` 404 без `http_route` от своих запросов, ни `PROPFIND`, ни UUID в метках. Проверка: `openspec validate
|
||||
otel-telemetry --strict`; шаги `telemetry-check` — `expected` = `got`.
|
||||
- [x] 12.2 W3. Проверка настроек: при включённой телеметрии `[app] graceful_shutdown_seconds` +
|
||||
`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS` не больше бюджета остановки API (9 с: SIGKILL docker через 10 с), иначе запуск
|
||||
останавливается ошибкой с именем поля; у worker — тот же расчёт его окна (закрытие SDK внутри окна `gather` 0,5 с, сумма
|
||||
9,5 с < 10 с). Дельта `graceful-shutdown` — требование и сценарий неверного сочетания; выбор — design, «Уточнения apply».
|
||||
Проверка: быстрый тест `service-tests/unit/test_settings.py` (9 + телеметрия — ошибка с полем, 9 без телеметрии и 8 с
|
||||
ней — допустимо, окно worker); `make service_test`.
|
||||
- [x] 12.3 W4. `driver.py stand-from-scratch --project`: только имя `^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до
|
||||
любых действий docker; строка в `SKILL.md`; вопрос пользователю о `down -v` своего проекта — `QUESTIONS.md`. Проверка:
|
||||
`driver.py stand-from-scratch --project` с `mtusi-lab5`, `mtusi-lab6-failures`, `bp_proxies`, `mtusi-lab6` — код 2 и ни
|
||||
одного вызова docker (запуск с `PATH` без `docker` и `DOCKER_HOST` на несуществующий сокет).
|
||||
- [x] 12.4 S1. `telemetry-check`, сценарий «От лога к трассе и обратно»: запрос к Loki через Grafana по подстановке
|
||||
`tracesToLogsV2` источника Tempo (`infra/otel/grafana/datasources.yaml`) с реальным `trace_id` возвращает записи запроса;
|
||||
у источника Loki derived field `trace_id` ведёт в источник `tempo`. Проверка: шаги `telemetry-check` — `expected` = `got`.
|
||||
- [x] 12.5 S2. `telemetry-check`: рядов Prometheus с `http_route=~"/health.*"` нет; `service.instance.id` ресурса трассы
|
||||
задания равен `instance_id` записи worker в stdout. Проверка: шаги `telemetry-check` — `expected` = `got`.
|
||||
- [x] 12.6 S3. Дельта `service-logging`, «Журнал в хранилище логов»: отправляются записи между запуском и закрытием SDK;
|
||||
записи до запуска и после закрытия — только stdout. Проверка: `openspec validate otel-telemetry --strict`.
|
||||
- [x] 12.7 S5. Экспортёры OTLP получают свою `requests.Session` с `trust_env=False`: `HTTP(S)_PROXY` и `NO_PROXY` окружения
|
||||
на отправку не влияют, данные идут только в Collector. Проверка: быстрый тест в `service-tests/unit/test_telemetry.py`
|
||||
`test_exporters_ignore_proxy_environment`: с `HTTP(S)_PROXY` в окружении отправка трёх экспортёров уходит на адрес
|
||||
Collector без прокси, `requests.Session.send` подменён — сети нет); `make service_test`.
|
||||
- [x] 12.8 S6. Память ВМ в design (решение 7) — 7934 МиБ, как в `docker.md` и `REPORT.md`; ссылка задачи 5.1 — на
|
||||
фактические файлы тестов. Проверка: `grep -n 7936` по change — пусто.
|
||||
- [x] 12.9 Не исправлять, записать: `QUESTIONS.md`, `## otel-telemetry`, «Предложения на потом» — evidence «Restart hook
|
||||
не трогает телеметрию» (S2) и загрузка SDK relay и уборщиком через `SqlAlchemyUnitOfWork` (S4). Проверка: подраздел есть.
|
||||
- [x] 12.10 Регрессия: `openspec validate otel-telemetry --strict`, `make lint`, `make service_test`, `make
|
||||
service_test_db`, пересборка и `docker compose up -d` api и worker, `make test`, `make student_test` через LB (красный
|
||||
только `test_exclusion_evidence_exists`), `driver.py --port 8080 telemetry-check` — код 0 (вывод в scratchpad; evidence —
|
||||
следующая стадия на коммите).
|
||||
|
||||
@@ -1,11 +1,44 @@
|
||||
"""Значения `[uploads]` (спек `service-configuration`, «Неверный параметр
|
||||
загрузок»). Сама секция, а не `Settings`: тот читает `.env` и `config.toml`.
|
||||
загрузок») и сочетание срока остановки API с телеметрией (спек
|
||||
`graceful-shutdown`, «Остановка при недоступном Collector»). Секция или
|
||||
`Settings` только из аргументов: настоящий читает `.env` и `config.toml`.
|
||||
"""
|
||||
|
||||
from typing import Any
|
||||
|
||||
import pytest
|
||||
from pydantic import ValidationError
|
||||
from pydantic_settings import (
|
||||
BaseSettings,
|
||||
PydanticBaseSettingsSource,
|
||||
SettingsConfigDict,
|
||||
)
|
||||
|
||||
from src.config.settings import Uploads
|
||||
from src.config.settings import Settings, Uploads, Worker
|
||||
from src.utils.constants import (
|
||||
API_STOP_BUDGET_SECONDS,
|
||||
CONTAINER_STOP_TIMEOUT_SECONDS,
|
||||
TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS,
|
||||
)
|
||||
from src.worker import main as worker_main
|
||||
|
||||
|
||||
class _ArgumentsOnly(Settings):
|
||||
"""`Settings` без окружения, `.env` и `config.toml`."""
|
||||
|
||||
model_config = SettingsConfigDict(
|
||||
**{**Settings.model_config, "env_file": None, "toml_file": None},
|
||||
)
|
||||
|
||||
@classmethod
|
||||
def settings_customise_sources(
|
||||
cls,
|
||||
settings_cls: type[BaseSettings], # noqa: ARG003
|
||||
init_settings: PydanticBaseSettingsSource,
|
||||
*args: PydanticBaseSettingsSource, # noqa: ARG003
|
||||
**kwargs: Any, # noqa: ARG003
|
||||
) -> tuple[PydanticBaseSettingsSource, ...]:
|
||||
return (init_settings,)
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
@@ -26,3 +59,38 @@ def test_wrong_value_names_field(field: str, value: object) -> None:
|
||||
def test_zero_turns_backlog_limit_off() -> None:
|
||||
assert Uploads(max_unfinished_jobs=0).max_unfinished_jobs == 0
|
||||
assert Uploads().max_unfinished_jobs == 250
|
||||
|
||||
|
||||
def test_api_stop_with_telemetry_over_budget_names_field() -> None:
|
||||
"""9 с дренажа + 1 с закрытия SDK — SIGKILL docker (verify W3)."""
|
||||
with pytest.raises(ValidationError) as caught:
|
||||
_ArgumentsOnly(
|
||||
app={"graceful_shutdown_seconds": 9},
|
||||
telemetry={"enabled": True},
|
||||
)
|
||||
errors = caught.value.errors(include_input=False)
|
||||
assert [error["loc"] for error in errors] == [("telemetry",)]
|
||||
assert "app.graceful_shutdown_seconds" in errors[0]["msg"]
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
("graceful", "enabled"),
|
||||
[(9, False), (8, True), (1, True)],
|
||||
)
|
||||
def test_api_stop_within_budget(graceful: int, enabled: bool) -> None:
|
||||
loaded = _ArgumentsOnly(
|
||||
app={"graceful_shutdown_seconds": graceful},
|
||||
telemetry={"enabled": enabled},
|
||||
)
|
||||
assert loaded.app.graceful_shutdown_seconds == graceful
|
||||
|
||||
|
||||
def test_budgets_fit_container_stop() -> None:
|
||||
"""API: дренаж до 8 с + закрытие SDK; worker: ожидание до 8 с, отмена,
|
||||
потребитель и одно окно `gather` с закрытием SDK — по 0,5 с."""
|
||||
assert API_STOP_BUDGET_SECONDS < CONTAINER_STOP_TIMEOUT_SECONDS
|
||||
assert 8 + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS <= API_STOP_BUDGET_SECONDS
|
||||
with pytest.raises(ValidationError):
|
||||
Worker(graceful_shutdown_seconds=8.01)
|
||||
worker_worst = 8 + 3 * worker_main._CLOSE_TIMEOUT_SECONDS
|
||||
assert worker_worst < CONTAINER_STOP_TIMEOUT_SECONDS
|
||||
|
||||
@@ -14,14 +14,24 @@ from typing import Any
|
||||
|
||||
import httpx
|
||||
import pytest
|
||||
import requests
|
||||
from botocore.exceptions import ClientError
|
||||
from fastapi import APIRouter, FastAPI
|
||||
from opentelemetry import trace
|
||||
from opentelemetry._logs import SeverityNumber
|
||||
from opentelemetry.sdk._logs.export import InMemoryLogRecordExporter
|
||||
from opentelemetry.sdk._logs import LoggerProvider
|
||||
from opentelemetry.sdk._logs.export import (
|
||||
InMemoryLogRecordExporter,
|
||||
SimpleLogRecordProcessor,
|
||||
)
|
||||
from opentelemetry.sdk.metrics import MeterProvider
|
||||
from opentelemetry.sdk.metrics.export import InMemoryMetricReader
|
||||
from opentelemetry.sdk.trace import ReadableSpan
|
||||
from opentelemetry.sdk.trace.export import SpanExporter, SpanExportResult
|
||||
from opentelemetry.sdk.trace import ReadableSpan, TracerProvider
|
||||
from opentelemetry.sdk.trace.export import (
|
||||
SimpleSpanProcessor,
|
||||
SpanExporter,
|
||||
SpanExportResult,
|
||||
)
|
||||
from opentelemetry.sdk.trace.export.in_memory_span_exporter import (
|
||||
InMemorySpanExporter,
|
||||
)
|
||||
@@ -30,6 +40,7 @@ from redis.exceptions import RedisError
|
||||
|
||||
from src.api.middlewares import RequestContextMiddleware
|
||||
from src.config import settings
|
||||
from src.config.settings import Telemetry as TelemetrySettings
|
||||
from src.infra import logger as app_logger
|
||||
from src.infra import telemetry
|
||||
from src.infra.cache.client import Cache
|
||||
@@ -49,6 +60,8 @@ pytestmark = pytest.mark.anyio
|
||||
|
||||
SERVICE = "messenger-api"
|
||||
SECRET_TEXT = "secret-text-in-exception"
|
||||
COLLECTOR = "http://otel-collector:4318"
|
||||
PROXY = "http://proxy.invalid:3128"
|
||||
|
||||
|
||||
@dataclass
|
||||
@@ -583,6 +596,60 @@ async def test_shutdown_is_bounded() -> None:
|
||||
telemetry.remove_log_hooks()
|
||||
|
||||
|
||||
def test_exporters_ignore_proxy_environment(
|
||||
monkeypatch: pytest.MonkeyPatch,
|
||||
) -> None:
|
||||
"""Данные идут только в Collector из `[telemetry]`: прокси окружения
|
||||
(`HTTP(S)_PROXY`) экспортёры не берут (verify S5). Отправка подменена на
|
||||
уровне `requests.Session.send` — сети нет, видно, с какими прокси она бы
|
||||
ушла."""
|
||||
for name in ("HTTP_PROXY", "HTTPS_PROXY", "ALL_PROXY"):
|
||||
monkeypatch.setenv(name, PROXY)
|
||||
monkeypatch.setenv(name.lower(), PROXY)
|
||||
for name in ("NO_PROXY", "no_proxy"):
|
||||
monkeypatch.delenv(name, raising=False)
|
||||
sent: list[tuple[str, dict[str, str]]] = []
|
||||
|
||||
def send(
|
||||
self: requests.Session, # noqa: ARG001
|
||||
request: requests.PreparedRequest,
|
||||
**kwargs: Any,
|
||||
) -> requests.Response:
|
||||
sent.append((str(request.url), dict(kwargs.get("proxies") or {})))
|
||||
response = requests.Response()
|
||||
response.status_code = 200
|
||||
response._content = b""
|
||||
response.request = request
|
||||
return response
|
||||
|
||||
monkeypatch.setattr(requests.Session, "send", send)
|
||||
exporters = core._otlp_exporters(
|
||||
TelemetrySettings(otlp_endpoint=COLLECTOR),
|
||||
)
|
||||
tracer_provider = TracerProvider()
|
||||
tracer_provider.add_span_processor(SimpleSpanProcessor(exporters.spans))
|
||||
logger_provider = LoggerProvider()
|
||||
logger_provider.add_log_record_processor(
|
||||
SimpleLogRecordProcessor(exporters.logs),
|
||||
)
|
||||
meter_provider = MeterProvider(metric_readers=[exporters.metrics])
|
||||
try:
|
||||
tracer_provider.get_tracer("t").start_span("probe").end()
|
||||
logger_provider.get_logger("t").emit(body="probe")
|
||||
meter_provider.get_meter("t").create_counter("probe").add(1)
|
||||
exporters.metrics.force_flush()
|
||||
finally:
|
||||
tracer_provider.shutdown()
|
||||
logger_provider.shutdown()
|
||||
meter_provider.shutdown()
|
||||
assert {url for url, _ in sent} == {
|
||||
f"{COLLECTOR}/v1/traces",
|
||||
f"{COLLECTOR}/v1/logs",
|
||||
f"{COLLECTOR}/v1/metrics",
|
||||
}
|
||||
assert all(proxies == {} for _, proxies in sent), sent
|
||||
|
||||
|
||||
# --- исход доставки worker ------------------------------------------------
|
||||
|
||||
|
||||
|
||||
+43
-3
@@ -21,7 +21,12 @@ from pydantic_settings import (
|
||||
from sqlalchemy.engine import URL
|
||||
|
||||
from src.schemas.enums import RunModeEnum
|
||||
from src.utils.constants import INSTANCE_ID_PATTERN, S3_BUCKET_NAME_PATTERN
|
||||
from src.utils.constants import (
|
||||
API_STOP_BUDGET_SECONDS,
|
||||
INSTANCE_ID_PATTERN,
|
||||
S3_BUCKET_NAME_PATTERN,
|
||||
TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS,
|
||||
)
|
||||
|
||||
BASE_DIR = Path(__file__).resolve().parent.parent.parent
|
||||
ENV_PATH = BASE_DIR.joinpath(".env")
|
||||
@@ -40,8 +45,13 @@ class App(BaseModel):
|
||||
port: int = Field(default=8080, ge=1, le=65535)
|
||||
log_level: LogLevel = "INFO"
|
||||
# секунды, которые uvicorn ждёт текущие запросы после SIGTERM;
|
||||
# docker шлёт SIGKILL через 10 с, поэтому не больше 9
|
||||
graceful_shutdown_seconds: int = Field(default=8, ge=1, le=9)
|
||||
# docker шлёт SIGKILL через 10 с, поэтому не больше 9, а с телеметрией —
|
||||
# не больше 8: после lifespan ещё закрытие SDK (проверка в Settings)
|
||||
graceful_shutdown_seconds: int = Field(
|
||||
default=8,
|
||||
ge=1,
|
||||
le=API_STOP_BUDGET_SECONDS,
|
||||
)
|
||||
# секунды, которые uvicorn держит простаивающее keep-alive соединение.
|
||||
# Больше, чем HAProxy держит простаивающий сеанс клиента, а с ним и
|
||||
# соединение с репликой (timeout http-keep-alive 10 с и http-reuse
|
||||
@@ -543,6 +553,36 @@ class Settings(BaseSettings):
|
||||
relay: Relay = Relay()
|
||||
telemetry: Telemetry = Telemetry()
|
||||
|
||||
@field_validator("telemetry")
|
||||
@classmethod
|
||||
def api_stop_fits_container(
|
||||
cls,
|
||||
value: Telemetry,
|
||||
info: ValidationInfo,
|
||||
) -> Telemetry:
|
||||
"""С телеметрией API после дренажа ещё ждёт закрытия SDK: сумма не
|
||||
больше бюджета остановки, иначе SIGKILL docker (код 137). Проверка на
|
||||
поле секции без секретов: секции `app` ошибка с её значением не
|
||||
нужна (design change `otel-telemetry`, «Уточнения apply», п. 13)."""
|
||||
app = info.data.get("app")
|
||||
if (
|
||||
value.enabled
|
||||
and app is not None
|
||||
and app.graceful_shutdown_seconds
|
||||
+ TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS
|
||||
> API_STOP_BUDGET_SECONDS
|
||||
):
|
||||
limit = (
|
||||
API_STOP_BUDGET_SECONDS - TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS
|
||||
)
|
||||
raise ValueError(
|
||||
"enabled telemetry requires app.graceful_shutdown_seconds "
|
||||
f"<= {limit:g}: SDK shutdown takes up to "
|
||||
f"{TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS:g} s of the "
|
||||
f"{API_STOP_BUDGET_SECONDS:g} s stop budget",
|
||||
)
|
||||
return value
|
||||
|
||||
@classmethod
|
||||
def settings_customise_sources(
|
||||
cls,
|
||||
|
||||
@@ -17,6 +17,9 @@ from contextlib import contextmanager, suppress
|
||||
from dataclasses import dataclass, field
|
||||
from typing import Any
|
||||
|
||||
# транспорт экспортёров OTLP/HTTP (зависимость opentelemetry-exporter-otlp-
|
||||
# proto-http): своя сессия без окружения
|
||||
import requests
|
||||
from opentelemetry import trace
|
||||
from opentelemetry.context import Context
|
||||
from opentelemetry.exporter.otlp.proto.http import Compression
|
||||
@@ -253,9 +256,18 @@ def start(
|
||||
return True
|
||||
|
||||
|
||||
def _export_session() -> requests.Session:
|
||||
"""Сессия отправки без окружения: `HTTP(S)_PROXY`, `NO_PROXY`, `.netrc`
|
||||
и `REQUESTS_CA_BUNDLE` на неё не действуют — данные идут только по адресу
|
||||
`[telemetry]` (verify S5, как с `OTEL_*`, решение 8)."""
|
||||
session = requests.Session()
|
||||
session.trust_env = False
|
||||
return session
|
||||
|
||||
|
||||
def _otlp_exporters(config: TelemetrySettings) -> Exporters:
|
||||
"""OTLP/HTTP protobuf только из `[telemetry]`: адрес, срок, без
|
||||
заголовков и сжатия."""
|
||||
заголовков и сжатия, своя сессия без прокси окружения."""
|
||||
timeout = config.export_timeout_seconds
|
||||
endpoint = config.otlp_endpoint
|
||||
return Exporters(
|
||||
@@ -264,6 +276,7 @@ def _otlp_exporters(config: TelemetrySettings) -> Exporters:
|
||||
headers={},
|
||||
timeout=timeout,
|
||||
compression=Compression.NoCompression,
|
||||
session=_export_session(),
|
||||
),
|
||||
metrics=PeriodicExportingMetricReader(
|
||||
OTLPMetricExporter(
|
||||
@@ -272,6 +285,7 @@ def _otlp_exporters(config: TelemetrySettings) -> Exporters:
|
||||
timeout=timeout,
|
||||
compression=Compression.NoCompression,
|
||||
preferred_temporality=_CUMULATIVE,
|
||||
session=_export_session(),
|
||||
),
|
||||
export_interval_millis=config.metric_export_interval_seconds
|
||||
* 1000,
|
||||
@@ -282,6 +296,7 @@ def _otlp_exporters(config: TelemetrySettings) -> Exporters:
|
||||
headers={},
|
||||
timeout=timeout,
|
||||
compression=Compression.NoCompression,
|
||||
session=_export_session(),
|
||||
),
|
||||
)
|
||||
|
||||
|
||||
@@ -157,6 +157,12 @@ TELEMETRY_LOGS_PATH = "/v1/logs"
|
||||
# секунды, которые процесс ждёт закрытия SDK при остановке; что не ушло —
|
||||
# теряется (решение 13): API — 8 с дренажа + закрытие клиентов + 1 с < 10 с
|
||||
TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS = 1
|
||||
# секунды от SIGTERM до SIGKILL docker (stop_grace_period сервисов приложения)
|
||||
CONTAINER_STOP_TIMEOUT_SECONDS = 10
|
||||
# секунды на дренаж uvicorn и закрытие SDK API: остаток до SIGKILL — закрытие
|
||||
# клиентов в lifespan и выход процесса. Без телеметрии дренаж до 9 с, с ней —
|
||||
# дренаж + TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS (проверка настроек, verify W3)
|
||||
API_STOP_BUDGET_SECONDS = 9
|
||||
# секунды: не больше одной записи логгера `opentelemetry.*` в stdout за окно
|
||||
TELEMETRY_SDK_LOG_WINDOW_SECONDS = 60
|
||||
# префикс логгеров самого SDK: их записи не экспортируются
|
||||
|
||||
Reference in New Issue
Block a user