fix: raise tempo and grafana memory limits to measured peaks

Peaks under make test + load + student_test left Tempo and Grafana below
1.5x headroom; re-capture telemetry-check and collector-outage evidence on
68f1e97.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-11 11:12:40 +03:00
co-authored by Claude Opus 5.5
parent 68f1e9794e
commit 4178b3df3e
8 changed files with 208 additions and 167 deletions
+7 -4
View File
@@ -392,7 +392,7 @@ Design change `otel-telemetry`, решения 1, 7, 14–20; правила к
- **Сервисы:** `otel-collector` (contrib 0.164.0), `prometheus` (v3.15.1), `loki` (3.7.9), - **Сервисы:** `otel-collector` (contrib 0.164.0), `prometheus` (v3.15.1), `loki` (3.7.9),
`tempo` (3.1.1), `grafana` (13.3.1) — тег и digest индекса, `restart: unless-stopped`, `tempo` (3.1.1), `grafana` (13.3.1) — тег и digest индекса, `restart: unless-stopped`,
`GOMEMLIMIT` ~80 % лимита (Go лимит cgroup не видит). Каждый конфиг `infra/otel/` — отдельный `GOMEMLIMIT` ~80 % лимита, у Tempo — лимит / 1,6 (Go лимит cgroup не видит; «Суммы» ниже). Каждый конфиг `infra/otel/` — отдельный
bind mount файла длинной записью; volumes `prometheus_data:/prometheus`, `loki_data:/loki`, bind mount файла длинной записью; volumes `prometheus_data:/prometheus`, `loki_data:/loki`,
`tempo_data:/var/tempo` (образы стартуют на пустых без chown), у Grafana — tmpfs `tempo_data:/var/tempo` (образы стартуют на пустых без chown), у Grafana — tmpfs
`/var/lib/grafana` (пароль из `.env` действует на каждом старте, правки UI не переживают `/var/lib/grafana` (пароль из `.env` действует на каждом старте, правки UI не переживают
@@ -411,9 +411,12 @@ Design change `otel-telemetry`, решения 1, 7, 14–20; правила к
раньше сервера, тот падал на `eacces`. Стенд с нуля проверяет `driver.py stand-from-scratch` раньше сервера, тот падал на `eacces`. Стенд с нуля проверяет `driver.py stand-from-scratch`
(свой проект, удаляет свои volumes сам). (свой проект, удаляет свои volumes сам).
- **`restart.sh`** сервисы телеметрии не трогает (решение 6). - **`restart.sh`** сервисы телеметрии не трогает (решение 6).
- **Суммы:** постоянные лимиты 11,5 CPU / 7040 МиБ, с одноразовыми 12,5 CPU / 7424 МиБ при ВМ - **Суммы:** постоянные лимиты 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ при ВМ
12 CPU / 7934 МиБ; телеметрия — 2,5 CPU / 2048 МиБ; пики и правило «лимит ≥ 1,5 × пика» — 12 CPU / 7934 МиБ; телеметрия — 2,5 CPU / 2304 МиБ (Collector 256, Prometheus 384, Loki 512,
`evidence/telemetry/budget.md`. Соединений PostgreSQL телеметрия не добавляет. Tempo 640, Grafana 512); пики и правило «лимит ≥ 1,5 × пика» — `evidence/telemetry/budget.md`.
У Tempo пик упирается в `GOMEMLIMIT` (398 из 400 МиБ): его лимит — не меньше 1,5 ×
`GOMEMLIMIT`, а не «`GOMEMLIMIT` — 80 % лимита» (design change `otel-telemetry`, «Уточнения
apply», п. 19). До ВМ остаётся 254 МиБ: новый сервис или поднятый лимит — с пересчётом. Соединений PostgreSQL телеметрия не добавляет.
- **CI** — `configs` для семи файлов, у Prometheus, Loki и Tempo `volumes: !override` с одним - **CI** — `configs` для семи файлов, у Prometheus, Loki и Tempo `volumes: !override` с одним
именованным volume, у Collector и Grafana `volumes: !reset []`, порт Grafana `!reset []`. именованным volume, у Collector и Grafana `volumes: !reset []`, порт Grafana `!reset []`.
+3 -1
View File
@@ -85,7 +85,9 @@ paths:
- **Healthcheck** (решение 18) — только у Prometheus и Grafana (`wget` в образе); у Collector, - **Healthcheck** (решение 18) — только у Prometheus и Grafana (`wget` в образе); у Collector,
Loki и Tempo оболочки нет, живость — цели `up` в Prometheus и проверка источников. Loki и Tempo оболочки нет, живость — цели `up` в Prometheus и проверка источников.
- **Go и память**: `GOMEMLIMIT` ~80 % лимита контейнера, лимит не меньше 1,5 × измеренного пика - **Go и память**: `GOMEMLIMIT` ~80 % лимита контейнера, лимит не меньше 1,5 × измеренного пика
(`evidence/telemetry/budget.md`). (`evidence/telemetry/budget.md`). Если пик упирается в `GOMEMLIMIT` (Tempo: 398 из 400 МиБ под
`make student_test`), 80 % с правилом 1,5 × несовместимы: лимит — не меньше 1,5 × `GOMEMLIMIT`
(Tempo 640 МиБ при 400). Пик меряется под `make test` + `make load` + `make student_test`.
## Проверки ## Проверки
+3
View File
@@ -164,6 +164,9 @@ Change `openspec/changes/otel-telemetry/`, propose 2026-11-11. Номера —
который доходит до приложения (`PROPFIND`)? Иначе — `http="h11"` у uvicorn или правило HAProxy (отдельный change). который доходит до приложения (`PROPFIND`)? Иначе — `http="h11"` у uvicorn или правило HAProxy (отдельный change).
7. Пользователю (apply): перед замерами для отчёта переснять `telemetry-check`, `telemetry-outage`, 7. Пользователю (apply): перед замерами для отчёта переснять `telemetry-check`, `telemetry-outage`,
`stand-from-scratch` и бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх `9b35c25`. `stand-from-scratch` и бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх `9b35c25`.
Сделано частично: `telemetry-check` и `telemetry-outage` пересняты на `68f1e97`; замер бюджета на нём поднял лимиты
Tempo и Grafana (design, «Уточнения apply», п. 19), поэтому `budget.md` и `stand-from-scratch` — на коммите этой
правки.
8. Пользователю (verify W4): `driver.py stand-from-scratch` сам удаляет volumes своего проекта (`docker compose -p 8. Пользователю (verify W4): `driver.py stand-from-scratch` сам удаляет volumes своего проекта (`docker compose -p
mtusi-lab6-scratch… down -v` в начале, после каждого прогона и при Ctrl+C), а deny-правила `.claude/settings.local.json` mtusi-lab6-scratch… down -v` в начале, после каждого прогона и при Ctrl+C), а deny-правила `.claude/settings.local.json`
запрещают агенту `down -v`. Подтвердите, что так можно для одноразового проекта `mtusi-lab6-scratch*` (как у `make запрещают агенту `down -v`. Подтвердите, что так можно для одноразового проекта `mtusi-lab6-scratch*` (как у `make
+13 -9
View File
@@ -16,8 +16,9 @@ TODO: схема процессов/хранилищ, источник исти
## Наблюдаемость ## Наблюдаемость
Change `otel-telemetry` (design — `openspec/changes/otel-telemetry/design.md`, номера решений Change `otel-telemetry` (design — `openspec/changes/otel-telemetry/design.md`, номера решений
в скобках). Числа и проверки сняты на рабочем дереве поверх `9b35c25` до коммита change в скобках). Числа и проверки сняты на закоммиченном коде при чистом рабочем дереве: `68f1e97`
(шапки файлов `evidence/telemetry/`, `evidence/stand/`). (правки verify), бюджет и лимиты Tempo и Grafana — после них (шапки файлов `evidence/telemetry/`,
`evidence/stand/`).
### Назначение компонентов ### Назначение компонентов
@@ -98,13 +99,16 @@ API и worker имена `prometheus`, `loki`, `tempo`, `grafana` не разр
### Бюджет ### Бюджет
Лимиты телеметрии: Collector 0,5 CPU / 256 МиБ, Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo Лимиты телеметрии: Collector 0,5 CPU / 256 МиБ, Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo
0,5 / 512, Grafana 0,5 / 384 — 2,5 CPU / 2048 МиБ. Постоянные лимиты стенда — 11,5 CPU / 0,5 / 640, Grafana 0,5 / 512 — 2,5 CPU / 2304 МиБ. Постоянные лимиты стенда — 11,5 CPU /
7040 МиБ, с одноразовыми — 12,5 CPU / 7424 МиБ при ВМ 12 CPU / 7934 МиБ: лимиты — потолки, а не 7296 МиБ, с одноразовыми — 12,5 CPU / 7680 МиБ при ВМ 12 CPU / 7934 МиБ: лимиты — потолки, а не
резерв. Замер (`evidence/telemetry/budget.md`): пики `memory.peak` — Collector 72, Prometheus 76, резерв. Замер на `68f1e97` под `make test` + `make load` + `make student_test`
Loki 117, Tempo 235, Grafana 249 МиБ, каждый лимит не меньше 1,5 × пика; реплика API под `make (`evidence/telemetry/budget.md`): пики `memory.peak` — Collector 76, Prometheus 95, Loki 153,
test` + `make load` — 230 МиБ с телеметрией и 216 без неё (лимит 512); простой всего стенда — Tempo 398, Grafana 294 МиБ. При прежних лимитах Tempo (512) и Grafana (384) правило «лимит не
1715 МиБ, из них телеметрия — 770. Грубая цена SDK (один прогон `make load`): 437 против 499 меньше 1,5 × пика» не выполнялось: лимиты подняты до 640 и 512, `GOMEMLIMIT` Tempo прежний
запросов/с, p95 15,8 против 10,4 мс — исследование трека 1. (400 МиБ — его пик упирается в него, поэтому лимит — 1,6 × `GOMEMLIMIT`). Реплика API — до 452
МиБ с телеметрией и 482 без неё (лимит 512; пик даёт Argon2id входов `make student_test`, а не
SDK; запас ~6 % — ограничение, лимит реплики не менялся), worker — 503 МиБ из 1024. Грубая цена SDK (один прогон `make load`): 490 против 571
запросов/с, p95 12,5 против 8,9 мс — исследование трека 1.
### Ограничения наблюдаемости ### Ограничения наблюдаемости
+11 -6
View File
@@ -568,8 +568,9 @@ services:
# --- наблюдаемость (design change otel-telemetry, решения 1, 7, 14–18) --- # --- наблюдаемость (design change otel-telemetry, решения 1, 7, 14–18) ---
# Сервисы приложения их не ждут, а они — друг друга: без них приложение # Сервисы приложения их не ждут, а они — друг друга: без них приложение
# работает, отправку и запросы они повторяют сами. Порты наружу — только # работает, отправку и запросы они повторяют сами. Порты наружу — только
# у Grafana. Сервисы на Go получают GOMEMLIMIT ~80 % лимита: лимит cgroup # у Grafana. Сервисы на Go получают GOMEMLIMIT (лимит cgroup рантайм не
# рантайм не видит # видит): ~80 % лимита, а у тех, чей пик дошёл до GOMEMLIMIT (Tempo), —
# не больше лимита / 1,5
# OTel Collector contrib: OTLP/HTTP от api и worker (сеть default), метрики # OTel Collector contrib: OTLP/HTTP от api и worker (сеть default), метрики
# для scrape и экспорт в Loki и Tempo (сеть telemetry). Секретов нет. В # для scrape и экспорт в Loki и Tempo (сеть telemetry). Секретов нет. В
@@ -662,7 +663,10 @@ services:
memory: 512M memory: 512M
# Tempo — трассы: монолит 3.1 с локальным хранилищем, срок 7 суток. Как у # Tempo — трассы: монолит 3.1 с локальным хранилищем, срок 7 суток. Как у
# Loki, healthcheck нет # Loki, healthcheck нет. Пик под make test + load + student_test дошёл до
# GOMEMLIMIT (398 МиБ, evidence/telemetry/budget.md): лимит контейнера —
# 1,5 × GOMEMLIMIT, а не 80 / 20 (design change otel-telemetry, «Уточнения
# apply», п. 19)
tempo: tempo:
image: grafana/tempo:3.1.1@sha256:64e2fbd56d9c2b3412a4b430a58ea59e91a670b1e75f920a0c702213ad145044 image: grafana/tempo:3.1.1@sha256:64e2fbd56d9c2b3412a4b430a58ea59e91a670b1e75f920a0c702213ad145044
restart: unless-stopped restart: unless-stopped
@@ -683,14 +687,15 @@ services:
resources: resources:
limits: limits:
cpus: "0.5" cpus: "0.5"
memory: 512M memory: 640M
# Grafana — интерфейс без своего состояния (tmpfs): источники и dashboard — # Grafana — интерфейс без своего состояния (tmpfs): источники и dashboard —
# provisioning из git, пароль администратора из .env действует на каждом # provisioning из git, пароль администратора из .env действует на каждом
# старте. Наружу — только 127.0.0.1. Без анонимного входа, регистрации, # старте. Наружу — только 127.0.0.1. Без анонимного входа, регистрации,
# установки плагинов из сети, отчётов и проверок обновлений; встроенные # установки плагинов из сети, отчётов и проверок обновлений; встроенные
# источники, кроме prometheus, loki и tempo, выключены (каждый — свой # источники, кроме prometheus, loki и tempo, выключены (каждый — свой
# процесс) # процесс). Пик 294 МиБ (процесс и три источника с backend): лимит 512 —
# не меньше 1,5 × пика (evidence/telemetry/budget.md)
grafana: grafana:
image: grafana/grafana:13.3.1@sha256:0615ec4fbd4072004b7d86b46ded63013a74b7d6eb1119273dd89e8fa25c13cf image: grafana/grafana:13.3.1@sha256:0615ec4fbd4072004b7d86b46ded63013a74b7d6eb1119273dd89e8fa25c13cf
restart: unless-stopped restart: unless-stopped
@@ -748,7 +753,7 @@ services:
resources: resources:
limits: limits:
cpus: "0.5" cpus: "0.5"
memory: 384M memory: 512M
networks: networks:
# хранилища телеметрии и Grafana: контейнеры приложения до них не достают, # хранилища телеметрии и Grafana: контейнеры приложения до них не достают,
+145 -132
View File
@@ -1,9 +1,11 @@
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задача 11.1) # `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12)
- Основа: commit `9b35c25` (propose), **рабочее дерево не закоммичено** (apply change - Основа: commit `68f1e97` (fix: address otel-telemetry verify findings), рабочее дерево чистое
`otel-telemetry`); образ `mtusi-messenger:lab6` собран `make run_docker` из этого дерева. (`git status --short` пуст до и после прогона); образ `mtusi-messenger:lab6` собран `docker
Основная сессия решает, переснимать ли после коммита. compose build api` из этого дерева, у реплик API и worker метка `com.docker.compose.image`
- Дата: 2026-11-11, старт 06:10:37Z, ~2 мин; рабочий стенд `mtusi-lab6` (две реплики API, `sha256:589c1d53a299…`. Лимиты Tempo и Grafana подняты позже, по замеру бюджета
(`budget.md`); на проверку они не влияют.
- Дата: 2026-11-11, 07:55:10Z – 07:56:53Z (~1,7 мин); рабочий стенд `mtusi-lab6` (две реплики API,
worker, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: worker, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`. `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`.
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid - Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
@@ -12,137 +14,148 @@
U, P, T, M, K, F. U, P, T, M, K, F.
- Сценарии: `observability` — «Стенд с телеметрией», «Хранилища недоступны приложению», - Сценарии: `observability` — «Стенд с телеметрией», «Хранилища недоступны приложению»,
«История после рестарта хранилищ», «Provisioning после старта», «Источник правды — git», «Вход «История после рестарта хранилищ», «Provisioning после старта», «Источник правды — git», «Вход
в Grafana», «Ресурс сигналов», «Чужой traceparent», «Запросы в метрике», «Health не в Grafana», «От лога к трассе и обратно» (строки «Loki field trace_id…», «Tempo span links…»,
учитывается», «Необычный метод и неизвестный путь» (см. ниже), «Готовое вложение в метриках», «span-to-logs…»), «Ресурс сигналов», «Чужой traceparent», «Запросы в метрике», «Health не
«Неудачное вложение в метриках», «Трасса запроса», «Трасса задания», «Отказ S3 в трассе», учитывается» (нет трасс и рядов `http_route=~"/health.*"` за срок хранения), «Необычный метод и
«Health и фоновые циклы без трасс», «Проба приватности», «Запрос найден», «Задание найдено»; неизвестный путь» (`PROPFIND` и `GET` к пути с UUID; `BREW` — ограничение, 400 парсера,
`service-logging` — «Записи запроса ведут к трассе», «Записи задания ведут к трассе», «Запись в `KNOWN_ISSUES.md`), «Готовое вложение в метриках», «Неудачное вложение в метриках», «Трасса
Loki совпадает со stdout»; `service-configuration` — «Переменные OTEL_* не действуют». запроса», «Трасса задания», «Отказ S3 в трассе», «Health и фоновые циклы без трасс», «Проба
- Отклонение (design, «Уточнения apply»): метод `BREW` HTTP-парсер uvicorn (httptools) отклоняет приватности», «Запрос найден», «Задание найдено»; `service-logging` — «Записи запроса ведут к
400 текстом до приложения — ни span, ни ряда (`KNOWN_ISSUES.md`); ряд `_OTHER` без `http_route` трассе», «Записи задания ведут к трассе», «Запись в Loki совпадает со stdout»;
проверен на `PROPFIND` к неизвестному пути с UUID, у обоих — ни метода, ни UUID в метках. `service-configuration` — «Переменные OTEL_* не действуют».
- Свой запрос: `X-Request-Id` `acfab668a2fe4b4b865f03382d20a571`, `X-Instance-Id` - Свой запрос: `X-Request-Id` `9d7cdc76345d4cc0a390dc60ae029b49`, `X-Instance-Id`
`dd98da9edd95`, trace-id `73907d1c87e5087abd1b998e3a06c89d`; проба приватности просмотрела `2567ec8de4a4`, trace-id `0a94090184190503a115707aff8848b9`; проба приватности просмотрела
44 записи Loki (столько же, сколько записей stdout `api` и `worker` и разового контейнера за 45 записей Loki, 30 трасс Tempo и 2612 рядов Prometheus окна.
окно), 29 трасс Tempo и 860 рядов Prometheus.
``` ```
grafana without credentials expected 401 got 401 grafana without credentials expected 401 got 401
grafana wrong password expected 401 got 401 grafana wrong password expected 401 got 401
grafana password from .env expected 200 got 200 grafana password from .env expected 200 got 200
grafana published only on 127.0.0.1 expected yes got yes grafana published only on 127.0.0.1 expected yes got yes
datasource prometheus expected 200 prometheus got 200 prometheus datasource prometheus expected 200 prometheus got 200 prometheus
datasource prometheus health expected OK got OK datasource prometheus health expected OK got OK
datasource loki expected 200 loki got 200 loki datasource loki expected 200 loki got 200 loki
datasource loki health expected OK got OK datasource loki health expected OK got OK
datasource tempo expected 200 tempo got 200 tempo datasource tempo expected 200 tempo got 200 tempo
datasource tempo health expected OK got OK datasource tempo health expected OK got OK
dashboard from git expected 200 got 200 dashboard from git expected 200 got 200
dashboard provisioned expected True got True dashboard provisioned expected True got True
dashboard folder expected Messenger got Messenger dashboard folder expected Messenger got Messenger
save of the provisioned dashboard rejected expected yes got yes save of the provisioned dashboard rejected expected yes got yes
dashboard equals git after the attempt expected yes got yes dashboard equals git after the attempt expected yes got yes
prometheus target otel-collector up expected 1 got 1 prometheus target otel-collector up expected 1 got 1
prometheus target otel-collector-exporter up expected 1 got 1 prometheus target otel-collector-exporter up expected 1 got 1
prometheus target loki up expected 1 got 1 prometheus target loki up expected 1 got 1
prometheus target tempo up expected 1 got 1 prometheus target tempo up expected 1 got 1
prometheus target prometheus up expected 1 got 1 prometheus target prometheus up expected 1 got 1
register probe user expected 201 got 201 register probe user expected 201 got 201
login by Basic expected 201 got 201 login by Basic expected 201 got 201
create chat expected 201 got 201 create chat expected 201 got 201
send message expected 201 got 201 send message expected 201 got 201
401 without token expected 401 got 401 401 without token expected 401 got 401
404 of an unknown chat expected 404 got 404 404 of an unknown chat expected 404 got 404
BREW rejected by the HTTP parser before the app expected 400 got 400 PROPFIND of an unknown path with a UUID expected 404 got 404
PROPFIND of an unknown path with a UUID expected 404 got 404 GET of an unknown path with a UUID expected 404 got 404
request with traceparent expected 200 got 200 BREW rejected by the HTTP parser (limitation) expected 400 got 400
upload sample.png expected 202 got 202 request with traceparent expected 200 got 200
attachment becomes ready expected ready got ready upload sample.png expected 202 got 202
undecodable JPEG generated expected yes got yes attachment becomes ready expected ready got ready
upload undecodable JPEG expected 202 got 202 undecodable JPEG generated expected yes got yes
undecodable JPEG becomes failed expected failed got failed upload undecodable JPEG expected 202 got 202
stdout records of the request expected yes got yes undecodable JPEG becomes failed expected failed got failed
one trace_id and span_id in them expected 1 got 1 stdout records of the request expected yes got yes
trace_id format expected yes got yes one trace_id and span_id in them expected 1 got 1
Loki record of the request expected 1 got 1 trace_id format expected yes got yes
Loki service_name expected messenger-api got messenger-api Loki record of the request expected 1 got 1
Loki service_instance_id = X-Instance-Id expected dd98da9edd95 got dd98da9edd95 Loki service_name expected messenger-api got messenger-api
Loki instance_id = X-Instance-Id expected dd98da9edd95 got dd98da9edd95 Loki service_instance_id = X-Instance-Id expected 2567ec8de4a4 got 2567ec8de4a4
Loki trace_id = stdout expected 73907d1c87e5087abd1b998e3a06c89d got 73907d1c87e5087abd1b998e3a06c89d Loki instance_id = X-Instance-Id expected 2567ec8de4a4 got 2567ec8de4a4
Loki event, method, path, status, duration = stdout expected yes got yes Loki trace_id = stdout expected 0a94090184190503a115707aff8848b9 got 0a94090184190503a115707aff8848b9
Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER Loki event, method, path, status, duration = stdout expected yes got yes
server span status code expected 201 got 201 Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER
server span request id = X-Request-Id expected acfab668a2fe4b4b865f03382d20a571 got acfab668a2fe4b4b865f03382d20a571 server span status code expected 201 got 201
resource service.name expected messenger-api got messenger-api server span request id = X-Request-Id expected 9d7cdc76345d4cc0a390dc60ae029b49 got 9d7cdc76345d4cc0a390dc60ae029b49
resource service.instance.id expected dd98da9edd95 got dd98da9edd95 resource service.name expected messenger-api got messenger-api
resource service.version = contract expected 1.6.0 got 1.6.0 resource service.instance.id expected 2567ec8de4a4 got 2567ec8de4a4
resource deployment.environment.name expected lab got lab resource service.version = contract expected 1.6.0 got 1.6.0
PostgreSQL query spans under it expected yes got yes resource deployment.environment.name expected lab got lab
COMMIT span under it expected yes got yes PostgreSQL query spans under it expected yes got yes
traceparent request has its own trace expected yes got yes COMMIT span under it expected yes got yes
spans of the foreign trace-id in Tempo expected 0 got 0 Loki field trace_id links to datasource expected tempo label got tempo label
its server span has no parent expected yes got yes Tempo span links to logs in datasource expected loki got loki
Loki worker record of the attachment expected 1 got 1 span-to-logs query fully substituted expected yes got yes
worker stdout records carry the job trace_id expected yes got yes span-to-logs query returns records of trace T expected yes got yes
Tempo consumer span expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready traceparent request has its own trace expected yes got yes
worker resource service.name expected messenger-worker got messenger-worker spans of the foreign trace-id in Tempo expected 0 got 0
job spans: PostgreSQL expected yes got yes its server span has no parent expected yes got yes
job spans: S3.GetObject (staging) expected yes got yes Loki worker record of the attachment expected 1 got 1
job spans: S3.PutObject (original and 3 variants) expected yes got yes worker stdout records carry the job trace_id expected yes got yes
job spans: render process expected yes got yes Tempo consumer span expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready
upload with S3 paused expected 503 got 503 worker resource service.name expected messenger-worker got messenger-worker
its server span status expected STATUS_CODE_ERROR got STATUS_CODE_ERROR worker service.instance.id = instance_id of its stdout expected 3ac74c7e1f59 got 3ac74c7e1f59
S3 span with error expected yes got yes job spans: PostgreSQL expected yes got yes
S3 span duration within 4.0-7.5 s expected yes got yes job spans: S3.GetObject (staging) expected yes got yes
error.type of the S3 span set expected yes got yes job spans: S3.PutObject (original and 3 variants) expected yes got yes
health traces in Tempo expected 0 got 0 job spans: render process expected yes got yes
trace roots other than requests and deliveries expected 0 got 0 upload with S3 paused expected 503 got 503
api -> prometheus expected not reachable got not reachable its server span status expected STATUS_CODE_ERROR got STATUS_CODE_ERROR
api -> loki expected not reachable got not reachable S3 span with error expected yes got yes
api -> tempo expected not reachable got not reachable S3 span duration within 4.0-7.5 s expected yes got yes
api -> grafana expected not reachable got not reachable error.type of the S3 span set expected yes got yes
api -> otel-collector:4318 expected connected got connected health traces in Tempo expected 0 got 0
worker -> prometheus expected not reachable got not reachable trace roots other than requests and deliveries expected 0 got 0
worker -> loki expected not reachable got not reachable api -> prometheus expected not reachable got not reachable
worker -> tempo expected not reachable got not reachable api -> loki expected not reachable got not reachable
worker -> grafana expected not reachable got not reachable api -> tempo expected not reachable got not reachable
worker -> otel-collector:4318 expected connected got connected api -> grafana expected not reachable got not reachable
probe container with OTEL_* started expected 0 got 0 api -> otel-collector:4318 expected connected got connected
probe container healthy expected yes got yes worker -> prometheus expected not reachable got not reachable
probe request inside expected 401 got 401 worker -> loki expected not reachable got not reachable
warning level expected warning got warning worker -> tempo expected not reachable got not reachable
warning names the variables expected ['OTEL_EXPORTER_OTLP_ENDPOINT', 'OTEL_SDK_DISABLED'] got ['OTEL_EXPORTER_OTLP_ENDPOINT', 'OTEL_SDK_DISABLED'] worker -> grafana expected not reachable got not reachable
no variable values in stdout expected yes got yes worker -> otel-collector:4318 expected connected got connected
probe records reach Loki from [telemetry] expected yes got yes probe container with OTEL_* started expected 0 got 0
probe service_name expected messenger-api got messenger-api probe container healthy expected yes got yes
chat GET 200 count grew by 10 expected 10 got 10 probe request inside expected 401 got 401
count grew on every replica expected 2 got 2 warning level expected warning got warning
jobs ready grew by 1 expected 1 got 1 warning names the variables expected ['OTEL_EXPORTER_OTLP_ENDPOINT', 'OTEL_SDK_DISABLED'] got ['OTEL_EXPORTER_OTLP_ENDPOINT', 'OTEL_SDK_DISABLED']
jobs failed grew by 1 expected 1 got 1 no variable values in stdout expected yes got yes
_OTHER series without http_route expected yes got yes probe records reach Loki from [telemetry] expected yes got yes
401 series of /api/v1/users/me expected yes got yes probe service_name expected messenger-api got messenger-api
404 series of /api/v1/chats/{chat_id} expected yes got yes chat GET 200 count grew by 10 expected 10 got 10
forbidden label names expected [] got [] count grew on every replica expected 2 got 2
label values that are UUIDs expected 0 got 0 jobs ready grew by 1 expected 1 got 1
label values with BREW, PROPFIND or the odd UUID expected 0 got 0 jobs failed grew by 1 expected 1 got 1
dashboard panel queries (11) without error expected 0 got 0 _OTHER 404 count without http_route grew by 1 expected 1 got 1
panel queries with data after traffic expected [] got [] GET 404 count without http_route grew by 1 expected 1 got 1
U in telemetry expected [] got [] Prometheus series with health routes expected 0 got 0
P in telemetry expected [] got [] _OTHER series without http_route expected yes got yes
T in telemetry expected [] got [] 401 series of /api/v1/users/me expected yes got yes
M in telemetry expected [] got [] 404 series of /api/v1/chats/{chat_id} expected yes got yes
K in telemetry expected [] got [] forbidden label names expected [] got []
F in telemetry expected [] got [] label values that are UUIDs expected 0 got 0
Bearer in telemetry expected [] got [] label values with BREW, PROPFIND or the odd UUID expected 0 got 0
Basic in telemetry expected [] got [] dashboard panel queries (11) without error expected 0 got 0
foreign trace-id in telemetry expected [] got [] panel queries with data after traffic expected [] got []
pipeline back after restart expected yes got yes U in telemetry expected [] got []
same Loki record after restart expected yes got yes P in telemetry expected [] got []
same trace after restart expected yes got yes T in telemetry expected [] got []
same metric value at the saved time expected 10 got 10 M in telemetry expected [] got []
K in telemetry expected [] got []
F in telemetry expected [] got []
Bearer in telemetry expected [] got []
Basic in telemetry expected [] got []
foreign trace-id in telemetry expected [] got []
pipeline back after restart expected yes got yes
same Loki record after restart expected yes got yes
same trace after restart expected yes got yes
same metric value at the saved time expected 44 got 44
PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry
``` ```
Код выхода — 0. «Same metric value at the saved time» — значение суммы ряда GET карточки чата на Код выхода — 0. «Same metric value at the saved time» — значение суммы ряда GET карточки чата на
момент снимка до рестарта, запрошенное снова после `docker compose restart otel-collector момент снимка до рестарта, запрошенное снова после `docker compose restart otel-collector
prometheus loki tempo` (параметр `time` запроса). prometheus loki tempo` (параметр `time` запроса). «Span-to-logs query» — запрос `tracesToLogsV2`
источника Tempo из `infra/otel/grafana/datasources.yaml`, в который подставлены `service.name`
ресурса и trace-id своей трассы: он возвращает записи только этой трассы — тот же переход, что
открывает ссылка из span в Grafana.
+15 -14
View File
@@ -1,9 +1,10 @@
# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2) # `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2)
- Основа: commit `9b35c25` (propose), **рабочее дерево не закоммичено** (apply change - Основа: commit `68f1e97` (fix: address otel-telemetry verify findings), рабочее дерево чистое
`otel-telemetry`); образ собран `make run_docker` из этого дерева. Основная сессия решает, (`git status --short` пуст до и после прогона); образ `mtusi-messenger:lab6` собран из этого
переснимать ли после коммита. дерева (метка `com.docker.compose.image` реплик и worker `sha256:589c1d53a299…`). Лимиты Tempo и
- Дата: 2026-11-11, старт 06:13:24Z, ~2,5 мин; рабочий стенд `mtusi-lab6`, команда из корня: Grafana подняты позже, по замеру бюджета (`budget.md`); на проверку они не влияют.
- Дата: 2026-11-11, 07:58:38Z – 08:00:51Z (~2,2 мин); рабочий стенд `mtusi-lab6`, команда из корня:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-outage`. `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-outage`.
- Сценарии: `observability` «Collector остановлен», «Collector заморожен»; `service-logging` - Сценарии: `observability` «Collector остановлен», «Collector заморожен»; `service-logging`
«Отказ отправки журнала»; `container-run` «Приложение без телеметрии»; `graceful-shutdown` «Отказ отправки журнала»; `container-run` «Приложение без телеметрии»; `graceful-shutdown`
@@ -19,20 +20,20 @@
пять сервисов телеметрии остановлены, `docker compose restart api worker`, `make test`, затем пять сервисов телеметрии остановлены, `docker compose restart api worker`, `make test`, затем
возврат телеметрии и сигналы снова. В `finally` — `unpause` и `start` телеметрии, `make возврат телеметрии и сигналы снова. В `finally` — `unpause` и `start` телеметрии, `make
replicas`, worker и relay. replicas`, worker и relay.
- Время остановки при недоступном Collector: реплика API — 1,55 с (stop) и 1,58 с (pause), worker - Время остановки при недоступном Collector: реплика API — 1,58 с (stop) и 1,45 с (pause), worker
— 0,72 с в обоих случаях; срок закрытия SDK — 1 с у API и окно 0,5 с у worker — 0,70 с в обоих случаях; срок закрытия SDK — 1 с у API и окно 0,5 с у worker
(`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`, design, решение 13). (`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`, design, решение 13).
- Записи SDK об отказе — по одной на модуль экспортёра (трассы, метрики, логи) на контейнер за - Записи SDK об отказе — по одной на модуль экспортёра (трассы, метрики, логи) на контейнер за
окно: фильтр пропускает не больше одной в минуту на логгер. В фазе `pause` у части контейнеров окно: фильтр пропускает не больше одной в минуту на логгер. В фазе `pause` экспортёр логов к
экспортёр логов ещё не дождался срока отправки к моменту подсчёта — записей меньше трёх. моменту подсчёта ещё не дождался срока отправки ни у одного контейнера — записей по две.
``` ```
[collector stop] SDK records in 20 s: {'cf1cf6304893 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'cf1cf6304893 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'cf1cf6304893 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd98da9edd95 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd98da9edd95 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'dd98da9edd95 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '7ba13dcb409f opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '7ba13dcb409f opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '7ba13dcb409f opentelemetry.exporter.otlp.proto.http.metric_exporter': 1} [collector stop] SDK records in 20 s: {'2567ec8de4a4 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '2567ec8de4a4 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '2567ec8de4a4 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '8ff320fd3b37 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '8ff320fd3b37 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '8ff320fd3b37 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '3ac74c7e1f59 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '3ac74c7e1f59 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '3ac74c7e1f59 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
[collector stop] docker stop api cf1cf6304893: 1.55 s [collector stop] docker stop api 2567ec8de4a4: 1.58 s
[collector stop] docker compose stop worker: 0.72 s [collector stop] docker compose stop worker: 0.70 s
[collector pause] SDK records in 20 s: {'cf1cf6304893 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'cf1cf6304893 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd98da9edd95 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '7ba13dcb409f opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '7ba13dcb409f opentelemetry.exporter.otlp.proto.http.metric_exporter': 1} [collector pause] SDK records in 20 s: {'2567ec8de4a4 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '2567ec8de4a4 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '8ff320fd3b37 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '8ff320fd3b37 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '3ac74c7e1f59 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '3ac74c7e1f59 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
[collector pause] docker stop api cf1cf6304893: 1.58 s [collector pause] docker stop api 2567ec8de4a4: 1.45 s
[collector pause] docker compose stop worker: 0.72 s [collector pause] docker compose stop worker: 0.70 s
[collector stop] make test expected 0 PASS got 0 PASS [collector stop] make test expected 0 PASS got 0 PASS
[collector stop] /health/ready expected 200 got 200 [collector stop] /health/ready expected 200 got 200
+11 -1
View File
@@ -530,7 +530,7 @@ Apply 2026-11-11 (второй агент: первый прервался по
10. **`stand-from-scratch` (21).** Рабочий стенд на время проверки останавливается `make stop`, после — `docker compose 10. **`stand-from-scratch` (21).** Рабочий стенд на время проверки останавливается `make stop`, после — `docker compose
start`: `make run_docker` проекта scratch пересобирает общий тег `mtusi-messenger:lab6`, и `up` рабочего стенда start`: `make run_docker` проекта scratch пересобирает общий тег `mtusi-messenger:lab6`, и `up` рабочего стенда
пересоздал бы его реплики. Команда сверяет ID контейнеров рабочего стенда до и после. пересоздал бы его реплики. Команда сверяет ID контейнеров рабочего стенда до и после.
11. **Бюджет (7).** Лимиты решения 7 не менялись: каждый не меньше 1,5 × измеренного пика (Grafana — 374 из 384 МиБ, 11. **Бюджет (7; заменён п. 19 — замер на другом коде и без `make student_test`).** Лимиты решения 7 не менялись: каждый не меньше 1,5 × измеренного пика (Grafana — 374 из 384 МиБ,
ближе всех); суммы прежние — 11,5 CPU / 7040 МиБ, с одноразовыми 12,5 / 7424 (`evidence/telemetry/budget.md`). ближе всех); суммы прежние — 11,5 CPU / 7040 МиБ, с одноразовыми 12,5 / 7424 (`evidence/telemetry/budget.md`).
12. **Быстрые тесты (8.1–8.3)** написал прерванный агент вместе с кодом; красный прогон до кода не снимался и не 12. **Быстрые тесты (8.1–8.3)** написал прерванный агент вместе с кодом; красный прогон до кода не снимался и не
воспроизводился (git агенту запрещён). Проверяют поведение, а не вызовы: in-memory экспортёры SDK и временная база. воспроизводился (git агенту запрещён). Проверяют поведение, а не вызовы: in-memory экспортёры SDK и временная база.
@@ -562,3 +562,13 @@ Apply 2026-11-11 (второй агент: первый прервался по
чужие volumes. Разрешено ли агенту это `down -v` при deny-правилах — вопрос пользователю (`QUESTIONS.md`). чужие volumes. Разрешено ли агенту это `down -v` при deny-правилах — вопрос пользователю (`QUESTIONS.md`).
18. **Журнал в Loki (S3).** Отправляются записи между запуском SDK и началом закрытия: записи uvicorn до lifespan, ошибки 18. **Журнал в Loki (S3).** Отправляются записи между запуском SDK и началом закрытия: записи uvicorn до lifespan, ошибки
настроек, остановка до старта и «Stopped worker» — только stdout (дельта `service-logging`). настроек, остановка до старта и «Stopped worker» — только stdout (дельта `service-logging`).
19. **Бюджет на `68f1e97` (verify W1, отменяет п. 11).** Замер под `make test` + `make load` + `make student_test`
с телеметрией и без (`evidence/telemetry/budget.md`): `memory.peak` Collector 76, Prometheus 95, Loki 153, Tempo
398, Grafana 294 МиБ. Правило решения 7 не выполнили Tempo (1,5 × 398 = 598 > 512) и Grafana (441 > 384): лимиты
подняты до 640 и 512 МиБ. Пик Tempo упирается в `GOMEMLIMIT` 400 МиБ — его рантайм держит кучу у мягкого предела,
поэтому «`GOMEMLIMIT` — 80 % лимита» с правилом 1,5 × несовместимы: `GOMEMLIMIT` прежний, лимит — 1,6 × него.
`GOMEMLIMIT` Grafana прежний (300 МиБ): её пик — процесс и три источника с backend, не только куча Go. Суммы:
телеметрия 2,5 CPU / 2304 МиБ, постоянные 11,5 / 7296, с одноразовыми 12,5 / 7680 при ВМ 12 / 7934 МиБ.
Реплика API — 452 МиБ с телеметрией и 482 без неё из 512 (пик — Argon2id входов `make student_test`, телеметрия
его не подняла); для реплик правило задачи 10.1 — «в своём лимите», лимит не менялся, запас мал — ограничение в
`REPORT.md`. Worker — 503 из 1024 МиБ (процессы обработки).