docs: finalize lab 6 audit and untrack MR drafts
This commit is contained in:
@@ -31,6 +31,14 @@ T2 и T4–T7 подтверждены, S1–S5 выполнены. Таблиц
|
||||
`tools/docker-compat/` (Compose 5.6.1, см. отчёт). Гипотезы и пороги
|
||||
записаны до замеров и не переписывались. Рабочая конфигурация — full.
|
||||
|
||||
**Аудит перед сдачей (20 ноября 2026).** Пользователь опубликовал решение
|
||||
`4f4e07a` в `solution/bvt2301-vladimirceva`. Отчёт уточнён по реальному
|
||||
окружению и условному SLI ready; в Grafana уточнены только подписи SLO.
|
||||
Повторены smoke, telemetry 22/22, promtool 7 правил, alerts 6/6,
|
||||
диагностика по реальным Tempo/Loki 7/7, retry 9/9 и outage 5/5:
|
||||
`evidence/telemetry/submission-review-20261120.txt`. Хеш приложения и
|
||||
конфигурации измеренных вариантов совпадают с паспортом 16 ноября.
|
||||
|
||||
Стек: Python 3.13, FastAPI, uvicorn, pydantic v2, SQLAlchemy Core 2.1 +
|
||||
asyncpg, alembic, argon2-cffi, redis-py, aiobotocore 3.x, aio-pika 10,
|
||||
Pillow 12 (только в процессе рендера), OpenTelemetry API/SDK/OTLP-HTTP 1.45;
|
||||
@@ -156,9 +164,10 @@ wipe`) и **навыки** `.agents/skills/`: `lab6-bench` (замеры тре
|
||||
| `make bench-telemetry [TELEMETRY_LABEL=…]` / `make bench-telemetry-quick` | трек 1 «Цена наблюдаемости» (`bench/RUNBOOK.md`); `quick-*` в отчёт не идут |
|
||||
| `make bench-queue [QUEUE_LABEL=…]`, `bench-uploads`, `bench-reconcile`, `bench-failover`, `bench-rollout`, `bench-scaling` | профили лаб 3–5 (сохранены, в лабе 6 не обязательны) |
|
||||
|
||||
Проверки ходят на `http://localhost:8180` (HAProxy). Внешние порты в
|
||||
`.env`: `HOST_PORT` (8180), `POSTGRES_HOST_PORT` (5533), `VALKEY_HOST_PORT` (6480),
|
||||
`S3_HOST_PORT` (8434), `BROKER_HOST_PORT` (5773), `GRAFANA_HOST_PORT` (3180);
|
||||
Проверки ходят через HAProxy, по умолчанию `http://localhost:8080`.
|
||||
Порты чистой `.env.example`: `HOST_PORT` (8080), `POSTGRES_HOST_PORT` (5433),
|
||||
`VALKEY_HOST_PORT` (6380), `S3_HOST_PORT` (8334), `BROKER_HOST_PORT` (5673),
|
||||
`GRAFANA_HOST_PORT` (3180); машина разработки использовала LB 8180.
|
||||
порты Collector, Prometheus, Loki, Tempo наружу не публикуются; разовая
|
||||
подмена — `make test BASE_URL=http://localhost:8190`. Тесты против рабочего стенда
|
||||
оставляют данные; чистый прогон — `make test-isolated`.
|
||||
|
||||
@@ -1,42 +0,0 @@
|
||||
# Публикация решения лабораторной 6
|
||||
|
||||
Выполнить из терминала один раз. Локальная ветка сейчас `main`, ветка решения ещё не создана.
|
||||
Имя и email автора Git уже настроены.
|
||||
|
||||
```sh
|
||||
cd "/Users/anastasia/Высоконагруженные/mtusi2026lab6-vladimirceva/mtusi2026lab6-vladimirceva"
|
||||
git switch -c solution/bvt2301-vladimirceva
|
||||
git add --all
|
||||
git diff --cached --check
|
||||
git diff --cached --stat
|
||||
git commit -m "feat: implement lab 6 observability and telemetry cost research"
|
||||
git push -u origin solution/bvt2301-vladimirceva
|
||||
```
|
||||
|
||||
Если ветка уже была создана, вместо команды `git switch -c ...` использовать
|
||||
`git switch solution/bvt2301-vladimirceva`.
|
||||
|
||||
Скопировать подготовленное описание MR в буфер обмена macOS и открыть исходный репозиторий:
|
||||
|
||||
```sh
|
||||
pbcopy < MR_DESCRIPTION.md
|
||||
open "https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6"
|
||||
```
|
||||
|
||||
В Gitea открыть создание Pull Request (MR) и выбрать:
|
||||
|
||||
| Поле | Значение |
|
||||
| --- | --- |
|
||||
| Целевой репозиторий | `mtusi2026/mtusi2026lab6` |
|
||||
| Базовая ветка | `main` |
|
||||
| Репозиторий-источник | `Anastasia_Vladimirceva/mtusi2026lab6-vladimirceva` |
|
||||
| Ветка-источник | `solution/bvt2301-vladimirceva` |
|
||||
| Заголовок | `ЛР 6 — БВТ2301 — Владимирцева — на 5` |
|
||||
| Описание | Содержимое `MR_DESCRIPTION.md` (уже скопировано командой pbcopy) |
|
||||
|
||||
Проверить вкладку изменённых файлов и создать запрос преподавателю.
|
||||
Сохранённые результаты измерений включаются в коммит; `.env`, `.venv`, `.local-tools`
|
||||
и самопроверочные метки `quick-*` исключены правилами Git.
|
||||
|
||||
Репозиторий-источник подтверждён как fork указанного репозитория преподавателя;
|
||||
обе исходные ветки `main` на момент аудита указывают на skeleton `470d9d6`.
|
||||
@@ -1,68 +0,0 @@
|
||||
# ЛР 6 — БВТ2301 — Владимирцева — на 5
|
||||
|
||||
Автор / группа: Анастасия Владимирцева, БВТ2301.
|
||||
Целевая оценка: 5. Трек: 1 «Цена наблюдаемости».
|
||||
|
||||
В мессенджер с API-репликами, PostgreSQL, S3 и фоновым конвейером добавлена
|
||||
наблюдаемость: OpenTelemetry SDK → Collector → Prometheus/Loki/Tempo → Grafana.
|
||||
По загрузке доступна сквозная трасса API → relay → worker с retry; остановка
|
||||
backend телеметрии сохраняет работу API и обработку вложений.
|
||||
|
||||
Из lab5 сохранены бизнес-API, durable jobs/outbox, идемпотентность, роли S3,
|
||||
worker, relay, cleaner и проверки отказов. В lab6 добавлены SDK-инструментация,
|
||||
миграция контекста W3C, provisioning dashboard и источников, SLI/SLO, alerts и runbooks.
|
||||
|
||||
Запуск из чистого clone описан в [REPORT.md](REPORT.md#запуск-из-чистого-clone).
|
||||
Для старого Docker Desktop на macOS предусмотрен локальный Compose 5.6.1
|
||||
с закреплённой SHA-256: `sh tools/docker-compat/setup.sh`, затем
|
||||
`export PATH="$PWD/tools/docker-compat:$PATH"`. Основные команды:
|
||||
|
||||
```sh
|
||||
make install
|
||||
make env
|
||||
make up
|
||||
make test
|
||||
make telemetry-check
|
||||
make alerts-test
|
||||
python3 tools/audit_incidents.py
|
||||
make trace-chain
|
||||
make telemetry-outage
|
||||
make stop
|
||||
```
|
||||
|
||||
Исследование: пять вариантов off/full/head/tail/balanced × три повтора,
|
||||
одинаковая открытая нагрузка, метка
|
||||
[`baseline-after-restart`](evidence/telemetry-cost/baseline-after-restart/summary.md).
|
||||
15/15 прогонов без flags, host_warnings и наблюдаемых потерь; исходный код
|
||||
совпадает с хешем паспорта. T1 и T3 опровергнуты, T2 и T4–T7 подтверждены.
|
||||
Все критерии S1–S5 balanced выполнены: сохранены 84/84 трасс 500, 99/99
|
||||
медленных записей и 42/42 цепочек failed; span Tempo — 5,1 % full,
|
||||
ряды Prometheus — 10 % full. CPU balanced близок к full (+9 % к off);
|
||||
head уменьшает надбавку CPU вдвое и теряет большую часть редких трасс.
|
||||
|
||||
Проверки и доказательства:
|
||||
|
||||
- [Подготовка и unit/selftest](evidence/tests/host-preflight-20261116.txt).
|
||||
- [178 isolated, 34 fault, 22/22 telemetry](evidence/tests/host-stand-20261116.txt).
|
||||
- [Финальные проверки после исследования](evidence/tests/final-check-20261116.txt).
|
||||
- [Трасса с retry](evidence/telemetry/trace-chain.txt),
|
||||
[alerts firing/resolved](evidence/alerts/alerts-check.txt),
|
||||
[отказ Tempo](evidence/telemetry/outage.txt).
|
||||
- [Полный отчёт и таблица критериев](REPORT.md).
|
||||
|
||||
Ограничения: один хост, 140 с нагрузки за прогон, три повтора и одна интенсивность;
|
||||
PostgreSQL профиля адаптирован до 1 CPU под машину с 10 ядрами до измерений.
|
||||
SLI ready/30 с условен по успешным вложениям; failed и ожидающие задания
|
||||
контролируются другими сигналами. Дополнительные ограничения SDK и сохранённого
|
||||
бизнес-кода перечислены в [KNOWN_ISSUES.md](KNOWN_ISSUES.md).
|
||||
|
||||
Источники: документация OpenTelemetry, W3C Trace Context, Prometheus, Loki,
|
||||
Tempo, Grafana и материалы задания. ИИ использовался при разработке и подготовке
|
||||
текста; числа и выводы подтверждены командами и сохранёнными результатами.
|
||||
|
||||
- [x] Возможности текущей и предыдущей лабораторных проверены; ограничения объявлены.
|
||||
- [x] Контракт, README задания и публичные tests не изменены и не ослаблены.
|
||||
- [x] make check и make test выполнены; реальный вывод приложен.
|
||||
- [x] Сценарии отказов и безопасности выбранного уровня воспроизведены.
|
||||
- [x] Локальный .env и кэш инструментов исключены из Git; секреты в отчёт не вставлялись.
|
||||
- [x] REPORT.md содержит инструкцию именно этого решения и результаты исследования.
|
||||
@@ -2,7 +2,7 @@
|
||||
|
||||
- Автор, группа: Владимирцева, БВТ2301
|
||||
- Целевая оценка; выбранный трек 5, если нужен: «5», трек 1 «Цена наблюдаемости»
|
||||
- Commit/PR: локальное решение поверх `main@470d9d6`; измеренный код — по `src_sha256` ниже
|
||||
- Commit/PR: [ветка решения `solution/bvt2301-vladimirceva`](https://gitea.privcloud.tech/Anastasia_Vladimirceva/mtusi2026lab6-vladimirceva/src/branch/solution/bvt2301-vladimirceva); коммит приложения `4f4e07a`, измеренный код — по `src_sha256` ниже
|
||||
- Использованные источники, библиотеки и помощь ИИ: см. последний раздел
|
||||
|
||||
## Запуск из чистого clone
|
||||
@@ -206,44 +206,55 @@ worker `attachment processed` с `trace_id` задания.
|
||||
|
||||
## Разбор двух инцидентов
|
||||
|
||||
Оба снимаются `make alerts-check` (`evidence/alerts/alerts-check.txt`); ищем причину только по
|
||||
сохранённым наблюдениям.
|
||||
Повторено на машине замеров 20 ноября 2026 командой
|
||||
`python3 tools/audit_incidents.py` после `make up`. Сценарий выполняет alerts-check
|
||||
и сохраняет реальные снимки Tempo и связанные строки Loki в момент отказа и восстановления.
|
||||
[Вывод команд и деревья трасс](evidence/telemetry/submission-review-20261120.txt):
|
||||
alerts-check **6/6**, дополнительные проверки диагностики **7/7**.
|
||||
Исторические тайминги серии 15 ноября сохранены в исходных файлах evidence отдельно.
|
||||
|
||||
**Инцидент 1. Остановлен worker.** Задания копятся, пользователи видят вложения `queued`.
|
||||
- Метрики: на панелях «Oldest unfinished job age» и «Job queue depth» возраст растёт, глубина
|
||||
держится на 3; `MessengerQueueLagGrowing` перешёл в `pending` на 90 с и в `firing` на 151 с
|
||||
(backlog 3, старейшее 129 с). Время ответов API нормальное, доля 5xx нулевая, значит
|
||||
принимает API, а не обрабатывает worker.
|
||||
- Сопутствующие метрики: счётчик доставок `messenger_job_duration_seconds_count{job="messenger-worker"}`
|
||||
не растёт, у `messenger_relay_jobs_total` публикации идут — причина на стороне потребителя,
|
||||
не брокера и не БД (пул без ожидающих).
|
||||
- Трасса: у новой загрузки есть server span и producer span relay, а consumer span нет —
|
||||
сообщение опубликовано, но никто не взял.
|
||||
- Лог: строки `attachment processed` перестали появляться, у relay видны публикации.
|
||||
- Восстановление: `docker compose start worker`; через 25 с очередь 3 → 0, alert `inactive`.
|
||||
**Инцидент 1. Остановлен worker.** Три загрузки приняты с 202, задания остаются в очереди.
|
||||
|
||||
**Инцидент 2. Блокировка таблицы `sessions`.** Каждый аутентифицированный запрос ждёт
|
||||
блокировку до `statement_timeout`, затем 503.
|
||||
- Метрики: доля 5xx выросла (0,43), статусы 503 × 96 против 200 × 6; `MessengerHighErrorRate`:
|
||||
`pending` на 65 с, `firing` на 126 с. Пул — 4 занятых соединения, ожидающих 0: соединений
|
||||
хватает, соединения заняты запросами, которые ждут блокировку, а не пул исчерпан.
|
||||
- Трасса: открываем трассу запроса с 503 — ожидаем server span с ошибкой и долгий дочерний span
|
||||
`postgresql`: время уходит в БД, а не в приложение, S3 или кэш.
|
||||
- Лог: строка доступа API `-> 503` несёт `trace_id` этой трассы; текстов запросов и SQL в
|
||||
журнале нет, причина определяется по типу и длительности span.
|
||||
- Восстановление: блокировка снята, через 65 с alert `inactive`, `200 × 1220`.
|
||||
- Метрики: `MessengerQueueLagGrowing` pending на 90 с, firing на 150 с;
|
||||
backlog 3, старейшее задание 144 с. После запуска worker очередь 3 → 0,
|
||||
через 25 с alert inactive (resolved).
|
||||
- Трасса `5abc3f9fb065793d443f35331bf823b7`: во время отказа server span загрузки
|
||||
длится 13,6 мс, есть producer relay `publish messenger.attachment-jobs`, consumer отсутствует.
|
||||
Значит запрос принят и опубликован; обработка потребителем ещё не началась.
|
||||
- Лог Loki с тем же trace_id: `POST …/attachments -> 202 (13.5 ms)` и
|
||||
`attachment accepted`. После восстановления в той же трассе появился consumer
|
||||
worker с outcome=ready (130,3 мс), а в Loki — `attachment processed`, attempt=1,
|
||||
variants=3. Наблюдения связывают приём, ожидание и обработку одного задания.
|
||||
|
||||
**Инцидент 3. Недоступен Tempo.** Это отказ самой телеметрии (`make telemetry-outage`,
|
||||
`evidence/telemetry/outage.txt`): за 120 с без Tempo — 1178 ответов 200 на `GET /users/me`,
|
||||
11 из 11 загрузок дошли до `ready`, пик памяти Collector 63 МиБ из 256, очередь экспорта пик
|
||||
2060 из 20 000, потеряно 128 span (видно в `otelcol_exporter_send_failed_spans` и
|
||||
`enqueue_failed_spans`), после возврата Tempo очередь 37 и экспорт возобновился. Метрики и журнал в
|
||||
это время продолжали работать — отказал только сигнал трасс.
|
||||
**Инцидент 2. Блокировка таблицы sessions.** Четыре клиента запрашивают users/me;
|
||||
запросы ждут в БД и завершаются 503 по statement_timeout.
|
||||
|
||||
- Метрики: `MessengerHighErrorRate` pending на 80 с, firing на 140 с;
|
||||
доля 5xx 1,00, статусы 503 × 104 и 200 × 4, пул — 4 занятых соединения,
|
||||
ожидающих 0. Это не исчерпание пула.
|
||||
- Трасса `5390f80c0e4a6a0c82ef45412f1ecb43`: server span
|
||||
`GET /api/v1/users/me` — 5006,6 мс, дочерний `postgresql read` — 5005,3 мс;
|
||||
оба ERROR. Почти всё серверное время занято операцией PostgreSQL, что позволяет
|
||||
отличить медленную БД от вычислений в HTTP handler.
|
||||
- Лог с этим trace_id: `GET /api/v1/users/me -> 503 (5006.3 ms)` и
|
||||
`database unavailable … canceling statement due to statement timeout`.
|
||||
SQL-параметры и токен в записи не выводятся.
|
||||
- Восстановление: после снятия блокировки через 70 с alert inactive;
|
||||
в последнем окне наблюдения 1324 ответа 200, ответов 503 нет.
|
||||
|
||||
**Инцидент 3. Недоступен Tempo.** Повторено `make telemetry-outage` на том же стенде:
|
||||
за 120 с без Tempo API дал 1230 ответов 200, 11 из 11 загрузок дошли до ready.
|
||||
Пик Collector — 64 МиБ из 256, пик очереди экспорта — 2110 из 20000 элементов;
|
||||
сумма счётчиков send_failed + enqueue_failed — 152 span. После возврата Tempo
|
||||
экспорт возобновился, очередь уменьшилась до 0. Проверка **5/5**, полный вывод —
|
||||
в [свежем доказательстве](evidence/telemetry/submission-review-20261120.txt).
|
||||
Это показатели Collector; отдельного счётчика потерь до него в SDK нет.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Команды запускались на машине разработки без нагрузки, 15 ноября 2026, код `src_sha256
|
||||
81c47ffc…`; шапка каждого файла `evidence/` содержит дату, окружение и команду повторения.
|
||||
Базовые проверки сняты 15 ноября 2026 на машине разработки; нагрузка — 16 ноября
|
||||
на машине замеров, проверка перед сдачей — 20 ноября. Код `src_sha256 81c47ffc…`
|
||||
одинаков; шапка каждого файла содержит дату, окружение и команду повторения.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
@@ -262,11 +273,14 @@ worker `attachment processed` с `trace_id` задания.
|
||||
| Трек 1 «Цена наблюдаемости» | `make bench-telemetry TELEMETRY_LABEL=baseline-after-restart` | 15/15; T1, T3 опровергнуты; T2, T4–T7 подтверждены; S1–S5 выполнены; потерь и host_warnings нет | [summary.md](evidence/telemetry-cost/baseline-after-restart/summary.md), [meta.json](evidence/telemetry-cost/baseline-after-restart/meta.json) |
|
||||
| Перепроверка на машине замеров | unit-test, 5 selftest, test, telemetry-check, test-isolated, failure-checks | 38 unit; 178 isolated, все resilience 0; 34 fault; 22/22 telemetry | [подготовка](evidence/tests/host-preflight-20261116.txt), [стенды](evidence/tests/host-stand-20261116.txt) |
|
||||
| Финальные проверки | `make lint`, `make check`, `make test-isolated`, `make stop` | PASS, 178 passed, все resilience 0; своих работающих контейнеров нет | [final-check-20261116.txt](evidence/tests/final-check-20261116.txt) |
|
||||
| Аудит перед сдачей, 20 ноября | smoke, telemetry-check, promtool, audit_incidents, trace-chain, telemetry-outage | PASS; 22/22, 7 правил SUCCESS, alerts 6/6, диагностика 7/7, retry 9/9, отказ Tempo 5/5 | [submission-review-20261120.txt](evidence/telemetry/submission-review-20261120.txt) |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
Цену телеметрии меряет трек 1 (раздел ниже: методика, гипотезы, критерии записаны до
|
||||
замеров). Отказы проверены без нагрузки:
|
||||
замеров). Таблица ниже — историческая серия 15 ноября; свежий повтор 20 ноября
|
||||
описан выше и сохранён отдельным файлом. Сценарии отказов используют свой
|
||||
контролируемый трафик и выполняются отдельно от исследовательского профиля:
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
|
||||
@@ -53,6 +53,11 @@ persistence, smoke, failover, рестарт брокера, лимиты рен
|
||||
| `tests/host-stand-20261116.txt` | smoke, telemetry 22/22, isolated 178 и все resilience 0, fault 34 |
|
||||
| `tests/final-check-20261116.txt` | финальные lint/check и isolated 178; все resilience 0, контейнеры остановлены |
|
||||
|
||||
Перед сдачей 20 ноября: `telemetry/submission-review-20261120.txt` — свежие
|
||||
smoke, telemetry 22/22, promtool 7 правил, alerts 6/6 с реальными трассами
|
||||
и логами (диагностика 7/7), trace-chain 9/9, outage 5/5. Код приложения
|
||||
совпадает с измеренной меткой; исторические результаты 15–16 ноября сохранены.
|
||||
|
||||
Поменялось показанное поведение — перезапусти проверку и обнови файл
|
||||
целиком, вместе с датой.
|
||||
|
||||
|
||||
@@ -0,0 +1,196 @@
|
||||
# Доказывает: готовность уровней 3–4, диагностика двух отказов по реальным
|
||||
# трассам/логам, retry и ограниченное поведение при недоступном Tempo.
|
||||
# Дата UTC: 2026-11-20; ОС macOS 26.6.2 arm64, Docker 28.0.4,
|
||||
# Compose 5.6.1; Python хоста и окружения проверок 3.13.7.
|
||||
# Стенд: рабочий проект vladimirceva-lab6, LB 127.0.0.1:8080;
|
||||
# перед началом других работающих контейнеров не было.
|
||||
# Код приложения: src_sha256 81c47ffceeb40acc6f333a9265a15480b3e13e2cb53b2e2229e5fa7391bd0b7a
|
||||
# Подготовка: sh tools/docker-compat/setup.sh;
|
||||
# export PATH="$PWD/tools/docker-compat:$PATH"; make up.
|
||||
# Здесь явно разделены два запуска: первый — smoke/telemetry/promtool,
|
||||
# второй — подтверждённый audit-incidents, trace-chain и telemetry-outage.
|
||||
# Первая версия нового аудиторского скрипта ошибочно сравнивала строковый
|
||||
# intValue из JSON Tempo с числом: audit-incidents FAIL (4/7), при этом
|
||||
# alerts-check PASS (6/6). Разбор типа исправлен, приложение не менялось;
|
||||
# ниже приведён повтор с audit-incidents PASS (7/7). Первый журнал сохранён
|
||||
# в /private/tmp/lab6-submission-audit-20261120.log.
|
||||
# Пробелы в конце строк вывода удалены; значения и порядок строк сохранены.
|
||||
# ... строки сборки/старта/остановки контейнеров опущены. Технические ID
|
||||
# относятся только к синтетическим данным. Секреты/пароли/токены не выводились.
|
||||
|
||||
$ make test
|
||||
$ make telemetry-check
|
||||
$ make alerts-test
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||
python3 scripts/lab6.py telemetry-check --base-url "http://localhost:8080"
|
||||
PASS grafana /api/health: status 200
|
||||
PASS datasources provisioned: ['logs', 'metrics', 'traces']
|
||||
PASS dashboard messenger-lab6 provisioned: status 200, panels 26
|
||||
PASS controlled request GET /api/v1/users/me: status 200, X-Request-Id tcheck-3cffbfdd-me
|
||||
PASS upload accepted: status 202
|
||||
PASS attachment ready: ready
|
||||
PASS message with attachment: status 201
|
||||
PASS API trace found by request id: caf39580633effcd01941f9f45654c5a
|
||||
PASS server span with route template: 2 spans: GET /api/v1/users/me, postgresql read
|
||||
PASS no spans from FastAPI native telemetry: []
|
||||
PASS API log record in Loki with the same trace_id: GET /api/v1/users/me -> 200 (1.0 ms)
|
||||
PASS API stdout line carries the same trace_id: 2026-11-20T11:13:01.414Z INFO src.http [rid=tcheck-3cffbfdd-me] GET /api/v1/users/me -> 200 (1.0 ms) trace_id=caf39580633effcd01941f9f456
|
||||
PASS upload trace has PostgreSQL and S3 child spans: POST /api/v1/chats/{chat_id}/attachments, S3 get_object, S3 put_object, postgresql read, postgresql transaction, process messenger.attachment-jobs, publish messenger.attachment-jobs, render variants
|
||||
PASS worker consumer span with outcome ready: POST /api/v1/chats/{chat_id}/attachments, S3 get_object, S3 put_object, postgresql read, postgresql transaction, process messenger.attachment-jobs, publish messenger.attachment-jobs, render variants
|
||||
PASS worker log 'attachment processed' with the job trace_id: attachment processed attachment_id=a892c56a-af35-4441-a509-702c4045deac job_id=1b115b67-2e4a-4cec-af
|
||||
PASS HTTP duration histogram (API): count 3
|
||||
PASS job duration histogram (worker, ready): count 2
|
||||
PASS relay published counter: 2
|
||||
PASS resource attributes (target_info): messenger-api@0.6.0/lab, messenger-relay@0.6.0/lab, messenger-worker@0.6.0/lab
|
||||
PASS HTTP histogram has a single source: rate 0
|
||||
PASS metric labels without ids, raw URLs and filenames: 35 series
|
||||
PASS no password, token, message text, filename or Authorization in telemetry: 84 log records, 44201 bytes of traces
|
||||
telemetry-check: PASS (22/22 checks)
|
||||
docker run --rm -v "<репозиторий>/infra/otel/prometheus:/rules:ro" -w /rules \
|
||||
--entrypoint promtool prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 check rules rules.yml
|
||||
Checking rules.yml
|
||||
SUCCESS: 7 rules found
|
||||
|
||||
docker run --rm -v "<репозиторий>/infra/otel/prometheus:/rules:ro" -w /rules \
|
||||
--entrypoint promtool prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 test rules rules.test.yml
|
||||
SUCCESS
|
||||
|
||||
# Подтверждённый повтор диагностики после исправления формата атрибута:
|
||||
$ python3 tools/audit_incidents.py
|
||||
PASS alert rules loaded in Prometheus: MessengerHighErrorRate, MessengerQueueLagGrowing, MessengerTelemetryTargetDown
|
||||
(a) worker stopped: oldest job age grows
|
||||
PASS 3 uploads accepted with worker stopped
|
||||
0 s MessengerQueueLagGrowing: inactive
|
||||
90 s MessengerQueueLagGrowing: pending
|
||||
150 s MessengerQueueLagGrowing: firing
|
||||
PASS worker stopped: producer exists, consumer absent
|
||||
DIAGNOSTIC worker stopped trace_id=5abc3f9fb065793d443f35331bf823b7
|
||||
messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 13.6 ms
|
||||
messenger-api: postgresql read [client] 0.5 ms
|
||||
messenger-api: postgresql read [client] 5.9 ms
|
||||
messenger-api: postgresql transaction [client] 0.8 ms
|
||||
messenger-api: S3 put_object [client] 2.2 ms
|
||||
messenger-api: postgresql transaction [client] 1.6 ms
|
||||
messenger-relay: publish messenger.attachment-jobs [producer] 3.6 ms attempt=1
|
||||
PASS incident log linked to trace: messenger-api
|
||||
Loki trace_id=5abc3f9fb065793d443f35331bf823b7: attachment accepted attachment_id=018c64c5-4259-4ae1-92eb-986da064bd19 chat_id=0bd78a71-9737-42ac-bca0-e115ca6f860d size=111817 content_type=image/png width=320 height=200 waited=0ms took=12ms
|
||||
Loki trace_id=5abc3f9fb065793d443f35331bf823b7: POST /api/v1/chats/0bd78a71-9737-42ac-bca0-e115ca6f860d/attachments -> 202 (13.5 ms)
|
||||
PASS MessengerQueueLagGrowing firing: after 150 s; backlog 3 jobs, oldest 144 s
|
||||
0 s MessengerQueueLagGrowing: firing
|
||||
25 s MessengerQueueLagGrowing: inactive
|
||||
PASS worker restored: same trace has ready consumer
|
||||
DIAGNOSTIC worker restored trace_id=5abc3f9fb065793d443f35331bf823b7
|
||||
messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 13.6 ms
|
||||
messenger-api: postgresql read [client] 0.5 ms
|
||||
messenger-api: postgresql read [client] 5.9 ms
|
||||
messenger-api: postgresql transaction [client] 0.8 ms
|
||||
messenger-api: S3 put_object [client] 2.2 ms
|
||||
messenger-api: postgresql transaction [client] 1.6 ms
|
||||
messenger-relay: publish messenger.attachment-jobs [producer] 3.6 ms attempt=1
|
||||
messenger-worker: process messenger.attachment-jobs [consumer] 130.3 ms attempt=1 outcome=ready
|
||||
messenger-worker: postgresql transaction [client] 1.1 ms
|
||||
messenger-worker: S3 get_object [client] 1.1 ms
|
||||
messenger-worker: render variants [client] 119.9 ms
|
||||
messenger-worker: S3 put_object [client] 2.2 ms
|
||||
messenger-worker: S3 put_object [client] 1.1 ms
|
||||
messenger-worker: S3 put_object [client] 0.9 ms
|
||||
messenger-worker: S3 put_object [client] 1.0 ms
|
||||
messenger-worker: postgresql transaction [client] 2.3 ms
|
||||
PASS incident log linked to trace: messenger-worker
|
||||
Loki trace_id=5abc3f9fb065793d443f35331bf823b7: attachment processed attachment_id=018c64c5-4259-4ae1-92eb-986da064bd19 job_id=19888d1f-5cc0-48d5-b292-628d69254cdb attempt=1 variants=3 render_peak_kib=106976 took=130ms waited=155766ms
|
||||
PASS worker started: backlog drained, alert resolved: after 25 s; backlog 3 -> 0
|
||||
phase (a): 181 s
|
||||
(b) sessions table locked: authenticated requests wait and get 503
|
||||
baseline statuses: {200: 188}
|
||||
0 s MessengerHighErrorRate: inactive
|
||||
80 s MessengerHighErrorRate: pending
|
||||
140 s MessengerHighErrorRate: firing
|
||||
PASS DB incident: real 503 trace with slow SQL span
|
||||
PASS DB span explains at least 90% of server latency: server=5006.6 ms SQL=5005.3 ms
|
||||
DIAGNOSTIC database locked trace_id=5390f80c0e4a6a0c82ef45412f1ecb43
|
||||
messenger-api: GET /api/v1/users/me [server] 5006.6 ms ERROR
|
||||
messenger-api: postgresql read [client] 5005.3 ms ERROR
|
||||
PASS incident log linked to trace: messenger-api
|
||||
Loki trace_id=5390f80c0e4a6a0c82ef45412f1ecb43: GET /api/v1/users/me -> 503 (5006.3 ms)
|
||||
Loki trace_id=5390f80c0e4a6a0c82ef45412f1ecb43: database unavailable error_type=DBAPIError error=(sqlalchemy.dialects.postgresql.asyncpg.Error) canceling statement due to statement timeout [SQL: SELECT sessions.id AS session_id, users.id, users.username, users.display_name, users.created_at FROM sessions JOIN users ON sessions.user_id = users.id WHERE sessions.token_hash = $1::BYTEA AND session
|
||||
PASS MessengerHighErrorRate firing: after 140 s; 5xx ratio 1.00, pool used 4, waiting 0; statuses {200: 4, 503: 104}
|
||||
statuses around release: {200: 152}
|
||||
0 s MessengerHighErrorRate: firing
|
||||
70 s MessengerHighErrorRate: inactive
|
||||
PASS lock released: errors stopped, alert resolved: after 70 s; statuses after release {200: 1324}
|
||||
phase (b): 229 s
|
||||
alerts-check: PASS (6/6 checks, 410 s)
|
||||
audit-incidents: PASS (7/7 checks)
|
||||
|
||||
$ make trace-chain
|
||||
python3 scripts/lab6.py trace-chain --base-url "http://localhost:8080"
|
||||
PASS upload accepted, worker stopped: status 202
|
||||
attachment_id=b5406cc0-26b9-487c-a1f3-776d9fb0f870
|
||||
PASS attempt 1 failed (S3 stopped), job back to queued: 1 queued s3_read
|
||||
PASS attachment ready on a later attempt: ready
|
||||
job: 2 ready -
|
||||
PASS one trace for the upload in Tempo: trace ids found: 1
|
||||
trace_id=2ce706fcd77da347c027ddfbf1e82d08 (Grafana → Explore → Tempo → 2ce706fcd77da347c027ddfbf1e82d08)
|
||||
messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 24.9 ms
|
||||
messenger-api: postgresql read [client] 0.7 ms
|
||||
messenger-api: postgresql read [client] 0.7 ms
|
||||
messenger-api: postgresql transaction [client] 2.8 ms
|
||||
messenger-api: S3 put_object [client] 7.6 ms
|
||||
messenger-api: postgresql transaction [client] 6.9 ms
|
||||
messenger-relay: publish messenger.attachment-jobs [producer] 2.9 ms attempt=1
|
||||
messenger-worker: process messenger.attachment-jobs [consumer] 149.9 ms attempt=1 outcome=retry
|
||||
messenger-worker: postgresql transaction [client] 15.9 ms
|
||||
messenger-worker: S3 get_object [client] 126.7 ms ERROR
|
||||
messenger-worker: postgresql transaction [client] 3.3 ms
|
||||
messenger-relay: publish messenger.attachment-jobs [producer] 2.4 ms attempt=2
|
||||
messenger-worker: process messenger.attachment-jobs [consumer] 160.0 ms attempt=2 outcome=ready
|
||||
messenger-worker: postgresql transaction [client] 14.9 ms
|
||||
messenger-worker: S3 get_object [client] 5.6 ms
|
||||
messenger-worker: render variants [client] 125.9 ms
|
||||
messenger-worker: S3 put_object [client] 3.0 ms
|
||||
messenger-worker: S3 put_object [client] 1.1 ms
|
||||
messenger-worker: S3 put_object [client] 0.8 ms
|
||||
messenger-worker: S3 put_object [client] 1.0 ms
|
||||
messenger-worker: postgresql transaction [client] 3.5 ms
|
||||
PASS root: API server span of the upload: POST /api/v1/chats/{chat_id}/attachments
|
||||
PASS relay producer spans are children of the upload span: 2 publish spans
|
||||
PASS worker consumer spans are children of the producer of the same attempt: attempts [1, 2]
|
||||
PASS attempt 1 outcome retry in the same trace: retry
|
||||
PASS ready attempt reaches S3 and PostgreSQL: S3 get_object, S3 put_object, postgresql transaction, render variants
|
||||
trace-chain: PASS (9/9 checks, 34 s)
|
||||
|
||||
$ make telemetry-outage
|
||||
python3 scripts/lab6.py telemetry-outage --base-url "http://localhost:8080" \
|
||||
--seconds 120
|
||||
before: collector 64 MiB, spans lost so far 0
|
||||
PASS API answers during 120 s without Tempo: GET /users/me statuses {200: 1230}
|
||||
PASS uploads accepted and processed without Tempo: 11 uploads, ready 11
|
||||
PASS Collector memory bounded: peak 64 MiB of 256 MiB limit; export queue peak 2110 of 20000 items
|
||||
PASS lost spans are counted by the Collector: 152 spans (send_failed + enqueue_failed, otlp_http/tempo)
|
||||
PASS Tempo back: export resumes, queue drained: queue now 0 items
|
||||
telemetry-outage: PASS (5/5 checks, 157 s)
|
||||
|
||||
# Итог: smoke PASS; telemetry-check 22/22; promtool 7 правил и SUCCESS;
|
||||
# alerts 6/6 и реальные диагностические снимки 7/7; trace-chain 9/9;
|
||||
# telemetry-outage 5/5. Сервисы восстановлены сценариями и остановлены make stop.
|
||||
|
||||
# Повтор после уточнения подписей SLO в Grafana (тот же день):
|
||||
$ make lint
|
||||
$ make check
|
||||
$ make up
|
||||
$ make telemetry-check
|
||||
$ make alerts-test
|
||||
# ... индивидуальные пункты telemetry-check и запуск/остановка контейнеров опущены.
|
||||
uv run ruff format --check .
|
||||
137 files already formatted
|
||||
uv run ruff check .
|
||||
All checks passed!
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
telemetry-check: PASS (22/22 checks)
|
||||
SUCCESS: 7 rules found
|
||||
SUCCESS
|
||||
|
||||
# Сигналы, PromQL и конфигурации измеренных вариантов совпадают с паспортом.
|
||||
# Для повторения двух инцидентов: python3 tools/audit_incidents.py после make up.
|
||||
Reference in New Issue
Block a user