diff --git a/AGENTS.md b/AGENTS.md index c989a56..538a7aa 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -31,6 +31,14 @@ T2 и T4–T7 подтверждены, S1–S5 выполнены. Таблиц `tools/docker-compat/` (Compose 5.6.1, см. отчёт). Гипотезы и пороги записаны до замеров и не переписывались. Рабочая конфигурация — full. +**Аудит перед сдачей (20 ноября 2026).** Пользователь опубликовал решение +`4f4e07a` в `solution/bvt2301-vladimirceva`. Отчёт уточнён по реальному +окружению и условному SLI ready; в Grafana уточнены только подписи SLO. +Повторены smoke, telemetry 22/22, promtool 7 правил, alerts 6/6, +диагностика по реальным Tempo/Loki 7/7, retry 9/9 и outage 5/5: +`evidence/telemetry/submission-review-20261120.txt`. Хеш приложения и +конфигурации измеренных вариантов совпадают с паспортом 16 ноября. + Стек: Python 3.13, FastAPI, uvicorn, pydantic v2, SQLAlchemy Core 2.1 + asyncpg, alembic, argon2-cffi, redis-py, aiobotocore 3.x, aio-pika 10, Pillow 12 (только в процессе рендера), OpenTelemetry API/SDK/OTLP-HTTP 1.45; @@ -156,9 +164,10 @@ wipe`) и **навыки** `.agents/skills/`: `lab6-bench` (замеры тре | `make bench-telemetry [TELEMETRY_LABEL=…]` / `make bench-telemetry-quick` | трек 1 «Цена наблюдаемости» (`bench/RUNBOOK.md`); `quick-*` в отчёт не идут | | `make bench-queue [QUEUE_LABEL=…]`, `bench-uploads`, `bench-reconcile`, `bench-failover`, `bench-rollout`, `bench-scaling` | профили лаб 3–5 (сохранены, в лабе 6 не обязательны) | -Проверки ходят на `http://localhost:8180` (HAProxy). Внешние порты в -`.env`: `HOST_PORT` (8180), `POSTGRES_HOST_PORT` (5533), `VALKEY_HOST_PORT` (6480), -`S3_HOST_PORT` (8434), `BROKER_HOST_PORT` (5773), `GRAFANA_HOST_PORT` (3180); +Проверки ходят через HAProxy, по умолчанию `http://localhost:8080`. +Порты чистой `.env.example`: `HOST_PORT` (8080), `POSTGRES_HOST_PORT` (5433), +`VALKEY_HOST_PORT` (6380), `S3_HOST_PORT` (8334), `BROKER_HOST_PORT` (5673), +`GRAFANA_HOST_PORT` (3180); машина разработки использовала LB 8180. порты Collector, Prometheus, Loki, Tempo наружу не публикуются; разовая подмена — `make test BASE_URL=http://localhost:8190`. Тесты против рабочего стенда оставляют данные; чистый прогон — `make test-isolated`. diff --git a/MR_COMMANDS.md b/MR_COMMANDS.md deleted file mode 100644 index 52afe64..0000000 --- a/MR_COMMANDS.md +++ /dev/null @@ -1,42 +0,0 @@ -# Публикация решения лабораторной 6 - -Выполнить из терминала один раз. Локальная ветка сейчас `main`, ветка решения ещё не создана. -Имя и email автора Git уже настроены. - -```sh -cd "/Users/anastasia/Высоконагруженные/mtusi2026lab6-vladimirceva/mtusi2026lab6-vladimirceva" -git switch -c solution/bvt2301-vladimirceva -git add --all -git diff --cached --check -git diff --cached --stat -git commit -m "feat: implement lab 6 observability and telemetry cost research" -git push -u origin solution/bvt2301-vladimirceva -``` - -Если ветка уже была создана, вместо команды `git switch -c ...` использовать -`git switch solution/bvt2301-vladimirceva`. - -Скопировать подготовленное описание MR в буфер обмена macOS и открыть исходный репозиторий: - -```sh -pbcopy < MR_DESCRIPTION.md -open "https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6" -``` - -В Gitea открыть создание Pull Request (MR) и выбрать: - -| Поле | Значение | -| --- | --- | -| Целевой репозиторий | `mtusi2026/mtusi2026lab6` | -| Базовая ветка | `main` | -| Репозиторий-источник | `Anastasia_Vladimirceva/mtusi2026lab6-vladimirceva` | -| Ветка-источник | `solution/bvt2301-vladimirceva` | -| Заголовок | `ЛР 6 — БВТ2301 — Владимирцева — на 5` | -| Описание | Содержимое `MR_DESCRIPTION.md` (уже скопировано командой pbcopy) | - -Проверить вкладку изменённых файлов и создать запрос преподавателю. -Сохранённые результаты измерений включаются в коммит; `.env`, `.venv`, `.local-tools` -и самопроверочные метки `quick-*` исключены правилами Git. - -Репозиторий-источник подтверждён как fork указанного репозитория преподавателя; -обе исходные ветки `main` на момент аудита указывают на skeleton `470d9d6`. diff --git a/MR_DESCRIPTION.md b/MR_DESCRIPTION.md deleted file mode 100644 index fbebc91..0000000 --- a/MR_DESCRIPTION.md +++ /dev/null @@ -1,68 +0,0 @@ -# ЛР 6 — БВТ2301 — Владимирцева — на 5 - -Автор / группа: Анастасия Владимирцева, БВТ2301. -Целевая оценка: 5. Трек: 1 «Цена наблюдаемости». - -В мессенджер с API-репликами, PostgreSQL, S3 и фоновым конвейером добавлена -наблюдаемость: OpenTelemetry SDK → Collector → Prometheus/Loki/Tempo → Grafana. -По загрузке доступна сквозная трасса API → relay → worker с retry; остановка -backend телеметрии сохраняет работу API и обработку вложений. - -Из lab5 сохранены бизнес-API, durable jobs/outbox, идемпотентность, роли S3, -worker, relay, cleaner и проверки отказов. В lab6 добавлены SDK-инструментация, -миграция контекста W3C, provisioning dashboard и источников, SLI/SLO, alerts и runbooks. - -Запуск из чистого clone описан в [REPORT.md](REPORT.md#запуск-из-чистого-clone). -Для старого Docker Desktop на macOS предусмотрен локальный Compose 5.6.1 -с закреплённой SHA-256: `sh tools/docker-compat/setup.sh`, затем -`export PATH="$PWD/tools/docker-compat:$PATH"`. Основные команды: - -```sh -make install -make env -make up -make test -make telemetry-check -make alerts-test -python3 tools/audit_incidents.py -make trace-chain -make telemetry-outage -make stop -``` - -Исследование: пять вариантов off/full/head/tail/balanced × три повтора, -одинаковая открытая нагрузка, метка -[`baseline-after-restart`](evidence/telemetry-cost/baseline-after-restart/summary.md). -15/15 прогонов без flags, host_warnings и наблюдаемых потерь; исходный код -совпадает с хешем паспорта. T1 и T3 опровергнуты, T2 и T4–T7 подтверждены. -Все критерии S1–S5 balanced выполнены: сохранены 84/84 трасс 500, 99/99 -медленных записей и 42/42 цепочек failed; span Tempo — 5,1 % full, -ряды Prometheus — 10 % full. CPU balanced близок к full (+9 % к off); -head уменьшает надбавку CPU вдвое и теряет большую часть редких трасс. - -Проверки и доказательства: - -- [Подготовка и unit/selftest](evidence/tests/host-preflight-20261116.txt). -- [178 isolated, 34 fault, 22/22 telemetry](evidence/tests/host-stand-20261116.txt). -- [Финальные проверки после исследования](evidence/tests/final-check-20261116.txt). -- [Трасса с retry](evidence/telemetry/trace-chain.txt), - [alerts firing/resolved](evidence/alerts/alerts-check.txt), - [отказ Tempo](evidence/telemetry/outage.txt). -- [Полный отчёт и таблица критериев](REPORT.md). - -Ограничения: один хост, 140 с нагрузки за прогон, три повтора и одна интенсивность; -PostgreSQL профиля адаптирован до 1 CPU под машину с 10 ядрами до измерений. -SLI ready/30 с условен по успешным вложениям; failed и ожидающие задания -контролируются другими сигналами. Дополнительные ограничения SDK и сохранённого -бизнес-кода перечислены в [KNOWN_ISSUES.md](KNOWN_ISSUES.md). - -Источники: документация OpenTelemetry, W3C Trace Context, Prometheus, Loki, -Tempo, Grafana и материалы задания. ИИ использовался при разработке и подготовке -текста; числа и выводы подтверждены командами и сохранёнными результатами. - -- [x] Возможности текущей и предыдущей лабораторных проверены; ограничения объявлены. -- [x] Контракт, README задания и публичные tests не изменены и не ослаблены. -- [x] make check и make test выполнены; реальный вывод приложен. -- [x] Сценарии отказов и безопасности выбранного уровня воспроизведены. -- [x] Локальный .env и кэш инструментов исключены из Git; секреты в отчёт не вставлялись. -- [x] REPORT.md содержит инструкцию именно этого решения и результаты исследования. diff --git a/REPORT.md b/REPORT.md index c4571b3..9c23f0b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,7 +2,7 @@ - Автор, группа: Владимирцева, БВТ2301 - Целевая оценка; выбранный трек 5, если нужен: «5», трек 1 «Цена наблюдаемости» -- Commit/PR: локальное решение поверх `main@470d9d6`; измеренный код — по `src_sha256` ниже +- Commit/PR: [ветка решения `solution/bvt2301-vladimirceva`](https://gitea.privcloud.tech/Anastasia_Vladimirceva/mtusi2026lab6-vladimirceva/src/branch/solution/bvt2301-vladimirceva); коммит приложения `4f4e07a`, измеренный код — по `src_sha256` ниже - Использованные источники, библиотеки и помощь ИИ: см. последний раздел ## Запуск из чистого clone @@ -206,44 +206,55 @@ worker `attachment processed` с `trace_id` задания. ## Разбор двух инцидентов -Оба снимаются `make alerts-check` (`evidence/alerts/alerts-check.txt`); ищем причину только по -сохранённым наблюдениям. +Повторено на машине замеров 20 ноября 2026 командой +`python3 tools/audit_incidents.py` после `make up`. Сценарий выполняет alerts-check +и сохраняет реальные снимки Tempo и связанные строки Loki в момент отказа и восстановления. +[Вывод команд и деревья трасс](evidence/telemetry/submission-review-20261120.txt): +alerts-check **6/6**, дополнительные проверки диагностики **7/7**. +Исторические тайминги серии 15 ноября сохранены в исходных файлах evidence отдельно. -**Инцидент 1. Остановлен worker.** Задания копятся, пользователи видят вложения `queued`. -- Метрики: на панелях «Oldest unfinished job age» и «Job queue depth» возраст растёт, глубина - держится на 3; `MessengerQueueLagGrowing` перешёл в `pending` на 90 с и в `firing` на 151 с - (backlog 3, старейшее 129 с). Время ответов API нормальное, доля 5xx нулевая, значит - принимает API, а не обрабатывает worker. -- Сопутствующие метрики: счётчик доставок `messenger_job_duration_seconds_count{job="messenger-worker"}` - не растёт, у `messenger_relay_jobs_total` публикации идут — причина на стороне потребителя, - не брокера и не БД (пул без ожидающих). -- Трасса: у новой загрузки есть server span и producer span relay, а consumer span нет — - сообщение опубликовано, но никто не взял. -- Лог: строки `attachment processed` перестали появляться, у relay видны публикации. -- Восстановление: `docker compose start worker`; через 25 с очередь 3 → 0, alert `inactive`. +**Инцидент 1. Остановлен worker.** Три загрузки приняты с 202, задания остаются в очереди. -**Инцидент 2. Блокировка таблицы `sessions`.** Каждый аутентифицированный запрос ждёт -блокировку до `statement_timeout`, затем 503. -- Метрики: доля 5xx выросла (0,43), статусы 503 × 96 против 200 × 6; `MessengerHighErrorRate`: - `pending` на 65 с, `firing` на 126 с. Пул — 4 занятых соединения, ожидающих 0: соединений - хватает, соединения заняты запросами, которые ждут блокировку, а не пул исчерпан. -- Трасса: открываем трассу запроса с 503 — ожидаем server span с ошибкой и долгий дочерний span - `postgresql`: время уходит в БД, а не в приложение, S3 или кэш. -- Лог: строка доступа API `-> 503` несёт `trace_id` этой трассы; текстов запросов и SQL в - журнале нет, причина определяется по типу и длительности span. -- Восстановление: блокировка снята, через 65 с alert `inactive`, `200 × 1220`. +- Метрики: `MessengerQueueLagGrowing` pending на 90 с, firing на 150 с; + backlog 3, старейшее задание 144 с. После запуска worker очередь 3 → 0, + через 25 с alert inactive (resolved). +- Трасса `5abc3f9fb065793d443f35331bf823b7`: во время отказа server span загрузки + длится 13,6 мс, есть producer relay `publish messenger.attachment-jobs`, consumer отсутствует. + Значит запрос принят и опубликован; обработка потребителем ещё не началась. +- Лог Loki с тем же trace_id: `POST …/attachments -> 202 (13.5 ms)` и + `attachment accepted`. После восстановления в той же трассе появился consumer + worker с outcome=ready (130,3 мс), а в Loki — `attachment processed`, attempt=1, + variants=3. Наблюдения связывают приём, ожидание и обработку одного задания. -**Инцидент 3. Недоступен Tempo.** Это отказ самой телеметрии (`make telemetry-outage`, -`evidence/telemetry/outage.txt`): за 120 с без Tempo — 1178 ответов 200 на `GET /users/me`, -11 из 11 загрузок дошли до `ready`, пик памяти Collector 63 МиБ из 256, очередь экспорта пик -2060 из 20 000, потеряно 128 span (видно в `otelcol_exporter_send_failed_spans` и -`enqueue_failed_spans`), после возврата Tempo очередь 37 и экспорт возобновился. Метрики и журнал в -это время продолжали работать — отказал только сигнал трасс. +**Инцидент 2. Блокировка таблицы sessions.** Четыре клиента запрашивают users/me; +запросы ждут в БД и завершаются 503 по statement_timeout. + +- Метрики: `MessengerHighErrorRate` pending на 80 с, firing на 140 с; + доля 5xx 1,00, статусы 503 × 104 и 200 × 4, пул — 4 занятых соединения, + ожидающих 0. Это не исчерпание пула. +- Трасса `5390f80c0e4a6a0c82ef45412f1ecb43`: server span + `GET /api/v1/users/me` — 5006,6 мс, дочерний `postgresql read` — 5005,3 мс; + оба ERROR. Почти всё серверное время занято операцией PostgreSQL, что позволяет + отличить медленную БД от вычислений в HTTP handler. +- Лог с этим trace_id: `GET /api/v1/users/me -> 503 (5006.3 ms)` и + `database unavailable … canceling statement due to statement timeout`. + SQL-параметры и токен в записи не выводятся. +- Восстановление: после снятия блокировки через 70 с alert inactive; + в последнем окне наблюдения 1324 ответа 200, ответов 503 нет. + +**Инцидент 3. Недоступен Tempo.** Повторено `make telemetry-outage` на том же стенде: +за 120 с без Tempo API дал 1230 ответов 200, 11 из 11 загрузок дошли до ready. +Пик Collector — 64 МиБ из 256, пик очереди экспорта — 2110 из 20000 элементов; +сумма счётчиков send_failed + enqueue_failed — 152 span. После возврата Tempo +экспорт возобновился, очередь уменьшилась до 0. Проверка **5/5**, полный вывод — +в [свежем доказательстве](evidence/telemetry/submission-review-20261120.txt). +Это показатели Collector; отдельного счётчика потерь до него в SDK нет. ## Доказательства критериев -Команды запускались на машине разработки без нагрузки, 15 ноября 2026, код `src_sha256 -81c47ffc…`; шапка каждого файла `evidence/` содержит дату, окружение и команду повторения. +Базовые проверки сняты 15 ноября 2026 на машине разработки; нагрузка — 16 ноября +на машине замеров, проверка перед сдачей — 20 ноября. Код `src_sha256 81c47ffc…` +одинаков; шапка каждого файла содержит дату, окружение и команду повторения. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -262,11 +273,14 @@ worker `attachment processed` с `trace_id` задания. | Трек 1 «Цена наблюдаемости» | `make bench-telemetry TELEMETRY_LABEL=baseline-after-restart` | 15/15; T1, T3 опровергнуты; T2, T4–T7 подтверждены; S1–S5 выполнены; потерь и host_warnings нет | [summary.md](evidence/telemetry-cost/baseline-after-restart/summary.md), [meta.json](evidence/telemetry-cost/baseline-after-restart/meta.json) | | Перепроверка на машине замеров | unit-test, 5 selftest, test, telemetry-check, test-isolated, failure-checks | 38 unit; 178 isolated, все resilience 0; 34 fault; 22/22 telemetry | [подготовка](evidence/tests/host-preflight-20261116.txt), [стенды](evidence/tests/host-stand-20261116.txt) | | Финальные проверки | `make lint`, `make check`, `make test-isolated`, `make stop` | PASS, 178 passed, все resilience 0; своих работающих контейнеров нет | [final-check-20261116.txt](evidence/tests/final-check-20261116.txt) | +| Аудит перед сдачей, 20 ноября | smoke, telemetry-check, promtool, audit_incidents, trace-chain, telemetry-outage | PASS; 22/22, 7 правил SUCCESS, alerts 6/6, диагностика 7/7, retry 9/9, отказ Tempo 5/5 | [submission-review-20261120.txt](evidence/telemetry/submission-review-20261120.txt) | ## Эксперименты и отказы Цену телеметрии меряет трек 1 (раздел ниже: методика, гипотезы, критерии записаны до -замеров). Отказы проверены без нагрузки: +замеров). Таблица ниже — историческая серия 15 ноября; свежий повтор 20 ноября +описан выше и сохранён отдельным файлом. Сценарии отказов используют свой +контролируемый трафик и выполняются отдельно от исследовательского профиля: | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | diff --git a/evidence/AGENTS.md b/evidence/AGENTS.md index 278b40f..9b367c6 100644 --- a/evidence/AGENTS.md +++ b/evidence/AGENTS.md @@ -53,6 +53,11 @@ persistence, smoke, failover, рестарт брокера, лимиты рен | `tests/host-stand-20261116.txt` | smoke, telemetry 22/22, isolated 178 и все resilience 0, fault 34 | | `tests/final-check-20261116.txt` | финальные lint/check и isolated 178; все resilience 0, контейнеры остановлены | +Перед сдачей 20 ноября: `telemetry/submission-review-20261120.txt` — свежие +smoke, telemetry 22/22, promtool 7 правил, alerts 6/6 с реальными трассами +и логами (диагностика 7/7), trace-chain 9/9, outage 5/5. Код приложения +совпадает с измеренной меткой; исторические результаты 15–16 ноября сохранены. + Поменялось показанное поведение — перезапусти проверку и обнови файл целиком, вместе с датой. diff --git a/evidence/telemetry/submission-review-20261120.txt b/evidence/telemetry/submission-review-20261120.txt new file mode 100644 index 0000000..1a09db5 --- /dev/null +++ b/evidence/telemetry/submission-review-20261120.txt @@ -0,0 +1,196 @@ +# Доказывает: готовность уровней 3–4, диагностика двух отказов по реальным +# трассам/логам, retry и ограниченное поведение при недоступном Tempo. +# Дата UTC: 2026-11-20; ОС macOS 26.6.2 arm64, Docker 28.0.4, +# Compose 5.6.1; Python хоста и окружения проверок 3.13.7. +# Стенд: рабочий проект vladimirceva-lab6, LB 127.0.0.1:8080; +# перед началом других работающих контейнеров не было. +# Код приложения: src_sha256 81c47ffceeb40acc6f333a9265a15480b3e13e2cb53b2e2229e5fa7391bd0b7a +# Подготовка: sh tools/docker-compat/setup.sh; +# export PATH="$PWD/tools/docker-compat:$PATH"; make up. +# Здесь явно разделены два запуска: первый — smoke/telemetry/promtool, +# второй — подтверждённый audit-incidents, trace-chain и telemetry-outage. +# Первая версия нового аудиторского скрипта ошибочно сравнивала строковый +# intValue из JSON Tempo с числом: audit-incidents FAIL (4/7), при этом +# alerts-check PASS (6/6). Разбор типа исправлен, приложение не менялось; +# ниже приведён повтор с audit-incidents PASS (7/7). Первый журнал сохранён +# в /private/tmp/lab6-submission-audit-20261120.log. +# Пробелы в конце строк вывода удалены; значения и порядок строк сохранены. +# ... строки сборки/старта/остановки контейнеров опущены. Технические ID +# относятся только к синтетическим данным. Секреты/пароли/токены не выводились. + +$ make test +$ make telemetry-check +$ make alerts-test +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. +python3 scripts/lab6.py telemetry-check --base-url "http://localhost:8080" +PASS grafana /api/health: status 200 +PASS datasources provisioned: ['logs', 'metrics', 'traces'] +PASS dashboard messenger-lab6 provisioned: status 200, panels 26 +PASS controlled request GET /api/v1/users/me: status 200, X-Request-Id tcheck-3cffbfdd-me +PASS upload accepted: status 202 +PASS attachment ready: ready +PASS message with attachment: status 201 +PASS API trace found by request id: caf39580633effcd01941f9f45654c5a +PASS server span with route template: 2 spans: GET /api/v1/users/me, postgresql read +PASS no spans from FastAPI native telemetry: [] +PASS API log record in Loki with the same trace_id: GET /api/v1/users/me -> 200 (1.0 ms) +PASS API stdout line carries the same trace_id: 2026-11-20T11:13:01.414Z INFO src.http [rid=tcheck-3cffbfdd-me] GET /api/v1/users/me -> 200 (1.0 ms) trace_id=caf39580633effcd01941f9f456 +PASS upload trace has PostgreSQL and S3 child spans: POST /api/v1/chats/{chat_id}/attachments, S3 get_object, S3 put_object, postgresql read, postgresql transaction, process messenger.attachment-jobs, publish messenger.attachment-jobs, render variants +PASS worker consumer span with outcome ready: POST /api/v1/chats/{chat_id}/attachments, S3 get_object, S3 put_object, postgresql read, postgresql transaction, process messenger.attachment-jobs, publish messenger.attachment-jobs, render variants +PASS worker log 'attachment processed' with the job trace_id: attachment processed attachment_id=a892c56a-af35-4441-a509-702c4045deac job_id=1b115b67-2e4a-4cec-af +PASS HTTP duration histogram (API): count 3 +PASS job duration histogram (worker, ready): count 2 +PASS relay published counter: 2 +PASS resource attributes (target_info): messenger-api@0.6.0/lab, messenger-relay@0.6.0/lab, messenger-worker@0.6.0/lab +PASS HTTP histogram has a single source: rate 0 +PASS metric labels without ids, raw URLs and filenames: 35 series +PASS no password, token, message text, filename or Authorization in telemetry: 84 log records, 44201 bytes of traces +telemetry-check: PASS (22/22 checks) +docker run --rm -v "<репозиторий>/infra/otel/prometheus:/rules:ro" -w /rules \ + --entrypoint promtool prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 check rules rules.yml +Checking rules.yml + SUCCESS: 7 rules found + +docker run --rm -v "<репозиторий>/infra/otel/prometheus:/rules:ro" -w /rules \ + --entrypoint promtool prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 test rules rules.test.yml + SUCCESS + +# Подтверждённый повтор диагностики после исправления формата атрибута: +$ python3 tools/audit_incidents.py +PASS alert rules loaded in Prometheus: MessengerHighErrorRate, MessengerQueueLagGrowing, MessengerTelemetryTargetDown +(a) worker stopped: oldest job age grows +PASS 3 uploads accepted with worker stopped + 0 s MessengerQueueLagGrowing: inactive + 90 s MessengerQueueLagGrowing: pending + 150 s MessengerQueueLagGrowing: firing +PASS worker stopped: producer exists, consumer absent +DIAGNOSTIC worker stopped trace_id=5abc3f9fb065793d443f35331bf823b7 + messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 13.6 ms + messenger-api: postgresql read [client] 0.5 ms + messenger-api: postgresql read [client] 5.9 ms + messenger-api: postgresql transaction [client] 0.8 ms + messenger-api: S3 put_object [client] 2.2 ms + messenger-api: postgresql transaction [client] 1.6 ms + messenger-relay: publish messenger.attachment-jobs [producer] 3.6 ms attempt=1 +PASS incident log linked to trace: messenger-api + Loki trace_id=5abc3f9fb065793d443f35331bf823b7: attachment accepted attachment_id=018c64c5-4259-4ae1-92eb-986da064bd19 chat_id=0bd78a71-9737-42ac-bca0-e115ca6f860d size=111817 content_type=image/png width=320 height=200 waited=0ms took=12ms + Loki trace_id=5abc3f9fb065793d443f35331bf823b7: POST /api/v1/chats/0bd78a71-9737-42ac-bca0-e115ca6f860d/attachments -> 202 (13.5 ms) +PASS MessengerQueueLagGrowing firing: after 150 s; backlog 3 jobs, oldest 144 s + 0 s MessengerQueueLagGrowing: firing + 25 s MessengerQueueLagGrowing: inactive +PASS worker restored: same trace has ready consumer +DIAGNOSTIC worker restored trace_id=5abc3f9fb065793d443f35331bf823b7 + messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 13.6 ms + messenger-api: postgresql read [client] 0.5 ms + messenger-api: postgresql read [client] 5.9 ms + messenger-api: postgresql transaction [client] 0.8 ms + messenger-api: S3 put_object [client] 2.2 ms + messenger-api: postgresql transaction [client] 1.6 ms + messenger-relay: publish messenger.attachment-jobs [producer] 3.6 ms attempt=1 + messenger-worker: process messenger.attachment-jobs [consumer] 130.3 ms attempt=1 outcome=ready + messenger-worker: postgresql transaction [client] 1.1 ms + messenger-worker: S3 get_object [client] 1.1 ms + messenger-worker: render variants [client] 119.9 ms + messenger-worker: S3 put_object [client] 2.2 ms + messenger-worker: S3 put_object [client] 1.1 ms + messenger-worker: S3 put_object [client] 0.9 ms + messenger-worker: S3 put_object [client] 1.0 ms + messenger-worker: postgresql transaction [client] 2.3 ms +PASS incident log linked to trace: messenger-worker + Loki trace_id=5abc3f9fb065793d443f35331bf823b7: attachment processed attachment_id=018c64c5-4259-4ae1-92eb-986da064bd19 job_id=19888d1f-5cc0-48d5-b292-628d69254cdb attempt=1 variants=3 render_peak_kib=106976 took=130ms waited=155766ms +PASS worker started: backlog drained, alert resolved: after 25 s; backlog 3 -> 0 + phase (a): 181 s +(b) sessions table locked: authenticated requests wait and get 503 + baseline statuses: {200: 188} + 0 s MessengerHighErrorRate: inactive + 80 s MessengerHighErrorRate: pending + 140 s MessengerHighErrorRate: firing +PASS DB incident: real 503 trace with slow SQL span +PASS DB span explains at least 90% of server latency: server=5006.6 ms SQL=5005.3 ms +DIAGNOSTIC database locked trace_id=5390f80c0e4a6a0c82ef45412f1ecb43 + messenger-api: GET /api/v1/users/me [server] 5006.6 ms ERROR + messenger-api: postgresql read [client] 5005.3 ms ERROR +PASS incident log linked to trace: messenger-api + Loki trace_id=5390f80c0e4a6a0c82ef45412f1ecb43: GET /api/v1/users/me -> 503 (5006.3 ms) + Loki trace_id=5390f80c0e4a6a0c82ef45412f1ecb43: database unavailable error_type=DBAPIError error=(sqlalchemy.dialects.postgresql.asyncpg.Error) canceling statement due to statement timeout [SQL: SELECT sessions.id AS session_id, users.id, users.username, users.display_name, users.created_at FROM sessions JOIN users ON sessions.user_id = users.id WHERE sessions.token_hash = $1::BYTEA AND session +PASS MessengerHighErrorRate firing: after 140 s; 5xx ratio 1.00, pool used 4, waiting 0; statuses {200: 4, 503: 104} + statuses around release: {200: 152} + 0 s MessengerHighErrorRate: firing + 70 s MessengerHighErrorRate: inactive +PASS lock released: errors stopped, alert resolved: after 70 s; statuses after release {200: 1324} + phase (b): 229 s +alerts-check: PASS (6/6 checks, 410 s) +audit-incidents: PASS (7/7 checks) + +$ make trace-chain +python3 scripts/lab6.py trace-chain --base-url "http://localhost:8080" +PASS upload accepted, worker stopped: status 202 +attachment_id=b5406cc0-26b9-487c-a1f3-776d9fb0f870 +PASS attempt 1 failed (S3 stopped), job back to queued: 1 queued s3_read +PASS attachment ready on a later attempt: ready +job: 2 ready - +PASS one trace for the upload in Tempo: trace ids found: 1 +trace_id=2ce706fcd77da347c027ddfbf1e82d08 (Grafana → Explore → Tempo → 2ce706fcd77da347c027ddfbf1e82d08) + messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 24.9 ms + messenger-api: postgresql read [client] 0.7 ms + messenger-api: postgresql read [client] 0.7 ms + messenger-api: postgresql transaction [client] 2.8 ms + messenger-api: S3 put_object [client] 7.6 ms + messenger-api: postgresql transaction [client] 6.9 ms + messenger-relay: publish messenger.attachment-jobs [producer] 2.9 ms attempt=1 + messenger-worker: process messenger.attachment-jobs [consumer] 149.9 ms attempt=1 outcome=retry + messenger-worker: postgresql transaction [client] 15.9 ms + messenger-worker: S3 get_object [client] 126.7 ms ERROR + messenger-worker: postgresql transaction [client] 3.3 ms + messenger-relay: publish messenger.attachment-jobs [producer] 2.4 ms attempt=2 + messenger-worker: process messenger.attachment-jobs [consumer] 160.0 ms attempt=2 outcome=ready + messenger-worker: postgresql transaction [client] 14.9 ms + messenger-worker: S3 get_object [client] 5.6 ms + messenger-worker: render variants [client] 125.9 ms + messenger-worker: S3 put_object [client] 3.0 ms + messenger-worker: S3 put_object [client] 1.1 ms + messenger-worker: S3 put_object [client] 0.8 ms + messenger-worker: S3 put_object [client] 1.0 ms + messenger-worker: postgresql transaction [client] 3.5 ms +PASS root: API server span of the upload: POST /api/v1/chats/{chat_id}/attachments +PASS relay producer spans are children of the upload span: 2 publish spans +PASS worker consumer spans are children of the producer of the same attempt: attempts [1, 2] +PASS attempt 1 outcome retry in the same trace: retry +PASS ready attempt reaches S3 and PostgreSQL: S3 get_object, S3 put_object, postgresql transaction, render variants +trace-chain: PASS (9/9 checks, 34 s) + +$ make telemetry-outage +python3 scripts/lab6.py telemetry-outage --base-url "http://localhost:8080" \ + --seconds 120 +before: collector 64 MiB, spans lost so far 0 +PASS API answers during 120 s without Tempo: GET /users/me statuses {200: 1230} +PASS uploads accepted and processed without Tempo: 11 uploads, ready 11 +PASS Collector memory bounded: peak 64 MiB of 256 MiB limit; export queue peak 2110 of 20000 items +PASS lost spans are counted by the Collector: 152 spans (send_failed + enqueue_failed, otlp_http/tempo) +PASS Tempo back: export resumes, queue drained: queue now 0 items +telemetry-outage: PASS (5/5 checks, 157 s) + +# Итог: smoke PASS; telemetry-check 22/22; promtool 7 правил и SUCCESS; +# alerts 6/6 и реальные диагностические снимки 7/7; trace-chain 9/9; +# telemetry-outage 5/5. Сервисы восстановлены сценариями и остановлены make stop. + +# Повтор после уточнения подписей SLO в Grafana (тот же день): +$ make lint +$ make check +$ make up +$ make telemetry-check +$ make alerts-test +# ... индивидуальные пункты telemetry-check и запуск/остановка контейнеров опущены. +uv run ruff format --check . +137 files already formatted +uv run ruff check . +All checks passed! +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +telemetry-check: PASS (22/22 checks) + SUCCESS: 7 rules found + SUCCESS + +# Сигналы, PromQL и конфигурации измеренных вариантов совпадают с паспортом. +# Для повторения двух инцидентов: python3 tools/audit_incidents.py после make up.