docs: finalize lab 6 audit and untrack MR drafts

This commit is contained in:
2026-11-20 14:44:28 +03:00
parent 4f4e07a453
commit 9d1d32515b
6 changed files with 261 additions and 147 deletions
+12 -3
View File
@@ -31,6 +31,14 @@ T2 и T4–T7 подтверждены, S1–S5 выполнены. Таблиц
`tools/docker-compat/` (Compose 5.6.1, см. отчёт). Гипотезы и пороги
записаны до замеров и не переписывались. Рабочая конфигурация — full.
**Аудит перед сдачей (20 ноября 2026).** Пользователь опубликовал решение
`4f4e07a` в `solution/bvt2301-vladimirceva`. Отчёт уточнён по реальному
окружению и условному SLI ready; в Grafana уточнены только подписи SLO.
Повторены smoke, telemetry 22/22, promtool 7 правил, alerts 6/6,
диагностика по реальным Tempo/Loki 7/7, retry 9/9 и outage 5/5:
`evidence/telemetry/submission-review-20261120.txt`. Хеш приложения и
конфигурации измеренных вариантов совпадают с паспортом 16 ноября.
Стек: Python 3.13, FastAPI, uvicorn, pydantic v2, SQLAlchemy Core 2.1 +
asyncpg, alembic, argon2-cffi, redis-py, aiobotocore 3.x, aio-pika 10,
Pillow 12 (только в процессе рендера), OpenTelemetry API/SDK/OTLP-HTTP 1.45;
@@ -156,9 +164,10 @@ wipe`) и **навыки** `.agents/skills/`: `lab6-bench` (замеры тре
| `make bench-telemetry [TELEMETRY_LABEL=…]` / `make bench-telemetry-quick` | трек 1 «Цена наблюдаемости» (`bench/RUNBOOK.md`); `quick-*` в отчёт не идут |
| `make bench-queue [QUEUE_LABEL=…]`, `bench-uploads`, `bench-reconcile`, `bench-failover`, `bench-rollout`, `bench-scaling` | профили лаб 3–5 (сохранены, в лабе 6 не обязательны) |
Проверки ходят на `http://localhost:8180` (HAProxy). Внешние порты в
`.env`: `HOST_PORT` (8180), `POSTGRES_HOST_PORT` (5533), `VALKEY_HOST_PORT` (6480),
`S3_HOST_PORT` (8434), `BROKER_HOST_PORT` (5773), `GRAFANA_HOST_PORT` (3180);
Проверки ходят через HAProxy, по умолчанию `http://localhost:8080`.
Порты чистой `.env.example`: `HOST_PORT` (8080), `POSTGRES_HOST_PORT` (5433),
`VALKEY_HOST_PORT` (6380), `S3_HOST_PORT` (8334), `BROKER_HOST_PORT` (5673),
`GRAFANA_HOST_PORT` (3180); машина разработки использовала LB 8180.
порты Collector, Prometheus, Loki, Tempo наружу не публикуются; разовая
подмена — `make test BASE_URL=http://localhost:8190`. Тесты против рабочего стенда
оставляют данные; чистый прогон — `make test-isolated`.
-42
View File
@@ -1,42 +0,0 @@
# Публикация решения лабораторной 6
Выполнить из терминала один раз. Локальная ветка сейчас `main`, ветка решения ещё не создана.
Имя и email автора Git уже настроены.
```sh
cd "/Users/anastasia/Высоконагруженные/mtusi2026lab6-vladimirceva/mtusi2026lab6-vladimirceva"
git switch -c solution/bvt2301-vladimirceva
git add --all
git diff --cached --check
git diff --cached --stat
git commit -m "feat: implement lab 6 observability and telemetry cost research"
git push -u origin solution/bvt2301-vladimirceva
```
Если ветка уже была создана, вместо команды `git switch -c ...` использовать
`git switch solution/bvt2301-vladimirceva`.
Скопировать подготовленное описание MR в буфер обмена macOS и открыть исходный репозиторий:
```sh
pbcopy < MR_DESCRIPTION.md
open "https://gitea.privcloud.tech/mtusi2026/mtusi2026lab6"
```
В Gitea открыть создание Pull Request (MR) и выбрать:
| Поле | Значение |
| --- | --- |
| Целевой репозиторий | `mtusi2026/mtusi2026lab6` |
| Базовая ветка | `main` |
| Репозиторий-источник | `Anastasia_Vladimirceva/mtusi2026lab6-vladimirceva` |
| Ветка-источник | `solution/bvt2301-vladimirceva` |
| Заголовок | `ЛР 6 — БВТ2301 — Владимирцева — на 5` |
| Описание | Содержимое `MR_DESCRIPTION.md` (уже скопировано командой pbcopy) |
Проверить вкладку изменённых файлов и создать запрос преподавателю.
Сохранённые результаты измерений включаются в коммит; `.env`, `.venv`, `.local-tools`
и самопроверочные метки `quick-*` исключены правилами Git.
Репозиторий-источник подтверждён как fork указанного репозитория преподавателя;
обе исходные ветки `main` на момент аудита указывают на skeleton `470d9d6`.
-68
View File
@@ -1,68 +0,0 @@
# ЛР 6 — БВТ2301 — Владимирцева — на 5
Автор / группа: Анастасия Владимирцева, БВТ2301.
Целевая оценка: 5. Трек: 1 «Цена наблюдаемости».
В мессенджер с API-репликами, PostgreSQL, S3 и фоновым конвейером добавлена
наблюдаемость: OpenTelemetry SDK → Collector → Prometheus/Loki/Tempo → Grafana.
По загрузке доступна сквозная трасса API → relay → worker с retry; остановка
backend телеметрии сохраняет работу API и обработку вложений.
Из lab5 сохранены бизнес-API, durable jobs/outbox, идемпотентность, роли S3,
worker, relay, cleaner и проверки отказов. В lab6 добавлены SDK-инструментация,
миграция контекста W3C, provisioning dashboard и источников, SLI/SLO, alerts и runbooks.
Запуск из чистого clone описан в [REPORT.md](REPORT.md#запуск-из-чистого-clone).
Для старого Docker Desktop на macOS предусмотрен локальный Compose 5.6.1
с закреплённой SHA-256: `sh tools/docker-compat/setup.sh`, затем
`export PATH="$PWD/tools/docker-compat:$PATH"`. Основные команды:
```sh
make install
make env
make up
make test
make telemetry-check
make alerts-test
python3 tools/audit_incidents.py
make trace-chain
make telemetry-outage
make stop
```
Исследование: пять вариантов off/full/head/tail/balanced × три повтора,
одинаковая открытая нагрузка, метка
[`baseline-after-restart`](evidence/telemetry-cost/baseline-after-restart/summary.md).
15/15 прогонов без flags, host_warnings и наблюдаемых потерь; исходный код
совпадает с хешем паспорта. T1 и T3 опровергнуты, T2 и T4–T7 подтверждены.
Все критерии S1–S5 balanced выполнены: сохранены 84/84 трасс 500, 99/99
медленных записей и 42/42 цепочек failed; span Tempo — 5,1 % full,
ряды Prometheus — 10 % full. CPU balanced близок к full (+9 % к off);
head уменьшает надбавку CPU вдвое и теряет большую часть редких трасс.
Проверки и доказательства:
- [Подготовка и unit/selftest](evidence/tests/host-preflight-20261116.txt).
- [178 isolated, 34 fault, 22/22 telemetry](evidence/tests/host-stand-20261116.txt).
- [Финальные проверки после исследования](evidence/tests/final-check-20261116.txt).
- [Трасса с retry](evidence/telemetry/trace-chain.txt),
[alerts firing/resolved](evidence/alerts/alerts-check.txt),
[отказ Tempo](evidence/telemetry/outage.txt).
- [Полный отчёт и таблица критериев](REPORT.md).
Ограничения: один хост, 140 с нагрузки за прогон, три повтора и одна интенсивность;
PostgreSQL профиля адаптирован до 1 CPU под машину с 10 ядрами до измерений.
SLI ready/30 с условен по успешным вложениям; failed и ожидающие задания
контролируются другими сигналами. Дополнительные ограничения SDK и сохранённого
бизнес-кода перечислены в [KNOWN_ISSUES.md](KNOWN_ISSUES.md).
Источники: документация OpenTelemetry, W3C Trace Context, Prometheus, Loki,
Tempo, Grafana и материалы задания. ИИ использовался при разработке и подготовке
текста; числа и выводы подтверждены командами и сохранёнными результатами.
- [x] Возможности текущей и предыдущей лабораторных проверены; ограничения объявлены.
- [x] Контракт, README задания и публичные tests не изменены и не ослаблены.
- [x] make check и make test выполнены; реальный вывод приложен.
- [x] Сценарии отказов и безопасности выбранного уровня воспроизведены.
- [x] Локальный .env и кэш инструментов исключены из Git; секреты в отчёт не вставлялись.
- [x] REPORT.md содержит инструкцию именно этого решения и результаты исследования.
+48 -34
View File
@@ -2,7 +2,7 @@
- Автор, группа: Владимирцева, БВТ2301
- Целевая оценка; выбранный трек 5, если нужен: «5», трек 1 «Цена наблюдаемости»
- Commit/PR: локальное решение поверх `main@470d9d6`; измеренный код — по `src_sha256` ниже
- Commit/PR: [ветка решения `solution/bvt2301-vladimirceva`](https://gitea.privcloud.tech/Anastasia_Vladimirceva/mtusi2026lab6-vladimirceva/src/branch/solution/bvt2301-vladimirceva); коммит приложения `4f4e07a`, измеренный код — по `src_sha256` ниже
- Использованные источники, библиотеки и помощь ИИ: см. последний раздел
## Запуск из чистого clone
@@ -206,44 +206,55 @@ worker `attachment processed` с `trace_id` задания.
## Разбор двух инцидентов
Оба снимаются `make alerts-check` (`evidence/alerts/alerts-check.txt`); ищем причину только по
сохранённым наблюдениям.
Повторено на машине замеров 20 ноября 2026 командой
`python3 tools/audit_incidents.py` после `make up`. Сценарий выполняет alerts-check
и сохраняет реальные снимки Tempo и связанные строки Loki в момент отказа и восстановления.
[Вывод команд и деревья трасс](evidence/telemetry/submission-review-20261120.txt):
alerts-check **6/6**, дополнительные проверки диагностики **7/7**.
Исторические тайминги серии 15 ноября сохранены в исходных файлах evidence отдельно.
**Инцидент 1. Остановлен worker.** Задания копятся, пользователи видят вложения `queued`.
- Метрики: на панелях «Oldest unfinished job age» и «Job queue depth» возраст растёт, глубина
держится на 3; `MessengerQueueLagGrowing` перешёл в `pending` на 90 с и в `firing` на 151 с
(backlog 3, старейшее 129 с). Время ответов API нормальное, доля 5xx нулевая, значит
принимает API, а не обрабатывает worker.
- Сопутствующие метрики: счётчик доставок `messenger_job_duration_seconds_count{job="messenger-worker"}`
не растёт, у `messenger_relay_jobs_total` публикации идут — причина на стороне потребителя,
не брокера и не БД (пул без ожидающих).
- Трасса: у новой загрузки есть server span и producer span relay, а consumer span нет —
сообщение опубликовано, но никто не взял.
- Лог: строки `attachment processed` перестали появляться, у relay видны публикации.
- Восстановление: `docker compose start worker`; через 25 с очередь 3 → 0, alert `inactive`.
**Инцидент 1. Остановлен worker.** Три загрузки приняты с 202, задания остаются в очереди.
**Инцидент 2. Блокировка таблицы `sessions`.** Каждый аутентифицированный запрос ждёт
блокировку до `statement_timeout`, затем 503.
- Метрики: доля 5xx выросла (0,43), статусы 503 × 96 против 200 × 6; `MessengerHighErrorRate`:
`pending` на 65 с, `firing` на 126 с. Пул — 4 занятых соединения, ожидающих 0: соединений
хватает, соединения заняты запросами, которые ждут блокировку, а не пул исчерпан.
- Трасса: открываем трассу запроса с 503 — ожидаем server span с ошибкой и долгий дочерний span
`postgresql`: время уходит в БД, а не в приложение, S3 или кэш.
- Лог: строка доступа API `-> 503` несёт `trace_id` этой трассы; текстов запросов и SQL в
журнале нет, причина определяется по типу и длительности span.
- Восстановление: блокировка снята, через 65 с alert `inactive`, `200 × 1220`.
- Метрики: `MessengerQueueLagGrowing` pending на 90 с, firing на 150 с;
backlog 3, старейшее задание 144 с. После запуска worker очередь 3 → 0,
через 25 с alert inactive (resolved).
- Трасса `5abc3f9fb065793d443f35331bf823b7`: во время отказа server span загрузки
длится 13,6 мс, есть producer relay `publish messenger.attachment-jobs`, consumer отсутствует.
Значит запрос принят и опубликован; обработка потребителем ещё не началась.
- Лог Loki с тем же trace_id: `POST …/attachments -> 202 (13.5 ms)` и
`attachment accepted`. После восстановления в той же трассе появился consumer
worker с outcome=ready (130,3 мс), а в Loki — `attachment processed`, attempt=1,
variants=3. Наблюдения связывают приём, ожидание и обработку одного задания.
**Инцидент 3. Недоступен Tempo.** Это отказ самой телеметрии (`make telemetry-outage`,
`evidence/telemetry/outage.txt`): за 120 с без Tempo — 1178 ответов 200 на `GET /users/me`,
11 из 11 загрузок дошли до `ready`, пик памяти Collector 63 МиБ из 256, очередь экспорта пик
2060 из 20 000, потеряно 128 span (видно в `otelcol_exporter_send_failed_spans` и
`enqueue_failed_spans`), после возврата Tempo очередь 37 и экспорт возобновился. Метрики и журнал в
это время продолжали работать — отказал только сигнал трасс.
**Инцидент 2. Блокировка таблицы sessions.** Четыре клиента запрашивают users/me;
запросы ждут в БД и завершаются 503 по statement_timeout.
- Метрики: `MessengerHighErrorRate` pending на 80 с, firing на 140 с;
доля 5xx 1,00, статусы 503 × 104 и 200 × 4, пул — 4 занятых соединения,
ожидающих 0. Это не исчерпание пула.
- Трасса `5390f80c0e4a6a0c82ef45412f1ecb43`: server span
`GET /api/v1/users/me` — 5006,6 мс, дочерний `postgresql read` — 5005,3 мс;
оба ERROR. Почти всё серверное время занято операцией PostgreSQL, что позволяет
отличить медленную БД от вычислений в HTTP handler.
- Лог с этим trace_id: `GET /api/v1/users/me -> 503 (5006.3 ms)` и
`database unavailable … canceling statement due to statement timeout`.
SQL-параметры и токен в записи не выводятся.
- Восстановление: после снятия блокировки через 70 с alert inactive;
в последнем окне наблюдения 1324 ответа 200, ответов 503 нет.
**Инцидент 3. Недоступен Tempo.** Повторено `make telemetry-outage` на том же стенде:
за 120 с без Tempo API дал 1230 ответов 200, 11 из 11 загрузок дошли до ready.
Пик Collector — 64 МиБ из 256, пик очереди экспорта — 2110 из 20000 элементов;
сумма счётчиков send_failed + enqueue_failed — 152 span. После возврата Tempo
экспорт возобновился, очередь уменьшилась до 0. Проверка **5/5**, полный вывод —
в [свежем доказательстве](evidence/telemetry/submission-review-20261120.txt).
Это показатели Collector; отдельного счётчика потерь до него в SDK нет.
## Доказательства критериев
Команды запускались на машине разработки без нагрузки, 15 ноября 2026, код `src_sha256
81c47ffc…`; шапка каждого файла `evidence/` содержит дату, окружение и команду повторения.
Базовые проверки сняты 15 ноября 2026 на машине разработки; нагрузка — 16 ноября
на машине замеров, проверка перед сдачей — 20 ноября. Код `src_sha256 81c47ffc…`
одинаков; шапка каждого файла содержит дату, окружение и команду повторения.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
@@ -262,11 +273,14 @@ worker `attachment processed` с `trace_id` задания.
| Трек 1 «Цена наблюдаемости» | `make bench-telemetry TELEMETRY_LABEL=baseline-after-restart` | 15/15; T1, T3 опровергнуты; T2, T4–T7 подтверждены; S1–S5 выполнены; потерь и host_warnings нет | [summary.md](evidence/telemetry-cost/baseline-after-restart/summary.md), [meta.json](evidence/telemetry-cost/baseline-after-restart/meta.json) |
| Перепроверка на машине замеров | unit-test, 5 selftest, test, telemetry-check, test-isolated, failure-checks | 38 unit; 178 isolated, все resilience 0; 34 fault; 22/22 telemetry | [подготовка](evidence/tests/host-preflight-20261116.txt), [стенды](evidence/tests/host-stand-20261116.txt) |
| Финальные проверки | `make lint`, `make check`, `make test-isolated`, `make stop` | PASS, 178 passed, все resilience 0; своих работающих контейнеров нет | [final-check-20261116.txt](evidence/tests/final-check-20261116.txt) |
| Аудит перед сдачей, 20 ноября | smoke, telemetry-check, promtool, audit_incidents, trace-chain, telemetry-outage | PASS; 22/22, 7 правил SUCCESS, alerts 6/6, диагностика 7/7, retry 9/9, отказ Tempo 5/5 | [submission-review-20261120.txt](evidence/telemetry/submission-review-20261120.txt) |
## Эксперименты и отказы
Цену телеметрии меряет трек 1 (раздел ниже: методика, гипотезы, критерии записаны до
замеров). Отказы проверены без нагрузки:
замеров). Таблица ниже — историческая серия 15 ноября; свежий повтор 20 ноября
описан выше и сохранён отдельным файлом. Сценарии отказов используют свой
контролируемый трафик и выполняются отдельно от исследовательского профиля:
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
+5
View File
@@ -53,6 +53,11 @@ persistence, smoke, failover, рестарт брокера, лимиты рен
| `tests/host-stand-20261116.txt` | smoke, telemetry 22/22, isolated 178 и все resilience 0, fault 34 |
| `tests/final-check-20261116.txt` | финальные lint/check и isolated 178; все resilience 0, контейнеры остановлены |
Перед сдачей 20 ноября: `telemetry/submission-review-20261120.txt` — свежие
smoke, telemetry 22/22, promtool 7 правил, alerts 6/6 с реальными трассами
и логами (диагностика 7/7), trace-chain 9/9, outage 5/5. Код приложения
совпадает с измеренной меткой; исторические результаты 15–16 ноября сохранены.
Поменялось показанное поведение — перезапусти проверку и обнови файл
целиком, вместе с датой.
@@ -0,0 +1,196 @@
# Доказывает: готовность уровней 3–4, диагностика двух отказов по реальным
# трассам/логам, retry и ограниченное поведение при недоступном Tempo.
# Дата UTC: 2026-11-20; ОС macOS 26.6.2 arm64, Docker 28.0.4,
# Compose 5.6.1; Python хоста и окружения проверок 3.13.7.
# Стенд: рабочий проект vladimirceva-lab6, LB 127.0.0.1:8080;
# перед началом других работающих контейнеров не было.
# Код приложения: src_sha256 81c47ffceeb40acc6f333a9265a15480b3e13e2cb53b2e2229e5fa7391bd0b7a
# Подготовка: sh tools/docker-compat/setup.sh;
# export PATH="$PWD/tools/docker-compat:$PATH"; make up.
# Здесь явно разделены два запуска: первый — smoke/telemetry/promtool,
# второй — подтверждённый audit-incidents, trace-chain и telemetry-outage.
# Первая версия нового аудиторского скрипта ошибочно сравнивала строковый
# intValue из JSON Tempo с числом: audit-incidents FAIL (4/7), при этом
# alerts-check PASS (6/6). Разбор типа исправлен, приложение не менялось;
# ниже приведён повтор с audit-incidents PASS (7/7). Первый журнал сохранён
# в /private/tmp/lab6-submission-audit-20261120.log.
# Пробелы в конце строк вывода удалены; значения и порядок строк сохранены.
# ... строки сборки/старта/остановки контейнеров опущены. Технические ID
# относятся только к синтетическим данным. Секреты/пароли/токены не выводились.
$ make test
$ make telemetry-check
$ make alerts-test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
python3 scripts/lab6.py telemetry-check --base-url "http://localhost:8080"
PASS grafana /api/health: status 200
PASS datasources provisioned: ['logs', 'metrics', 'traces']
PASS dashboard messenger-lab6 provisioned: status 200, panels 26
PASS controlled request GET /api/v1/users/me: status 200, X-Request-Id tcheck-3cffbfdd-me
PASS upload accepted: status 202
PASS attachment ready: ready
PASS message with attachment: status 201
PASS API trace found by request id: caf39580633effcd01941f9f45654c5a
PASS server span with route template: 2 spans: GET /api/v1/users/me, postgresql read
PASS no spans from FastAPI native telemetry: []
PASS API log record in Loki with the same trace_id: GET /api/v1/users/me -> 200 (1.0 ms)
PASS API stdout line carries the same trace_id: 2026-11-20T11:13:01.414Z INFO src.http [rid=tcheck-3cffbfdd-me] GET /api/v1/users/me -> 200 (1.0 ms) trace_id=caf39580633effcd01941f9f456
PASS upload trace has PostgreSQL and S3 child spans: POST /api/v1/chats/{chat_id}/attachments, S3 get_object, S3 put_object, postgresql read, postgresql transaction, process messenger.attachment-jobs, publish messenger.attachment-jobs, render variants
PASS worker consumer span with outcome ready: POST /api/v1/chats/{chat_id}/attachments, S3 get_object, S3 put_object, postgresql read, postgresql transaction, process messenger.attachment-jobs, publish messenger.attachment-jobs, render variants
PASS worker log 'attachment processed' with the job trace_id: attachment processed attachment_id=a892c56a-af35-4441-a509-702c4045deac job_id=1b115b67-2e4a-4cec-af
PASS HTTP duration histogram (API): count 3
PASS job duration histogram (worker, ready): count 2
PASS relay published counter: 2
PASS resource attributes (target_info): messenger-api@0.6.0/lab, messenger-relay@0.6.0/lab, messenger-worker@0.6.0/lab
PASS HTTP histogram has a single source: rate 0
PASS metric labels without ids, raw URLs and filenames: 35 series
PASS no password, token, message text, filename or Authorization in telemetry: 84 log records, 44201 bytes of traces
telemetry-check: PASS (22/22 checks)
docker run --rm -v "<репозиторий>/infra/otel/prometheus:/rules:ro" -w /rules \
--entrypoint promtool prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 check rules rules.yml
Checking rules.yml
SUCCESS: 7 rules found
docker run --rm -v "<репозиторий>/infra/otel/prometheus:/rules:ro" -w /rules \
--entrypoint promtool prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 test rules rules.test.yml
SUCCESS
# Подтверждённый повтор диагностики после исправления формата атрибута:
$ python3 tools/audit_incidents.py
PASS alert rules loaded in Prometheus: MessengerHighErrorRate, MessengerQueueLagGrowing, MessengerTelemetryTargetDown
(a) worker stopped: oldest job age grows
PASS 3 uploads accepted with worker stopped
0 s MessengerQueueLagGrowing: inactive
90 s MessengerQueueLagGrowing: pending
150 s MessengerQueueLagGrowing: firing
PASS worker stopped: producer exists, consumer absent
DIAGNOSTIC worker stopped trace_id=5abc3f9fb065793d443f35331bf823b7
messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 13.6 ms
messenger-api: postgresql read [client] 0.5 ms
messenger-api: postgresql read [client] 5.9 ms
messenger-api: postgresql transaction [client] 0.8 ms
messenger-api: S3 put_object [client] 2.2 ms
messenger-api: postgresql transaction [client] 1.6 ms
messenger-relay: publish messenger.attachment-jobs [producer] 3.6 ms attempt=1
PASS incident log linked to trace: messenger-api
Loki trace_id=5abc3f9fb065793d443f35331bf823b7: attachment accepted attachment_id=018c64c5-4259-4ae1-92eb-986da064bd19 chat_id=0bd78a71-9737-42ac-bca0-e115ca6f860d size=111817 content_type=image/png width=320 height=200 waited=0ms took=12ms
Loki trace_id=5abc3f9fb065793d443f35331bf823b7: POST /api/v1/chats/0bd78a71-9737-42ac-bca0-e115ca6f860d/attachments -> 202 (13.5 ms)
PASS MessengerQueueLagGrowing firing: after 150 s; backlog 3 jobs, oldest 144 s
0 s MessengerQueueLagGrowing: firing
25 s MessengerQueueLagGrowing: inactive
PASS worker restored: same trace has ready consumer
DIAGNOSTIC worker restored trace_id=5abc3f9fb065793d443f35331bf823b7
messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 13.6 ms
messenger-api: postgresql read [client] 0.5 ms
messenger-api: postgresql read [client] 5.9 ms
messenger-api: postgresql transaction [client] 0.8 ms
messenger-api: S3 put_object [client] 2.2 ms
messenger-api: postgresql transaction [client] 1.6 ms
messenger-relay: publish messenger.attachment-jobs [producer] 3.6 ms attempt=1
messenger-worker: process messenger.attachment-jobs [consumer] 130.3 ms attempt=1 outcome=ready
messenger-worker: postgresql transaction [client] 1.1 ms
messenger-worker: S3 get_object [client] 1.1 ms
messenger-worker: render variants [client] 119.9 ms
messenger-worker: S3 put_object [client] 2.2 ms
messenger-worker: S3 put_object [client] 1.1 ms
messenger-worker: S3 put_object [client] 0.9 ms
messenger-worker: S3 put_object [client] 1.0 ms
messenger-worker: postgresql transaction [client] 2.3 ms
PASS incident log linked to trace: messenger-worker
Loki trace_id=5abc3f9fb065793d443f35331bf823b7: attachment processed attachment_id=018c64c5-4259-4ae1-92eb-986da064bd19 job_id=19888d1f-5cc0-48d5-b292-628d69254cdb attempt=1 variants=3 render_peak_kib=106976 took=130ms waited=155766ms
PASS worker started: backlog drained, alert resolved: after 25 s; backlog 3 -> 0
phase (a): 181 s
(b) sessions table locked: authenticated requests wait and get 503
baseline statuses: {200: 188}
0 s MessengerHighErrorRate: inactive
80 s MessengerHighErrorRate: pending
140 s MessengerHighErrorRate: firing
PASS DB incident: real 503 trace with slow SQL span
PASS DB span explains at least 90% of server latency: server=5006.6 ms SQL=5005.3 ms
DIAGNOSTIC database locked trace_id=5390f80c0e4a6a0c82ef45412f1ecb43
messenger-api: GET /api/v1/users/me [server] 5006.6 ms ERROR
messenger-api: postgresql read [client] 5005.3 ms ERROR
PASS incident log linked to trace: messenger-api
Loki trace_id=5390f80c0e4a6a0c82ef45412f1ecb43: GET /api/v1/users/me -> 503 (5006.3 ms)
Loki trace_id=5390f80c0e4a6a0c82ef45412f1ecb43: database unavailable error_type=DBAPIError error=(sqlalchemy.dialects.postgresql.asyncpg.Error) canceling statement due to statement timeout [SQL: SELECT sessions.id AS session_id, users.id, users.username, users.display_name, users.created_at FROM sessions JOIN users ON sessions.user_id = users.id WHERE sessions.token_hash = $1::BYTEA AND session
PASS MessengerHighErrorRate firing: after 140 s; 5xx ratio 1.00, pool used 4, waiting 0; statuses {200: 4, 503: 104}
statuses around release: {200: 152}
0 s MessengerHighErrorRate: firing
70 s MessengerHighErrorRate: inactive
PASS lock released: errors stopped, alert resolved: after 70 s; statuses after release {200: 1324}
phase (b): 229 s
alerts-check: PASS (6/6 checks, 410 s)
audit-incidents: PASS (7/7 checks)
$ make trace-chain
python3 scripts/lab6.py trace-chain --base-url "http://localhost:8080"
PASS upload accepted, worker stopped: status 202
attachment_id=b5406cc0-26b9-487c-a1f3-776d9fb0f870
PASS attempt 1 failed (S3 stopped), job back to queued: 1 queued s3_read
PASS attachment ready on a later attempt: ready
job: 2 ready -
PASS one trace for the upload in Tempo: trace ids found: 1
trace_id=2ce706fcd77da347c027ddfbf1e82d08 (Grafana → Explore → Tempo → 2ce706fcd77da347c027ddfbf1e82d08)
messenger-api: POST /api/v1/chats/{chat_id}/attachments [server] 24.9 ms
messenger-api: postgresql read [client] 0.7 ms
messenger-api: postgresql read [client] 0.7 ms
messenger-api: postgresql transaction [client] 2.8 ms
messenger-api: S3 put_object [client] 7.6 ms
messenger-api: postgresql transaction [client] 6.9 ms
messenger-relay: publish messenger.attachment-jobs [producer] 2.9 ms attempt=1
messenger-worker: process messenger.attachment-jobs [consumer] 149.9 ms attempt=1 outcome=retry
messenger-worker: postgresql transaction [client] 15.9 ms
messenger-worker: S3 get_object [client] 126.7 ms ERROR
messenger-worker: postgresql transaction [client] 3.3 ms
messenger-relay: publish messenger.attachment-jobs [producer] 2.4 ms attempt=2
messenger-worker: process messenger.attachment-jobs [consumer] 160.0 ms attempt=2 outcome=ready
messenger-worker: postgresql transaction [client] 14.9 ms
messenger-worker: S3 get_object [client] 5.6 ms
messenger-worker: render variants [client] 125.9 ms
messenger-worker: S3 put_object [client] 3.0 ms
messenger-worker: S3 put_object [client] 1.1 ms
messenger-worker: S3 put_object [client] 0.8 ms
messenger-worker: S3 put_object [client] 1.0 ms
messenger-worker: postgresql transaction [client] 3.5 ms
PASS root: API server span of the upload: POST /api/v1/chats/{chat_id}/attachments
PASS relay producer spans are children of the upload span: 2 publish spans
PASS worker consumer spans are children of the producer of the same attempt: attempts [1, 2]
PASS attempt 1 outcome retry in the same trace: retry
PASS ready attempt reaches S3 and PostgreSQL: S3 get_object, S3 put_object, postgresql transaction, render variants
trace-chain: PASS (9/9 checks, 34 s)
$ make telemetry-outage
python3 scripts/lab6.py telemetry-outage --base-url "http://localhost:8080" \
--seconds 120
before: collector 64 MiB, spans lost so far 0
PASS API answers during 120 s without Tempo: GET /users/me statuses {200: 1230}
PASS uploads accepted and processed without Tempo: 11 uploads, ready 11
PASS Collector memory bounded: peak 64 MiB of 256 MiB limit; export queue peak 2110 of 20000 items
PASS lost spans are counted by the Collector: 152 spans (send_failed + enqueue_failed, otlp_http/tempo)
PASS Tempo back: export resumes, queue drained: queue now 0 items
telemetry-outage: PASS (5/5 checks, 157 s)
# Итог: smoke PASS; telemetry-check 22/22; promtool 7 правил и SUCCESS;
# alerts 6/6 и реальные диагностические снимки 7/7; trace-chain 9/9;
# telemetry-outage 5/5. Сервисы восстановлены сценариями и остановлены make stop.
# Повтор после уточнения подписей SLO в Grafana (тот же день):
$ make lint
$ make check
$ make up
$ make telemetry-check
$ make alerts-test
# ... индивидуальные пункты telemetry-check и запуск/остановка контейнеров опущены.
uv run ruff format --check .
137 files already formatted
uv run ruff check .
All checks passed!
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
telemetry-check: PASS (22/22 checks)
SUCCESS: 7 rules found
SUCCESS
# Сигналы, PromQL и конфигурации измеренных вариантов совпадают с паспортом.
# Для повторения двух инцидентов: python3 tools/audit_incidents.py после make up.