14 KiB
Отчёт - лабораторная 6
- Автор, группа: Алексей Миронов, БВТ2302
- Целевая оценка: 4 (трек 5 не заявляется)
- Commit/PR: TODO (хеш коммита и ссылка на PR; ветка solution/bvt2302-mironov)
- Источники, библиотеки, помощь ИИ: lab5 как база; OpenTelemetry Python SDK 1.45.1 (instrumentation 0.66b1), OTel Collector contrib 0.131.0, Prometheus v3.5.0, Loki 3.5.3, Tempo 2.8.2, Grafana 12.1.1; использовалась помощь ИИ
Запуск из чистого clone
Нужны Docker Engine + Compose v2, GNU Make, Python 3.9+ (для тестов).
cp .env.example .env # заполнить пароли (синтетические), .env в git не коммитить
make check && make validate
docker compose --env-file .env config --quiet
docker compose --env-file .env up --build # (или -d --build)
until curl -fs http://localhost:8080/health/ready; do sleep 2; done
make test # публичный smoke lab6
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
python3 student-tests/level4_observability.py all | tee evidence/level4-observability.txt
Что делает level4_observability.py all: trace_chain - upload вложения, поиск trace по логу attachment_accepted (Loki) и проверка в Tempo цепочки API(SERVER) -> dispatcher(PRODUCER) -> worker(CONSUMER); queue_lag - остановка worker, ожидание алерта QueueLagGrowing, запуск worker, ожидание resolved; db_slow - блокировка таблицы messages на 150 с под нагрузкой, ожидание HighApiErrorRate, снятие блокировки, ожидание resolved; telemetry_down - остановка prometheus/loki/tempo, 90 с записей и upload при работающем API, замер памяти Collector, запуск хранилищ.
Grafana: http://localhost:3000 (admin / GRAFANA_ADMIN_PASSWORD из .env); datasources и dashboard «Messenger: observability (lab 6)» подключаются сами (provisioning из Git). Остановка с сохранением данных: docker compose --env-file .env down; удаление учебных данных: docker compose --env-file .env down -v.
Архитектура и решения
API x2 / worker / dispatcher --OTLP/HTTP--> OTel Collector --[memory_limiter -> batch]--> Prometheus (metrics, remote write)
\-> Loki (logs, OTLP) \-> Tempo (traces, OTLP)
Grafana читает Prometheus + Loki + Tempo. Правила алертов — в Prometheus.
Перенесено из lab5 без изменения бизнес-API: API, PostgreSQL, Redis, S3, Kafka, outbox, worker, dispatcher, sweeper, HAProxy. Добавлено: src/telemetry.py, инструментация, Collector, три хранилища, Grafana, alerts, runbooks.
Назначение хранилищ: Prometheus — числовые ряды (скорость, доли, гистограммы); Loki — события с контекстом (почему); Tempo — путь одного запроса/задачи (где). Collector — не БД, а приёмник/процессор/экспортёр; Grafana — только интерфейс.
Контекст трассы через очередь. jobs.enqueue внутри span outbox.enqueue кладёт traceparent (W3C) в JSON-payload job (поле из jobs.schema.json). Dispatcher читает его, создаёт PRODUCER span attachment-jobs publish (child), записывает в payload свой traceparent и публикует. Worker делает extract и создаёт CONSUMER span (child продюсера); retry идёт через enqueue внутри worker-span, поэтому цепочка продолжается в том же trace. Ограничение: retry после истечения lease (reaper) начинает новый корень trace.
Соответствие сигналов (contracts/observability.md)
| Сигнал | Имя в коде → Prometheus | Единица / измерения |
|---|---|---|
| HTTP requests + duration | http.server.request.duration → http_server_request_duration_seconds_{bucket,sum,count} |
s; method, route-шаблон, status class (health исключён) |
| Jobs processed/failed | messenger.jobs.processed → messenger_jobs_processed_total |
job_type, outcome (success/retry/failed/lost/noop/error) |
| Job duration | messenger.job.duration → messenger_job_duration_seconds_* |
s; job_type, outcome |
| Time to ready | messenger.job.time_to_ready → messenger_job_time_to_ready_seconds_* |
s |
| Queue depth / oldest age | messenger_queue_depth, messenger_queue_oldest_job_age_seconds |
jobs / s; queue_name (считает dispatcher по PostgreSQL) |
| DB pool | messenger_db_pool_{used,waiting} |
connections |
| Worker saturation | messenger_worker_{busy,capacity} |
jobs |
| CPU/RAM | process_cpu_time_seconds_total, process_memory_usage_bytes |
s, bytes |
| Resource: service.name = messenger-api / messenger-worker / messenger-dispatcher, service.version, service.instance.id, deployment.environment.name=lab. Логи: JSON в stdout и OTLP в Loki, поля timestamp, severity, service.name, event, trace_id, span_id (+ технические job_id/attachment_id/request_id для синтетических данных). В метки не попадают user/chat/message/attachment/request id. Токены, пароли, тела, картинки не экспортируются; Redis намеренно не инструментируется (ключи сессий производны от токена). |
SLI / SLO / alerts
- SLI доступности: 1 − 5xx / все бизнес-запросы (4xx не ошибки). SLO 99 % за 30 дней. Retention Prometheus = 30d.
HighApiErrorRate: 5xx > 5 % за 2 мин и RPS > 0.2,for: 1m.QueueLagGrowing:max(messenger_queue_oldest_job_age_seconds) > 30,for: 1m. Runbooks:runbooks/.- Percentile считается
histogram_quantileиз суммы buckets всех реплик, не из средних.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Структура, контракт | make check && make validate |
PASS: offline skeleton structure...; PASS: full OpenAPI 3.1 and JSON Schema validation |
evidence/evidence.txt |
| Стенд из Git, provisioning | docker compose --env-file .env config --quiet; up --build |
конфиг валиден; образы loki, prometheus, otel-collector, tempo, grafana загружены, образ API собран с OTel-зависимостями; /health/ready -> {"status":"ok"} |
evidence/evidence.txt |
| Публичный smoke при включённой телеметрии | make test |
PASS: lab6 public API scenario |
evidence/evidence.txt |
| Нагрузка | tests/load.py --duration 30 --concurrency 4 |
1499 успешных, 0 ошибок, 49.9 RPS; p50 60.5 мс, p95 203.5 мс, p99 322.2 мс (предыдущий прогон в консоли: 1278 успешных, 42.5 RPS, p95 236.9 мс, 0 ошибок) | evidence/load.json |
| Trace API -> очередь -> worker -> S3/DB | level4_observability.py trace_chain |
PASS trace_chain, trace dcc088e178af4fd97d573719cf4161a5: spans API (server, outbox.enqueue, INSERT/SELECT, S3.PutObject), messenger-dispatcher:attachment-jobs publish, messenger-worker:attachment-jobs process, job.claim, job.pipeline, s3.download_staging, imgproc.run, s3.upload_final, job.commit_ready, UPDATE, S3.Get/Head/Put/DeleteObject; consumer является потомком producer-span |
evidence/level4-observability.txt |
| Связь лог <-> trace | trace_chain |
trace_id найден по логу attachment_accepted (Loki, фильтр attachment_id), затем открыт в Tempo |
evidence/level4-observability.txt |
| Инцидент 1: остановлен worker | queue_lag |
QueueLagGrowing FIRING через ~117 с, oldest_job_age=105 с, depth=1; после запуска worker job ready, RESOLVED через ~23 с |
evidence/level4-observability.txt |
| Инцидент 2: медленная БД | db_slow |
HighApiErrorRate FIRING через ~89 с, 5xx: 111 из 133 запросов; после снятия блокировки RESOLVED через ~49 с |
evidence/level4-observability.txt |
| Backend телеметрии недоступен | telemetry_down |
0 неуспешных записей при остановленных prometheus/loki/tempo; память Collector 79.39 MiB из 256 MiB; хранилища запущены обратно | evidence/level4-observability.txt |
В выводе db_slow перед PASS печатаются строки FATAL: terminating connection due to administrator command и connection to server was lost: это ожидаемо, сценарий сам завершает psql-сессию, держащую блокировку (pg_terminate_backend).
Эксперименты и отказы
Стенд: Docker Desktop (Windows 11, WSL), Compose v2; значения ОС/CPU/RAM/версий Docker - TODO вставить из docker version / docker compose version (как в отчёте lab4).
| Воздействие | Что ожидали | Что наблюдали | Восстановление / потеря данных |
|---|---|---|---|
docker compose stop worker + upload |
рост возраста очереди, QueueLagGrowing |
firing через ~117 с, oldest_job_age=105 с, depth=1 |
после старта worker job ready, resolved через ~23 с; потерь нет |
LOCK TABLE messages 150 с под нагрузкой |
503 по statement_timeout, HighApiErrorRate |
firing через ~89 с, 5xx 111 из 133 | resolved через ~49 с после снятия блокировки; данные целы |
| stop prometheus + loki + tempo на 90 с | API без ошибок, ограниченная память Collector | 0 неуспешных записей, upload ready; память Collector 79.39 MiB / 256 MiB | телеметрия за период простоя может быть потеряна (очереди и retry Collector ограничены), данные приложения целы |
Разбор двух инцидентов и шаги диагностики
Диагностика ведётся только по сохранённым наблюдениям (Grafana: метрики, Loki, Tempo), без docker logs. Числа в строках «Наблюдали» взяты из evidence/level4-observability.txt.
Инцидент 1. Остановлен worker (docker compose stop worker, затем upload)
- Симптом (метрики):
messenger_queue_depthиmessenger_queue_oldest_job_age_secondsрастут,messenger_worker_busyпропадает/0; через ~1 мин после порога 30 сQueueLagGrowingпереходит pending → firing. API при этом отвечает 202: приём не равен обработке. - Локализация:
messenger_job_duration_secondsне меняется (нет завершённых попыток), значит дело не в медленной обработке, а в отсутствии потребителя. Dispatcher жив: записьdispatcher_cycleв Loki, producer-spanattachment-jobs publishесть в trace upload, а consumer-span отсутствует. - Причина: в Loki нет свежих событий
job_claimedотmessenger-worker. Исправление:docker compose up -d worker. - Восстановление: появляются
job_claimed→job_ready, backlog уменьшается,QueueLagGrowingresolved. Наблюдали (queue_lag): алерт firing через ~117 с,oldest_job_age= 105 с,depth= 1; послеup -d workerjob стала ready, алерт resolved через ~23 с.
Инцидент 2. Медленная БД (ACCESS EXCLUSIVE lock на messages, 150 с, под нагрузкой POST /messages)
- Симптом (метрики): растут p95 API (до
statement_timeout= 5 с) и доля 5xx,HighApiErrorRatepending → firing. - Отличие от медленного handler: в трассе POST /messages почти всё время внутри дочернего psycopg-span
INSERTсо статусом ERROR; промежутков «без дочерних spans» нет, CPU API не растёт. Медленный Python-код дал бы длинный server-span без длинного DB-span. - Лог:
{service_name="messenger-api"} | event="db_error", поtrace_idнаходится та же трасса; панель DB pool: при нехватке соединений растётmessenger_db_pool_waiting. - Подтверждение на БД:
pg_stat_activityсwait_event_type=Lock. Снятие блокировки → ошибки прекращаются,HighApiErrorRateresolved после очистки окна 2 мин. Наблюдали (db_slow): алерт firing через ~89 с; 111 из 133 запросов завершились 5xx (~83 %); после снятия блокировки алерт resolved через ~49 с.
Ограничения и следующие шаги
Один Docker-host; Collector буферизует только в памяти (очередь 200 батчей, повтор 30 с, затем drop). Tempo под root в учебном стенде. TLS/mTLS и права — lab7. Retry по lease-reaper теряет связь с исходным trace.