Files
mtusi2026lab6-fork/REPORT1.md
T
2026-11-21 00:02:11 +03:00

14 KiB
Raw Blame History

Отчёт - лабораторная 6

  • Автор, группа: Алексей Миронов, БВТ2302
  • Целевая оценка: 4 (трек 5 не заявляется)
  • Commit/PR: TODO (хеш коммита и ссылка на PR; ветка solution/bvt2302-mironov)
  • Источники, библиотеки, помощь ИИ: lab5 как база; OpenTelemetry Python SDK 1.45.1 (instrumentation 0.66b1), OTel Collector contrib 0.131.0, Prometheus v3.5.0, Loki 3.5.3, Tempo 2.8.2, Grafana 12.1.1; использовалась помощь ИИ

Запуск из чистого clone

Нужны Docker Engine + Compose v2, GNU Make, Python 3.9+ (для тестов).

cp .env.example .env                                   # заполнить пароли (синтетические), .env в git не коммитить
make check && make validate
docker compose --env-file .env config --quiet
docker compose --env-file .env up --build              # (или -d --build)
until curl -fs http://localhost:8080/health/ready; do sleep 2; done
make test                                              # публичный smoke lab6
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
python3 student-tests/level4_observability.py all | tee evidence/level4-observability.txt

Что делает level4_observability.py all: trace_chain - upload вложения, поиск trace по логу attachment_accepted (Loki) и проверка в Tempo цепочки API(SERVER) -> dispatcher(PRODUCER) -> worker(CONSUMER); queue_lag - остановка worker, ожидание алерта QueueLagGrowing, запуск worker, ожидание resolved; db_slow - блокировка таблицы messages на 150 с под нагрузкой, ожидание HighApiErrorRate, снятие блокировки, ожидание resolved; telemetry_down - остановка prometheus/loki/tempo, 90 с записей и upload при работающем API, замер памяти Collector, запуск хранилищ. Grafana: http://localhost:3000 (admin / GRAFANA_ADMIN_PASSWORD из .env); datasources и dashboard «Messenger: observability (lab 6)» подключаются сами (provisioning из Git). Остановка с сохранением данных: docker compose --env-file .env down; удаление учебных данных: docker compose --env-file .env down -v.

Архитектура и решения

API x2 / worker / dispatcher --OTLP/HTTP--> OTel Collector --[memory_limiter -> batch]--> Prometheus (metrics, remote write)
                                                                                      \-> Loki (logs, OTLP)  \-> Tempo (traces, OTLP)
Grafana читает Prometheus + Loki + Tempo.  Правила алертов — в Prometheus.

Перенесено из lab5 без изменения бизнес-API: API, PostgreSQL, Redis, S3, Kafka, outbox, worker, dispatcher, sweeper, HAProxy. Добавлено: src/telemetry.py, инструментация, Collector, три хранилища, Grafana, alerts, runbooks. Назначение хранилищ: Prometheus — числовые ряды (скорость, доли, гистограммы); Loki — события с контекстом (почему); Tempo — путь одного запроса/задачи (где). Collector — не БД, а приёмник/процессор/экспортёр; Grafana — только интерфейс.

Контекст трассы через очередь. jobs.enqueue внутри span outbox.enqueue кладёт traceparent (W3C) в JSON-payload job (поле из jobs.schema.json). Dispatcher читает его, создаёт PRODUCER span attachment-jobs publish (child), записывает в payload свой traceparent и публикует. Worker делает extract и создаёт CONSUMER span (child продюсера); retry идёт через enqueue внутри worker-span, поэтому цепочка продолжается в том же trace. Ограничение: retry после истечения lease (reaper) начинает новый корень trace.

Соответствие сигналов (contracts/observability.md)

Сигнал Имя в коде → Prometheus Единица / измерения
HTTP requests + duration http.server.request.duration → http_server_request_duration_seconds_{bucket,sum,count} s; method, route-шаблон, status class (health исключён)
Jobs processed/failed messenger.jobs.processed → messenger_jobs_processed_total job_type, outcome (success/retry/failed/lost/noop/error)
Job duration messenger.job.duration → messenger_job_duration_seconds_* s; job_type, outcome
Time to ready messenger.job.time_to_ready → messenger_job_time_to_ready_seconds_* s
Queue depth / oldest age messenger_queue_depth, messenger_queue_oldest_job_age_seconds jobs / s; queue_name (считает dispatcher по PostgreSQL)
DB pool messenger_db_pool_{used,waiting} connections
Worker saturation messenger_worker_{busy,capacity} jobs
CPU/RAM process_cpu_time_seconds_total, process_memory_usage_bytes s, bytes
Resource: service.name = messenger-api / messenger-worker / messenger-dispatcher, service.version, service.instance.id, deployment.environment.name=lab. Логи: JSON в stdout и OTLP в Loki, поля timestamp, severity, service.name, event, trace_id, span_id (+ технические job_id/attachment_id/request_id для синтетических данных). В метки не попадают user/chat/message/attachment/request id. Токены, пароли, тела, картинки не экспортируются; Redis намеренно не инструментируется (ключи сессий производны от токена).

SLI / SLO / alerts

  • SLI доступности: 1 − 5xx / все бизнес-запросы (4xx не ошибки). SLO 99 % за 30 дней. Retention Prometheus = 30d.
  • HighApiErrorRate: 5xx > 5 % за 2 мин и RPS > 0.2, for: 1m. QueueLagGrowing: max(messenger_queue_oldest_job_age_seconds) > 30, for: 1m. Runbooks: runbooks/.
  • Percentile считается histogram_quantile из суммы buckets всех реплик, не из средних.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Структура, контракт make check && make validate PASS: offline skeleton structure...; PASS: full OpenAPI 3.1 and JSON Schema validation evidence/evidence.txt
Стенд из Git, provisioning docker compose --env-file .env config --quiet; up --build конфиг валиден; образы loki, prometheus, otel-collector, tempo, grafana загружены, образ API собран с OTel-зависимостями; /health/ready -> {"status":"ok"} evidence/evidence.txt
Публичный smoke при включённой телеметрии make test PASS: lab6 public API scenario evidence/evidence.txt
Нагрузка tests/load.py --duration 30 --concurrency 4 1499 успешных, 0 ошибок, 49.9 RPS; p50 60.5 мс, p95 203.5 мс, p99 322.2 мс (предыдущий прогон в консоли: 1278 успешных, 42.5 RPS, p95 236.9 мс, 0 ошибок) evidence/load.json
Trace API -> очередь -> worker -> S3/DB level4_observability.py trace_chain PASS trace_chain, trace dcc088e178af4fd97d573719cf4161a5: spans API (server, outbox.enqueue, INSERT/SELECT, S3.PutObject), messenger-dispatcher:attachment-jobs publish, messenger-worker:attachment-jobs process, job.claim, job.pipeline, s3.download_staging, imgproc.run, s3.upload_final, job.commit_ready, UPDATE, S3.Get/Head/Put/DeleteObject; consumer является потомком producer-span evidence/level4-observability.txt
Связь лог <-> trace trace_chain trace_id найден по логу attachment_accepted (Loki, фильтр attachment_id), затем открыт в Tempo evidence/level4-observability.txt
Инцидент 1: остановлен worker queue_lag QueueLagGrowing FIRING через ~117 с, oldest_job_age=105 с, depth=1; после запуска worker job ready, RESOLVED через ~23 с evidence/level4-observability.txt
Инцидент 2: медленная БД db_slow HighApiErrorRate FIRING через ~89 с, 5xx: 111 из 133 запросов; после снятия блокировки RESOLVED через ~49 с evidence/level4-observability.txt
Backend телеметрии недоступен telemetry_down 0 неуспешных записей при остановленных prometheus/loki/tempo; память Collector 79.39 MiB из 256 MiB; хранилища запущены обратно evidence/level4-observability.txt

В выводе db_slow перед PASS печатаются строки FATAL: terminating connection due to administrator command и connection to server was lost: это ожидаемо, сценарий сам завершает psql-сессию, держащую блокировку (pg_terminate_backend).

Эксперименты и отказы

Стенд: Docker Desktop (Windows 11, WSL), Compose v2; значения ОС/CPU/RAM/версий Docker - TODO вставить из docker version / docker compose version (как в отчёте lab4).

Воздействие Что ожидали Что наблюдали Восстановление / потеря данных
docker compose stop worker + upload рост возраста очереди, QueueLagGrowing firing через ~117 с, oldest_job_age=105 с, depth=1 после старта worker job ready, resolved через ~23 с; потерь нет
LOCK TABLE messages 150 с под нагрузкой 503 по statement_timeout, HighApiErrorRate firing через ~89 с, 5xx 111 из 133 resolved через ~49 с после снятия блокировки; данные целы
stop prometheus + loki + tempo на 90 с API без ошибок, ограниченная память Collector 0 неуспешных записей, upload ready; память Collector 79.39 MiB / 256 MiB телеметрия за период простоя может быть потеряна (очереди и retry Collector ограничены), данные приложения целы

Разбор двух инцидентов и шаги диагностики

Диагностика ведётся только по сохранённым наблюдениям (Grafana: метрики, Loki, Tempo), без docker logs. Числа в строках «Наблюдали» взяты из evidence/level4-observability.txt.

Инцидент 1. Остановлен worker (docker compose stop worker, затем upload)

  1. Симптом (метрики): messenger_queue_depth и messenger_queue_oldest_job_age_seconds растут, messenger_worker_busy пропадает/0; через ~1 мин после порога 30 с QueueLagGrowing переходит pending → firing. API при этом отвечает 202: приём не равен обработке.
  2. Локализация: messenger_job_duration_seconds не меняется (нет завершённых попыток), значит дело не в медленной обработке, а в отсутствии потребителя. Dispatcher жив: запись dispatcher_cycle в Loki, producer-span attachment-jobs publish есть в trace upload, а consumer-span отсутствует.
  3. Причина: в Loki нет свежих событий job_claimed от messenger-worker. Исправление: docker compose up -d worker.
  4. Восстановление: появляются job_claimed → job_ready, backlog уменьшается, QueueLagGrowing resolved. Наблюдали (queue_lag): алерт firing через ~117 с, oldest_job_age = 105 с, depth = 1; после up -d worker job стала ready, алерт resolved через ~23 с.

Инцидент 2. Медленная БД (ACCESS EXCLUSIVE lock на messages, 150 с, под нагрузкой POST /messages)

  1. Симптом (метрики): растут p95 API (до statement_timeout = 5 с) и доля 5xx, HighApiErrorRate pending → firing.
  2. Отличие от медленного handler: в трассе POST /messages почти всё время внутри дочернего psycopg-span INSERT со статусом ERROR; промежутков «без дочерних spans» нет, CPU API не растёт. Медленный Python-код дал бы длинный server-span без длинного DB-span.
  3. Лог: {service_name="messenger-api"} | event="db_error", по trace_id находится та же трасса; панель DB pool: при нехватке соединений растёт messenger_db_pool_waiting.
  4. Подтверждение на БД: pg_stat_activity с wait_event_type=Lock. Снятие блокировки → ошибки прекращаются, HighApiErrorRate resolved после очистки окна 2 мин. Наблюдали (db_slow): алерт firing через ~89 с; 111 из 133 запросов завершились 5xx (~83 %); после снятия блокировки алерт resolved через ~49 с.

Ограничения и следующие шаги

Один Docker-host; Collector буферизует только в памяти (очередь 200 батчей, повтор 30 с, затем drop). Tempo под root в учебном стенде. TLS/mTLS и права — lab7. Retry по lease-reaper теряет связь с исходным trace.