29 KiB
Отчёт — лабораторная 6
- Автор и группа — Ситосенко, БВТ2303.
- Целевая оценка — 5, трек 2 «SLO и обнаружение инцидентов».
- Ветка —
solution/bvt2303-sitosenko. PR: [mtusi2026/mtusi2026lab6#47]. - Инструментирование OpenTelemetry Go · Collector configuration · W3C Trace Context. OTLP в Prometheus · Гистограммы Prometheus · OTLP в Loki · Связь Tempo и Loki в Grafana. Google SRE Workbook — Alerting on SLOs. Codex использован для переноса из lab5, реализации, подготовки сценариев, анализа результатов и отчета.
Запуск из чистого clone
Нужны Docker с Linux-контейнерами, Compose v2+, Python 3.9+ и make. Для панелей CPU/RAM нужен cgroup v2. Сборка обращается к реестру образов, Go modules и PyPI. Bootstrap создаёт локальные .env и secrets/, сохраняя существующие значения. Миграции 001–006 выполняет одноразовый сервис migrate, приватный бакет и отдельные права API и worker создаёт s3-init. Успешный выход этих двух сервисов является частью запуска.
python3 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 180
make check
make test BASE_URL=http://127.0.0.1:8080
В PowerShell можно задать $env:PYTHONUTF8 = '1' и использовать python. Для Makefile с Windows Python передайте PYTHON=python. При изменении APP_PORT передайте соответствующий BASE_URL. При изменении портов наблюдаемости экспортируйте для тестовых скриптов также GRAFANA_PORT, PROMETHEUS_PORT, LOKI_PORT, TEMPO_PORT.
- API через HAProxy —
http://127.0.0.1:8080, готовность —/health/ready. - Grafana автоматически загружает дашборд и три источника. Для локального просмотра выделена анонимная роль Viewer.
- Prometheus Alerts показывает статус правил. HTTP-порты проверки Loki и Tempo —
127.0.0.1:3100и127.0.0.1:3200. OTLP Collector доступен во внутренней сети Compose.
docker compose down останавливает проект с сохранением volumes. docker compose down --volumes намеренно очищает все данные этого учебного проекта, включая историю сигналов.
Версии и настройки
| Компонент | Версия / роль |
|---|---|
| API, dispatcher, worker | Go toolchain 1.27.3, pgx 5.9.2. Python 3.13.18 и Pillow 13.0.0 в worker |
| Бизнес-хранилища | PostgreSQL 17.6, Valkey 8.1.3 для сессий и отдельный Valkey 8.1.3 для Streams, MinIO CE из коммита 9e49d5e7a648 |
| Балансировщик | HAProxy 3.2.6, две API-реплики по умолчанию |
| OTel Go | SDK traces/metrics 1.38.0, logs 0.14.0. Имена HTTP и DB attributes по Semantic Conventions 1.37.0, метрики проекта перечислены ниже |
| Хранилища наблюдаемости | Collector contrib 0.133.0, Prometheus 3.5.0, Loki 3.5.3, Tempo 2.8.2, Grafana 12.1.1 |
APP_HOST и APP_PORT задают bind API внутри контейнера и внешний порт HAProxy соответственно. APP_ENV становится атрибутом ресурса. DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE и S3 *_FILE указывают на файлы в /run/secrets. Compose фиксирует изолированные S3 endpoint, region и bucket. MAX_UPLOAD_BYTES и MAX_IMAGE_PIXELS отражают контрактные константы в коде. WORKER_CONCURRENCY=1, JOB_MAX_ATTEMPTS=5, JOB_TIMEOUT_SECONDS=30 и STAGING_RETENTION_SECONDS=86400 задают ограничения pipeline. OTEL_EXPORTER_OTLP_ENDPOINT задаёт адрес Collector. Транспорт SDK — HTTP/protobuf. OTEL_SDK_DISABLED=true отключает три сигнала, по умолчанию SDK включён.
Архитектура
Перенесены исходники собственного Go API, Dockerfile, миграции 001–005, pipeline изображений и нужные конфиги HAProxy, PostgreSQL, Valkey и MinIO. Сохранены общие сессии, проверка членства, идемпотентность сообщений, приватный S3, 202 queued, outbox и worker с обработкой изображений и повторами. Публичные тесты и контракт взяты из skeleton Lab6. Workflow сборки отдельный.
При upload сохранение оригинала в staging предшествует commit строки вложения и image_jobs. PostgreSQL определяет состояние задания, версию и возможность публикации. Dispatcher отправляет JSON job в Valkey через XADD. Фиксация SQL-признака публикации отдельная, поэтому при сбое возможна повторная доставка. Worker берёт lease, пишет оригинал, thumbnail, crop и WebP с условным PUT, фиксирует ready транзакцией и подтверждает очередь. Worker ограничен 1 vCPU, 640 MiB и 32 MiB tmpfs, API-реплики — 1 vCPU и 768 MiB каждая.
При открытии server span приложение назначает request_id для HTTP и логов. Миграция 006 хранит часть W3C Trace Context в outbox и время фиксации ready. JSON job остаётся формата Lab5, его метаданные W3C передаются отдельными полями Streams. Producer spans создаются из контекста upload. Consumer извлекает контекст конкретного producer. При retry создаётся новая пара spans в том же trace. Трассы S3 и SQL входят в consumer. Старые строки с пустым контекстом обрабатываются самостоятельно, прежняя семантика доставки сохраняется.
SDK отправляет spans, логи и метрики асинхронно в общий OTLP HTTP receiver. Collector обрабатывает каждый поток через memory_limiter и batch. Prometheus принимает OTLP-метрики и скрапит сам Collector, Loki принимает OTLP-логи с индексным label service_name и structured metadata, Tempo принимает OTLP spans. История хранится в volumes metrics, logs и traces до 7 дней, в Prometheus действует также лимит 512 MB. Grafana сопоставляет логи и трассы из этих источников.
Сигналы и единицы
| Сигнал | Имя или запрос | Единица и смысл |
|---|---|---|
| HTTP RPS и ошибки | sum(rate(messenger_http_requests_total[30s])) и серия с status_class="5xx" |
запросы/с по method, route, status_class |
| HTTP p50/p95/p99 | histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) и аналоги 0.50, 0.99 |
секунды, bucket агрегируются по репликам |
| Попытки worker | messenger_job_attempts_total, messenger_job_duration_seconds_bucket |
число попыток и секунды с разбивкой по job_type, outcome. queued после ошибки означает retry |
| Очередь | messenger_queue_depth, messenger_queue_oldest_age_seconds |
число ожидающих строк SQL и возраст старейшей от создания, включая непубликованные задания и backoff |
| Пул PostgreSQL | messenger_db_pool_used, messenger_db_pool_capacity, messenger_db_pool_acquiring, messenger_db_pool_waits_total |
занятые соединения, лимит, текущие Acquire и кумулятивные запросы получения при пустом пуле |
| Worker и ресурсы | messenger_worker_busy / messenger_worker_capacity, rate(messenger_container_cpu_seconds_total[30s]), messenger_container_memory_bytes |
доля занятых слотов, ядра CPU и байты cgroup v2, включая Pillow |
| Время до ready | messenger_attachment_time_to_ready_seconds_bucket |
секунды между записями SQL о принятии и публикации первой версии, только для завершённых задач |
| SLI готовности | messenger_attachment_slo_jobs_total{outcome="good"|"missed"} |
счётчик созревших событий, включая просроченные, failed и незавершённые |
| Логи и трассы | События http.request, image.published, image.attempt и spans HTTP, очереди, S3, PostgreSQL |
лог содержит timestamp, severity и correlation IDs. Имя сервиса, версия, экземпляр и окружение находятся в OTel resource |
HTTP routes нормализованы до шаблонов. Нестандартные методы попадают в OTHER, неизвестные пути — в unmatched. ID запросов и задания используются для поиска событий и трасс. Отбор полей SDK исключает raw URL, SQL-параметры, логин, пароли, Authorization, токены, текст сообщений и байты изображений. Клиентский traceparent с публичной границы не импортируется. SDK использует полную выборку трасс.
SLO
Цель API — 99% ответов без 5xx на известных маршрутах приложения за скользящие 30 минут. Числитель плохих событий — 5xx, знаменатель — все ответы на этих маршрутах, включая 4xx. Health и ответы, сформированные до попадания в приложение, исключены из измерения.
Цель вложений — 99% первых загрузок становятся ready за ≤5 секунд за скользящие 30 минут. Метрика учитывает событие после дедлайна по данным PostgreSQL. Загрузка с ошибкой или без ready к сроку расходует бюджет. SQL-времена фиксируются внутри транзакций рядом с commit. Гистограмма строится только после успешной фиксации. Цели и срок выбраны для этого учебного профиля и регулярной проверки пользовательского ожидания.
Burn rate равен доле плохих событий, делённой на 0,01. Быстрая пара использует 30 и 10 с, порог 14,4 и for: 2s. Медленная пара использует 75 и 25 с, порог 6 и for: 12s. При равномерном трафике каждый порог за длинное окно расходует примерно четверть бюджета 30 минут (24% и 25%). Обе части пары должны превышать порог, а в каждом окне требуется минимальное число событий. Окна сжаты для воспроизведения в аудитории. Отдельный QueueLagHigh срабатывает, если возраст >5 секунд и в очереди есть задания не менее 4 секунд. Шаг оценки Prometheus — 2 с. Оповещения локальные. Правила · Runbook
Проверки и эксперименты
Два предполагаемых результата. При остановке worker API продолжает принимать загрузки, но растут backlog и расход бюджета ready. При блокировке таблицы сообщений 5xx видны на одном маршруте, а трассы указывают на PostgreSQL. Краткий всплеск наблюдаем по 503, но недостаточен для firing при стабильно прогретом потоке. Проверка отказа Tempo должна показать ограниченную потерю spans при доступном бизнес-пути.
Среда — Docker Desktop 29.3.0 и Compose 5.1.0 на Windows, Linux amd64 в Docker VM, 12 доступных логических CPU и 3,68 GiB RAM. В исследовании SLO после 82 секунд прогрева генератор планирует 4 POST сообщения/с и 1 PNG upload/с, одновременно до 12 запросов. Тест блокирует только таблицу messages на 2,5 и 65 секунд, затем отдельно останавливает worker примерно на минуту. До и после каждой длительной деградации генератор продолжает отправлять трафик. Инциденты ограничены локальным проектом. Отдельные прогоны на одном стенде проводят последовательно.
export BASE_URL=http://127.0.0.1:8080
python3 student-tests/image_rules.py
python3 student-tests/observability.py correlation
python3 student-tests/slo_experiment.py
python3 student-tests/observability.py outage
python3 student-tests/observability.py queue-restart
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
docker compose exec -T prometheus promtool check config /etc/prometheus/prometheus.yml
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL="$BASE_URL"
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$BASE_URL"
docker compose start api
Скрипты fault/restart выполняются только на выделенном стенде. Публичные resilience hooks требуют POSIX shell. При необходимости выполните chmod +x scripts/restart.sh scripts/stop-one.sh.
Доказательства по уровням
| Уровень и критерий | Проверка и наблюдение | Доказательство |
|---|---|---|
| 3. Compose, миграции, источники сигналов | docker compose config --quiet, up -d --build --wait, два контейнера API, отдельный worker, три backend и Grafana |
Сервисы, Compose |
| 3. Публичный контракт и поведение приложения | make check, make validate, make test, абонентский сценарий Lab6 с включённым SDK. Проверены форматы и размеры вариантов |
Контракт, OpenAPI, Smoke, Обработка изображений |
| 3. Очередь и сохранность Lab5 | При выключенном worker сообщение с queued-вложением прошло перезапуск двух API и broker. Та же запись Streams сохранилась, затем получены ready и JPEG | Перезапуск очереди |
| 3. Логи, traces, безопасные labels | Найдены 45 spans одного upload и три связанных API/worker лога. Пробные секреты, имя файла и текст отсутствовали в проверенных событиях, проверено 818 серий метрик | Корреляция |
| 3. Дашборд и сигналы | Grafana API показал 18 панелей и три provisioned источника. Запросы панелей выполняются на Prometheus | Дашборд, Проверка запросов |
| 4. Контекст и retry | Для попыток 1 и 2 проверены родительские span ID на переходах upload → producer → consumer. Результат первой попытки — queued, второй — ready с четырьмя S3 PUT и SQL |
Трасса и логи |
| 4. SLI, алерты и два инцидента | promtool принял пять правил. При блокировке таблицы и при остановке worker зафиксированы firing и возврат в inactive |
Правила, Хронология, Runbook |
| 4. Отказ telemetry backend | Отдельный прогон отключения Tempo с непрерывной записью сообщений и обработкой загрузки | Отказ Tempo |
| 4. Наблюдаемое насыщение | В запросах Grafana видны занятые соединения и ожидание пула, рабочие слоты и cgroup CPU/RAM. Возраст и глубина выходят из PostgreSQL | Панели, Наблюдения |
| 5. Трек SLO | Краткий всплеск и две длительные деградации при постоянном профиле. Измерены задержки срабатывания и восстановления | Результаты и снимки, Проверка измерений |
Что показал прогон 19 ноября 2026 года
В прогретом окне подтверждено 328 сообщений и 82 загрузки. Скорость составила 4,00 успешных сообщения/с и 1,00 принятую загрузку/с. Клиентские p50/p95/p99 для сообщений — 29,9 / 177,7 / 415,0 мс, для загрузок — 62,7 / 368,5 / 730,6 мс. Пик выборочных значений CPU после первых 20 с — 0,28 ядра на две API-реплики и 0,57 ядра на worker. Пик свежих показаний cgroup RAM — около 370 MiB у двух API-реплик и 29 MiB у worker. Генератор пропустил два запуска из-за лимита одновременных запросов. Это менее 0,2% от числа событий в четырёх оцениваемых фазах. В длительном DB-сценарии отдельно получена одна транспортная или контрактная ошибка клиента. Клиентские измерения · Запросы к истории Prometheus
| Воздействие | Наблюдение из сохранённых сигналов | Результат |
|---|---|---|
Фон и короткая блокировка таблицы messages на 2,5 с |
В фоне 410 успешных ответов. Во время блокировки получено 6 ответов 503 | В фоне и после короткого всплеска зарегистрировано 0 firing. Короткая деградация видна в логах и счётчиках |
| Длительная блокировка на 65 с | Клиент получил 253 ответа 503 на POST сообщений. По X-Request-Id найден HTTP-лог. В trace 8fbfa739f88710aef39a7c9f068b44b1 ошибочный span postgresql query длился 1001,3 мс |
Задержка локализована в SQL. HTTP восстановился после снятия блокировки. В восстановлении отдельно наблюдался ReadySlowBurn, когда Prometheus оценил около 13 просрочек из 27 созревших загрузок за 25 с |
| Остановка worker | Поток сообщений сохранился на 4,00 успешных/с, upload — около 1,00/с. Наблюдаемый backlog достиг 60, возраст — 59,5 с | После запуска worker очередь опустела. Все 77 загрузок из интервала воздействия и запуска дошли до ready |
| Алерт | Первое firing после начала воздействия | Первое inactive после восстановления |
|---|---|---|
| APIFastBurn | 12,0 с | 10,0 с |
| APISlowBurn | 22,0 с | 24,0 с |
| QueueLagHigh | 12,0 с | 22,0 с |
| ReadyFastBurn | 14,0 с | 28,0 с |
| ReadySlowBurn | 22,0 с | 44,0 с |
Алерты оценивались и опрашивались каждые 2 с. Для БД моменты отсчитывались от получения маркера захвата блокировки и выхода psql после commit. Для worker использовались моменты завершения команд Compose. Длительность шага запуска worker и остатки ошибок в скользящем окне влияют на наблюдаемые задержки. Числа описывают один прогон всех трёх фаз. Замеры
При отключении Tempo на 36,5 с приложение подтвердило 274 сообщения, одна синтетическая загрузка дошла до ready. Во время отказа очередь экспортёра достигла лимита 16. По наблюдаемым дельтам Collector 270 spans получены им, но исчерпали попытки отправки, ещё 1180 не поставлены в очередь экспортёра. Пик наблюдаемых значений RSS Collector — 75,3 MiB при лимите контейнера 180 MiB. Количество рестартов осталось 0, OOMKilled — false. После команды запуска Tempo восстановление подтверждено новой трассой через 19,9 с. Наблюдения Collector
Публичный tests/load.py за 30,1 с с четырьмя параллельными клиентами подтвердил 10 833 сообщения без ошибок. В этом closed-loop прогоне 359,9 успешных ответов/с, p50/p95/p99 успешных запросов — 8,1 / 28,3 / 44,3 мс. Выбранная нагрузка и coordinated omission ограничивают интерпретацию. Отдельный нагрузочный прогон
Публичная проверка persistence подтвердила сохранение данных и сессии. Хук сначала перезапускает хранилища и ждёт healthcheck, затем перезапускает API, LB и фоновые процессы. Одновременный рестарт в первом прогоне вызывал гонку старта API и PostgreSQL. Порядок исправлен и результат подтверждён повторным прогоном. По одному историческому моменту открыт прежний набор из 56 рядов HTTP, восстановились 45 spans того же trace ID и связанная запись Loki. Persistence · До рестарта · После рестарта · История сигналов
Публичный failover пройден для каждой API-реплики. В двух прогонах получено 122 и 121 успешная запись при 3 и 2 переходных ошибках. Первая успешная запись после запуска хука произошла через 3,765 и 4,008 с. На Windows публичный тест вызвал те же POSIX-хуки через локальные адаптеры Git Bash. Реплика 1 · Реплика 2 · Состояние первой реплики · Состояние второй реплики
Для проверки минимума Lab5 при остановленном worker записано сообщение с queued-вложением. После рестарта двух API и broker проверены новые StartedAt, тот же идентификатор записи Valkey Streams и доступность прежнего сообщения по действующей сессии. После запуска worker получены ready, побайтно совпадающий оригинал и thumbnail JPEG. Очередь при рестарте
Ограничения
Один локальный Compose-хост, одна DB, один брокер и один worker. Результаты относятся к синтетической нагрузке, размерам изображений и ограничениям выше. Они не задают максимальную пропускную способность или эксплуатационные цели. Скользящие окна чувствительны к объёму трафика. SQL-агрегат SLI читает историю заданий каждые 2 секунды, поэтому при росте таблицы потребуется отдельная агрегация и политика хранения. Момент готовности берётся из SQL перед завершением транзакции, задержка самого commit в гистограмму входит приблизительно. Показатели насыщения снимаются периодически и могут пропускать субсекундную работу. Бизнес-запросы, не дошедшие до API, исключены из его SLI.
При недоступном backend допускается потеря сигналов. SDK использует буферы на 1024 spans и 1024 лога, экспорт с таймаутом 2 с, асинхронный сброс и отключённые повторы SDK. Collector ограничивает объём очереди каждым exporter до 16 элементов, число одновременных отправок — до одной, время повторов — до 8 с и память контейнера — до 180 MiB. memory_limiter имеет лимит 125 MiB и резерв для пика 25 MiB. Счётчики Collector охватывают его собственные потери. Потери до приёма Collector и незасэмплированные сигналы из них не выводятся.