Files
mtusi2026lab6-fork/REPORT.md
T
2026-11-19 19:30:00 +03:00

29 KiB
Raw Blame History

Отчёт — лабораторная 6

Запуск из чистого clone

Нужны Docker с Linux-контейнерами, Compose v2+, Python 3.9+ и make. Для панелей CPU/RAM нужен cgroup v2. Сборка обращается к реестру образов, Go modules и PyPI. Bootstrap создаёт локальные .env и secrets/, сохраняя существующие значения. Миграции 001–006 выполняет одноразовый сервис migrate, приватный бакет и отдельные права API и worker создаёт s3-init. Успешный выход этих двух сервисов является частью запуска.

python3 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 180
make check
make test BASE_URL=http://127.0.0.1:8080

В PowerShell можно задать $env:PYTHONUTF8 = '1' и использовать python. Для Makefile с Windows Python передайте PYTHON=python. При изменении APP_PORT передайте соответствующий BASE_URL. При изменении портов наблюдаемости экспортируйте для тестовых скриптов также GRAFANA_PORT, PROMETHEUS_PORT, LOKI_PORT, TEMPO_PORT.

  • API через HAProxy — http://127.0.0.1:8080, готовность — /health/ready.
  • Grafana автоматически загружает дашборд и три источника. Для локального просмотра выделена анонимная роль Viewer.
  • Prometheus Alerts показывает статус правил. HTTP-порты проверки Loki и Tempo — 127.0.0.1:3100 и 127.0.0.1:3200. OTLP Collector доступен во внутренней сети Compose.

docker compose down останавливает проект с сохранением volumes. docker compose down --volumes намеренно очищает все данные этого учебного проекта, включая историю сигналов.

Версии и настройки

Компонент Версия / роль
API, dispatcher, worker Go toolchain 1.27.3, pgx 5.9.2. Python 3.13.18 и Pillow 13.0.0 в worker
Бизнес-хранилища PostgreSQL 17.6, Valkey 8.1.3 для сессий и отдельный Valkey 8.1.3 для Streams, MinIO CE из коммита 9e49d5e7a648
Балансировщик HAProxy 3.2.6, две API-реплики по умолчанию
OTel Go SDK traces/metrics 1.38.0, logs 0.14.0. Имена HTTP и DB attributes по Semantic Conventions 1.37.0, метрики проекта перечислены ниже
Хранилища наблюдаемости Collector contrib 0.133.0, Prometheus 3.5.0, Loki 3.5.3, Tempo 2.8.2, Grafana 12.1.1

APP_HOST и APP_PORT задают bind API внутри контейнера и внешний порт HAProxy соответственно. APP_ENV становится атрибутом ресурса. DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE и S3 *_FILE указывают на файлы в /run/secrets. Compose фиксирует изолированные S3 endpoint, region и bucket. MAX_UPLOAD_BYTES и MAX_IMAGE_PIXELS отражают контрактные константы в коде. WORKER_CONCURRENCY=1, JOB_MAX_ATTEMPTS=5, JOB_TIMEOUT_SECONDS=30 и STAGING_RETENTION_SECONDS=86400 задают ограничения pipeline. OTEL_EXPORTER_OTLP_ENDPOINT задаёт адрес Collector. Транспорт SDK — HTTP/protobuf. OTEL_SDK_DISABLED=true отключает три сигнала, по умолчанию SDK включён.

Архитектура

Перенесены исходники собственного Go API, Dockerfile, миграции 001–005, pipeline изображений и нужные конфиги HAProxy, PostgreSQL, Valkey и MinIO. Сохранены общие сессии, проверка членства, идемпотентность сообщений, приватный S3, 202 queued, outbox и worker с обработкой изображений и повторами. Публичные тесты и контракт взяты из skeleton Lab6. Workflow сборки отдельный.

При upload сохранение оригинала в staging предшествует commit строки вложения и image_jobs. PostgreSQL определяет состояние задания, версию и возможность публикации. Dispatcher отправляет JSON job в Valkey через XADD. Фиксация SQL-признака публикации отдельная, поэтому при сбое возможна повторная доставка. Worker берёт lease, пишет оригинал, thumbnail, crop и WebP с условным PUT, фиксирует ready транзакцией и подтверждает очередь. Worker ограничен 1 vCPU, 640 MiB и 32 MiB tmpfs, API-реплики — 1 vCPU и 768 MiB каждая.

При открытии server span приложение назначает request_id для HTTP и логов. Миграция 006 хранит часть W3C Trace Context в outbox и время фиксации ready. JSON job остаётся формата Lab5, его метаданные W3C передаются отдельными полями Streams. Producer spans создаются из контекста upload. Consumer извлекает контекст конкретного producer. При retry создаётся новая пара spans в том же trace. Трассы S3 и SQL входят в consumer. Старые строки с пустым контекстом обрабатываются самостоятельно, прежняя семантика доставки сохраняется.

SDK отправляет spans, логи и метрики асинхронно в общий OTLP HTTP receiver. Collector обрабатывает каждый поток через memory_limiter и batch. Prometheus принимает OTLP-метрики и скрапит сам Collector, Loki принимает OTLP-логи с индексным label service_name и structured metadata, Tempo принимает OTLP spans. История хранится в volumes metrics, logs и traces до 7 дней, в Prometheus действует также лимит 512 MB. Grafana сопоставляет логи и трассы из этих источников.

Сигналы и единицы

Сигнал Имя или запрос Единица и смысл
HTTP RPS и ошибки sum(rate(messenger_http_requests_total[30s])) и серия с status_class="5xx" запросы/с по method, route, status_class
HTTP p50/p95/p99 histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) и аналоги 0.50, 0.99 секунды, bucket агрегируются по репликам
Попытки worker messenger_job_attempts_total, messenger_job_duration_seconds_bucket число попыток и секунды с разбивкой по job_type, outcome. queued после ошибки означает retry
Очередь messenger_queue_depth, messenger_queue_oldest_age_seconds число ожидающих строк SQL и возраст старейшей от создания, включая непубликованные задания и backoff
Пул PostgreSQL messenger_db_pool_used, messenger_db_pool_capacity, messenger_db_pool_acquiring, messenger_db_pool_waits_total занятые соединения, лимит, текущие Acquire и кумулятивные запросы получения при пустом пуле
Worker и ресурсы messenger_worker_busy / messenger_worker_capacity, rate(messenger_container_cpu_seconds_total[30s]), messenger_container_memory_bytes доля занятых слотов, ядра CPU и байты cgroup v2, включая Pillow
Время до ready messenger_attachment_time_to_ready_seconds_bucket секунды между записями SQL о принятии и публикации первой версии, только для завершённых задач
SLI готовности messenger_attachment_slo_jobs_total{outcome="good"|"missed"} счётчик созревших событий, включая просроченные, failed и незавершённые
Логи и трассы События http.request, image.published, image.attempt и spans HTTP, очереди, S3, PostgreSQL лог содержит timestamp, severity и correlation IDs. Имя сервиса, версия, экземпляр и окружение находятся в OTel resource

HTTP routes нормализованы до шаблонов. Нестандартные методы попадают в OTHER, неизвестные пути — в unmatched. ID запросов и задания используются для поиска событий и трасс. Отбор полей SDK исключает raw URL, SQL-параметры, логин, пароли, Authorization, токены, текст сообщений и байты изображений. Клиентский traceparent с публичной границы не импортируется. SDK использует полную выборку трасс.

SLO

Цель API — 99% ответов без 5xx на известных маршрутах приложения за скользящие 30 минут. Числитель плохих событий — 5xx, знаменатель — все ответы на этих маршрутах, включая 4xx. Health и ответы, сформированные до попадания в приложение, исключены из измерения.

Цель вложений — 99% первых загрузок становятся ready за ≤5 секунд за скользящие 30 минут. Метрика учитывает событие после дедлайна по данным PostgreSQL. Загрузка с ошибкой или без ready к сроку расходует бюджет. SQL-времена фиксируются внутри транзакций рядом с commit. Гистограмма строится только после успешной фиксации. Цели и срок выбраны для этого учебного профиля и регулярной проверки пользовательского ожидания.

Burn rate равен доле плохих событий, делённой на 0,01. Быстрая пара использует 30 и 10 с, порог 14,4 и for: 2s. Медленная пара использует 75 и 25 с, порог 6 и for: 12s. При равномерном трафике каждый порог за длинное окно расходует примерно четверть бюджета 30 минут (24% и 25%). Обе части пары должны превышать порог, а в каждом окне требуется минимальное число событий. Окна сжаты для воспроизведения в аудитории. Отдельный QueueLagHigh срабатывает, если возраст >5 секунд и в очереди есть задания не менее 4 секунд. Шаг оценки Prometheus — 2 с. Оповещения локальные. Правила · Runbook

Проверки и эксперименты

Два предполагаемых результата. При остановке worker API продолжает принимать загрузки, но растут backlog и расход бюджета ready. При блокировке таблицы сообщений 5xx видны на одном маршруте, а трассы указывают на PostgreSQL. Краткий всплеск наблюдаем по 503, но недостаточен для firing при стабильно прогретом потоке. Проверка отказа Tempo должна показать ограниченную потерю spans при доступном бизнес-пути.

Среда — Docker Desktop 29.3.0 и Compose 5.1.0 на Windows, Linux amd64 в Docker VM, 12 доступных логических CPU и 3,68 GiB RAM. В исследовании SLO после 82 секунд прогрева генератор планирует 4 POST сообщения/с и 1 PNG upload/с, одновременно до 12 запросов. Тест блокирует только таблицу messages на 2,5 и 65 секунд, затем отдельно останавливает worker примерно на минуту. До и после каждой длительной деградации генератор продолжает отправлять трафик. Инциденты ограничены локальным проектом. Отдельные прогоны на одном стенде проводят последовательно.

export BASE_URL=http://127.0.0.1:8080
python3 student-tests/image_rules.py
python3 student-tests/observability.py correlation
python3 student-tests/slo_experiment.py
python3 student-tests/observability.py outage
python3 student-tests/observability.py queue-restart
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
docker compose exec -T prometheus promtool check config /etc/prometheus/prometheus.yml
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL="$BASE_URL"
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$BASE_URL"
docker compose start api

Скрипты fault/restart выполняются только на выделенном стенде. Публичные resilience hooks требуют POSIX shell. При необходимости выполните chmod +x scripts/restart.sh scripts/stop-one.sh.

Доказательства по уровням

Уровень и критерий Проверка и наблюдение Доказательство
3. Compose, миграции, источники сигналов docker compose config --quiet, up -d --build --wait, два контейнера API, отдельный worker, три backend и Grafana Сервисы, Compose
3. Публичный контракт и поведение приложения make check, make validate, make test, абонентский сценарий Lab6 с включённым SDK. Проверены форматы и размеры вариантов Контракт, OpenAPI, Smoke, Обработка изображений
3. Очередь и сохранность Lab5 При выключенном worker сообщение с queued-вложением прошло перезапуск двух API и broker. Та же запись Streams сохранилась, затем получены ready и JPEG Перезапуск очереди
3. Логи, traces, безопасные labels Найдены 45 spans одного upload и три связанных API/worker лога. Пробные секреты, имя файла и текст отсутствовали в проверенных событиях, проверено 818 серий метрик Корреляция
3. Дашборд и сигналы Grafana API показал 18 панелей и три provisioned источника. Запросы панелей выполняются на Prometheus Дашборд, Проверка запросов
4. Контекст и retry Для попыток 1 и 2 проверены родительские span ID на переходах upload → producer → consumer. Результат первой попытки — queued, второй — ready с четырьмя S3 PUT и SQL Трасса и логи
4. SLI, алерты и два инцидента promtool принял пять правил. При блокировке таблицы и при остановке worker зафиксированы firing и возврат в inactive Правила, Хронология, Runbook
4. Отказ telemetry backend Отдельный прогон отключения Tempo с непрерывной записью сообщений и обработкой загрузки Отказ Tempo
4. Наблюдаемое насыщение В запросах Grafana видны занятые соединения и ожидание пула, рабочие слоты и cgroup CPU/RAM. Возраст и глубина выходят из PostgreSQL Панели, Наблюдения
5. Трек SLO Краткий всплеск и две длительные деградации при постоянном профиле. Измерены задержки срабатывания и восстановления Результаты и снимки, Проверка измерений

Что показал прогон 19 ноября 2026 года

В прогретом окне подтверждено 328 сообщений и 82 загрузки. Скорость составила 4,00 успешных сообщения/с и 1,00 принятую загрузку/с. Клиентские p50/p95/p99 для сообщений — 29,9 / 177,7 / 415,0 мс, для загрузок — 62,7 / 368,5 / 730,6 мс. Пик выборочных значений CPU после первых 20 с — 0,28 ядра на две API-реплики и 0,57 ядра на worker. Пик свежих показаний cgroup RAM — около 370 MiB у двух API-реплик и 29 MiB у worker. Генератор пропустил два запуска из-за лимита одновременных запросов. Это менее 0,2% от числа событий в четырёх оцениваемых фазах. В длительном DB-сценарии отдельно получена одна транспортная или контрактная ошибка клиента. Клиентские измерения · Запросы к истории Prometheus

Воздействие Наблюдение из сохранённых сигналов Результат
Фон и короткая блокировка таблицы messages на 2,5 с В фоне 410 успешных ответов. Во время блокировки получено 6 ответов 503 В фоне и после короткого всплеска зарегистрировано 0 firing. Короткая деградация видна в логах и счётчиках
Длительная блокировка на 65 с Клиент получил 253 ответа 503 на POST сообщений. По X-Request-Id найден HTTP-лог. В trace 8fbfa739f88710aef39a7c9f068b44b1 ошибочный span postgresql query длился 1001,3 мс Задержка локализована в SQL. HTTP восстановился после снятия блокировки. В восстановлении отдельно наблюдался ReadySlowBurn, когда Prometheus оценил около 13 просрочек из 27 созревших загрузок за 25 с
Остановка worker Поток сообщений сохранился на 4,00 успешных/с, upload — около 1,00/с. Наблюдаемый backlog достиг 60, возраст — 59,5 с После запуска worker очередь опустела. Все 77 загрузок из интервала воздействия и запуска дошли до ready
Алерт Первое firing после начала воздействия Первое inactive после восстановления
APIFastBurn 12,0 с 10,0 с
APISlowBurn 22,0 с 24,0 с
QueueLagHigh 12,0 с 22,0 с
ReadyFastBurn 14,0 с 28,0 с
ReadySlowBurn 22,0 с 44,0 с

Алерты оценивались и опрашивались каждые 2 с. Для БД моменты отсчитывались от получения маркера захвата блокировки и выхода psql после commit. Для worker использовались моменты завершения команд Compose. Длительность шага запуска worker и остатки ошибок в скользящем окне влияют на наблюдаемые задержки. Числа описывают один прогон всех трёх фаз. Замеры

При отключении Tempo на 36,5 с приложение подтвердило 274 сообщения, одна синтетическая загрузка дошла до ready. Во время отказа очередь экспортёра достигла лимита 16. По наблюдаемым дельтам Collector 270 spans получены им, но исчерпали попытки отправки, ещё 1180 не поставлены в очередь экспортёра. Пик наблюдаемых значений RSS Collector — 75,3 MiB при лимите контейнера 180 MiB. Количество рестартов осталось 0, OOMKilled — false. После команды запуска Tempo восстановление подтверждено новой трассой через 19,9 с. Наблюдения Collector

Публичный tests/load.py за 30,1 с с четырьмя параллельными клиентами подтвердил 10 833 сообщения без ошибок. В этом closed-loop прогоне 359,9 успешных ответов/с, p50/p95/p99 успешных запросов — 8,1 / 28,3 / 44,3 мс. Выбранная нагрузка и coordinated omission ограничивают интерпретацию. Отдельный нагрузочный прогон

Публичная проверка persistence подтвердила сохранение данных и сессии. Хук сначала перезапускает хранилища и ждёт healthcheck, затем перезапускает API, LB и фоновые процессы. Одновременный рестарт в первом прогоне вызывал гонку старта API и PostgreSQL. Порядок исправлен и результат подтверждён повторным прогоном. По одному историческому моменту открыт прежний набор из 56 рядов HTTP, восстановились 45 spans того же trace ID и связанная запись Loki. Persistence · До рестарта · После рестарта · История сигналов

Публичный failover пройден для каждой API-реплики. В двух прогонах получено 122 и 121 успешная запись при 3 и 2 переходных ошибках. Первая успешная запись после запуска хука произошла через 3,765 и 4,008 с. На Windows публичный тест вызвал те же POSIX-хуки через локальные адаптеры Git Bash. Реплика 1 · Реплика 2 · Состояние первой реплики · Состояние второй реплики

Для проверки минимума Lab5 при остановленном worker записано сообщение с queued-вложением. После рестарта двух API и broker проверены новые StartedAt, тот же идентификатор записи Valkey Streams и доступность прежнего сообщения по действующей сессии. После запуска worker получены ready, побайтно совпадающий оригинал и thumbnail JPEG. Очередь при рестарте

Ограничения

Один локальный Compose-хост, одна DB, один брокер и один worker. Результаты относятся к синтетической нагрузке, размерам изображений и ограничениям выше. Они не задают максимальную пропускную способность или эксплуатационные цели. Скользящие окна чувствительны к объёму трафика. SQL-агрегат SLI читает историю заданий каждые 2 секунды, поэтому при росте таблицы потребуется отдельная агрегация и политика хранения. Момент готовности берётся из SQL перед завершением транзакции, задержка самого commit в гистограмму входит приблизительно. Показатели насыщения снимаются периодически и могут пропускать субсекундную работу. Бизнес-запросы, не дошедшие до API, исключены из его SLI.

При недоступном backend допускается потеря сигналов. SDK использует буферы на 1024 spans и 1024 лога, экспорт с таймаутом 2 с, асинхронный сброс и отключённые повторы SDK. Collector ограничивает объём очереди каждым exporter до 16 элементов, число одновременных отправок — до одной, время повторов — до 8 с и память контейнера — до 180 MiB. memory_limiter имеет лимит 125 MiB и резерв для пика 25 MiB. Счётчики Collector охватывают его собственные потери. Потери до приёма Collector и незасэмплированные сигналы из них не выводятся.