Files
mtusi2026lab6/REPORT.md
T

26 KiB
Raw Blame History

Отчёт — лабораторная 6

Автор: Максимова Мария, БВТ2303. Целевая оценка: 4.

Перенос lab5

Исходники перенесены из соседнего репозитория mtusi2026lab5, версия 19cbacd. Перенесены приложение, миграции 001–005, Dockerfile, Compose, операторские скрипты, собственные проверки. Контракт и публичные тесты lab6 сохранены. Доказательства старой лабораторной не выдаются за результаты lab6.

Архитектура: HAProxy → две реплики FastAPI → PostgreSQL/Valkey и приватное S3 (SeaweedFS). До 202 сохраняются S3 staging и транзакционный outbox в БД. Publisher доставляет задания в RabbitMQ, worker публикует original, thumbnail JPEG 256×256, crop JPEG 128×128 и optimized WebP 1280×1280. Применяются at least once, publisher confirms, ack после commit, lease с fencing token, ограниченные retry с jitter и журнал ошибок.

Запуск из чистого clone

Нужны Docker Engine/Compose v2 (Linux containers), доступ к registry/PyPI, около 8 GiB RAM у Docker и Python 3.9+ для stdlib HTTP-проверок. Образ приложения: Python 3.12.7; PostgreSQL 16.4, Valkey 8.0.1, SeaweedFS 3.97, RabbitMQ 3.13.7, HAProxy 3.0.11. Python-зависимости закреплены в requirements.txt. Dockerfile общий для API/publisher/worker.

Windows PowerShell:

powershell -ExecutionPolicy Bypass -File scripts/init-secrets.ps1
Copy-Item .env.example .env
# Если заняты 8080/8404, изменить LB_PORT/LB_STATS_PORT в .env.
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 240
docker compose --profile tools build tester
docker compose --profile tools run --rm -T --no-deps tester make check test
$env:BASE_URL = 'http://localhost:8080' # либо выбранный LB_PORT
python -X utf8 scripts/observe_lab6.py --baseline
python -X utf8 scripts/observe_lab6.py --chain-with-retry
python -X utf8 scripts/observe_lab6.py --incidents

Linux/macOS: sh scripts/init-secrets.sh, cp .env.example .env, те же команды Compose; BASE_URL=http://localhost:8080 python3 scripts/observe_lab6.py .... Unit: docker compose exec -T api python - < student-tests/observability_unit.py (на PowerShell: Get-Content -Raw student-tests/observability_unit.py | docker compose exec -T api python -). Для полной схемы: python -m venv .venv, установить requirements-dev.txt в venv, затем python -X utf8 scripts/validate_openapi.py из этого venv. Собственные проверки изображений/восстановления: python -X utf8 scripts/test_lab5.py (без --quick выполняются намеренные отказы). Не запускать сценарии отказов параллельно.

Init-скрипты создают случайные локальные credentials в infra/secrets/, существующие сохраняют; файлы исключены из Git и Docker build context. migrate до запуска API последовательно применяет миграции 001–006 под блокировкой и журналирует их; повторный запуск пропускает уже применённые. s3-init создаёт приватный bucket и проверяет права. Ручной seed не нужен. --wait проверяет health основных компонентов; baseline дополнительно ожидает поступление реальных данных в backend.

Безопасная остановка: docker compose down. Данные сохраняются в volumes. Только для намеренного сброса учебных данных: docker compose down -v. Эта команда удалит и бизнес-данные, и сохранённую телеметрию. В текущем прогоне используются локальные порты API 8086, LB stats 8406, Grafana 3000, Prometheus 9090, Loki 3100, Tempo 3200.

Наблюдаемость: уровень 3

API, worker и publisher используют OpenTelemetry Python SDK 1.28.2, OTLP HTTP/protobuf → Collector contrib 0.111.0 → Prometheus 2.55.0, Loki 3.2.1 (native OTLP), Tempo 2.6.1 → Grafana 11.2.2. Полные конфигурации и импортируемый dashboard находятся в infra/. Данные backend и состояние Grafana сохраняются в именованных volumes.

Метрики SDK messenger.http.requests и messenger.jobs.processed — counters; messenger.http.duration и messenger.jobs.duration — histograms в секундах. Prometheus добавляет _total к counters и _seconds_bucket/sum/count к histograms. Labels HTTP: method, route template, status_class; jobs: job_type и outcome. Resource attributes: service.name, service.version=1.6.0, service.instance.id, deployment.environment.name=lab. Сервисы называются messenger-api, messenger-worker и messenger-publisher.

API log http.request.complete связывается с ответом по X-Request-Id и X-Trace-Id. Worker log job.complete связывается с реальным CONSUMER span по trace_id/span_id. В логах есть timestamp/severity/event и service resource. Технические job/attachment ID разрешены только в traces/logs синтетического стенда; метрики не используют идентификаторы объектов. SDK экспортирует только явные allowlist-события, без текстов сообщений, паролей, токенов, SQL и exception text. Uvicorn access log выключен.

Grafana доступна только через loopback http://localhost:3000 (учебный anonymous Viewer); dashboard Messenger — lab6, три datasource заданы provisioning автоматически. Prometheus/Loki/Tempo на loopback 9090/3100/3200 нужны также для воспроизводимых проверок. OTLP порты доступны только внутри сети Compose.

Collector применяет memory_limiter (192 MiB), batch (не больше 512 records), очереди exporters по 256 batches и retry до 30 секунд. У SDK фоновые очереди traces/logs по 512 records, batches по 64, HTTP timeout 2 секунды, период метрик 5 секунд. Ни API request, ни job не ожидают сетевой экспорт. Зависимости telemetry не входят в readiness приложения.

Источники: OTel SDK, Loki OTLP, Grafana provisioning. Реализация и документация подготовлены с помощью Codex.

Уровень 4: причинная связь и насыщение

Миграция 006 добавляет nullable W3C carrier в attachments/outbox без изменения публичных схем. API сохраняет carrier в той же транзакции, что и metadata/outbox; publisher извлекает его, создаёт PRODUCER span, записывает новый carrier в envelope. Worker создаёт CONSUMER span с этим parent, сохраняет consumer context при claim для lease recovery. Следующая попытка получает новый span ID в той же трассе. Operator replay/redeliver сохраняет причинный контекст. Транзакционная граница outbox и семантика at least once остаются прежними.

Внутренние spans: db.acquire, db.query, db.commit, db.health, s3.PutObject/GetObject/DeleteObject/HeadObject, image.generate. SQL span содержит только тип операции, exception — только имя класса. GetObject измеряет получение headers; чтение streaming body продолжается внутри вызывающей операции, поэтому этот span не является полной download latency.

Prometheus metric Смысл и единица
messenger_queue_depth queued + processing в PostgreSQL, jobs; включает outbox и delayed retry
messenger_queue_oldest_age_seconds возраст старейшей незавершённой job, секунды
messenger_queue_sample_age_seconds возраст последнего успешного наблюдения, секунды
messenger_db_pool_used / waiting / capacity занятые соединения / acquisition requests in progress / лимит соединений
messenger_worker_busy / capacity занятая обработка / доступная ёмкость (один consumer, capacity=1)
messenger_process_cpu_seconds_total CPU time родительского процесса, секунды
messenger_process_memory_bytes текущая RSS родительского процесса, байты
messenger_attachment_time_to_ready_seconds_* histogram от created_at принятого attachment до успешного COMMIT ready

Waiting включает создание/проверку соединения, а не только очередь при исчерпанном pool. Метрики CPU/RSS не включают подпроцесс декодера; контейнер дополнительно ограничен Docker. Backlog измеряет publisher независимо от worker, sample age позволяет обнаружить устаревшее наблюдение при отказе БД. WORKER_CONCURRENCY из логических рекомендаций skeleton не используется: реальный worker последователен, prefetch=1; scale worker потребует отдельной проверки. Dashboard фильтрует worker resources по heartbeat не старше 15 секунд, затем суммирует busy/capacity. Так старые process resources после restart не завышают ёмкость и не показывают мёртвый busy worker. Collector удаляет не обновляемые серии через 5 минут; heartbeat делает эту задержку явной.

Пример p95 API в секундах (для p50/p99 меняется только первый аргумент):

histogram_quantile(0.95,
  sum by (le) (rate(messenger_http_duration_seconds_bucket{
    service_name="messenger-api",route!~"/health/.*"}[5m])))

Сначала объединяются buckets реплик с одинаковыми границами, потом вычисляется percentile. Buckets SDK: 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60, 120, +Inf секунд. Это приближённая оценка, не среднее p95. Все запросы, легенды и единицы находятся в импортируемом dashboard JSON.

SLI доступности = 1 − (5xx / все бизнес-ответы), health исключены, 4xx не считаются отказом сервера. Учебный SLO: ≥99% за скользящие 5 минут. Дополнительный SLO: ≥95% успешных ready-завершений за ≤60 секунд в окне 5 минут по histogram; он условен по завершениям, pending/failed отдельно контролируются backlog/errors. При отсутствии трафика или завершений выполнение SLO не доказано. Alert high error rate: >5% за 1 минуту непрерывно 10 секунд. Queue lag: age >15 секунд при depth >0 и свежем sample <10 секунд непрерывно 10 секунд. Оценка каждые 5 секунд; короткие пороги выбраны для защиты, а не production SLA. Правила — infra/prometheus/alerts.yaml, диагностика — RUNBOOK. Доставка уведомлений наружу не используется.

Конфигурация и границы устойчивости

.env.example содержит логические рекомендации skeleton. Реально Compose передаёт DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE и S3 *_FILE через secrets; сессии кэшируются в Valkey, источник истины PostgreSQL. DB pool 10+5 соединений на процесс, pool/connect timeout 3 секунды, statement timeout 5 секунд. Upload: ≤10 MiB и ≤40M pixels; spool RAM 1 MiB на upload, не более 8 concurrent uploads на API. Worker: image timeout 30 секунд, total job timeout 90, lease 120, максимум 5 попыток, exponential backoff+jitter. Thumbnail JPEG quality=85, crop quality=85, optimized WebP quality=80, metadata EXIF удаляется после применения orientation; original сохраняется побайтно.

Порты, API_REPLICAS, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS, JOB_* и RETRY_BASE_SECONDS можно переопределить через .env по compose.yaml. Для локальных OTLP-ресурсов выбраны имена messenger-api/worker/publisher; endpoint и resource заданы явно в Compose. OTEL_SDK_DISABLED=true отключает SDK. API readiness зависит от PostgreSQL и drain; S3 влияет на вложения, а broker, worker и telemetry не выключают весь синхронный путь сообщений.

Две API-реплики выдерживают остановку одной. Postgres/S3/broker volumes переживают перезапуск контейнеров; outbox, publisher confirms, ack после commit, идемпотентная обработка и fencing token защищают от окон потери/дублей. Один Docker-хост, один LB, DB, S3, broker и Collector — точки отказа. Это не кластер с независимыми узлами и не backup; отказ диска/хоста здесь не покрыт. HTTP разрешён только для локального синтетического стенда.

Telemetry экспортируется фоново с ограниченной памятью. При недоступности backend Collector повторяет до 30 секунд, затем отбрасывает batch; при заполнении очереди возможны дополнительные потери. SDK counters export_failures и dropped_records отражают неуспешные exports; overflow SDK queue отдельно не подсчитывается. Collector send_failed — число неуспешных попыток с records, не число уникально потерянных spans. Отказ наблюдаемости не должен останавливать бизнес-записи. Семидневный retention задан для всех трёх сигналов; Prometheus дополнительно ограничен 512 MB, остальные backend ограничены контейнерами и свободным местом учебного Docker-диска.

Методика и результаты проверки

Проверки выполнены 21.11.2026 на Windows/Docker Desktop 29.3.0, Linux containers, Intel Core Ultra 5 125U. Docker видит 14 CPU и 7 965 700 096 bytes RAM. Лимиты ресурсов каждого сервиса закреплены в Compose; это один хост. Телеметрия включена, sampling полный; данные синтетические. Результаты сняты из рабочего дерева уровня 4 после коммита d0a062e и включены в третий коммит. История: git log -4 --oneline.

Профиль нагрузки: публичный tests/load.py, closed loop POST messages, concurrency=4, длительность 20 секунд, один прогон, без автоматических retry. Отдельный длительный прогрев не выполнялся; до нагрузки стенд работал несколько минут и прошёл smoke. Создано 1645 сообщений, ошибок 0, успешные RPS 81.154, p50 38.796 ms, p95 114.354 ms, p99 194.742 ms. Это client-side latency успешных записей; ошибки учитываются отдельно, closed loop имеет coordinated omission. Этот прогон не доказывает максимальную пропускную способность или выполнение SLO за длительный период. Данные: load-summary.json, команда/stdout.

За тот же интервал Prometheus зафиксировал максимальную RSS одного API 128 040 960 bytes, worker 89 513 984, publisher 89 305 088. Максимальный 15-секундный rate CPU одного API 0.389 CPU cores, worker 0.001, publisher 0.021. Это дискретные samples родительских процессов, не суммарные CPU/RAM всех контейнеров; image worker подпроцесс не включён. Сырые запросы и range samples.

Критерий Команда / сценарий Доказательство
Контракт и публичный smoke с telemetry python -X utf8 scripts/test_lab6.py make-check-test.txt
Полная OpenAPI / JSON Schema venv Python, scripts/validate_openapi.py validate.txt
SDK, корреляция, W3C, отсутствие утечек student-tests/observability_unit.py в API image 5 tests
Метрики HTTP / jobs, реальные API и worker logs/traces scripts/observe_lab6.py --baseline baseline, trace, API logs, worker logs
Устойчивый upload, изображения и лимиты lab5 scripts/test_lab5.py --quick images, decoder limits
Сохранность после restart public persistence с scripts/restart.sh persistence.txt
Смена API-реплики без потери сессии/данных public failover с scripts/stop-one.sh failover.txt
Outbox gap, crash до commit / до ack, retry exhaustion, replay и duplicate no-op scripts/test_lab5.py (полный прогон с telemetry) recovery.txt

Метрики/логи/трассы из evidence запрошены у настоящих backend; это не статические фиктивные примеры. JSON dashboard и provisioning находятся в Git, а не только в скриншоте. Содержимое вывода и JSON проверяется на текущие синтетические secret markers и запрещённые telemetry keys/metric labels. Собственная проверка oversized upload отправляет заведомо чрезмерный Content-Length и проверяет ранний 413 до передачи body: urllib может потерять ранний ответ, продолжая писать уже отклонённые 10 MiB. Публичные тесты не менялись.

Контролируемые отказы и диагностика

Общие данные: observability-incidents.json. Сценарии восстанавливают остановленные сервисы в finally; worker запускается через точные Docker container IDs, чтобы Compose не поднял одновременно искусственно остановленную зависимость. Перед проверкой alerts ожидаются пустой backlog и inactive alert, чтобы не принять старое срабатывание за новое.

Воздействие Наблюдение и причина Восстановление
Worker остановлен, приняты четыре upload (09:03:12–09:04:10 UTC) Растут depth/oldest age при свежем publisher sample. MessengerQueueLag activeAt 09:03:35, затем firing. API продолжает выдавать 202; причина — отсутствие consumer, не длительность HTTP После старта все четыре ready, оригиналы побайтно и SHA-256 совпали, thumbnail 256×160. Alert resolved в 09:04:10; полный сценарий 58 секунд
PostgreSQL остановлен (08:58:31–09:00:26 UTC) 18 прямых бизнес-запросов в две реальные API-реплики дали 503 unavailable. MessengerHighErrorRate activeAt 08:58:55, firing. DB error span и связанный log указывают на зависимость БД запущена с тем же volume, readiness восстановился, сообщение записано. Alert resolved 09:00:25 после выхода ошибок из минутного окна
Tempo и Loki остановлены на 65 секунд 339 успешных записей сообщений; exporter send_failed растёт, очереди не превышают capacity=256, максимальная Collector RSS 204 MiB < контейнерного лимита 256 MiB После старта и опустошения очередей новый upload снова имеет связанный API/worker trace и logs. Проверены все 339 контрольных trace ID и SERVER spans: отсутствующих 0; отсутствующих контрольных API logs 5

Для первого инцидента отдельный чистый прогон: worker-lag-isolated.txt. Для БД: trace и logs. Запросы идут прямо в API-контейнеры, потому что после отрицательного readiness HAProxy сам возвращает 503; такой ответ LB не следует выдавать за ошибку, измеренную SDK API. Значение alert activeAt — начало pending, не точное время перехода firing; само состояние firing сохранено в JSON.

Потери измерены по известным request/trace IDs контрольных бизнес-записей после восстановления и опустошения очередей, с дополнительной проверкой наличия SERVER span. Это количество отсутствующих контрольных событий, а не всех внутренних spans системы. Отсутствующий log при сохранённой бизнес-записи показывает допустимую потерю наблюдений при ограниченном retry. Сырые контрольные logs и список IDs с результатами поиска находятся в evidence. Нулевая потеря этих traces не означает гарантию сохранности telemetry при любом отказе.

Отдельно воспроизведены S3 outage, retry и lease recovery: summary, полная трасса, worker logs. Upload 8da6897d-7ad0-4a47-92a1-63e8820c6fb3 имеет общий trace 94af84b9ec1663416ac05526995fbd91; видны error попытки 1/2, duplicate redelivery и success попытки 3. Проверен путь parent каждого consumer через producer до исходного SERVER span, а также DB/S3 children. Оригинал 111817 bytes сохранился, thumbnail имеет размер 256×160. Lease 120 секунд объясняет длительное восстановление после прерывания worker: бюджет smoke 60 секунд относится к свободному исправному worker, не к восстановлению аварийной попытки.

После массового чтения накопленных трасс настройки Tempo уточнены: GOMEMLIMIT=256 MiB, контейнер 512 MiB / 1 CPU. Итоговая конфигурация сохраняет ограниченную память и выдержала повторный поиск всех контрольных SERVER spans. Нагрузочный прогон и первоначальный backend outage сняты до этого изменения; бизнес-код и настройки Collector при этом не менялись.

Трек оценки 5 не заявлен. Нет сравнительного исследования sampling, доказанной production ёмкости или отказоустойчивого кластера хранилищ.