26 KiB
Отчёт — лабораторная 6
Автор: Максимова Мария, БВТ2303. Целевая оценка: 4.
Перенос lab5
Исходники перенесены из соседнего репозитория mtusi2026lab5, версия
19cbacd. Перенесены приложение, миграции 001–005, Dockerfile, Compose,
операторские скрипты, собственные проверки. Контракт и публичные тесты lab6
сохранены. Доказательства старой лабораторной не выдаются за результаты lab6.
Архитектура: HAProxy → две реплики FastAPI → PostgreSQL/Valkey и приватное S3 (SeaweedFS). До 202 сохраняются S3 staging и транзакционный outbox в БД. Publisher доставляет задания в RabbitMQ, worker публикует original, thumbnail JPEG 256×256, crop JPEG 128×128 и optimized WebP 1280×1280. Применяются at least once, publisher confirms, ack после commit, lease с fencing token, ограниченные retry с jitter и журнал ошибок.
Запуск из чистого clone
Нужны Docker Engine/Compose v2 (Linux containers), доступ к registry/PyPI,
около 8 GiB RAM у Docker и Python 3.9+ для stdlib HTTP-проверок.
Образ приложения: Python 3.12.7; PostgreSQL 16.4, Valkey 8.0.1,
SeaweedFS 3.97, RabbitMQ 3.13.7, HAProxy 3.0.11. Python-зависимости
закреплены в requirements.txt. Dockerfile общий для API/publisher/worker.
Windows PowerShell:
powershell -ExecutionPolicy Bypass -File scripts/init-secrets.ps1
Copy-Item .env.example .env
# Если заняты 8080/8404, изменить LB_PORT/LB_STATS_PORT в .env.
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 240
docker compose --profile tools build tester
docker compose --profile tools run --rm -T --no-deps tester make check test
$env:BASE_URL = 'http://localhost:8080' # либо выбранный LB_PORT
python -X utf8 scripts/observe_lab6.py --baseline
python -X utf8 scripts/observe_lab6.py --chain-with-retry
python -X utf8 scripts/observe_lab6.py --incidents
Linux/macOS: sh scripts/init-secrets.sh, cp .env.example .env, те же
команды Compose; BASE_URL=http://localhost:8080 python3 scripts/observe_lab6.py ....
Unit: docker compose exec -T api python - < student-tests/observability_unit.py
(на PowerShell: Get-Content -Raw student-tests/observability_unit.py | docker compose exec -T api python -).
Для полной схемы: python -m venv .venv, установить requirements-dev.txt
в venv, затем python -X utf8 scripts/validate_openapi.py из этого venv.
Собственные проверки изображений/восстановления: python -X utf8 scripts/test_lab5.py
(без --quick выполняются намеренные отказы). Не запускать сценарии отказов параллельно.
Init-скрипты создают случайные локальные credentials в infra/secrets/,
существующие сохраняют; файлы исключены из Git и Docker build context.
migrate до запуска API последовательно применяет миграции 001–006 под
блокировкой и журналирует их; повторный запуск пропускает уже применённые.
s3-init создаёт приватный bucket и проверяет права. Ручной seed не нужен.
--wait проверяет health основных компонентов; baseline дополнительно
ожидает поступление реальных данных в backend.
Безопасная остановка: docker compose down. Данные сохраняются в volumes.
Только для намеренного сброса учебных данных: docker compose down -v.
Эта команда удалит и бизнес-данные, и сохранённую телеметрию.
В текущем прогоне используются локальные порты API 8086, LB stats 8406,
Grafana 3000, Prometheus 9090, Loki 3100, Tempo 3200.
Наблюдаемость: уровень 3
API, worker и publisher используют OpenTelemetry Python SDK 1.28.2,
OTLP HTTP/protobuf → Collector contrib 0.111.0 → Prometheus 2.55.0,
Loki 3.2.1 (native OTLP), Tempo 2.6.1 → Grafana 11.2.2.
Полные конфигурации и импортируемый dashboard находятся в infra/.
Данные backend и состояние Grafana сохраняются в именованных volumes.
Метрики SDK messenger.http.requests и messenger.jobs.processed — counters;
messenger.http.duration и messenger.jobs.duration — histograms в секундах.
Prometheus добавляет _total к counters и _seconds_bucket/sum/count к
histograms. Labels HTTP: method, route template, status_class; jobs:
job_type и outcome. Resource attributes: service.name, service.version=1.6.0,
service.instance.id, deployment.environment.name=lab. Сервисы называются
messenger-api, messenger-worker и messenger-publisher.
API log http.request.complete связывается с ответом по X-Request-Id и
X-Trace-Id. Worker log job.complete связывается с реальным CONSUMER span
по trace_id/span_id. В логах есть timestamp/severity/event и service resource.
Технические job/attachment ID разрешены только в traces/logs синтетического
стенда; метрики не используют идентификаторы объектов.
SDK экспортирует только явные allowlist-события, без текстов сообщений,
паролей, токенов, SQL и exception text. Uvicorn access log выключен.
Grafana доступна только через loopback http://localhost:3000 (учебный anonymous Viewer); dashboard Messenger — lab6, три datasource заданы provisioning автоматически. Prometheus/Loki/Tempo на loopback 9090/3100/3200 нужны также для воспроизводимых проверок. OTLP порты доступны только внутри сети Compose.
Collector применяет memory_limiter (192 MiB), batch (не больше 512 records), очереди exporters по 256 batches и retry до 30 секунд. У SDK фоновые очереди traces/logs по 512 records, batches по 64, HTTP timeout 2 секунды, период метрик 5 секунд. Ни API request, ни job не ожидают сетевой экспорт. Зависимости telemetry не входят в readiness приложения.
Источники: OTel SDK, Loki OTLP, Grafana provisioning. Реализация и документация подготовлены с помощью Codex.
Уровень 4: причинная связь и насыщение
Миграция 006 добавляет nullable W3C carrier в attachments/outbox без изменения публичных схем. API сохраняет carrier в той же транзакции, что и metadata/outbox; publisher извлекает его, создаёт PRODUCER span, записывает новый carrier в envelope. Worker создаёт CONSUMER span с этим parent, сохраняет consumer context при claim для lease recovery. Следующая попытка получает новый span ID в той же трассе. Operator replay/redeliver сохраняет причинный контекст. Транзакционная граница outbox и семантика at least once остаются прежними.
Внутренние spans: db.acquire, db.query, db.commit, db.health,
s3.PutObject/GetObject/DeleteObject/HeadObject, image.generate.
SQL span содержит только тип операции, exception — только имя класса.
GetObject измеряет получение headers; чтение streaming body продолжается
внутри вызывающей операции, поэтому этот span не является полной download latency.
| Prometheus metric | Смысл и единица |
|---|---|
messenger_queue_depth |
queued + processing в PostgreSQL, jobs; включает outbox и delayed retry |
messenger_queue_oldest_age_seconds |
возраст старейшей незавершённой job, секунды |
messenger_queue_sample_age_seconds |
возраст последнего успешного наблюдения, секунды |
messenger_db_pool_used / waiting / capacity |
занятые соединения / acquisition requests in progress / лимит соединений |
messenger_worker_busy / capacity |
занятая обработка / доступная ёмкость (один consumer, capacity=1) |
messenger_process_cpu_seconds_total |
CPU time родительского процесса, секунды |
messenger_process_memory_bytes |
текущая RSS родительского процесса, байты |
messenger_attachment_time_to_ready_seconds_* |
histogram от created_at принятого attachment до успешного COMMIT ready |
Waiting включает создание/проверку соединения, а не только очередь при
исчерпанном pool. Метрики CPU/RSS не включают подпроцесс декодера; контейнер
дополнительно ограничен Docker. Backlog измеряет publisher независимо от worker,
sample age позволяет обнаружить устаревшее наблюдение при отказе БД.
WORKER_CONCURRENCY из логических рекомендаций skeleton не используется:
реальный worker последователен, prefetch=1; scale worker потребует отдельной проверки.
Dashboard фильтрует worker resources по heartbeat не старше 15 секунд,
затем суммирует busy/capacity. Так старые process resources после restart
не завышают ёмкость и не показывают мёртвый busy worker. Collector удаляет
не обновляемые серии через 5 минут; heartbeat делает эту задержку явной.
Пример p95 API в секундах (для p50/p99 меняется только первый аргумент):
histogram_quantile(0.95,
sum by (le) (rate(messenger_http_duration_seconds_bucket{
service_name="messenger-api",route!~"/health/.*"}[5m])))
Сначала объединяются buckets реплик с одинаковыми границами, потом вычисляется percentile. Buckets SDK: 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60, 120, +Inf секунд. Это приближённая оценка, не среднее p95. Все запросы, легенды и единицы находятся в импортируемом dashboard JSON.
SLI доступности = 1 − (5xx / все бизнес-ответы), health исключены, 4xx не
считаются отказом сервера. Учебный SLO: ≥99% за скользящие 5 минут.
Дополнительный SLO: ≥95% успешных ready-завершений за ≤60 секунд в окне 5 минут
по histogram; он условен по завершениям, pending/failed отдельно контролируются
backlog/errors. При отсутствии трафика или завершений выполнение SLO не доказано.
Alert high error rate: >5% за 1 минуту непрерывно 10 секунд. Queue lag:
age >15 секунд при depth >0 и свежем sample <10 секунд непрерывно 10 секунд.
Оценка каждые 5 секунд; короткие пороги выбраны для защиты, а не production SLA.
Правила — infra/prometheus/alerts.yaml, диагностика —
RUNBOOK. Доставка уведомлений наружу не используется.
Конфигурация и границы устойчивости
.env.example содержит логические рекомендации skeleton. Реально Compose
передаёт DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE и S3 *_FILE через
secrets; сессии кэшируются в Valkey, источник истины PostgreSQL. DB pool
10+5 соединений на процесс, pool/connect timeout 3 секунды, statement timeout
5 секунд. Upload: ≤10 MiB и ≤40M pixels; spool RAM 1 MiB на upload,
не более 8 concurrent uploads на API. Worker: image timeout 30 секунд,
total job timeout 90, lease 120, максимум 5 попыток, exponential backoff+jitter.
Thumbnail JPEG quality=85, crop quality=85, optimized WebP quality=80,
metadata EXIF удаляется после применения orientation; original сохраняется побайтно.
Порты, API_REPLICAS, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS,
JOB_* и RETRY_BASE_SECONDS можно переопределить через .env по compose.yaml.
Для локальных OTLP-ресурсов выбраны имена messenger-api/worker/publisher;
endpoint и resource заданы явно в Compose. OTEL_SDK_DISABLED=true отключает SDK.
API readiness зависит от PostgreSQL и drain; S3 влияет на вложения, а broker,
worker и telemetry не выключают весь синхронный путь сообщений.
Две API-реплики выдерживают остановку одной. Postgres/S3/broker volumes переживают перезапуск контейнеров; outbox, publisher confirms, ack после commit, идемпотентная обработка и fencing token защищают от окон потери/дублей. Один Docker-хост, один LB, DB, S3, broker и Collector — точки отказа. Это не кластер с независимыми узлами и не backup; отказ диска/хоста здесь не покрыт. HTTP разрешён только для локального синтетического стенда.
Telemetry экспортируется фоново с ограниченной памятью. При недоступности backend Collector повторяет до 30 секунд, затем отбрасывает batch; при заполнении очереди возможны дополнительные потери. SDK counters export_failures и dropped_records отражают неуспешные exports; overflow SDK queue отдельно не подсчитывается. Collector send_failed — число неуспешных попыток с records, не число уникально потерянных spans. Отказ наблюдаемости не должен останавливать бизнес-записи. Семидневный retention задан для всех трёх сигналов; Prometheus дополнительно ограничен 512 MB, остальные backend ограничены контейнерами и свободным местом учебного Docker-диска.
Методика и результаты проверки
Проверки выполнены 21.11.2026 на Windows/Docker Desktop 29.3.0, Linux
containers, Intel Core Ultra 5 125U. Docker видит 14 CPU и 7 965 700 096 bytes
RAM. Лимиты ресурсов каждого сервиса закреплены в Compose; это один хост.
Телеметрия включена, sampling полный; данные синтетические.
Результаты сняты из рабочего дерева уровня 4 после коммита d0a062e и
включены в третий коммит. История: git log -4 --oneline.
Профиль нагрузки: публичный tests/load.py, closed loop POST messages,
concurrency=4, длительность 20 секунд, один прогон, без автоматических retry.
Отдельный длительный прогрев не выполнялся; до нагрузки стенд работал
несколько минут и прошёл smoke. Создано 1645 сообщений, ошибок 0,
успешные RPS 81.154, p50 38.796 ms, p95 114.354 ms, p99 194.742 ms.
Это client-side latency успешных записей; ошибки учитываются отдельно,
closed loop имеет coordinated omission. Этот прогон не доказывает максимальную
пропускную способность или выполнение SLO за длительный период.
Данные: load-summary.json,
команда/stdout.
За тот же интервал Prometheus зафиксировал максимальную RSS одного API 128 040 960 bytes, worker 89 513 984, publisher 89 305 088. Максимальный 15-секундный rate CPU одного API 0.389 CPU cores, worker 0.001, publisher 0.021. Это дискретные samples родительских процессов, не суммарные CPU/RAM всех контейнеров; image worker подпроцесс не включён. Сырые запросы и range samples.
| Критерий | Команда / сценарий | Доказательство |
|---|---|---|
| Контракт и публичный smoke с telemetry | python -X utf8 scripts/test_lab6.py |
make-check-test.txt |
| Полная OpenAPI / JSON Schema | venv Python, scripts/validate_openapi.py |
validate.txt |
| SDK, корреляция, W3C, отсутствие утечек | student-tests/observability_unit.py в API image |
5 tests |
| Метрики HTTP / jobs, реальные API и worker logs/traces | scripts/observe_lab6.py --baseline |
baseline, trace, API logs, worker logs |
| Устойчивый upload, изображения и лимиты lab5 | scripts/test_lab5.py --quick |
images, decoder limits |
| Сохранность после restart | public persistence с scripts/restart.sh |
persistence.txt |
| Смена API-реплики без потери сессии/данных | public failover с scripts/stop-one.sh |
failover.txt |
| Outbox gap, crash до commit / до ack, retry exhaustion, replay и duplicate no-op | scripts/test_lab5.py (полный прогон с telemetry) |
recovery.txt |
Метрики/логи/трассы из evidence запрошены у настоящих backend; это не статические фиктивные примеры. JSON dashboard и provisioning находятся в Git, а не только в скриншоте. Содержимое вывода и JSON проверяется на текущие синтетические secret markers и запрещённые telemetry keys/metric labels. Собственная проверка oversized upload отправляет заведомо чрезмерный Content-Length и проверяет ранний 413 до передачи body: urllib может потерять ранний ответ, продолжая писать уже отклонённые 10 MiB. Публичные тесты не менялись.
Контролируемые отказы и диагностика
Общие данные: observability-incidents.json.
Сценарии восстанавливают остановленные сервисы в finally; worker запускается
через точные Docker container IDs, чтобы Compose не поднял одновременно
искусственно остановленную зависимость. Перед проверкой alerts ожидаются
пустой backlog и inactive alert, чтобы не принять старое срабатывание за новое.
| Воздействие | Наблюдение и причина | Восстановление |
|---|---|---|
| Worker остановлен, приняты четыре upload (09:03:12–09:04:10 UTC) | Растут depth/oldest age при свежем publisher sample. MessengerQueueLag activeAt 09:03:35, затем firing. API продолжает выдавать 202; причина — отсутствие consumer, не длительность HTTP |
После старта все четыре ready, оригиналы побайтно и SHA-256 совпали, thumbnail 256×160. Alert resolved в 09:04:10; полный сценарий 58 секунд |
| PostgreSQL остановлен (08:58:31–09:00:26 UTC) | 18 прямых бизнес-запросов в две реальные API-реплики дали 503 unavailable. MessengerHighErrorRate activeAt 08:58:55, firing. DB error span и связанный log указывают на зависимость |
БД запущена с тем же volume, readiness восстановился, сообщение записано. Alert resolved 09:00:25 после выхода ошибок из минутного окна |
| Tempo и Loki остановлены на 65 секунд | 339 успешных записей сообщений; exporter send_failed растёт, очереди не превышают capacity=256, максимальная Collector RSS 204 MiB < контейнерного лимита 256 MiB | После старта и опустошения очередей новый upload снова имеет связанный API/worker trace и logs. Проверены все 339 контрольных trace ID и SERVER spans: отсутствующих 0; отсутствующих контрольных API logs 5 |
Для первого инцидента отдельный чистый прогон:
worker-lag-isolated.txt.
Для БД: trace и
logs. Запросы идут прямо в API-контейнеры,
потому что после отрицательного readiness HAProxy сам возвращает 503;
такой ответ LB не следует выдавать за ошибку, измеренную SDK API.
Значение alert activeAt — начало pending, не точное время перехода firing;
само состояние firing сохранено в JSON.
Потери измерены по известным request/trace IDs контрольных бизнес-записей после восстановления и опустошения очередей, с дополнительной проверкой наличия SERVER span. Это количество отсутствующих контрольных событий, а не всех внутренних spans системы. Отсутствующий log при сохранённой бизнес-записи показывает допустимую потерю наблюдений при ограниченном retry. Сырые контрольные logs и список IDs с результатами поиска находятся в evidence. Нулевая потеря этих traces не означает гарантию сохранности telemetry при любом отказе.
Отдельно воспроизведены S3 outage, retry и lease recovery:
summary,
полная трасса,
worker logs.
Upload 8da6897d-7ad0-4a47-92a1-63e8820c6fb3 имеет общий trace
94af84b9ec1663416ac05526995fbd91; видны error попытки 1/2,
duplicate redelivery и success попытки 3. Проверен путь parent каждого
consumer через producer до исходного SERVER span, а также DB/S3 children.
Оригинал 111817 bytes сохранился, thumbnail имеет размер 256×160.
Lease 120 секунд объясняет длительное восстановление после прерывания
worker: бюджет smoke 60 секунд относится к свободному исправному worker,
не к восстановлению аварийной попытки.
После массового чтения накопленных трасс настройки Tempo уточнены: GOMEMLIMIT=256 MiB, контейнер 512 MiB / 1 CPU. Итоговая конфигурация сохраняет ограниченную память и выдержала повторный поиск всех контрольных SERVER spans. Нагрузочный прогон и первоначальный backend outage сняты до этого изменения; бизнес-код и настройки Collector при этом не менялись.
Трек оценки 5 не заявлен. Нет сравнительного исследования sampling, доказанной production ёмкости или отказоустойчивого кластера хранилищ.