Files
mtusi2026lab6-fork/REPORT.md
T
2026-11-22 19:55:50 +03:00

11 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: Антонова Ирина Андреевна, БПИ2301.
  • Целевая оценка: 4.
  • Commit/PR:
  • Использованные источники, библиотеки и помощь ИИ: контракт ЛР № 6, документация OpenTelemetry (Collector, propagation), W3C Trace Context, документация Prometheus, Loki, Tempo и Grafana provisioning; OpenTelemetry SDK 1.45.1. Codex помог перенести код из ЛР № 5 и адаптировать запуск.

Запуск из чистого clone

Требования: Python 3.12, Docker Desktop с Compose. Пошаговая инструкция запуска и остановки для Windows 10 — в tests/README.md.

Версии образов закреплены в compose.yaml: OpenTelemetry Collector contrib 0.165.0, Prometheus v3.16.0, Loki 3.7.10, Tempo 2.9.0, Grafana 13.3.1, PostgreSQL 16.10, RabbitMQ 4.4.0, Redis 7.4.2, Nginx 1.28.0-alpine. Образы приложения (api, server, bootstrap) собираются из репозитория.

Порядок действий:

  1. python scripts/init_local.py создаёт secrets в secrets/ (существующие сохраняются; в Git они не попадают).
  2. docker compose --env-file .env up -d --build поднимает стенд; миграции PostgreSQL и настройку MinIO выполняют одноразовые контейнеры migrate и minio-bootstrap.
  3. Готовность: healthcheck Compose и /health/ready.
  4. Тесты: python -m pytest -q, python tests/smoke.py --base-url <адрес API>.
  5. Адреса: API — порт 18081, дашборд — Grafana (пароль в secrets/grafana_admin_password). Контрольный прогон шёл в проекте messenger-test на портах 28080 и 23000.

Остановка: docker compose --env-file .env down (тома сохраняются). Удаление учебных данных: docker compose --env-file .env down --volumes --remove-orphans.

Архитектура и решения

Из ЛР № 5 перенесены две реплики API за Nginx, Redis, MinIO, RabbitMQ, worker и PostgreSQL; вложение и задание принимаются в одной транзакции, worker подтверждает доставку после фиксации результата. Бизнес-API не менялся.

Добавлено: API и worker отправляют метрики, логи и трассы по OTLP в Collector. Prometheus хранит метрики, Loki — логи, Tempo — трассы, Grafana их отображает и связывает по trace_id. У каждого хранилища свой persistent volume; конфиги и provisioning (в том числе дашборд) лежат в Git.

  • Контекст через очередь: API сохраняет traceparent/tracestate вместе с заданием, publisher передаёт их в RabbitMQ, worker создаёт consumer span с этим родителем. Повторы видны по job.attempt.
  • Логи: структурные, с trace_id, span_id, request_id (API) и job_id (worker).
  • Приватность: в labels нет user_id, chat_id, message_id; тела сообщений, изображения и секреты не экспортируются (проверено на 563 записях логов).
  • Метрики: задержка — histogram в секундах, p50/p95/p99 через histogram_quantile по сумме реплик; также доля ошибок, глубина и возраст очереди, пул БД, загрузка worker.
  • SLO: не менее 99% бизнес-запросов без 5xx за 24 ч. Оповещения в alerts.yaml: MessengerHighErrorRate, MessengerQueueLag.
  • Отказ хранилища телеметрии: экспорт через ограниченную очередь (256 пакетов); при недоступном backend записи отбрасываются, API не блокируется.

Доказательства критериев

Журналы — в evidence/lab6/. Прогон 22.11.2026, профиль full, все 13 шагов с кодом 0.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Стенд, контракт, OpenAPI init_local.py, check_contract.py, validate_openapi.py, docker compose up -d Secrets созданы, контракт и OpenAPI валидны, все сервисы healthy 00, 01, 02, 03
Публичный smoke tests/smoke.py PASS 06
Минимум lab5 python -m pytest -q 206 из 206 за 156,6 с 05, pytest.xml
Метрики, логи, трассы, приватность, история (3) scripts.check_observability --restart-telemetry Данные есть во всех трёх хранилищах; лог связан с трассой API (9021bfee…) и worker (80b42516…); все проверки true, история пережила перезапуск 07, observability.json
Trace context, цепочка до S3/БД, retry (4) --incidents Одна трасса: загрузка → rabbitmq.publish → attachment.process.v1 → S3 и БД; при retry — 6 попыток (2ee8f51d…) observability.json
Дашборд, SLO, alerts (4) Дашборд messenger-overview, alerts.yaml, --incidents Панели по требованиям уровня 4; оба правила прошли firing → resolved Дашборд, alerts.yaml
Отказ телеметрии, два инцидента (4) Остановка Loki, разборы ниже API работает, очередь ограничена observability.json
Сохранность и failover tests/resilience.py Данные и сессия сохранены, запись восстановилась за 2,81 с 08, 09, verification.json

Эксперименты и отказы

Профиль нагрузки. Один Docker-хост, 2 реплики API, 1 worker. Синтетические POST сообщений, 10 запр./с, параллелизм 2, 10 с, без повторов; 3 пользователя, 1 чат. Результат: 100 успешных, 0 ошибок, 10,0 запр./с, клиентские p50/p95/p99 — 26,1 / 51,4 / 80,9 мс. Под нагрузкой CPU API до 66,6%, Collector — 59,6 МиБ из 256 МиБ. Сводка: observability.json.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка PostgreSQL Рост 5xx API вернул 503, в трассе ошибка postgres.checkout Оповещение сработало через 25,9 с, снялось через 66,3 с. Данные не потеряны
Остановка worker Рост возраста заданий Возраст 27,2 с, оповещение через 32,7 с; задание обработано с 6-й попытки, статус ready Глубина очереди вернулась к 0. Задание не потеряно
Остановка Loki API продолжает работу при ограниченном буфере 204 сообщения записаны; очередь до 48 из 256, память Collector около 230,9 МиБ Потеряно 6 пакетов логов; после запуска Loki экспорт восстановился
Остановка одной реплики API Переключение на вторую 115 успешных записей, 4 неуспешные попытки Восстановление за 2,81 с, данные и сессия сохранены

Инцидент 1: PostgreSQL недоступен. Сработало MessengerHighErrorRate → на дашборде рост 5xx → в Tempo по ошибочному POST /api/v1/users (6c4b9559…) ошибка на postgres.checkout → в Loki по trace_id событие dependency.unavailable (gaierror: хост БД не разрешается) и http.request 503. Причина — недоступная зависимость, а не код API; после запуска БД оповещение снялось.

Инцидент 2: worker остановлен. Сработало MessengerQueueLag → на панели очереди рост возраста при отсутствии завершённых заданий → в трассе 2ee8f51d… растёт job.attempt: попытки 1–5 с outcome=error, 6-я success, затем s3.write_result и postgres.commit_ready. Причина — остановленный worker и временные сбои; после восстановления очередь опустела.

Ограничения и следующие шаги

  • Один Docker-хост; нагрузка небольшая (не тест производительности); время срабатывания оповещений измерено в одном прогоне.
  • Для проверки SLO нужно полное 24-часовое окно; доставка оповещений наружу не реализована.
  • При недоступном Loki часть логов теряется намеренно ради ограниченной памяти; метрики и трассы этим сценарием отдельно не проверялись.
  • Вывод hook-скриптов restart.sh и stop-one.sh скрыт из-за секретов, охват перезапущенных процессов подтверждается логами Compose.
  • Grafana использует около 72% лимита памяти (369 из 512 МиБ).
  • Трек 5 не реализован.