11 KiB
Отчёт — лабораторная 6
- Автор, группа: Антонова Ирина Андреевна, БПИ2301.
- Целевая оценка: 4.
- Commit/PR:
- Использованные источники, библиотеки и помощь ИИ: контракт ЛР № 6, документация OpenTelemetry (Collector, propagation), W3C Trace Context, документация Prometheus, Loki, Tempo и Grafana provisioning; OpenTelemetry SDK 1.45.1. Codex помог перенести код из ЛР № 5 и адаптировать запуск.
Запуск из чистого clone
Требования: Python 3.12, Docker Desktop с Compose. Пошаговая инструкция запуска и остановки для Windows 10 — в tests/README.md.
Версии образов закреплены в compose.yaml: OpenTelemetry Collector contrib 0.165.0, Prometheus v3.16.0, Loki 3.7.10, Tempo 2.9.0, Grafana 13.3.1, PostgreSQL 16.10, RabbitMQ 4.4.0, Redis 7.4.2, Nginx 1.28.0-alpine. Образы приложения (api, server, bootstrap) собираются из репозитория.
Порядок действий:
python scripts/init_local.pyсоздаёт secrets вsecrets/(существующие сохраняются; в Git они не попадают).docker compose --env-file .env up -d --buildподнимает стенд; миграции PostgreSQL и настройку MinIO выполняют одноразовые контейнерыmigrateиminio-bootstrap.- Готовность: healthcheck Compose и
/health/ready. - Тесты:
python -m pytest -q,python tests/smoke.py --base-url <адрес API>. - Адреса: API — порт 18081, дашборд — Grafana (пароль в
secrets/grafana_admin_password). Контрольный прогон шёл в проектеmessenger-testна портах 28080 и 23000.
Остановка: docker compose --env-file .env down (тома сохраняются). Удаление учебных данных: docker compose --env-file .env down --volumes --remove-orphans.
Архитектура и решения
Из ЛР № 5 перенесены две реплики API за Nginx, Redis, MinIO, RabbitMQ, worker и PostgreSQL; вложение и задание принимаются в одной транзакции, worker подтверждает доставку после фиксации результата. Бизнес-API не менялся.
Добавлено: API и worker отправляют метрики, логи и трассы по OTLP в Collector. Prometheus хранит метрики, Loki — логи, Tempo — трассы, Grafana их отображает и связывает по trace_id. У каждого хранилища свой persistent volume; конфиги и provisioning (в том числе дашборд) лежат в Git.
- Контекст через очередь: API сохраняет
traceparent/tracestateвместе с заданием, publisher передаёт их в RabbitMQ, worker создаёт consumer span с этим родителем. Повторы видны поjob.attempt. - Логи: структурные, с
trace_id,span_id,request_id(API) иjob_id(worker). - Приватность: в labels нет
user_id,chat_id,message_id; тела сообщений, изображения и секреты не экспортируются (проверено на 563 записях логов). - Метрики: задержка — histogram в секундах, p50/p95/p99 через
histogram_quantileпо сумме реплик; также доля ошибок, глубина и возраст очереди, пул БД, загрузка worker. - SLO: не менее 99% бизнес-запросов без 5xx за 24 ч. Оповещения в alerts.yaml:
MessengerHighErrorRate,MessengerQueueLag. - Отказ хранилища телеметрии: экспорт через ограниченную очередь (256 пакетов); при недоступном backend записи отбрасываются, API не блокируется.
Доказательства критериев
Журналы — в evidence/lab6/. Прогон 22.11.2026, профиль full, все 13 шагов с кодом 0.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Стенд, контракт, OpenAPI | init_local.py, check_contract.py, validate_openapi.py, docker compose up -d |
Secrets созданы, контракт и OpenAPI валидны, все сервисы healthy | 00, 01, 02, 03 |
| Публичный smoke | tests/smoke.py |
PASS | 06 |
| Минимум lab5 | python -m pytest -q |
206 из 206 за 156,6 с | 05, pytest.xml |
| Метрики, логи, трассы, приватность, история (3) | scripts.check_observability --restart-telemetry |
Данные есть во всех трёх хранилищах; лог связан с трассой API (9021bfee…) и worker (80b42516…); все проверки true, история пережила перезапуск |
07, observability.json |
| Trace context, цепочка до S3/БД, retry (4) | --incidents |
Одна трасса: загрузка → rabbitmq.publish → attachment.process.v1 → S3 и БД; при retry — 6 попыток (2ee8f51d…) |
observability.json |
| Дашборд, SLO, alerts (4) | Дашборд messenger-overview, alerts.yaml, --incidents |
Панели по требованиям уровня 4; оба правила прошли firing → resolved | Дашборд, alerts.yaml |
| Отказ телеметрии, два инцидента (4) | Остановка Loki, разборы ниже | API работает, очередь ограничена | observability.json |
| Сохранность и failover | tests/resilience.py |
Данные и сессия сохранены, запись восстановилась за 2,81 с | 08, 09, verification.json |
Эксперименты и отказы
Профиль нагрузки. Один Docker-хост, 2 реплики API, 1 worker. Синтетические POST сообщений, 10 запр./с, параллелизм 2, 10 с, без повторов; 3 пользователя, 1 чат. Результат: 100 успешных, 0 ошибок, 10,0 запр./с, клиентские p50/p95/p99 — 26,1 / 51,4 / 80,9 мс. Под нагрузкой CPU API до 66,6%, Collector — 59,6 МиБ из 256 МиБ. Сводка: observability.json.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановка PostgreSQL | Рост 5xx | API вернул 503, в трассе ошибка postgres.checkout |
Оповещение сработало через 25,9 с, снялось через 66,3 с. Данные не потеряны |
| Остановка worker | Рост возраста заданий | Возраст 27,2 с, оповещение через 32,7 с; задание обработано с 6-й попытки, статус ready |
Глубина очереди вернулась к 0. Задание не потеряно |
| Остановка Loki | API продолжает работу при ограниченном буфере | 204 сообщения записаны; очередь до 48 из 256, память Collector около 230,9 МиБ | Потеряно 6 пакетов логов; после запуска Loki экспорт восстановился |
| Остановка одной реплики API | Переключение на вторую | 115 успешных записей, 4 неуспешные попытки | Восстановление за 2,81 с, данные и сессия сохранены |
Инцидент 1: PostgreSQL недоступен. Сработало MessengerHighErrorRate → на дашборде рост 5xx → в Tempo по ошибочному POST /api/v1/users (6c4b9559…) ошибка на postgres.checkout → в Loki по trace_id событие dependency.unavailable (gaierror: хост БД не разрешается) и http.request 503. Причина — недоступная зависимость, а не код API; после запуска БД оповещение снялось.
Инцидент 2: worker остановлен. Сработало MessengerQueueLag → на панели очереди рост возраста при отсутствии завершённых заданий → в трассе 2ee8f51d… растёт job.attempt: попытки 1–5 с outcome=error, 6-я success, затем s3.write_result и postgres.commit_ready. Причина — остановленный worker и временные сбои; после восстановления очередь опустела.
Ограничения и следующие шаги
- Один Docker-хост; нагрузка небольшая (не тест производительности); время срабатывания оповещений измерено в одном прогоне.
- Для проверки SLO нужно полное 24-часовое окно; доставка оповещений наружу не реализована.
- При недоступном Loki часть логов теряется намеренно ради ограниченной памяти; метрики и трассы этим сценарием отдельно не проверялись.
- Вывод hook-скриптов
restart.shиstop-one.shскрыт из-за секретов, охват перезапущенных процессов подтверждается логами Compose. - Grafana использует около 72% лимита памяти (369 из 512 МиБ).
- Трек 5 не реализован.