Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Перенесено всё решение lab5 без изменения бизнес-API: API ×2 за HAProxy, PostgreSQL, Redis, SeaweedFS (S3), RabbitMQ, transactional outbox, dispatcher, worker, janitor, тесты lab1–5.
Добавлено в lab6:
OpenTelemetry SDK 1.45.2 во всех процессах (telemetry.py): traces, metrics и logs по OTLP/HTTP в Collector; структурные JSON-логи с event, trace_id, span_id.
Сквозная трасса через очередь (W3C Trace Context): API (server) → create (producer, outbox) → dispatcher publish (producer, AMQP header) → worker process (consumer) → S3 PutObject ×4 и COMMIT в PostgreSQL. Retry идёт в той же трассе, ops.py replay создаёт новую трассу с link на исходную.
Стенд в compose.yaml: OTel Collector 0.164.0 (memory_limiter, batch, ограниченные очереди exporter, retry), Prometheus 3.15.1 (OTLP receiver, recording и alert rules), Loki 3.7.9, Tempo 3.1.1, Grafana 12.4.14. Provisioning источников данных и dashboard (34 панели) лежит в Git, данные хранятся в persistent volumes.
Метрики: RPS, доля ошибок и p50/p95/p99 API (из histogram), задания по исходу и их длительность, глубина очереди и возраст старейшего задания, outbox lag, пул БД, занятость worker, CPU/RAM процессов и контейнеров, время до ready. Метки низкой кардинальности: user_id, chat_id и другие ID в них не попадают.
SLO (окно 1 ч): 99% бизнес-запросов без 5xx; 95% POST messages быстрее 250 мс; 95% вложений ready не позже 30 с.
6 алертов (высокая доля ошибок, растущий queue lag, нет consumers, насыщение пула БД, потеря телеметрии, недоступен Collector) с unit-тестами promtool и runbooks в docs/runbooks.md.
Docker Desktop (Windows, 16 CPU / 15,2 GiB): все 35 шагов PASS — 13 шагов lab6 и 22 шага регрессии lab1–5, включая публичные smoke, failover и persistence. Сводка — evidence/summary.md, подробности — REPORT.md, раздел «Доказательства критериев».
Инциденты (firing → resolved):
Воздействие
Алерт
firing
resolved
остановлен worker
MessengerWorkerNoConsumers
101,7 с
29,7 с после start
остановлен worker
MessengerQueueLagGrowing
131,8 с
29,7 с после start
блокировка таблицы messages (медленная БД)
MessengerHighErrorRate
140,8 с
50,1 с после снятия
остановлены Tempo и Loki
TelemetryExportFailing
73,1 с
165,6 с после start
Медленная БД против медленного обработчика: по трассе видно, что ~5 с из 5 с запроса занимает спан INSERT, а у регистрации пользователя время уходит в argon2id hash.
Отказ хранилищ телеметрии и Collector: API ответил 201 на все запросы, heap Collector не превысил 87 MiB при лимите 200, потери телеметрии посчитаны.
Один экземпляр Collector и каждого хранилища, HA телеметрии нет.
Буфер Collector хранится в памяти и теряется при его рестарте.
Внутренние соединения без TLS (это lab7).
См. REPORT.md, раздел «Ограничения и следующие шаги».
Источники и использование ИИ
Документация OpenTelemetry (SDK, Collector, semantic conventions), W3C Trace Context, Prometheus (OTLP, histograms, promtool), Loki, Tempo, Grafana provisioning. При написании кода, конфигураций и тестов использовался ИИ-ассистент
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6
Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
### Что реализовано и что перенесено
Перенесено всё решение lab5 без изменения бизнес-API: API ×2 за HAProxy, PostgreSQL, Redis, SeaweedFS (S3), RabbitMQ, transactional outbox, dispatcher, worker, janitor, тесты lab1–5.
Добавлено в lab6:
- **OpenTelemetry SDK 1.45.2** во всех процессах (`telemetry.py`): traces, metrics и logs по OTLP/HTTP в Collector; структурные JSON-логи с `event`, `trace_id`, `span_id`.
- **Сквозная трасса через очередь (W3C Trace Context):** API (server) → `create` (producer, outbox) → dispatcher `publish` (producer, AMQP header) → worker `process` (consumer) → S3 PutObject ×4 и COMMIT в PostgreSQL. Retry идёт в той же трассе, `ops.py replay` создаёт новую трассу с link на исходную.
- **Стенд в compose.yaml:** OTel Collector 0.164.0 (memory_limiter, batch, ограниченные очереди exporter, retry), Prometheus 3.15.1 (OTLP receiver, recording и alert rules), Loki 3.7.9, Tempo 3.1.1, Grafana 12.4.14. Provisioning источников данных и dashboard (34 панели) лежит в Git, данные хранятся в persistent volumes.
- **Метрики:** RPS, доля ошибок и p50/p95/p99 API (из histogram), задания по исходу и их длительность, глубина очереди и возраст старейшего задания, outbox lag, пул БД, занятость worker, CPU/RAM процессов и контейнеров, время до ready. Метки низкой кардинальности: user_id, chat_id и другие ID в них не попадают.
- **SLO (окно 1 ч):** 99% бизнес-запросов без 5xx; 95% POST messages быстрее 250 мс; 95% вложений ready не позже 30 с.
- **6 алертов** (высокая доля ошибок, растущий queue lag, нет consumers, насыщение пула БД, потеря телеметрии, недоступен Collector) с unit-тестами promtool и runbooks в `docs/runbooks.md`.
### Команды запуска из чистого clone
```powershell
$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py
docker compose up -d --build --wait
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/collect_evidence.py
```
Grafana: http://127.0.0.1:3000 (admin / `secrets/grafana_admin_password`), алерты: http://127.0.0.1:9090/alerts. Подробности — в REPORT.md, раздел «Запуск из чистого clone».
### Результаты проверок
Docker Desktop (Windows, 16 CPU / 15,2 GiB): **все 35 шагов PASS** — 13 шагов lab6 и 22 шага регрессии lab1–5, включая публичные smoke, failover и persistence. Сводка — `evidence/summary.md`, подробности — REPORT.md, раздел «Доказательства критериев».
Инциденты (firing → resolved):
| Воздействие | Алерт | firing | resolved |
| --- | --- | --- | --- |
| остановлен worker | MessengerWorkerNoConsumers | 101,7 с | 29,7 с после start |
| остановлен worker | MessengerQueueLagGrowing | 131,8 с | 29,7 с после start |
| блокировка таблицы messages (медленная БД) | MessengerHighErrorRate | 140,8 с | 50,1 с после снятия |
| остановлены Tempo и Loki | TelemetryExportFailing | 73,1 с | 165,6 с после start |
- **Медленная БД против медленного обработчика:** по трассе видно, что ~5 с из 5 с запроса занимает спан `INSERT`, а у регистрации пользователя время уходит в `argon2id hash`.
- **Отказ хранилищ телеметрии и Collector:** API ответил 201 на все запросы, heap Collector не превысил 87 MiB при лимите 200, потери телеметрии посчитаны.
- **Нагрузка** (`tests/load.py`, concurrency 4): ~270 POST/с, 0 ошибок, p95 32 мс, p99 47 мс.
### Ограничения / известные ошибки
- Один экземпляр Collector и каждого хранилища, HA телеметрии нет.
- Буфер Collector хранится в памяти и теряется при его рестарте.
- Внутренние соединения без TLS (это lab7).
См. REPORT.md, раздел «Ограничения и следующие шаги».
### Источники и использование ИИ
Документация OpenTelemetry (SDK, Collector, semantic conventions), W3C Trace Context, Prometheus (OTLP, histograms, promtool), Loki, Tempo, Grafana provisioning. При написании кода, конфигураций и тестов использовался ИИ-ассистент
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6
Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Перенесено всё решение lab5 без изменения бизнес-API: API ×2 за HAProxy, PostgreSQL, Redis, SeaweedFS (S3), RabbitMQ, transactional outbox, dispatcher, worker, janitor, тесты lab1–5.
Добавлено в lab6:
telemetry.py): traces, metrics и logs по OTLP/HTTP в Collector; структурные JSON-логи сevent,trace_id,span_id.create(producer, outbox) → dispatcherpublish(producer, AMQP header) → workerprocess(consumer) → S3 PutObject ×4 и COMMIT в PostgreSQL. Retry идёт в той же трассе,ops.py replayсоздаёт новую трассу с link на исходную.docs/runbooks.md.Команды запуска из чистого clone
Grafana: http://127.0.0.1:3000 (admin /
secrets/grafana_admin_password), алерты: http://127.0.0.1:9090/alerts. Подробности — в REPORT.md, раздел «Запуск из чистого clone».Результаты проверок
Docker Desktop (Windows, 16 CPU / 15,2 GiB): все 35 шагов PASS — 13 шагов lab6 и 22 шага регрессии lab1–5, включая публичные smoke, failover и persistence. Сводка —
evidence/summary.md, подробности — REPORT.md, раздел «Доказательства критериев».Инциденты (firing → resolved):
INSERT, а у регистрации пользователя время уходит вargon2id hash.tests/load.py, concurrency 4): ~270 POST/с, 0 ошибок, p95 32 мс, p99 47 мс.Ограничения / известные ошибки
См. REPORT.md, раздел «Ограничения и следующие шаги».
Источники и использование ИИ
Документация OpenTelemetry (SDK, Collector, semantic conventions), W3C Trace Context, Prometheus (OTLP, histograms, promtool), Loki, Tempo, Grafana provisioning. При написании кода, конфигураций и тестов использовался ИИ-ассистент
Принято. Закрываю МР.
Pull request closed