forked from mtusi2026/mtusi2026lab6
Переиспользован стек lab5. API/worker шлют OTLP (traces/metrics/logs) в otel-collector -> Prometheus/Loki/Tempo; Grafana с provisioning датасорсов, дашборда и alert rules в Git. W3C trace context переносится через поле traceparent в задании очереди (API producer span -> worker consumer span в одном trace, подтверждено прямым запросом к Tempo). Три контролируемых инцидента прогнаны и задокументированы (worker down -> queue lag + alert, DB down отличим от медленного handler по error-span, telemetry backend down не роняет API/Collector). В процессе найдены и исправлены 4 реальных бага (middleware после старта приложения, detached span context, замерзающая метрика очереди при падении её единственного источника, неатомарный XACK+XDEL) — см. REPORT.md и evidence/. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
26 lines
575 B
Bash
Executable File
26 lines
575 B
Bash
Executable File
#!/bin/sh
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
|
|
wait_healthy() {
|
|
for svc in "$@"; do
|
|
for _ in $(seq 1 60); do
|
|
status=$(docker compose ps --format '{{.Health}}' "$svc" 2>/dev/null || true)
|
|
[ "$status" = "healthy" ] && break
|
|
sleep 1
|
|
done
|
|
done
|
|
}
|
|
|
|
docker compose restart postgres redis seaweedfs
|
|
wait_healthy postgres redis seaweedfs
|
|
|
|
docker compose restart otel-collector prometheus loki tempo grafana
|
|
|
|
docker compose restart api1 api2
|
|
wait_healthy api1 api2
|
|
|
|
docker compose restart worker
|
|
docker compose restart lb
|
|
exit 0
|