forked from mtusi2026/mtusi2026lab6
Реализовать лабораторную 6 на 5: SLO и обнаружение инцидентов
This commit is contained in:
@@ -0,0 +1,91 @@
|
||||
# Runbook: лабораторная 6
|
||||
|
||||
Открыть [dashboard](http://localhost:3000/d/messenger-lab6). Выбрать время инцидента,
|
||||
а не только последние пять минут. Все шаги диагностики ниже используют сохранённые
|
||||
Prometheus/Loki/Tempo данные. Команды управления выполняются **после** диагноза.
|
||||
Внешняя доставка alerts не настроена: состояние проверяется в Prometheus через
|
||||
Grafana datasource proxy (`research/observations.py`).
|
||||
|
||||
## api
|
||||
|
||||
1. Проверить `API 5xx / all business requests`, RPS и p95/p99. Health и ошибочный
|
||||
пароль не являются серверными 5xx. Посмотреть обе пары burn rate: 2m/30s и 6m/1m.
|
||||
2. В Explore → Loki выполнить
|
||||
`{service_name="messenger-api"} | json | status >= 500`.
|
||||
По `request_id` найти ответ пользователя; скопировать `trace_id` или нажать TraceID.
|
||||
3. В Tempo открыть trace. Развернуть server span и `postgresql.transaction`:
|
||||
медленный `postgresql.SELECT/INSERT` с `error.type=_WaitTimeout` и длительностью
|
||||
около 2s указывает на срабатывание I/O timeout ожидания PostgreSQL. Если сервер
|
||||
успел вернуть `LockNotAvailable`, дополнительно подтверждена блокировка.
|
||||
По одному `_WaitTimeout` нельзя отличить SQL lock от других причин медленной БД.
|
||||
Это отличается от медленного handler:
|
||||
при нём server span длинный, а DB spans короткие. `db.pool{state="used"}`
|
||||
показывает занятые соединения, `waiting` — ожидание свободного соединения.
|
||||
Наш эксперимент блокирует только messages, поэтому health остаётся успешным.
|
||||
4. После определения причины дождаться окончания ограниченного failpoint.
|
||||
Для досрочного восстановления своего учебного эксперимента:
|
||||
|
||||
```sh
|
||||
docker compose exec -T postgres psql -U messenger -d messenger -c \
|
||||
"SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE application_name='lab6-incident'"
|
||||
```
|
||||
|
||||
5. Проверить успешные записи, короткие DB spans и спад error ratio.
|
||||
Alert должен перейти firing → inactive (resolved); long-window ratio может
|
||||
оставаться высоким, но short window уже должен очищаться. Состояния измеряются
|
||||
раз в 5s; не объявлять recovery по одному успешному запросу.
|
||||
|
||||
## ready
|
||||
|
||||
1. Проверить `Outstanding jobs` и `Oldest unfinished job age`. Это очередь
|
||||
незавершённых **durable jobs в БД**, включая outbox/retry/processing;
|
||||
длина Redis Stream сама по себе не отражает всю принятую работу.
|
||||
2. Сопоставить worker capacity/busy, process CPU/RSS и rate успешных jobs.
|
||||
Если capacity исчезла, successful jobs остановились, а acceptance продолжается
|
||||
и backlog/age растут — worker не обрабатывает очередь. После 30s устаревшие
|
||||
gauge series удаляются Collector; краткое сохранение старого значения допустимо.
|
||||
3. В Loki:
|
||||
`{service_name="messenger-api"} | json | event="attachment.accepted"`.
|
||||
Открыть trace: виден API → `attachments publish`, но в интервале простоя
|
||||
нет нового `attachments process`. После восстановления в том же trace появятся
|
||||
consumer → S3 GET/PUT → PostgreSQL UPDATE. Retry — отдельные producer/consumer
|
||||
spans с возрастающим `job.attempt` и логом `job.retry`.
|
||||
4. Восстановить worker: `docker compose start worker`.
|
||||
5. Проверить уменьшение backlog до 0, age до 0, возврат successful jobs и capacity.
|
||||
Ready SLO остаётся нарушенным для опоздавших заданий: позднее ready не превращает
|
||||
уже нарушенный 30s deadline в успешный. Дождаться resolved в обеих парах окон.
|
||||
|
||||
## telemetry
|
||||
|
||||
1. Проверить `up{job="collector"}`, `otelcol_exporter_queue_size` и
|
||||
`otelcol_exporter_send_failed_log_records_total`. Ошибки экспортёра сами по себе
|
||||
не равны числу окончательно потерянных записей: возможны retries.
|
||||
2. При живом Collector и ошибках только `otlphttp/loki` проверить доступность
|
||||
datasource Loki. Если API принимает сообщения и метрики/traces приходят,
|
||||
это отдельный отказ хранилища логов, а не отказ бизнес-API.
|
||||
3. Восстановить `docker compose start loki`. Collector ограничен 256 MiB,
|
||||
memory limiter 192 MiB, очередь каждого экспортёра — 64 batch, максимальный
|
||||
batch 128 records, retry не дольше 15s. SDK очереди traces/logs — по 256 записей;
|
||||
сеть работает в фоновых потоках. При исчерпании лимитов telemetry теряется.
|
||||
4. Проверить возобновление Loki ingestion и опустошение exporter queue.
|
||||
В `lab6-checks.json` число потерянных request logs считается по известным
|
||||
request IDs после восстановления, отдельно от счётчиков неудачных экспортов.
|
||||
|
||||
## SLO и интерпретация
|
||||
|
||||
- API: ≥99% business responses за скользящий час без 5xx. 4xx входят в
|
||||
denominator, но не numerator. Отказы LB/сети до API требуют внешнего probe
|
||||
и этим SLI не покрываются.
|
||||
- Изображения: ≥95% accepted jobs готовы за ≤30s; cohort оценивается после
|
||||
истечения deadline. Failed и не завершившиеся задания входят в bad.
|
||||
Скользящее окно — час **созревших** cohorts (acceptance сдвинута на 30s).
|
||||
- Fast burn: 6× бюджета одновременно за 2m и 30s, `for: 15s`.
|
||||
Slow burn: 3× за 6m и 1m, `for: 30s`. Это учебные окна для 1h SLO,
|
||||
а не механически перенесённые production окна для 30 дней.
|
||||
- Guards: ≥30 API requests / ≥5 mature jobs в long window и ≥2 события в short.
|
||||
Нет данных — нет утверждения об успешном SLO; проверять scrape и traffic.
|
||||
- `APIHighErrorRate` — single-window comparator (5%/30s, for 5s),
|
||||
`AttachmentQueueLag` — отдельный эксплуатационный warning (>20s, for 10s).
|
||||
Сравнивать их с burn alerts, а не считать любой warning доказательством
|
||||
исчерпания бюджета. Данные одного короткого эксперимента не доказывают
|
||||
соблюдение SLO в течение полного часа или отсутствие ложных срабатываний вообще.
|
||||
@@ -0,0 +1,40 @@
|
||||
# Схема и транзакции
|
||||
|
||||
Лабораторная 5, оценка 4: клиент → HAProxy → FastAPI × 2 → PostgreSQL + Valkey sessions + приватный S3; outbox publisher → Valkey Streams broker → worker.
|
||||
|
||||
| Таблица PostgreSQL | Назначение и ограничения |
|
||||
| --- | --- |
|
||||
| users | UUID PK; username UNIQUE; password_hash Argon2id; display_name; created_at |
|
||||
| chats | UUID PK; title; created_at |
|
||||
| chat_members | PK (chat_id, user_id); FK на chats и users |
|
||||
| messages | UUID PK; FK на чат и членство отправителя; text до 4000 code points; created_at |
|
||||
| message_attachments | FK на messages и attachments; до 10 позиций; UNIQUE(message_id, position); PK(message_id, attachment_id) |
|
||||
| attachments | UUID PK; FK chat_id и (chat_id, owner_id); UNIQUE object_key; original metadata; status, variants, error_code, created_at/updated_at |
|
||||
| attachment_jobs | UUID job_id PK; UNIQUE attachment_id/staging_key; version, attempt/budget, lease, retention |
|
||||
| attachment_outbox | PK (job_id, attempt); available_at, published_at; индекс неопубликованных |
|
||||
| attachment_job_events | Audit переходов, safe error_code, attempt, время |
|
||||
| attachment_uploads | UUID PK, UNIQUE object_key, created_at; долговечный журнал незавершённых PUT |
|
||||
| message_idempotency | PK (user_id, chat_id, key); request_text, request_attachment_ids, message_id FK, expires_at |
|
||||
| schema_migrations | Имя и SHA-256 применённой миграции; applied_at |
|
||||
|
||||
В PostgreSQL нет bytes оригинала. `object_key=attachments/<UUID>/v1/original` назначает сервер; filename не участвует в ключе. До ответа 202 в таблице attachments есть status=queued, variants=[], error_code=null. Миграция 004 добавляет status, variants, error_code, updated_at; уже существующие ready-вложения lab4 не меняют ключи и остаются доступны.
|
||||
|
||||
`attachment_jobs` хранит один job_id на attachment_id, staging_key, pipeline_version=1, текущую попытку, бюджет, lease_token/lease_until и отметку удаления staging. `attachment_outbox(job_id,attempt)` создаётся в той же транзакции, что metadata/намерение. Dispatcher отмечает published_at после XADD; потеря ответа вызывает безопасный дубль. Отложенный retry получает отдельную строку outbox с available_at. `attachment_job_events` — audit переходов и явных replay без credentials и текста исключений.
|
||||
|
||||
Данные при 202: приватный S3 `attachments/staging/<UUID>` и COMMIT metadata+job+outbox. Готовность: worker сохраняет неизменённый original и три варианта по детерминированным ключам, затем атомарно фиксирует status=ready и JSON metadata. До ready content отвечает 409. Worker проверяет lease_token под блокировкой строк перед записью результатов. Cleaner не удаляет staging queued/processing; после ready удаляет staging, а failed хранит до STAGING_RETENTION_SECONDS.
|
||||
|
||||
Индексы: UNIQUE users(username); chat_members(user_id, chat_id); messages(chat_id, created_at, id); attachments(chat_id); attachment_uploads(created_at). Первичные/уникальные ключи индексируют поиск ID и object_key.
|
||||
|
||||
Создание чата и его участников атомарно. Неизвестный участник откатывает весь чат. Сообщение проверяет членство и все attachment_ids в том же чате, затем одной транзакцией записывает messages, message_attachments и результат идемпотентности. Составной FK дополнительно запрещает отправителя вне чата. Пустой/пробельный text разрешён только с вложением: это проверяет модель запроса; FK таблицы message_attachments запрещают несуществующие ссылки. Удаления вложений в HTTP API нет.
|
||||
|
||||
Общая advisory transaction lock сериализует область пользователь + POST + путь чата + Idempotency-Key. Сравниваются text и упорядоченный нормализованный список UUID; отсутствие attachment_ids эквивалентно []. Совпадение возвращает исходный 201 и Message, отличие — 409. TTL не меньше 24 часов. Чтение истории использует keyset (created_at,id), без кэша; на следующем запросе видны COMMIT любой реплики. При конкурентных вставках snapshot между страницами нет; запись с более ранними часами может оказаться до уже пройденного cursor.
|
||||
|
||||
Upload сначала полностью принимает ограниченный поток во временный файл и проверяет PNG/JPEG. Затем отдельной транзакцией фиксирует attachment_uploads. В следующей транзакции берётся advisory lock object_key, выполняется S3 PUT, вставляются queued metadata, job и outbox, удаляется журнал. 202 отправляется после COMMIT. S3 и PostgreSQL не образуют распределённую транзакцию.
|
||||
|
||||
Если PUT прошёл, а COMMIT нет, остаётся журнал. Если исход COMMIT неизвестен, немедленного удаления нет: metadata/job могли сохраниться, а удаление журнала атомарно с ними. Cleaner раз в 30 секунд берёт до 100 записей старше grace period (по умолчанию 3600 s, минимум 60 s), пробует ту же advisory lock и повторно проверяет запись. Активная загрузка пропускается; при наличии ready-метаданных удаляется только запись журнала; иначе удаляется S3 object и затем журнал. DELETE объекта идемпотентен. Сбой S3/БД откладывает обработку; следующий проход повторяет её. Это компенсация журналируемых загрузок уровня 4, без полного обхода bucket.
|
||||
|
||||
Миграции 001 и 002 сохранены. Миграция 003 добавляет вложения, связи, журнал и список вложений в ключе повтора; старые сообщения имеют пустой список. DDL выполняет один migrate-service под общей advisory lock; API проверяют версии и checksum.
|
||||
|
||||
Сервис valkey хранит только серверные сессии; отдельный сервис broker хранит Stream. Сессии: session:SHA256(token) → user_id, expires_at, TTL. Включены AOF appendfsync always и постоянный volume. Сырой токен не записывается в evidence. PostgreSQL, Valkey и S3 bucket проверяются /health/ready; /health/live не обращается к зависимостям.
|
||||
|
||||
Основа схемы перенесена из lab4; команды, измерения и ограничения прежней версии — в [REPORT.lab4.md](../REPORT.lab4.md). Исходные отчёты и результаты lab2/lab3 сохранены отдельно. Текущая лабораторная описывается в [REPORT.md](../REPORT.md).
|
||||
Reference in New Issue
Block a user