forked from mtusi2026/mtusi2026lab6
Реализовать лабораторную 6 на 5: SLO и обнаружение инцидентов
This commit is contained in:
@@ -0,0 +1,58 @@
|
||||
## Лабораторная 5
|
||||
|
||||
Автор / группа: Савельев Иван / БВТ2304
|
||||
Целевая оценка (3/4/5): **4** — выполнены требования уровней 3 и 4.
|
||||
Трек 5, если заявлен: не заявлен.
|
||||
|
||||
### Что реализовано и что перенесено
|
||||
|
||||
Из lab4 перенесены API мессенджера, авторизация и сессии, ACL, идемпотентность сообщений, миграции, приватный S3, две API-реплики за HAProxy, Docker-конфигурация и собственные тесты.
|
||||
|
||||
- Загрузка возвращает `202 queued` после устойчивого сохранения оригинала в S3 staging и транзакции metadata + job + outbox. Статус доступен через GET; content до готовности возвращает 409.
|
||||
- Добавлены отдельные Valkey Streams broker с AOF и volume, outbox publisher и worker. Доставка at least once, ACK после устойчивого результата; дубли не создают второй набор объектов.
|
||||
- Worker сохраняет неизменённый оригинал, JPEG thumbnail, центрированный crop 128×128 и optimized WebP по контракту, с учётом EXIF orientation и прозрачности.
|
||||
- Реализованы пять автоматических попыток, backoff с jitter, lease/recovery, безопасные коды ошибок, реестр failed и явный replay с audit. Ready-задания повторно не запускаются.
|
||||
- Добавлены ограничения bytes/pixels/времени/памяти, ограниченная конкуренция и очистка staging после фиксации результата либо истечения retention failed.
|
||||
|
||||
### Запуск из чистого clone
|
||||
|
||||
Нужны Docker Engine с Compose v2, Python 3.11, Bash и make. Команды из корня репозитория:
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
make check validate PYTHON=.venv/bin/python
|
||||
./scripts/start.sh
|
||||
./scripts/check.sh
|
||||
|
||||
# Полная проверка на отдельном временном Docker Compose project:
|
||||
./scripts/check-docker.sh
|
||||
|
||||
# Остановка обычного стенда с сохранением volumes:
|
||||
./scripts/stop.sh
|
||||
```
|
||||
|
||||
`start.sh` создаёт локальные `.env` и secrets, собирает приложение, выполняет миграции и bootstrap, ждёт готовности обеих API-реплик. API доступен на `http://localhost:8080`.
|
||||
|
||||
### Результаты проверок
|
||||
|
||||
Проверено 12.11.2026: `make check validate test`, 39 собственных API-тестов и все 17 групп полного сценария прошли. Воспроизведены остановка worker и рестарты API/broker, оба разрыва outbox, crash worker после PUT и перед ACK, дубли, исчерпание retry/replay, постоянная ошибка, timeout/MemoryError, очистка staging, недоступность broker, persistence и failover API. Отдельно подтверждён фактический restart всех 11 постоянных контейнеров с сохранением их ID и volumes.
|
||||
|
||||
- [Отчёт, архитектура, команды и ограничения](../REPORT.md).
|
||||
- [Полный вывод проверок](../evidence/lab5-checks.txt) и [JSON результатов](../evidence/lab5-checks.json).
|
||||
- [Доказательство рестартов](../evidence/lab5-restart.json) и [вывод persistence](../evidence/lab5-restart.txt).
|
||||
|
||||
### Ограничения / известные ошибки
|
||||
|
||||
Стенд учебный, на одном Docker-host; потеря host/disk/volumes и ручное удаление объектов не покрываются. Поддерживается pipeline_version=1; исследовательские треки на 5 не реализованы. При длительном простое worker outbox и staging требуют свободного диска; общей квоты принятой работы нет. Failed staging хранится 24 часа, после удаления replay запрещён. Превышение ресурсов обработки заканчивается failed после ограниченного числа попыток. Старые ready-вложения lab4 остаются доступны без автоматического создания вариантов.
|
||||
|
||||
### Источники и использование ИИ
|
||||
|
||||
Основа — ТЗ, OpenAPI, `attachment-states.md` и `jobs.schema.json` этого репозитория; официальная документация Redis Streams/XAUTOCLAIM, Valkey persistence, Pillow ImageOps и Python resource. Ссылки приведены в [REPORT.md](../REPORT.md#первичные-источники).
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
@@ -1,18 +1,55 @@
|
||||
## Лабораторная 6
|
||||
## Лабораторная 6 — наблюдаемость, оценка 5, трек 2
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Савельев Иван / БВТ2304.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
### Результат
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Сохранён работающий pipeline lab5. Добавлены явный OTel SDK для API/worker/publisher,
|
||||
Collector, Prometheus, Loki, Tempo и Grafana с provisioning трёх источников и
|
||||
импортируемым dashboard на 19 панелей. W3C context хранится в durable job/outbox,
|
||||
проходит через broker и сохраняет цепочку при retry до S3/DB ready.
|
||||
|
||||
Реализованы SLO доступности API 99%/1h и готовности изображения 95% за 30s/1h.
|
||||
SLI изображений учитывает failed, late и не завершившиеся jobs. Fast/slow burn
|
||||
alerts используют пары 2m/30s и 6m/1m, guards и for; есть high error rate и queue lag.
|
||||
Исследование сравнивает короткий всплеск с длительными отказами DB/worker,
|
||||
измеряет detection/resolution и ложные срабатывания. Разбор причин использует
|
||||
сохранённые метрики, логи и реальные traces; запросы собраны в runbook.
|
||||
|
||||
### Запуск и проверки
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
./scripts/start.sh
|
||||
./scripts/check-lab6.sh
|
||||
```
|
||||
|
||||
- API: http://localhost:8080.
|
||||
- Dashboard: http://localhost:3000/d/messenger-lab6, локальный Viewer.
|
||||
- [Отчёт, результаты, версии и ограничения](../REPORT.md).
|
||||
- [Runbook](../docs/runbook.md), [методика](../research/README.md).
|
||||
- API/39 собственных tests: `evidence/lab6-api-checks.txt`.
|
||||
- 17 групп сохранённых критериев lab5: `evidence/lab6-lab5-regression.json`.
|
||||
- Trace с retry и логи: `evidence/lab6-trace-retry.json`, `evidence/lab6-correlated-logs.json`.
|
||||
- Loki outage/ограниченная RAM/измеренные потери: `evidence/lab6-checks.json`.
|
||||
- Реальные restart/volumes: `evidence/lab6-restart.json`, `evidence/lab6-telemetry-persistence.json`.
|
||||
- Трек 2: `evidence/lab6-slo-research.json`, `evidence/lab6-slo-series.json`.
|
||||
- Проверки правил: `evidence/lab6-promtool.txt`.
|
||||
|
||||
### Ограничения
|
||||
|
||||
Один host; потеря диска/volumes не покрыта. Telemetry buffer ограничен и допускает
|
||||
измеряемые потери при недоступном backend. SLO периода час задан, но один короткий
|
||||
live эксперимент проверяет детектор, а не долгосрочную надёжность. Отказы LB/сети
|
||||
до API требуют отдельного внешнего SLI. Внешняя доставка alerts не требуется.
|
||||
|
||||
Источники — ТЗ и официальная документация OTel, W3C, Grafana/Prometheus и Google SRE
|
||||
Workbook; ссылки в REPORT.md. Реализация и проверки подготовлены с помощью Codex.
|
||||
|
||||
- [x] Минимум предыдущей работы сохранён.
|
||||
- [x] Обязательные контракты и публичные tests не изменены.
|
||||
- [x] Три сигнала поступают в реальные persistent stores; dashboard provisioned из Git.
|
||||
- [x] Секреты, тела сообщений/изображений и SQL/params не экспортируются.
|
||||
- [x] Локальные .env/secrets и runtime artifacts исключены из Git.
|
||||
- [x] Условия alerts, окна, for и runbook сохранены в Git.
|
||||
|
||||
@@ -0,0 +1,24 @@
|
||||
name: Application
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
|
||||
jobs:
|
||||
docker:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 35
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: actions/setup-python@v5
|
||||
with:
|
||||
python-version: '3.11'
|
||||
- run: python -m venv .venv
|
||||
- run: .venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
- run: ./scripts/check-lab6.sh
|
||||
- uses: actions/upload-artifact@v4
|
||||
if: always()
|
||||
with:
|
||||
name: lab6-evidence
|
||||
path: |
|
||||
evidence/lab6-*.txt
|
||||
evidence/lab6-*.json
|
||||
Reference in New Issue
Block a user