ЛР 6 - БВТ2301 - Шептунов - на 5 #4
@@ -18,3 +18,5 @@ __pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
|
||||
.secrets
|
||||
|
||||
@@ -1,18 +1,34 @@
|
||||
## Лабораторная 6
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Максим Шептунов, БВТ2301, kittsune.
|
||||
Целевая оценка: 5. Трек 2 — SLO и обнаружение инцидентов.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
К рабочему мессенджеру lab5 добавлены ручной OTel SDK API/worker,
|
||||
durable W3C trace context через outbox/Redis Streams, Collector,
|
||||
Prometheus/Loki/Tempo, Grafana provisioning с dashboard и multiwindow burn alerts.
|
||||
API остаётся совместимым. Конфиги, ограничения и инструкции — [REPORT.md](../REPORT.md).
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск в WSL: venv и requirements-dev/requirements-experiment,
|
||||
make setup, make start, make ready. API localhost:8086, Grafana localhost:3006.
|
||||
Полный порядок и safe shutdown — REPORT.md. Secrets генерируются локально.
|
||||
|
||||
Проверки: check/validate, публичный smoke/persistence/API failover,
|
||||
собственные API/гонки/идемпотентность/rollback/files/variants, два SLO-повтора,
|
||||
Tempo outage и отдельный verified retry. Audit evidence: 31/31 PASS.
|
||||
4 317 client requests, 0 budget-page samples на baseline/коротких всплесках.
|
||||
Реальные stdout/JSON/PNG/SVG — evidence; первоначальные ошибки сохранены.
|
||||
|
||||
Ограничения: один host и одиночные stateful backends, короткие учебные SLO-окна,
|
||||
два controlled repetitions. Потери telemetry измерены и не объявляются нулевыми.
|
||||
После основной серии увеличены лимиты Tempo для надёжного чтения; эти этапы
|
||||
в отчёте разделены. Исходники lab5 не изменены; старые Docker-данные удалены
|
||||
только по отдельной просьбе пользователя. Commit/push/PR ещё не выполнены.
|
||||
|
||||
Источники и помощь Codex перечислены в REPORT.md.
|
||||
|
||||
- [x] Обязательный минимум сохранён.
|
||||
- [x] Контракт и публичные tests не ослаблены.
|
||||
- [x] make check / validate / test выполнены.
|
||||
- [x] Отказы уровня 4 и трек 2 воспроизведены с raw evidence.
|
||||
- [x] Secrets находятся вне Git; их literal scan пройден.
|
||||
- [x] README задания сохранён, REPORT.md содержит запуск и runbook.
|
||||
|
||||
@@ -30,3 +30,5 @@ coverage/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
.secrets/
|
||||
|
||||
+30
@@ -0,0 +1,30 @@
|
||||
FROM python:3.12.10-slim-bookworm
|
||||
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1 \
|
||||
APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt requirements.runtime.lock ./
|
||||
RUN pip install --no-cache-dir --requirement requirements.runtime.lock \
|
||||
&& groupadd --system --gid 10001 app \
|
||||
&& useradd --system --uid 10001 --gid app --home-dir /nonexistent --shell /usr/sbin/nologin app
|
||||
|
||||
COPY --chown=app:app src ./src
|
||||
COPY --chown=app:app migrations ./migrations
|
||||
COPY --chown=app:app scripts ./scripts
|
||||
COPY --chown=app:app student-tests ./student-tests
|
||||
COPY --chown=app:app tests ./tests
|
||||
COPY --chown=app:app contracts ./contracts
|
||||
COPY --chown=app:app lab.json ./lab.json
|
||||
RUN mkdir -p evidence && chown app:app evidence
|
||||
|
||||
USER 10001:10001
|
||||
EXPOSE 8080
|
||||
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=3s --retries=3 \
|
||||
CMD ["python", "/app/scripts/healthcheck.py"]
|
||||
|
||||
CMD ["sh", "-c", "exec uvicorn src.main:app --host \"${APP_HOST}\" --port \"${APP_PORT}\" --workers 1 --timeout-graceful-shutdown 8"]
|
||||
@@ -1,5 +1,5 @@
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= http://localhost:8080
|
||||
BASE_URL ?= http://localhost:8086
|
||||
CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
@@ -28,3 +28,30 @@ test-persistence:
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
setup:
|
||||
bash scripts/setup.sh
|
||||
start:
|
||||
bash scripts/start.sh
|
||||
ready:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/stack.py wait --count 2
|
||||
student-checks:
|
||||
$(PYTHON) student-tests/test_api.py --base-url "$(BASE_URL)"
|
||||
$(PYTHON) student-tests/checks.py --base-url "$(BASE_URL)"
|
||||
$(PYTHON) student-tests/idempotency.py --base-url "$(BASE_URL)"
|
||||
docker compose exec -T api python student-tests/database.py
|
||||
test-files:
|
||||
$(PYTHON) student-tests/attachments.py --base-url "$(BASE_URL)"
|
||||
test-variants:
|
||||
$(PYTHON) student-tests/variants.py --base-url "$(BASE_URL)"
|
||||
observability:
|
||||
$(PYTHON) scripts/observe_experiment.py
|
||||
$(PYTHON) scripts/retry_trace.py
|
||||
$(PYTHON) scripts/recover_observations.py
|
||||
stop:
|
||||
docker compose down
|
||||
|
||||
test-dependencies:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) student-tests/dependencies.py
|
||||
|
||||
.PHONY: setup start ready student-checks test-files test-variants observability stop test-dependencies
|
||||
|
||||
@@ -1,37 +1,528 @@
|
||||
# Отчёт — лабораторная 6
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Максим Шептунов, БВТ2301
|
||||
- Целевая оценка; выбранный трек 5, если нужен: 5; трек 2 — SLO и обнаружение инцидентов.
|
||||
- Commit/PR: TODO.
|
||||
- Использованные источники, библиотеки и помощь ИИ: [задание и skeleton](https://gitea.privcloud.tech/kittsune/mtusi2026lab6), собственная реализация lab5; Python, FastAPI, psycopg, Pillow, OpenTelemetry (версии ниже); [OTel Python instrumentation](https://opentelemetry.io/docs/languages/python/instrumentation/), [Collector resiliency](https://opentelemetry.io/docs/collector/resiliency/), [Loki OTLP ingestion](https://grafana.com/docs/loki/latest/send-data/otel/), [Prometheus histograms](https://prometheus.io/docs/practices/histograms/), [Google SRE: Alerting on SLOs](https://sre.google/workbook/alerting-on-slos/), [Collector 0.123.0 file storage](https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.123.0/extension/storage/filestorage/config.go). ИИ использован для анализа skeleton, переноса, инструментации, конфигурации, исследовательских scripts, диагностики и подготовки отчёта. Измерения получены реальным запуском.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
WSL Ubuntu 22.04, Python 3.10+, Docker Desktop с WSL integration,
|
||||
Compose v2. Все команды — в `~/visotka/mtusi2026lab6`.
|
||||
Нужны свободные локальные порты и минимум 2 GiB свободного места на C: во время опыта.
|
||||
|
||||
```bash
|
||||
python3 -m venv .venv
|
||||
.venv/bin/pip install -r requirements-dev.txt -r requirements-experiment.txt
|
||||
chmod +x scripts/*.sh
|
||||
make setup
|
||||
docker compose config --quiet
|
||||
make start
|
||||
make ready PYTHON=.venv/bin/python
|
||||
make check validate test PYTHON=.venv/bin/python
|
||||
make student-checks test-files test-variants PYTHON=.venv/bin/python
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh PYTHON=.venv/bin/python
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh PYTHON=.venv/bin/python
|
||||
bash scripts/restore-api.sh
|
||||
make ready PYTHON=.venv/bin/python
|
||||
make observability PYTHON=.venv/bin/python
|
||||
.venv/bin/python scripts/audit_observability.py
|
||||
.venv/bin/python scripts/plot_observability.py
|
||||
```
|
||||
|
||||
Отказы запускать последовательно. Эксперимент по умолчанию делает два повтора;
|
||||
данные и логи создаются в evidence. Генератор остановит свой стенд, если свободного
|
||||
места на C: станет меньше 2 GiB. Повторная серия заменяет одноимённые evidence:
|
||||
нужные предыдущие результаты следует предварительно сохранить отдельно.
|
||||
|
||||
`make setup` создаёт локальные случайные credentials в `.secrets/` и настройки
|
||||
`.env`, существующие пароли сохраняет. Secrets не печатаются и не входят в Git.
|
||||
Grafana: пользователь `admin`, пароль оператор читает локально из
|
||||
`.secrets/grafana_password`. В evidence его нет.
|
||||
|
||||
API через LB — http://localhost:8086, Grafana — http://localhost:3006/d/lab6.
|
||||
Только на loopback доступны query API Prometheus:9096, Loki:3106, Tempo:3206.
|
||||
API-реплики, PostgreSQL, Redis, MinIO и OTLP наружу не опубликованы.
|
||||
Порт 8086 выбран для сосуществования с предыдущими лабами; tests используют BASE_URL.
|
||||
|
||||
При старте `migrate` применяет версионированные миграции, `s3-bootstrap` создаёт
|
||||
приватный bucket и ограниченную policy. Exit 0 этих сервисов штатный.
|
||||
LB ждёт readiness обеих API. Readiness требует PostgreSQL и S3, cache имеет fallback.
|
||||
Worker/Collector/Grafana не являются критической зависимостью записи сообщений.
|
||||
|
||||
Безопасная остановка: `docker compose down` без `-v`.
|
||||
Намеренный сброс данных **только этого проекта**: `docker compose down --volumes`.
|
||||
При проверках lab6 сброс не выполнялся. После аварийной остановки пользователь
|
||||
отдельно разрешил удалить Docker-данные предыдущих лабораторных и уплотнить
|
||||
Docker VHD; исходники прежних работ и volumes lab6 сохранены.
|
||||
|
||||
**Версии runtime и образов**
|
||||
|
||||
Приложение: Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.9, Pillow 12.0.0.
|
||||
OTel API/SDK/HTTP exporter 1.38.0, semantic conventions package 0.59b0.
|
||||
Полный runtime закреплён в requirements.runtime.lock, Dockerfile устанавливает его.
|
||||
|
||||
| Компонент | Закреплённая версия |
|
||||
| --- | --- |
|
||||
| API/worker/dispatcher/reconciler | mtusi2026lab6-app:1, сборка Dockerfile |
|
||||
| PostgreSQL | postgres:16.9-bookworm |
|
||||
| cache и broker | redis:7.4.3-bookworm, разные процессы/volumes |
|
||||
| HAProxy | haproxy:3.0.11-bookworm |
|
||||
| MinIO / mc | RELEASE.2025-04-22T22-12-26Z / RELEASE.2025-04-16T18-13-26Z, SHA-256 в Compose |
|
||||
| Collector contrib | 0.123.0 |
|
||||
| Prometheus / Loki / Tempo | v3.2.1 / 3.4.2 / 2.7.2 |
|
||||
| Grafana | 11.6.0-ubuntu |
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Основа skeleton: `470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1`; локальный HEAD совпадал с origin при начале работы.
|
||||
|
||||
Из собственной lab5 перенесены две API за HAProxy, PostgreSQL/сессии, cache
|
||||
fallback, общая идемпотентность и cursor, приватный S3, durable staging,
|
||||
transactional outbox, Redis Streams с AOF, dispatcher/worker, lease/fencing,
|
||||
reconciler и три варианта изображения. Перенесены операторские scripts и
|
||||
собственные student-tests. Контракты, публичные tests и README взяты из lab6
|
||||
без ослабления. Lab5 не редактировалась; исходные хеши — lab5_baseline.json.
|
||||
|
||||
Добавлены ручная OTel-инструментация, миграция 005 с traceparent/tracestate,
|
||||
Collector и хранилища трёх сигналов, Grafana provisioning/dashboard,
|
||||
SLO recording/alert rules и исследовательские scripts.
|
||||
Собственная проверка миграций из lab5 ожидала четыре файла; теперь она проверяет
|
||||
точный набор пяти имён. Это student-tests, а не публичные tests skeleton.
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[HTTP clients] --> LB[HAProxy]
|
||||
LB --> A[API x2]
|
||||
A --> PG[(PostgreSQL: sessions / metadata / jobs / outbox)]
|
||||
A --> S3[(Private MinIO)]
|
||||
D[Dispatcher] --> PG
|
||||
D --> B[(Redis Streams + AOF)]
|
||||
B --> W[Worker]
|
||||
W --> PG
|
||||
W --> S3
|
||||
A -->|OTLP HTTP| O[Collector]
|
||||
D -->|OTLP HTTP| O
|
||||
W -->|OTLP HTTP| O
|
||||
O --> P[(Prometheus)]
|
||||
O --> L[(Loki)]
|
||||
O --> T[(Tempo)]
|
||||
G[Grafana] --> P
|
||||
G --> L
|
||||
G --> T
|
||||
```
|
||||
|
||||
PostgreSQL — источник истины для пользователей, сессий, сообщений, jobs/outbox.
|
||||
S3 хранит bytes. Broker доставляет at-least-once; cache не хранит единственную
|
||||
копию сессии. Upload отвечает 202 queued после полного durable staging и
|
||||
COMMIT attachment/job/outbox. Resize выполняется отдельным worker.
|
||||
Ready означает сохранение original/thumbnail/crop/optimized и публикацию метаданных.
|
||||
Ack — после устойчивого результата. Сохранены защита от дублей, advisory lock,
|
||||
lease token и условная публикация текущей pipeline version; это не exactly-once delivery.
|
||||
|
||||
Prometheus хранит метрики и исполняет rules, Loki хранит структурные логи,
|
||||
Tempo — traces, Grafana запрашивает эти источники. Collector принимает/пакетирует/
|
||||
экспортирует OTLP и не заменяет долговременную БД. У backend и Grafana отдельные
|
||||
persistent volumes; у Collector — ограниченные persistent exporter queues.
|
||||
Retention Prometheus/Loki/Tempo — 48 часов. Docker logging ограничен по размеру.
|
||||
|
||||
**Соответствие .env.example реальной конфигурации**
|
||||
|
||||
APP_HOST=0.0.0.0 внутри контейнера;
|
||||
APP_PORT в локальном .env задаёт порт LB (8086), внутренний порт API — 8080.
|
||||
APP_ENV/OTEL_RESOURCE_ATTRIBUTES реализованы явным deployment.environment.name=lab.
|
||||
API_REPLICAS — фиксированный scale:2; SESSION_STORE=postgres,
|
||||
SESSION_TTL_SECONDS=3600. CACHE_URL задаётся внутренним адресом cache без
|
||||
публичного порта; setting поддерживает также суффикс _FILE.
|
||||
IDEMPOTENCY_TTL_SECONDS в интерфейсе — фиксированные 24 часа контракта.
|
||||
S3_ENDPOINT/REGION/BUCKET и *_FILE подключены через Compose/secrets.
|
||||
Лимиты upload 10 MiB/40 млн pixels сохранены. BROKER_URL_FILE указывает
|
||||
отдельный durable broker. WORKER_CONCURRENCY=1, JOB_MAX_ATTEMPTS=5,
|
||||
JOB_TIMEOUT_SECONDS=30, JOB_LEASE_SECONDS=15, retention staging=86400.
|
||||
OTLP HTTP/protobuf endpoint — http://collector:4318, service.name различается
|
||||
по процессам. Отправка трёх сигналов включена по умолчанию.
|
||||
|
||||
**Инструментация и приватность**
|
||||
|
||||
src/telemetry.py использует OTel SDK. ASGI SERVER span охватывает HTTP;
|
||||
DB spans — pool.acquire/execute/commit; S3 CLIENT spans — операции storage;
|
||||
PRODUCER span — фактический XADD; CONSUMER — фактическая попытка worker.
|
||||
Ошибки получают status ERROR и имя класса, без SQL/exception message/stack trace.
|
||||
|
||||
Первый enqueue сохраняет W3C traceparent/tracestate в jobs в той же транзакции.
|
||||
Dispatcher извлекает контекст, открывает producer span и инжектирует carrier
|
||||
в JSON поля сообщения Streams `job`. Consumer извлекает carrier перед
|
||||
обработкой и является дочерним span producer. При retry job_id и исходный
|
||||
HTTP context сохраняются, попытки получают отдельные producer/consumer spans
|
||||
в одном trace. Это работает и после перезапуска API/dispatcher.
|
||||
X-Trace-Id — диагностическое расширение. X-Request-Id остаётся отдельным
|
||||
идентификатором запроса и связывает ответ/ошибку со структурным логом.
|
||||
|
||||
Resource: service.name=messenger-api / messenger-worker / messenger-dispatcher /
|
||||
messenger-reconciler; service.version=6.0.0; service.instance.id=hostname
|
||||
контейнера; deployment.environment.name=lab.
|
||||
Логи содержат timestamp, severity, service.name, event, trace_id, span_id,
|
||||
а HTTP log — request_id. Для синтетических данных в traces/logs допустимы
|
||||
технические job/request IDs, необходимые для корреляции.
|
||||
|
||||
Metric labels ограничены method/route template/status_class либо
|
||||
job_type/outcome и низкокардинальными ресурсами.
|
||||
Нет user_id/chat_id/message_id/attachment_id/request_id/raw URL/filename/text.
|
||||
Не экспортируются Authorization, session token/password, message body,
|
||||
object keys, signed URL и image bytes. Исключения не записывают SQL.
|
||||
Генератор до сохранения выгрузок проверяет отсутствие своего synthetic
|
||||
token/password/body в Loki logs и Tempo traces.
|
||||
|
||||
**Сигналы и dashboard**
|
||||
|
||||
Provisioning: infra/otel/grafana/provisioning; импортируемый JSON:
|
||||
infra/otel/grafana/dashboards/lab6.json. В Grafana автоматически создаются
|
||||
Prometheus/Loki/Tempo и dashboard из 16 панелей, включая переход log → trace.
|
||||
Конфиги backend/Collector/rules лежат в infra/otel.
|
||||
|
||||
| Сигнал | Реальная серия Prometheus | Единица и семантика |
|
||||
| --- | --- | --- |
|
||||
| HTTP requests | app_http_requests_total | завершённые бизнес-запросы |
|
||||
| HTTP duration | app_http_duration_seconds_bucket/count/sum | секунды |
|
||||
| Jobs outcome | jobs_processed_total | попытки: ready/retry/failed/error/ignored |
|
||||
| Job duration | job_duration_seconds_bucket | секунды попытки, без ожидания backlog |
|
||||
| Time to ready | attachment_ready_seconds_bucket | создание durable job → ready COMMIT, секунды |
|
||||
| Queue depth | queue_depth | durable queued+processing, включая outbox и retry |
|
||||
| Oldest age | queue_oldest_age_seconds | возраст самой старой unfinished job |
|
||||
| Pool | db_pool_used / db_pool_waiting | занятые соединения / ожидающие клиенты |
|
||||
| Saturation | worker_busy / worker_capacity | занятые consumer slots / capacity |
|
||||
| Process CPU/RAM | process_cpu_seconds / process_memory_bytes | накопленное CPU время / RSS high water в байтах |
|
||||
| Ready cohorts | ready_deadline_jobs_total / ready_deadline_missed_total | durable абсолютные DB counters |
|
||||
| Validity | queue_probe_ok_ratio | 1 — свежий DB probe, 0 — last-known queue значения |
|
||||
|
||||
Depth не равен XLEN: Streams содержит подтверждённую историю.
|
||||
При probe=0 нельзя считать последнее значение очереди свежим.
|
||||
RAM приложения — high water; текущую память/CPU контейнера показывает Docker stats.
|
||||
Список фактических имён — evidence/metric_names.json.
|
||||
|
||||
RPS: `sum(rate(app_http_requests_total[1m]))`.
|
||||
5xx ratio: 5xx / все завершённые бизнес-запросы, health исключён.
|
||||
Неверный пароль/другие 4xx не входят в numerator.
|
||||
Это SLI HTTP handler; сетевые ошибки до API и ответы самого LB в него не входят.
|
||||
Клиентский генератор считает такие ошибки отдельно.
|
||||
|
||||
Percentile агрегируется по buckets всех реплик:
|
||||
```promql
|
||||
histogram_quantile(0.95,
|
||||
sum by(le)(rate(app_http_duration_seconds_bucket[1m])))
|
||||
```
|
||||
Аналогично p50/p99. Средние p95 реплик не усредняются.
|
||||
Buckets в секундах: .005, .01, .025, .05, .1, .25, .5, 1, 2, 5, 10, 30,
|
||||
60, 120, +Inf. Клиентские p50/p95/p99 вычислены по raw successful HTTP latency;
|
||||
они отличаются от bucket interpolation и не включают ошибки.
|
||||
|
||||
**SLI/SLO и alerts**
|
||||
|
||||
Локальные SLO в rolling window 5 минут:
|
||||
**99% business HTTP без 5xx** и **99% durable uploads ready не позднее 10s**.
|
||||
Tiny fixture при свободном worker обрабатывается значительно быстрее 10s;
|
||||
это учебный бюджет, не production SLA. Контрактный smoke budget 60s отдельный.
|
||||
|
||||
Гистограмма только завершённых файлов скрывает зависшие задания.
|
||||
Поэтому ready SLI использует когорты jobs с возрастом минимум 10s.
|
||||
Missed = status != ready либо persisted ready timestamp позже created_at+10s.
|
||||
Dispatcher читает абсолютные счётчики из PostgreSQL; rate этих counters
|
||||
в окне даёт долю пропущенных deadline. Позднее ready не делает нарушение успешным.
|
||||
Queued/failed тоже учитываются.
|
||||
Начало измерения — jobs.created_at внутри acceptance-транзакции; поэтому
|
||||
включён короткий остаток до её COMMIT. Передача HTTP и staging до создания job
|
||||
в эту метрику не входят. Клиентское observed-ready после 202 — отдельная верхняя
|
||||
оценка с polling; её нельзя приравнивать к точному ready COMMIT. В серии не выполнялись административные
|
||||
replay/version changes когорт; для production лучше отдельная неизменяемая
|
||||
таблица SLI и определённый retention.
|
||||
|
||||
Burn rate = bad_ratio / 0.01.
|
||||
Rules в infra/otel/recording.yaml и alerts.yaml:
|
||||
|
||||
| Alert | Условие | for |
|
||||
| --- | --- | --- |
|
||||
| APIHighErrorRate | 5xx ratio >5% за 30s | 10s |
|
||||
| QueueLagGrowing | oldest >15s и depth >0 | 10s |
|
||||
| APIErrorBudgetBurnFast | burn >14.4 в 30s **и** 2m | 10s |
|
||||
| APIErrorBudgetBurnSlow | burn >6 в 1m **и** 5m | 20s |
|
||||
| ReadyErrorBudgetBurn | burn >14.4 в 30s **и** 2m, новая cohort ненулевая | 10s |
|
||||
|
||||
SDK metrics export / Prometheus scrape / rules evaluation — по 5s.
|
||||
Firing/pending сохраняются из /api/v1/alerts. Resolved — отсутствие alert
|
||||
после подтверждённого firing; внешняя доставка не требуется.
|
||||
У rules есть описания и ссылка на runbook ниже.
|
||||
Окна сокращены для ноутбука. 14.4/6 — параметры локального опыта;
|
||||
они не означают те же доли бюджета, что при 30-дневном production SLO.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Статическая проверка контракта отделена от запуска работающего стенда. Итоговый аудит evidence: 31/31 PASS. Для каждого заявленного критерия ниже указаны команда или сценарий, наблюдение и сохранённые доказательства.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke | `make test PYTHON=.venv/bin/python` | PASS: публичный API-сценарий при включённой телеметрии | [final_runtime_checks.txt](evidence/final_runtime_checks.txt) |
|
||||
| Остальные пункты уровня 3 | `make start ready observability PYTHON=.venv/bin/python`; аудит сигналов и provisioning, подробности ниже | API/worker и три хранилища работают; 16 панелей; связаны реальные логи и traces | [observability_audit.json](evidence/observability_audit.json), [grafana_provisioning.json](evidence/grafana_provisioning.json) |
|
||||
| Все пункты уровня 4, если заявлен | `make observability PYTHON=.venv/bin/python`; fault/retry сценарии и аудит, подробности ниже | Контекст через broker, retry до ready, histogram/queue/pool, firing/resolved; приложение работает без Tempo при ограниченной памяти | [observability_audit.json](evidence/observability_audit.json), [retry_trace_result.json](evidence/retry_trace_result.json), [backend_outage.json](evidence/backend_outage.json) |
|
||||
| Выбранный трек 5, если заявлен | `make observability PYTHON=.venv/bin/python`; трек 2, два повтора | 1085.2s; краткие всплески без budget page; длительные отказы обнаружены и разрешены; времена приведены далее | [slo_result.json](evidence/slo_result.json), [slo_events.json](evidence/slo_events.json), [slo_samples.json](evidence/slo_samples.json) |
|
||||
| Контракт и static | `make check validate PYTHON=.venv/bin/python` | make check validate: PASS; приложение проверяется отдельно | [static_final.txt](evidence/static_final.txt) |
|
||||
| Бизнес-минимум lab5 при OTLP | `make ready test PYTHON=.venv/bin/python` | make ready test: PASS, две API | [resumed_smoke.txt](evidence/resumed_smoke.txt), [experiment_containers.json](evidence/experiment_containers.json) |
|
||||
| API и concurrency | `make student-checks PYTHON=.venv/bin/python` | student-checks: race, 100 unique writes, idempotency, rollback, migrations | [student_final_retry.txt](evidence/student_final_retry.txt) |
|
||||
| Файлы/ACL/варианты | `make test-files test-variants PYTHON=.venv/bin/python` | PNG/JPEG, bytes/pixels, EXIF/alpha/WebP: PASS | [files_variants.txt](evidence/files_variants.txt) |
|
||||
| Сохранность | `make test-persistence ACTION_SCRIPT=scripts/restart.sh PYTHON=.venv/bin/python` | PASS: прежняя сессия и подтверждённые данные сохранены; реально перезапущены PostgreSQL, cache, S3, broker, Collector, Prometheus, Loki, Tempo и Grafana (9 процессов) | [persistence_final.txt](evidence/persistence_final.txt), [final_persistence_scope.json](evidence/final_persistence_scope.json) |
|
||||
| API failover | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh PYTHON=.venv/bin/python` | 104 successful writes, 5 transient attempts, recovery 3.535s | [failover.txt](evidence/failover.txt), [last_stop.json](evidence/last_stop.json) |
|
||||
| Три сигнала API/worker | `make observability PYTHON=.venv/bin/python; затем scripts/audit_observability.py` | OTLP metrics, Loki logs, Tempo traces с реальными duration/outcome | [signals_worker_1.json](evidence/signals_worker_1.json), [signals_db_1.json](evidence/signals_db_1.json), [metric_names.json](evidence/metric_names.json) |
|
||||
| Dashboard/provisioning | `make start; затем Grafana API /api/search и /api/datasources (сценарий observe_experiment.py)` | 16 panels, 3 реальных datasource, provisioned=true через Grafana API | [grafana_provisioning.json](evidence/grafana_provisioning.json), [infra/otel/grafana/dashboards/lab6.json](infra/otel/grafana/dashboards/lab6.json) |
|
||||
| Низкая cardinality и приватность | `.venv/bin/python scripts/audit_observability.py; локальный source/secrets audit` | allowlist labels, synthetic secret/body scan, локальные secrets вне Git | [observability_audit.json](evidence/observability_audit.json), [source_audit.json](evidence/source_audit.json) |
|
||||
| Request-log-trace | `make observability PYTHON=.venv/bin/python; затем scripts/audit_observability.py` | request_id в логе; API/worker logs одного trace; producer/consumer parent graph | [signals_worker_1.json](evidence/signals_worker_1.json), [signals_worker_2.json](evidence/signals_worker_2.json) |
|
||||
| Реальный retry API → broker → worker → S3/DB | `.venv/bin/python scripts/retry_trace.py; затем scripts/audit_observability.py` | S3 подтверждён stopped до durable retry; затем attempts>=2/ready/checksum | [retry_trace_result.json](evidence/retry_trace_result.json), [signals_retry.json](evidence/signals_retry.json) |
|
||||
| Все метрики уровня 4 | `make observability PYTHON=.venv/bin/python; Prometheus API и Grafana dashboard` | HTTP p50/95/99, jobs, queue/age, pool/saturation/CPU/RAM, ready histogram/cohorts | [metric_names.json](evidence/metric_names.json), [slo_samples.json](evidence/slo_samples.json), [infra/otel/grafana/dashboards/lab6.json](infra/otel/grafana/dashboards/lab6.json) |
|
||||
| SLO/rules/runbook | `make observability PYTHON=.venv/bin/python; опрос Prometheus /api/v1/alerts` | 99% / 5m; multiwindow burn; firing и resolved для worker/DB в обоих повторах | [slo_result.json](evidence/slo_result.json), [slo_events.json](evidence/slo_events.json), [slo_samples.json](evidence/slo_samples.json) |
|
||||
| Backend outage и bounded buffers | `make observability PYTHON=.venv/bin/python; stop/start Tempo на 35s и Docker stats` | сообщения и upload работают без Tempo, failed export наблюдаем, memory ниже лимита | [backend_outage.json](evidence/backend_outage.json), [backend_memory.json](evidence/backend_memory.json) |
|
||||
| Трек 2 | `make observability PYTHON=.venv/bin/python; затем scripts/plot_observability.py` | short/sustained faults ×2; detection/recovery/false pages, raw и графики | [slo_result.json](evidence/slo_result.json), [slo_requests.json](evidence/slo_requests.json), [slo_timeline.png](evidence/slo_timeline.png) |
|
||||
| Сохранены предыдущие исходники | `Сравнение SHA-256 с исходным snapshot lab5; git diff публичных tests/contracts` | 131 baseline file lab5 без изменений, public tests/contracts без diff | [source_audit.json](evidence/source_audit.json) |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Финальная проверка после исправления Tempo: повторный persistence сохранил
|
||||
прежнюю сессию и confirmed data; final_persistence_scope.json подтверждает
|
||||
перезапуск всех девяти storage/telemetry процессов. Затем повторены smoke,
|
||||
собственные API/concurrency/idempotency/rollback/files/variants —
|
||||
final_runtime_checks.txt. Host/container pip check — без конфликтов.
|
||||
Отдельный свежий GET подтвердил точное совпадение X-Request-Id/X-Trace-Id
|
||||
с сохранённым структурным логом и Tempo trace: http_correlation.json.
|
||||
После всех проверок стенд остановлен с сохранением volumes для экономии RAM;
|
||||
для просмотра Grafana снова выполнить make start и make ready.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Измеренная серия проведена 29 октября 2026.
|
||||
|
||||
Серия завершена: **PASS**, два повтора, 1085.2s. Отдельный audit: **PASS**, 31 проверок evidence.
|
||||
|
||||
Окружение измеренной серии: 12th Gen Intel(R) Core(TM) i5-1240P, 16 CPU, Docker RAM 8187715584 bytes, Server 28.0.1, Compose 2.33.1, host Python 3.10.12.
|
||||
|
||||
Фактическое окружение серии — evidence/environment.json, IDs и лимиты —
|
||||
experiment_containers.json. API: 1 CPU/512 MiB на реплику, pool max 8;
|
||||
worker: 1 CPU/768 MiB, concurrency 1; Collector: 0.5 CPU/256 MiB;
|
||||
Grafana: 0.5 CPU/512 MiB. Docker stats сохраняется на протяжении опыта.
|
||||
|
||||
**Гипотеза и методика**
|
||||
|
||||
Гипотеза: пятисекундная блокировка не вызывает budget page, длительная
|
||||
DB деградация вызывает burn alerts, а остановка worker видна по queue age
|
||||
и ready SLI при исправном HTTP. Проверяются и firing, и resolved.
|
||||
|
||||
Команда: `make observability PYTHON=.venv/bin/python`.
|
||||
Два последовательных повтора, без других одновременных fault tests.
|
||||
Генератор — fixed arrival 4 POST/s, до 32 in-flight, без retry; synthetic messages.
|
||||
При достижении cap фиксируется skipped arrival. Прогрев — 120s.
|
||||
Сохраняются status/latency/phase/trace ID запросов, без токенов и тела.
|
||||
Для latency/detection/recovery используются монотонные часы, UTC — для корреляции.
|
||||
|
||||
Каждый повтор:
|
||||
|
||||
1. ACCESS EXCLUSIVE lock messages на 5s, recovery 70s.
|
||||
2. Stop worker, четыре PNG uploads, ожидание 40s.
|
||||
3. Возобновить worker, дождаться всех ready, recovery 50s. В серии есть
|
||||
номинальная stop S3 / start worker / 6s / start S3 фаза, но Compose
|
||||
запускает S3 как зависимость worker; эта фаза не засчитывается как retry proof.
|
||||
Реальный retry проверяется отдельным scripts/retry_trace.py после серии:
|
||||
запускается только физический контейнер worker, S3 остаётся остановленным
|
||||
до подтверждённого durable retry_scheduled, затем S3 восстанавливается.
|
||||
Проверяются attempts>=2, ready/checksum и повторные consumer spans одного trace.
|
||||
4. DB lock на 65s, recovery 85s.
|
||||
|
||||
Lock — отдельная PostgreSQL транзакция с pg_sleep и COMMIT.
|
||||
Health SELECT 1 остаётся рабочим: HAProxy не скрывает обе API.
|
||||
API имеет lock_timeout=2s и statement_timeout=3s. В данном опыте первым
|
||||
срабатывает lock_timeout: наблюдаем LockNotAvailable и 503 примерно через 2s.
|
||||
Инжектор проверяет реальный pg_locks; диагностика ниже использует только signals.
|
||||
|
||||
После двух повторов останавливается Tempo на 35s; сообщения и новый upload
|
||||
должны сохранять работу. Backend запускается, recovery 25s.
|
||||
SDK очереди по 512 spans/log records, batch 64, OTLP timeout 1s.
|
||||
Collector: memory limiter 160 MiB + spike 32 MiB, batch max 256,
|
||||
persistent queues по 32 batches, один exporter consumer, retries максимум 10s.
|
||||
После исчерпания retry возможна потеря telemetry; бизнес-транзакции не откатываются.
|
||||
|
||||
Примерно каждые 3s плюс время Docker stats сохраняются alerts, метрики,
|
||||
CPU/RAM и свободное место C:. Итоги: slo_result.json, raw requests/samples/
|
||||
events/uploads, Loki/Tempo выгрузки signals_worker_*.json / signals_db_*.json,
|
||||
backend_outage.json. Audit проверяет evidence отдельно от статуса выполнения.
|
||||
Первоначальная аварийно прерванная серия сохранена в interrupted_2026-10-29
|
||||
и не считается завершённым экспериментом.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| DB lock на 5s, два повтора | Краткий всплеск не вызывает budget page | По 12 HTTP ошибок; budget alerts не переходили в firing; во втором повторе сработал отдельный warning APIHighErrorRate | Warning resolved через 45.51s после снятия lock; потеря подтверждённых данных не наблюдалась |
|
||||
| Остановка worker на 40s, два повтора | HTTP работает, очередь и ready SLI обнаруживают задержку | По четыре uploads в очереди; QueueLagGrowing и ReadyErrorBudgetBurn firing, затем ready и queue=0 | QueueLagGrowing resolved через 10.99s / 4.94s после восстановления; все originals проверены по checksum |
|
||||
| DB lock на 65s, два повтора | Ошибки API и multiwindow burn firing | LockNotAvailable около 2s и HTTP503; Fast detection 46.65s / 45.67s, Slow 52.93s / 58.25s | Fast resolved 40.49s / 40.58s, Slow 77.98s / 71.99s после снятия lock; потеря подтверждённых данных не наблюдалась |
|
||||
| Остановка Tempo на 35s | Запись сообщений и обработка upload работают; буферы ограничены | 191/191 message writes успешны, upload ready; failed-export spans +333; Collector 80.38–82.89 MiB | Проверка после 25s ожидания восстановления; отдельное точное время восстановления backend не измерялось; потери telemetry есть, бизнес-данные сохранены |
|
||||
| Реальный S3 outage до durable retry | Задание повторяется после восстановления S3 | Job ready на третьей попытке после двух durable retry events; одна цепочка trace до S3/DB | После восстановления S3 checksum совпал; отдельное время восстановления не измерялось |
|
||||
| Перезапуск девяти storage/telemetry процессов | Сохраняются сессия, данные и история | Финальный public persistence PASS; фактический scope 9/9 в final_persistence_scope.json | Подтверждённые данные и прежняя сессия сохранены; отдельное время восстановления не измерялось |
|
||||
| Остановка одной API-реплики | Другая принимает запросы через LB | 104 успешных writes и 5 transient attempts | Recovery 3.535s; подтверждённые данные и сессия сохранены |
|
||||
|
||||
**HTTP-нагрузка**
|
||||
|
||||
| Фаза | Запросов | Успехов | Ошибок | successful RPS | p50 / p95 / p99, ms (только успехи) |
|
||||
| --- | ---: | ---: | ---: | ---: | --- |
|
||||
| 1_db_degraded | 280 | 12 | 268 | 0.172 | 423.97 / 1922.56 / 1922.56 |
|
||||
| 1_db_recovery | 351 | 351 | 0 | 4.011 | 12.84 / 19.11 / 20.65 |
|
||||
| 1_s3_retry | 27 | 27 | 0 | 4.147 | 10.84 / 19.10 / 21.14 |
|
||||
| 1_short_recovery | 280 | 280 | 0 | 4.014 | 11.93 / 18.75 / 28.63 |
|
||||
| 1_short_spike | 24 | 12 | 12 | 2.082 | 419.27 / 1918.57 / 1918.57 |
|
||||
| 1_worker_recovery | 227 | 227 | 0 | 4.017 | 12.44 / 18.07 / 20.40 |
|
||||
| 1_worker_stopped | 209 | 209 | 0 | 4.018 | 12.28 / 19.03 / 23.41 |
|
||||
| 2_db_degraded | 277 | 12 | 265 | 0.174 | 392.86 / 1890.57 / 1890.57 |
|
||||
| 2_db_recovery | 726 | 726 | 0 | 4.005 | 10.35 / 16.92 / 19.52 |
|
||||
| 2_s3_retry | 26 | 26 | 0 | 4.154 | 9.98 / 16.88 / 17.41 |
|
||||
| 2_short_recovery | 280 | 280 | 0 | 4.013 | 13.18 / 20.33 / 31.31 |
|
||||
| 2_short_spike | 29 | 17 | 12 | 2.425 | 1226.53 / 3229.82 / 3229.82 |
|
||||
| 2_worker_recovery | 561 | 561 | 0 | 4.006 | 11.04 / 17.90 / 21.33 |
|
||||
| 2_worker_stopped | 210 | 210 | 0 | 4.018 | 10.61 / 18.25 / 21.84 |
|
||||
| backend_down | 191 | 191 | 0 | 4.020 | 12.37 / 19.53 / 22.79 |
|
||||
| backend_recovery | 136 | 136 | 0 | 4.029 | 11.83 / 18.95 / 20.01 |
|
||||
| baseline | 482 | 482 | 0 | 4.008 | 10.84 / 17.79 / 356.42 |
|
||||
| setup | 1 | 1 | 0 | 54.706 | 18.28 / 18.28 / 18.28 |
|
||||
|
||||
**Обнаружение и разрешение alerts**
|
||||
|
||||
| Инцидент | Alert | Detection, s | Resolved относительно восстановления, s |
|
||||
| --- | --- | ---: | ---: |
|
||||
| 1_short_spike | APIHighErrorRate | не firing | — |
|
||||
| 1_short_spike | APIErrorBudgetBurnFast | не firing | — |
|
||||
| 1_short_spike | APIErrorBudgetBurnSlow | не firing | — |
|
||||
| 1_worker_stopped | QueueLagGrowing | 38.93 | 10.99 |
|
||||
| 1_worker_stopped | ReadyErrorBudgetBurn | 38.93 | -1.49 |
|
||||
| 1_db_degraded | APIHighErrorRate | 27.86 | 46.75 |
|
||||
| 1_db_degraded | APIErrorBudgetBurnFast | 46.65 | 40.49 |
|
||||
| 1_db_degraded | APIErrorBudgetBurnSlow | 52.93 | 77.98 |
|
||||
| 2_short_spike | APIHighErrorRate | 32.75 | 45.51 |
|
||||
| 2_short_spike | APIErrorBudgetBurnFast | не firing | — |
|
||||
| 2_short_spike | APIErrorBudgetBurnSlow | не firing | — |
|
||||
| 2_worker_stopped | QueueLagGrowing | 38.28 | 4.94 |
|
||||
| 2_worker_stopped | ReadyErrorBudgetBurn | 38.28 | 4.94 |
|
||||
| 2_db_degraded | APIHighErrorRate | 33.11 | 46.90 |
|
||||
| 2_db_degraded | APIErrorBudgetBurnFast | 45.67 | 40.58 |
|
||||
| 2_db_degraded | APIErrorBudgetBurnSlow | 58.25 | 71.99 |
|
||||
|
||||
Ложных firing samples budget alerts на baseline/коротких всплесках: **0**. Это ограниченный результат двух controlled repetitions, не оценка вероятности ложного page в production. APIHighErrorRate — отдельный warning, его срабатывание на реальный короткий 5xx burst не считается ложным budget page.
|
||||
|
||||
ReadyErrorBudgetBurn может разрешиться раньше полного drain (отрицательное время в таблице): после единичной когорты нет новых missed deadlines в коротком окне. Продолжающийся backlog при этом покрывает QueueLagGrowing. Отрицательное число сохранено, а не заменено нулём.
|
||||
|
||||
Во время Tempo outage финальные failed-export spans выросли на **333**; Collector memory по Docker stats: 80.38–82.89 MiB при лимите 256 MiB. Все baseline/backend-down message writes успешны, upload достиг ready с проверенным original checksum. Это bounded outage experiment, не доказательство отсутствия утечки при неограниченном времени.
|
||||
|
||||
Отдельный verified-retry test: job ready после **3** attempts, durable retry events **2**. Условие недоступности S3 проверено по состоянию физического контейнера; ошибочный consumer/s3.get и успешный повтор находятся в одном trace.
|
||||
|
||||
Максимальная суммарная память контейнеров в sample: **1533.2 MiB**, суммарный CPU — **1.841 cores** (100% Docker CPU = одно логическое ядро). Минимум свободного C: **5.50 GiB**. Подробные peaks по процессам — resource_summary.json; пики разных контейнеров не следует суммировать как синхронный максимум.
|
||||
|
||||
DB traces показывают INSERT/LockNotAvailable около 2s, затем HTTP503. Это подтверждает lock contention по наблюдениям без SQL текста. Worker incident: API продолжает запись, producer есть, consumer отсутствует до восстановления, oldest растёт, затем consumer/ready и queue=0. Root cause локализуется по трём сигналам.
|
||||
|
||||
Гипотеза подтверждена для двух указанных профилей: короткие всплески не создают budget page, длительная DB деградация и остановка worker обнаружены. Trade-off: slow alert сбрасывается позже первого успешного запроса; cohort ready burn не заменяет backlog alert.
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
**Runbook: очередь растёт, сообщения работают**
|
||||
|
||||
1. В dashboard сравнить API RPS/5xx и queue depth/oldest. При queue probe=1
|
||||
ненулевой backlog и растущий oldest — свежие данные PostgreSQL.
|
||||
2. Найти upload в Loki по request_id, перейти по trace_id в Tempo.
|
||||
Server/DB COMMIT/producer при отсутствии consumer и ready локализуют
|
||||
задержку после publish, в обработке worker.
|
||||
3. Проверить новые jobs outcome/duration и worker logs. Отсутствие попыток
|
||||
при поступающих публикациях указывает на неработающий consumer.
|
||||
Нулевой busy сам по себе не доказывает жизнь процесса: последний
|
||||
sample может ещё оставаться в Collector.
|
||||
4. После восстановления появляются consumer/attachment_ready logs,
|
||||
очередь уходит в 0, QueueLagGrowing resolved. Ready SLI некоторое время
|
||||
сохраняет пропущенные deadline — это ожидаемое поведение.
|
||||
5. Если consumer ERROR и длинный/ошибочный s3.get при нормальном DB,
|
||||
причина попытки — storage. Найти следующий producer/consumer того же job
|
||||
в том же trace, проверить eventual ready и checksum оригинала.
|
||||
|
||||
**Runbook: 503 и длинные запросы API**
|
||||
|
||||
1. Подтвердить 5xx, а не ошибки ввода 4xx, проверить обе API и HTTP histogram.
|
||||
2. В Loki найти http_request status=503, взять request_id/trace_id.
|
||||
В Tempo сравнить длительность SERVER и дочернего db.execute.
|
||||
3. db.execute INSERT с ERROR/LockNotAvailable примерно на 2s локализует причину
|
||||
в ожидании PostgreSQL lock, а не в CPU handler. Pool used/waiting показывает занятость.
|
||||
Отсутствие сравнимого медленного S3 участка отделяет storage incident.
|
||||
По безопасным spans виден класс lock contention, но без SQL нельзя назвать
|
||||
конкретную таблицу/держателя lock. Эти детали известны методике и pg_locks.
|
||||
4. После снятия причины DB spans снова короткие, сообщения возвращают 201.
|
||||
Fast/slow alerts разрешаются после окон, а не сразу с первым успешным /live.
|
||||
Проверить сохранённый resolved и успешные записи после воздействия.
|
||||
|
||||
**Runbook: Tempo недоступно**
|
||||
|
||||
1. При продолжающихся успешных сообщениях/upload проверить exporter failed spans,
|
||||
accepted/sent, queue size/capacity и Collector RSS.
|
||||
2. Очереди/timeout/memory limiter ограничивают буферизацию. После retry timeout
|
||||
часть spans теряется. Failed exports и недоступные trace IDs фиксируются.
|
||||
3. Accepted минус sent включает in-flight и не является точным числом
|
||||
потерянных HTTP-запросов; один запрос создаёт много spans.
|
||||
4. Восстановить backend, проверить новые traces и drain очереди.
|
||||
Не увеличивать queues без ограничений, не удалять volumes.
|
||||
|
||||
**Дополнительные наблюдения и границы измерения**
|
||||
|
||||
Второй широкий capture получил Tempo query timeouts с клиентским deadline 8s.
|
||||
По Docker stats Tempo занимал около 239 MiB из лимита 256 MiB; исходные лимиты —
|
||||
0.5 CPU/256 MiB. Наблюдались и отказы exporter до намеренного outage.
|
||||
После серии Tempo переведён на 1 CPU/512 MiB, volume сохранён.
|
||||
Повторные чтения ограничены диапазоном времени, deadline до 60s;
|
||||
выбранные сохранённые traces читаются примерно за доли секунды.
|
||||
Независимый вклад CPU, RAM и ограничения диапазона не измерялся.
|
||||
Полная двухповторная серия с новым лимитом не повторялась:
|
||||
таблицы выше относятся к исходному snapshot ресурсов, финальный Compose —
|
||||
к исправленной конфигурации. Корректировка подтверждена чтением данных и
|
||||
финальным smoke, а не заявлением улучшенного throughput.
|
||||
|
||||
Исходные timeout captures и неудачный audit сохранены в initial_captures/
|
||||
и initial_observability_audit.*. Повторная реальная выгрузка — capture_recovery.*.
|
||||
Для DB второго повтора выбран первый доступный error trace из упорядоченных
|
||||
реальных 503 requests; это диагностический пример, не случайная выборка
|
||||
для оценки процента потерянных spans. Последние три error trace отсутствуют:
|
||||
потери telemetry не объявляются нулевыми и не восстанавливаются вымышленными spans.
|
||||
API logs для корреляции дополнительно запрошены по конкретным trace IDs,
|
||||
поскольку широкая выдача limit=1000 не гарантирует попадание нужного upload.
|
||||
|
||||
До намеренного Tempo outage send_failed_spans уже был ненулевым;
|
||||
в backend_outage.json отдельно сохранены before/during/after.
|
||||
Разность during-before относится к контролируемому outage.
|
||||
Есть также enqueue_failed и accepted/sent в slo_samples.json:
|
||||
счётчики отказов и разность потоков нельзя без анализа in-flight/повторов
|
||||
называть количеством потерянных запросов. Измерение обнаруживает ограничения
|
||||
малого telemetry backend, а не обещает без потерь обработать любую нагрузку.
|
||||
|
||||
Successful RPS пересчитан из raw monotonic интервалов запросов; исходная
|
||||
сводка с wall-clock знаменателем сохранена в slo_result_wallclock_rates.json.
|
||||
Статусы и исходные latency/status observations при этом не менялись.
|
||||
Фаза setup очень короткая; её RPS не является оценкой производительности.
|
||||
Предыдущие regression/persistence/failover evidence получены до обновления
|
||||
Docker Server; завершённая SLO-серия и финальные проверки — на Server28.0.1.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Один host, PostgreSQL, LB, broker, S3 и Collector остаются SPOF.
|
||||
Это не throughput benchmark и не production SLA. Малый synthetic dataset,
|
||||
фиксированная интенсивность и два повтора не дают статистической оценки
|
||||
ложных alerts на разнообразном реальном трафике. HTTP errors и percentiles
|
||||
успехов разделены, сетевой SLI ограничен клиентским генератором.
|
||||
Потеря диска/host не проверялась. App jobs/outbox/Streams retention —
|
||||
учебное ограничение перенесённой lab5; end-to-end SLI cohort рассчитан
|
||||
для контролируемых переходов серии, не для произвольного администрирования.
|
||||
Memory snapshots ниже лимита показывают поведение в ограниченном опыте,
|
||||
а не доказывают отсутствие утечки при любом времени/трафике.
|
||||
OTLP внутри локальной Docker сети без TLS; scope lab7 не заявлен.
|
||||
|
||||
Первоначальный запуск потребовал восстановления зависшего WSL с разрешения
|
||||
пользователя. Исправлены каталог compaction WAL у Collector, чтение Grafana
|
||||
secret и Alpine image exit 139 переходом на Ubuntu variant. Первоначальные
|
||||
ошибки сохранены, они не считаются PASS. Аварийно прерванная серия отделена
|
||||
от завершённой; старые показатели lab5 не переименованы в результаты lab6.
|
||||
|
||||
Подтверждены работа приложения при ограниченном outage Tempo, восстановление после остановки worker/S3, сохранность при перезапуске и обнаружение двух заданных профилей деградации. Это не подтверждает устойчивость к потере host, диска или единственного экземпляра БД/broker/S3.
|
||||
|
||||
Следующие шаги: повторить полную серию с финальными лимитами Tempo 1 CPU/512 MiB и отдельно оценить вклад CPU, RAM и диапазона query; расширить выборку нагрузки и повторов; хранить неизменяемый журнал ready-cohorts для SLI вне управляемого эксперимента. Чтение сохранённых traces после исправления проверено, улучшение throughput и снижение потерь при длительной нагрузке остаются гипотезами. HA хранилищ, OTLP TLS и production retention в этой работе не реализованы.
|
||||
|
||||
+498
@@ -0,0 +1,498 @@
|
||||
services:
|
||||
db:
|
||||
image: postgres:16.9-bookworm
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
|
||||
secrets:
|
||||
- db_password
|
||||
volumes:
|
||||
- postgres_data:/var/lib/postgresql/data
|
||||
cpus: 1.0
|
||||
mem_limit: 512m
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD-SHELL
|
||||
- pg_isready -U messenger -d messenger
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
cache:
|
||||
image: redis:7.4.3-bookworm
|
||||
command:
|
||||
- redis-server
|
||||
- --appendonly
|
||||
- 'yes'
|
||||
- --appendfsync
|
||||
- everysec
|
||||
volumes:
|
||||
- redis_data:/data
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD
|
||||
- redis-cli
|
||||
- ping
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
migrate:
|
||||
build: .
|
||||
command:
|
||||
- python
|
||||
- -m
|
||||
- src.migrate
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets:
|
||||
- database_url
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
depends_on:
|
||||
db:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
disable: true
|
||||
image: mtusi2026lab6-app:1
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
s3:
|
||||
image: mtusi2026lab6-minio:2025-04-22
|
||||
build:
|
||||
context: .
|
||||
dockerfile: infra/s3.Dockerfile
|
||||
args:
|
||||
COMPONENT: minio
|
||||
RELEASE: RELEASE.2025-04-22T22-12-26Z
|
||||
SHA256: 53e2a2cb16c5366ea6fbbc479c19ddb4c6a0948273e752f740fb1fbf27bb817c
|
||||
command:
|
||||
- server
|
||||
- /data
|
||||
- --address
|
||||
- :9000
|
||||
- --console-address
|
||||
- 127.0.0.1:9001
|
||||
environment:
|
||||
MINIO_ROOT_USER_FILE: /run/secrets/s3_root_user
|
||||
MINIO_ROOT_PASSWORD_FILE: /run/secrets/s3_root_password
|
||||
MINIO_BROWSER: 'off'
|
||||
secrets:
|
||||
- s3_root_user
|
||||
- s3_root_password
|
||||
volumes:
|
||||
- s3_data:/data
|
||||
cpus: 1.0
|
||||
mem_limit: 512m
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD
|
||||
- python
|
||||
- -c
|
||||
- import urllib.request; urllib.request.urlopen("http://localhost:9000/minio/health/live",timeout=2)
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
s3-bootstrap:
|
||||
image: mtusi2026lab6-mc:2025-04-16
|
||||
build:
|
||||
context: .
|
||||
dockerfile: infra/s3.Dockerfile
|
||||
args:
|
||||
COMPONENT: mc
|
||||
RELEASE: RELEASE.2025-04-16T18-13-26Z
|
||||
SHA256: ac90da87a35641be5a0ac75d49de5161ddb47d629b5ba01261b0ae9e00aea15f
|
||||
entrypoint:
|
||||
- /bin/sh
|
||||
- /bootstrap.sh
|
||||
volumes:
|
||||
- ./scripts/bootstrap_s3.sh:/bootstrap.sh:ro
|
||||
- ./infra:/policies:ro
|
||||
secrets:
|
||||
- s3_root_user
|
||||
- s3_root_password
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
environment:
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
api:
|
||||
build: .
|
||||
scale: 2
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL: redis://cache:6379/0
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
DB_POOL_MAX: ${DB_POOL_MAX:-8}
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_REGION: us-east-1
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES: '10485760'
|
||||
MAX_IMAGE_PIXELS: '40000000'
|
||||
MAX_PENDING_JOBS: ${MAX_PENDING_JOBS:-1000}
|
||||
OTEL_SERVICE_NAME: messenger-api
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: http://collector:4318
|
||||
TELEMETRY_ENABLED: '1'
|
||||
secrets:
|
||||
- database_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
dns_opt:
|
||||
- timeout:1
|
||||
- attempts:1
|
||||
cpus: ${API_CPU:-1.0}
|
||||
mem_limit: ${API_MEMORY:-512m}
|
||||
stop_grace_period: 10s
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
cache:
|
||||
condition: service_healthy
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD
|
||||
- python
|
||||
- /app/scripts/healthcheck.py
|
||||
interval: 2s
|
||||
timeout: 4s
|
||||
retries: 30
|
||||
image: mtusi2026lab6-app:1
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
reconciler:
|
||||
build: .
|
||||
command:
|
||||
- python
|
||||
- -m
|
||||
- src.cleanup
|
||||
- --apply
|
||||
- --loop
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
|
||||
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-15}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
ALLOW_FAULT_INJECTION: ${ALLOW_FAULT_INJECTION:-0}
|
||||
OTEL_SERVICE_NAME: messenger-reconciler
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: http://collector:4318
|
||||
TELEMETRY_ENABLED: '1'
|
||||
secrets:
|
||||
- database_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- broker_url
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
disable: true
|
||||
image: mtusi2026lab6-app:1
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
dns_opt:
|
||||
- timeout:1
|
||||
- attempts:1
|
||||
lb:
|
||||
image: haproxy:3.0.11-bookworm
|
||||
ports:
|
||||
- 127.0.0.1:${APP_PORT:-8080}:8080
|
||||
volumes:
|
||||
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
broker:
|
||||
image: redis:7.4.3-bookworm
|
||||
entrypoint:
|
||||
- /bin/sh
|
||||
- /broker.sh
|
||||
volumes:
|
||||
- broker_data:/data
|
||||
- ./infra/broker-entrypoint.sh:/broker.sh:ro
|
||||
secrets:
|
||||
- broker_password
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
healthcheck:
|
||||
test:
|
||||
- CMD-SHELL
|
||||
- REDISCLI_AUTH="$$(cat /run/secrets/broker_password)" redis-cli ping
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
dispatcher:
|
||||
image: mtusi2026lab6-app:1
|
||||
build: .
|
||||
command:
|
||||
- python
|
||||
- -m
|
||||
- src.dispatcher
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
|
||||
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-15}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
ALLOW_FAULT_INJECTION: ${ALLOW_FAULT_INJECTION:-0}
|
||||
OTEL_SERVICE_NAME: messenger-dispatcher
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: http://collector:4318
|
||||
TELEMETRY_ENABLED: '1'
|
||||
secrets:
|
||||
- database_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- broker_url
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
restart: on-failure
|
||||
healthcheck:
|
||||
disable: true
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
dns_opt:
|
||||
- timeout:1
|
||||
- attempts:1
|
||||
worker:
|
||||
image: mtusi2026lab6-app:1
|
||||
build: .
|
||||
command:
|
||||
- python
|
||||
- -m
|
||||
- src.worker
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-30}
|
||||
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-15}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
ALLOW_FAULT_INJECTION: ${ALLOW_FAULT_INJECTION:-0}
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1}
|
||||
WORKER_IMAGE_MEMORY_MIB: '512'
|
||||
OTEL_SERVICE_NAME: messenger-worker
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: http://collector:4318
|
||||
TELEMETRY_ENABLED: '1'
|
||||
secrets:
|
||||
- database_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- broker_url
|
||||
cpus: 1.0
|
||||
mem_limit: 768m
|
||||
stop_grace_period: 5s
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-bootstrap:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
restart: on-failure
|
||||
healthcheck:
|
||||
disable: true
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
dns_opt:
|
||||
- timeout:1
|
||||
- attempts:1
|
||||
collector:
|
||||
image: otel/opentelemetry-collector-contrib:0.123.0
|
||||
command:
|
||||
- --config=/etc/otel/config.yaml
|
||||
volumes:
|
||||
- ./infra/otel/collector.yaml:/etc/otel/config.yaml:ro
|
||||
- collector_data:/var/lib/otel
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
restart: unless-stopped
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
user: 0:0
|
||||
prometheus:
|
||||
image: prom/prometheus:v3.2.1
|
||||
command:
|
||||
- --config.file=/etc/prometheus/prometheus.yaml
|
||||
- --storage.tsdb.path=/prometheus
|
||||
- --storage.tsdb.retention.time=2d
|
||||
- --web.enable-lifecycle
|
||||
volumes:
|
||||
- ./infra/otel/prometheus.yaml:/etc/prometheus/prometheus.yaml:ro
|
||||
- prometheus_data:/prometheus
|
||||
- ./infra/otel/alerts.yaml:/etc/prometheus/alerts.yaml:ro
|
||||
- ./infra/otel/recording.yaml:/etc/prometheus/recording.yaml:ro
|
||||
cpus: 0.5
|
||||
mem_limit: 256m
|
||||
restart: unless-stopped
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
ports:
|
||||
- 127.0.0.1:9096:9090
|
||||
loki:
|
||||
image: grafana/loki:3.4.2
|
||||
command:
|
||||
- -config.file=/etc/loki/config.yaml
|
||||
volumes:
|
||||
- ./infra/otel/loki.yaml:/etc/loki/config.yaml:ro
|
||||
- loki_data:/loki
|
||||
cpus: 0.5
|
||||
mem_limit: 384m
|
||||
restart: unless-stopped
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
ports:
|
||||
- 127.0.0.1:3106:3100
|
||||
tempo:
|
||||
image: grafana/tempo:2.7.2
|
||||
command:
|
||||
- -config.file=/etc/tempo/config.yaml
|
||||
volumes:
|
||||
- ./infra/otel/tempo.yaml:/etc/tempo/config.yaml:ro
|
||||
- tempo_data:/var/tempo
|
||||
cpus: 1.0
|
||||
mem_limit: 512m
|
||||
restart: unless-stopped
|
||||
logging:
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 5m
|
||||
max-file: '2'
|
||||
ports:
|
||||
- 127.0.0.1:3206:3200
|
||||
user: 0:0
|
||||
grafana:
|
||||
image: grafana/grafana:11.6.0-ubuntu
|
||||
ports:
|
||||
- 127.0.0.1:3006:3000
|
||||
environment:
|
||||
GF_SECURITY_ADMIN_USER: admin
|
||||
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_password
|
||||
GF_USERS_ALLOW_SIGN_UP: 'false'
|
||||
secrets:
|
||||
- grafana_password
|
||||
volumes:
|
||||
- grafana_data:/var/lib/grafana
|
||||
- ./infra/otel/grafana/provisioning:/etc/grafana/provisioning:ro
|
||||
- ./infra/otel/grafana/dashboards:/var/lib/grafana/dashboards:ro
|
||||
cpus: 0.5
|
||||
mem_limit: 512m
|
||||
restart: unless-stopped
|
||||
volumes:
|
||||
postgres_data: null
|
||||
redis_data: null
|
||||
s3_data: null
|
||||
broker_data: null
|
||||
collector_data: null
|
||||
prometheus_data: null
|
||||
loki_data: null
|
||||
tempo_data: null
|
||||
grafana_data: null
|
||||
secrets:
|
||||
db_password:
|
||||
file: .secrets/db_password
|
||||
database_url:
|
||||
file: .secrets/database_url
|
||||
s3_root_user:
|
||||
file: .secrets/s3_root_user
|
||||
s3_root_password:
|
||||
file: .secrets/s3_root_password
|
||||
s3_access_key_id:
|
||||
file: .secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: .secrets/s3_secret_access_key
|
||||
broker_password:
|
||||
file: .secrets/broker_password
|
||||
broker_url:
|
||||
file: .secrets/broker_url
|
||||
grafana_password:
|
||||
file: .secrets/grafana_password
|
||||
@@ -0,0 +1,262 @@
|
||||
[
|
||||
{
|
||||
"id": "38a8c9fd5dbcf2e6e50717e2137094943330c7b2611881741c8e74c95c880a60",
|
||||
"name": "mtusi2026lab6-api-1",
|
||||
"hostname": "38a8c9fd5dbc",
|
||||
"service": "api",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:48:05.558183808Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "25a285a81fa9530813f5a4441653e6fad51f572d99617a2e93169ef4df7c7ef5",
|
||||
"name": "mtusi2026lab6-api-2",
|
||||
"hostname": "25a285a81fa9",
|
||||
"service": "api",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:48:05.952889369Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "a94f8452c1400e2f018947d6760f108c41adb74ea505e0fc28162276c7f736bd",
|
||||
"name": "mtusi2026lab6-broker-1",
|
||||
"hostname": "a94f8452c140",
|
||||
"service": "broker",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:38.894695634Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"6379/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "1190598f4c70c6099515ff0903e6fabd265c1de430305fa83ba5ac5fc96292d4",
|
||||
"name": "mtusi2026lab6-cache-1",
|
||||
"hostname": "1190598f4c70",
|
||||
"service": "cache",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:38.894840668Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {
|
||||
"6379/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "287df894d94d1cd4b905b70d4179426e956fc0d07d0daa25645cc93cdd352b94",
|
||||
"name": "mtusi2026lab6-collector-1",
|
||||
"hostname": "287df894d94d",
|
||||
"service": "collector",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:58.4710042Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"4317/tcp": null,
|
||||
"4318/tcp": null,
|
||||
"55678/tcp": null,
|
||||
"55679/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "958a8746045d9329fd5482352bc40ac2b415a1dcee44a6fbe9f83db6014e0d5b",
|
||||
"name": "mtusi2026lab6-db-1",
|
||||
"hostname": "958a8746045d",
|
||||
"service": "db",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:38.898566793Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"5432/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "b90d156addc4be40253d42dfcfc89e79f538fc5746fd54f2e08b79506a32d349",
|
||||
"name": "mtusi2026lab6-dispatcher-1",
|
||||
"hostname": "b90d156addc4",
|
||||
"service": "dispatcher",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:48:05.392696544Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "70efe4a6c26b77b68e40d53f337cf86c3f8b29a63317da34dcd03a714fafa4ad",
|
||||
"name": "mtusi2026lab6-grafana-1",
|
||||
"hostname": "70efe4a6c26b",
|
||||
"service": "grafana",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:58.792254671Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"3000/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "3006"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "387bb481536811f17c264814069afd3a507cfb82a1be7a0958073e4297e27b12",
|
||||
"name": "mtusi2026lab6-lb-1",
|
||||
"hostname": "387bb4815368",
|
||||
"service": "lb",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:59.277812858Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8086"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "505595f249be1db0bc114feb1be30fefedc7432b792f34b710bcc60c701c6e3a",
|
||||
"name": "mtusi2026lab6-loki-1",
|
||||
"hostname": "505595f249be",
|
||||
"service": "loki",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:59.201437679Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 402653184,
|
||||
"published_ports": {
|
||||
"3100/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "3106"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "4ce0b8ac6fd8776f6ecb9d3a118f0351042bd00c396428f01d828c71c8adebe6",
|
||||
"name": "mtusi2026lab6-migrate-1",
|
||||
"hostname": "4ce0b8ac6fd8",
|
||||
"service": "migrate",
|
||||
"running": false,
|
||||
"started_at": "2026-10-29T18:41:12.371813465Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "cc243b53ea3b584b815f4db401f5ceb2f4fc417a9f216d9e1ac78c8fcac6c03a",
|
||||
"name": "mtusi2026lab6-prometheus-1",
|
||||
"hostname": "cc243b53ea3b",
|
||||
"service": "prometheus",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:59.100728882Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"9090/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "9096"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "824044c8f26cd2d75e88c0e24c6f559ee7a87d918f7542c59c626dc4b9173c18",
|
||||
"name": "mtusi2026lab6-reconciler-1",
|
||||
"hostname": "824044c8f26c",
|
||||
"service": "reconciler",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:48:05.566146136Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "71cb280598144c175634d699c70704b26d29cd3f87495fc57cb3823508204719",
|
||||
"name": "mtusi2026lab6-s3-1",
|
||||
"hostname": "71cb28059814",
|
||||
"service": "s3",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:38.896181674Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "ba7d30c0238219f5934d97e2e950a257c6b6161987dc64fd80c68fb514400e51",
|
||||
"name": "mtusi2026lab6-s3-bootstrap-1",
|
||||
"hostname": "ba7d30c02382",
|
||||
"service": "s3-bootstrap",
|
||||
"running": false,
|
||||
"started_at": "2026-10-29T18:41:10.002175496Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "7225c0225f542d177df36ae3312074c69f7b46de442bec54f84d2ecbb7d06a4c",
|
||||
"name": "mtusi2026lab6-tempo-1",
|
||||
"hostname": "7225c0225f54",
|
||||
"service": "tempo",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:46:58.797514406Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"3200/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "3206"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "8413f83c9a5ec97b1f1b8922d7b0ac7e8dd268ce26487c7b4bf5b807dbf3027d",
|
||||
"name": "mtusi2026lab6-worker-1",
|
||||
"hostname": "8413f83c9a5e",
|
||||
"service": "worker",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:48:05.324820362Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 805306368,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,8 @@
|
||||
{
|
||||
"samples": 8,
|
||||
"min_bytes": 84284538.88,
|
||||
"max_bytes": 86916464.64,
|
||||
"first_bytes": 86905978.88,
|
||||
"last_bytes": 84295024.64,
|
||||
"limit_bytes": 268435456
|
||||
}
|
||||
@@ -0,0 +1,97 @@
|
||||
{
|
||||
"before": {
|
||||
"sum(otelcol_exporter_send_failed_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302329.746,
|
||||
"2765"
|
||||
]
|
||||
}
|
||||
],
|
||||
"sum(otelcol_exporter_sent_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302329.747,
|
||||
"45680"
|
||||
]
|
||||
}
|
||||
],
|
||||
"sum(otelcol_receiver_accepted_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302329.748,
|
||||
"69576"
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
"during": {
|
||||
"sum(otelcol_exporter_send_failed_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302375.104,
|
||||
"3098"
|
||||
]
|
||||
}
|
||||
],
|
||||
"sum(otelcol_exporter_sent_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302375.107,
|
||||
"45680"
|
||||
]
|
||||
}
|
||||
],
|
||||
"sum(otelcol_receiver_accepted_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302375.109,
|
||||
"72719"
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
"after_recovery": {
|
||||
"sum(otelcol_exporter_send_failed_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302399.288,
|
||||
"3236"
|
||||
]
|
||||
}
|
||||
],
|
||||
"sum(otelcol_exporter_sent_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302399.29,
|
||||
"48852"
|
||||
]
|
||||
}
|
||||
],
|
||||
"sum(otelcol_receiver_accepted_spans_total)": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1793302399.291,
|
||||
"74755"
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
"upload": {
|
||||
"id": "4217f518-0975-4f9b-8cb7-81f4d0903b3f",
|
||||
"trace_id": "d7705447361a456e79fcd477960c7766",
|
||||
"accepted_at": 1793302341.1111865,
|
||||
"phase": "backend_down",
|
||||
"ready_at": 1793302341.638412,
|
||||
"elapsed_to_observed_ready": 0.5272254943847656
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,262 @@
|
||||
[
|
||||
{
|
||||
"id": "eea0a4050b7911f95b3f37a04ff4d5351d7faba84a06920acf950d2d24db9c0b",
|
||||
"name": "mtusi2026lab6-api-1",
|
||||
"hostname": "eea0a4050b79",
|
||||
"service": "api",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:17.523258377Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "480790c5049244d5dc27135902d3605d8b7729f242f34d962565c92bab9c8ce0",
|
||||
"name": "mtusi2026lab6-api-2",
|
||||
"hostname": "480790c50492",
|
||||
"service": "api",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:18.85982601Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "a94f8452c1400e2f018947d6760f108c41adb74ea505e0fc28162276c7f736bd",
|
||||
"name": "mtusi2026lab6-broker-1",
|
||||
"hostname": "a94f8452c140",
|
||||
"service": "broker",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:06.856618532Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"6379/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "1190598f4c70c6099515ff0903e6fabd265c1de430305fa83ba5ac5fc96292d4",
|
||||
"name": "mtusi2026lab6-cache-1",
|
||||
"hostname": "1190598f4c70",
|
||||
"service": "cache",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:06.497289544Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {
|
||||
"6379/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "287df894d94d1cd4b905b70d4179426e956fc0d07d0daa25645cc93cdd352b94",
|
||||
"name": "mtusi2026lab6-collector-1",
|
||||
"hostname": "287df894d94d",
|
||||
"service": "collector",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:42:53.740946588Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"4317/tcp": null,
|
||||
"4318/tcp": null,
|
||||
"55678/tcp": null,
|
||||
"55679/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "958a8746045d9329fd5482352bc40ac2b415a1dcee44a6fbe9f83db6014e0d5b",
|
||||
"name": "mtusi2026lab6-db-1",
|
||||
"hostname": "958a8746045d",
|
||||
"service": "db",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:06.686214682Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"5432/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "7c24aee4c504b41d076364adf6342bf7bb7e0efa976c91d9a343dc439ba655b0",
|
||||
"name": "mtusi2026lab6-dispatcher-1",
|
||||
"hostname": "7c24aee4c504",
|
||||
"service": "dispatcher",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:18.519553186Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "70efe4a6c26b77b68e40d53f337cf86c3f8b29a63317da34dcd03a714fafa4ad",
|
||||
"name": "mtusi2026lab6-grafana-1",
|
||||
"hostname": "70efe4a6c26b",
|
||||
"service": "grafana",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:45:21.178828346Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {
|
||||
"3000/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "3006"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "1a371af6bdcbbe4f719543a2aec1b6d2eef8876c7fa3334149690ab1599de834",
|
||||
"name": "mtusi2026lab6-lb-1",
|
||||
"hostname": "1a371af6bdcb",
|
||||
"service": "lb",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:26.015502079Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8086"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "505595f249be1db0bc114feb1be30fefedc7432b792f34b710bcc60c701c6e3a",
|
||||
"name": "mtusi2026lab6-loki-1",
|
||||
"hostname": "505595f249be",
|
||||
"service": "loki",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:07.090189589Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 402653184,
|
||||
"published_ports": {
|
||||
"3100/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "3106"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "4ce0b8ac6fd8776f6ecb9d3a118f0351042bd00c396428f01d828c71c8adebe6",
|
||||
"name": "mtusi2026lab6-migrate-1",
|
||||
"hostname": "4ce0b8ac6fd8",
|
||||
"service": "migrate",
|
||||
"running": false,
|
||||
"started_at": "2026-10-29T18:41:12.371813465Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "cc243b53ea3b584b815f4db401f5ceb2f4fc417a9f216d9e1ac78c8fcac6c03a",
|
||||
"name": "mtusi2026lab6-prometheus-1",
|
||||
"hostname": "cc243b53ea3b",
|
||||
"service": "prometheus",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:07.709646816Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"9090/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "9096"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "d6aa4877617c95bfb55494daf168976d2c27a4ecb62a96964eb655023ec05ffb",
|
||||
"name": "mtusi2026lab6-reconciler-1",
|
||||
"hostname": "d6aa4877617c",
|
||||
"service": "reconciler",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:18.3767024Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "71cb280598144c175634d699c70704b26d29cd3f87495fc57cb3823508204719",
|
||||
"name": "mtusi2026lab6-s3-1",
|
||||
"hostname": "71cb28059814",
|
||||
"service": "s3",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:06.850285295Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 536870912,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "ba7d30c0238219f5934d97e2e950a257c6b6161987dc64fd80c68fb514400e51",
|
||||
"name": "mtusi2026lab6-s3-bootstrap-1",
|
||||
"hostname": "ba7d30c02382",
|
||||
"service": "s3-bootstrap",
|
||||
"running": false,
|
||||
"started_at": "2026-10-29T18:41:10.002175496Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 134217728,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "7225c0225f542d177df36ae3312074c69f7b46de442bec54f84d2ecbb7d06a4c",
|
||||
"name": "mtusi2026lab6-tempo-1",
|
||||
"hostname": "7225c0225f54",
|
||||
"service": "tempo",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:07.714699752Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 0.5,
|
||||
"memory_limit_bytes": 268435456,
|
||||
"published_ports": {
|
||||
"3200/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "3206"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "879aa51a0548bc2e1de2bbe5b396d401301e6e96205d4d275f823b726097a2d4",
|
||||
"name": "mtusi2026lab6-worker-1",
|
||||
"hostname": "879aa51a0548",
|
||||
"service": "worker",
|
||||
"running": true,
|
||||
"started_at": "2026-10-29T18:41:18.839447718Z",
|
||||
"restart_count": 0,
|
||||
"cpu_limit": 1.0,
|
||||
"memory_limit_bytes": 805306368,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
}
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,682 @@
|
||||
prometheus Pulling
|
||||
collector Pulling
|
||||
grafana Pulling
|
||||
tempo Pulling
|
||||
loki Pulling
|
||||
9fa9226be034 Pulling fs layer
|
||||
1617e25568b2 Pulling fs layer
|
||||
3488d0e317d1 Pulling fs layer
|
||||
e0d996230080 Pulling fs layer
|
||||
5805cfa1a34e Pulling fs layer
|
||||
c8c5fe18afab Pulling fs layer
|
||||
34c169812ca7 Pulling fs layer
|
||||
f5d2fa6280ad Pulling fs layer
|
||||
0ff6b3eeee94 Pulling fs layer
|
||||
4a3afe08a0ac Pulling fs layer
|
||||
c8c5fe18afab Waiting
|
||||
34c169812ca7 Waiting
|
||||
f5d2fa6280ad Waiting
|
||||
0ff6b3eeee94 Waiting
|
||||
4a3afe08a0ac Waiting
|
||||
e0d996230080 Waiting
|
||||
5805cfa1a34e Waiting
|
||||
38f4a9ccb8d6 Pulling fs layer
|
||||
2e4cf50eeb92 Pulling fs layer
|
||||
d44d440ac96b Pulling fs layer
|
||||
0f8b424aa0b9 Pulling fs layer
|
||||
d557676654e5 Pulling fs layer
|
||||
d82bc7a76a83 Pulling fs layer
|
||||
d858cbc252ad Pulling fs layer
|
||||
1069fc2daed1 Pulling fs layer
|
||||
b40161cd83fc Pulling fs layer
|
||||
3f4e2c586348 Pulling fs layer
|
||||
80a8c047508a Pulling fs layer
|
||||
38f4a9ccb8d6 Waiting
|
||||
2e4cf50eeb92 Waiting
|
||||
1069fc2daed1 Waiting
|
||||
d44d440ac96b Waiting
|
||||
0f8b424aa0b9 Waiting
|
||||
d82bc7a76a83 Waiting
|
||||
d858cbc252ad Waiting
|
||||
b40161cd83fc Waiting
|
||||
3f4e2c586348 Waiting
|
||||
d557676654e5 Waiting
|
||||
5391af8231d5 Pulling fs layer
|
||||
380288218376 Pulling fs layer
|
||||
1d91cb518276 Pulling fs layer
|
||||
80a8c047508a Waiting
|
||||
e85d29cd1ed2 Pulling fs layer
|
||||
5391af8231d5 Waiting
|
||||
380288218376 Waiting
|
||||
b1d8ed633678 Pulling fs layer
|
||||
1d91cb518276 Waiting
|
||||
b1d8ed633678 Waiting
|
||||
e85d29cd1ed2 Waiting
|
||||
f18232174bc9 Pulling fs layer
|
||||
09c933ff567d Pulling fs layer
|
||||
4132acee8a50 Pulling fs layer
|
||||
aede6b7d834a Pulling fs layer
|
||||
d99b47ecdbcf Pulling fs layer
|
||||
f18232174bc9 Waiting
|
||||
09c933ff567d Waiting
|
||||
4132acee8a50 Waiting
|
||||
aede6b7d834a Waiting
|
||||
d99b47ecdbcf Waiting
|
||||
6bbeea405980 Pulling fs layer
|
||||
b3bf60c8c824 Pulling fs layer
|
||||
2f6df36b11f5 Pulling fs layer
|
||||
6bbeea405980 Waiting
|
||||
b3bf60c8c824 Waiting
|
||||
2f6df36b11f5 Waiting
|
||||
f18232174bc9 Pulling fs layer
|
||||
70ca445a67c2 Pulling fs layer
|
||||
bbb8b5218cfb Pulling fs layer
|
||||
2a08a00fe446 Pulling fs layer
|
||||
5b32a5607528 Pulling fs layer
|
||||
c0a27b1e2168 Pulling fs layer
|
||||
ce185550173e Pulling fs layer
|
||||
daf4bae1c5dd Pulling fs layer
|
||||
b9d78c8c657a Pulling fs layer
|
||||
babadc1b811e Pulling fs layer
|
||||
bbb8b5218cfb Waiting
|
||||
2a08a00fe446 Waiting
|
||||
5b32a5607528 Waiting
|
||||
c0a27b1e2168 Waiting
|
||||
ce185550173e Waiting
|
||||
daf4bae1c5dd Waiting
|
||||
b9d78c8c657a Waiting
|
||||
babadc1b811e Waiting
|
||||
f18232174bc9 Waiting
|
||||
70ca445a67c2 Waiting
|
||||
1617e25568b2 Downloading [=> ] 15.74kB/480.9kB
|
||||
1617e25568b2 Download complete
|
||||
3488d0e317d1 Downloading [> ] 537.8kB/60.46MB
|
||||
3488d0e317d1 Downloading [=> ] 1.616MB/60.46MB
|
||||
3488d0e317d1 Downloading [===> ] 4.285MB/60.46MB
|
||||
3488d0e317d1 Downloading [=====> ] 6.401MB/60.46MB
|
||||
3488d0e317d1 Downloading [======> ] 7.998MB/60.46MB
|
||||
9fa9226be034 Downloading [=> ] 15.74kB/783kB
|
||||
9fa9226be034 Downloading [====================> ] 327kB/783kB
|
||||
3488d0e317d1 Downloading [=======> ] 8.526MB/60.46MB
|
||||
9fa9226be034 Downloading [==================================================>] 783kB/783kB
|
||||
9fa9226be034 Download complete
|
||||
9fa9226be034 Extracting [==> ] 32.77kB/783kB
|
||||
9fa9226be034 Extracting [==================================================>] 783kB/783kB
|
||||
9fa9226be034 Extracting [==================================================>] 783kB/783kB
|
||||
3488d0e317d1 Downloading [=========> ] 11.19MB/60.46MB
|
||||
3488d0e317d1 Downloading [============> ] 14.92MB/60.46MB
|
||||
9fa9226be034 Pull complete
|
||||
1617e25568b2 Extracting [===> ] 32.77kB/480.9kB
|
||||
3488d0e317d1 Downloading [==============> ] 18.1MB/60.46MB
|
||||
1617e25568b2 Extracting [=====================================> ] 360.4kB/480.9kB
|
||||
3488d0e317d1 Downloading [================> ] 19.7MB/60.46MB
|
||||
1617e25568b2 Extracting [===============================================> ] 458.8kB/480.9kB
|
||||
3488d0e317d1 Downloading [==================> ] 22.86MB/60.46MB
|
||||
e0d996230080 Downloading [> ] 539.3kB/54.96MB
|
||||
1617e25568b2 Extracting [==================================================>] 480.9kB/480.9kB
|
||||
3488d0e317d1 Downloading [====================> ] 24.98MB/60.46MB
|
||||
e0d996230080 Downloading [=> ] 2.132MB/54.96MB
|
||||
1617e25568b2 Extracting [==================================================>] 480.9kB/480.9kB
|
||||
3488d0e317d1 Downloading [=====================> ] 25.51MB/60.46MB
|
||||
e0d996230080 Downloading [===> ] 3.729MB/54.96MB
|
||||
3488d0e317d1 Downloading [======================> ] 27.65MB/60.46MB
|
||||
e0d996230080 Downloading [=====> ] 5.846MB/54.96MB
|
||||
3488d0e317d1 Downloading [========================> ] 29.77MB/60.46MB
|
||||
e0d996230080 Downloading [=======> ] 7.97MB/54.96MB
|
||||
1617e25568b2 Pull complete
|
||||
3488d0e317d1 Downloading [==========================> ] 31.9MB/60.46MB
|
||||
e0d996230080 Downloading [=========> ] 10.08MB/54.96MB
|
||||
e0d996230080 Downloading [===========> ] 12.73MB/54.96MB
|
||||
3488d0e317d1 Downloading [===========================> ] 33.5MB/60.46MB
|
||||
e0d996230080 Downloading [==============> ] 16.43MB/54.96MB
|
||||
3488d0e317d1 Downloading [============================> ] 34.03MB/60.46MB
|
||||
e0d996230080 Downloading [=================> ] 19.62MB/54.96MB
|
||||
3488d0e317d1 Downloading [=============================> ] 36.16MB/60.46MB
|
||||
e0d996230080 Downloading [===================> ] 21.75MB/54.96MB
|
||||
3488d0e317d1 Downloading [===============================> ] 38.29MB/60.46MB
|
||||
e0d996230080 Downloading [=====================> ] 23.89MB/54.96MB
|
||||
3488d0e317d1 Downloading [=================================> ] 40.42MB/60.46MB
|
||||
e0d996230080 Downloading [========================> ] 26.53MB/54.96MB
|
||||
3488d0e317d1 Downloading [===================================> ] 42.54MB/60.46MB
|
||||
e0d996230080 Downloading [==========================> ] 28.66MB/54.96MB
|
||||
3488d0e317d1 Downloading [=====================================> ] 45.18MB/60.46MB
|
||||
e0d996230080 Downloading [============================> ] 31.3MB/54.96MB
|
||||
3488d0e317d1 Downloading [=======================================> ] 47.29MB/60.46MB
|
||||
e0d996230080 Downloading [==============================> ] 33.41MB/54.96MB
|
||||
3488d0e317d1 Downloading [========================================> ] 49.42MB/60.46MB
|
||||
e0d996230080 Downloading [================================> ] 35.53MB/54.96MB
|
||||
3488d0e317d1 Downloading [===========================================> ] 52.06MB/60.46MB
|
||||
e0d996230080 Downloading [==================================> ] 38.17MB/54.96MB
|
||||
3488d0e317d1 Downloading [============================================> ] 54.19MB/60.46MB
|
||||
e0d996230080 Downloading [====================================> ] 40.3MB/54.96MB
|
||||
3488d0e317d1 Downloading [==============================================> ] 56.31MB/60.46MB
|
||||
e0d996230080 Downloading [======================================> ] 42.42MB/54.96MB
|
||||
3488d0e317d1 Downloading [================================================> ] 58.44MB/60.46MB
|
||||
e0d996230080 Downloading [=========================================> ] 45.07MB/54.96MB
|
||||
3488d0e317d1 Download complete
|
||||
3488d0e317d1 Extracting [> ] 557.1kB/60.46MB
|
||||
5805cfa1a34e Downloading [==================================================>] 605B/605B
|
||||
5805cfa1a34e Verifying Checksum
|
||||
5805cfa1a34e Download complete
|
||||
e0d996230080 Downloading [===========================================> ] 47.73MB/54.96MB
|
||||
3488d0e317d1 Extracting [===> ] 4.456MB/60.46MB
|
||||
e0d996230080 Downloading [==============================================> ] 51.45MB/54.96MB
|
||||
3488d0e317d1 Extracting [=====> ] 6.685MB/60.46MB
|
||||
e0d996230080 Downloading [=================================================> ] 54.65MB/54.96MB
|
||||
e0d996230080 Verifying Checksum
|
||||
e0d996230080 Download complete
|
||||
3488d0e317d1 Extracting [========> ] 10.03MB/60.46MB
|
||||
3488d0e317d1 Extracting [===========> ] 13.93MB/60.46MB
|
||||
3488d0e317d1 Extracting [==============> ] 17.27MB/60.46MB
|
||||
34c169812ca7 Downloading [==================================================>] 1.44kB/1.44kB
|
||||
34c169812ca7 Verifying Checksum
|
||||
34c169812ca7 Download complete
|
||||
3488d0e317d1 Extracting [===================> ] 23.4MB/60.46MB
|
||||
c8c5fe18afab Downloading [===========================================> ] 3.502kB/4.023kB
|
||||
c8c5fe18afab Downloading [==================================================>] 4.023kB/4.023kB
|
||||
c8c5fe18afab Download complete
|
||||
3488d0e317d1 Extracting [=====================> ] 26.18MB/60.46MB
|
||||
3488d0e317d1 Extracting [========================> ] 30.08MB/60.46MB
|
||||
f5d2fa6280ad Downloading [==> ] 3.5kB/79.77kB
|
||||
f5d2fa6280ad Downloading [==================================================>] 79.77kB/79.77kB
|
||||
f5d2fa6280ad Download complete
|
||||
3488d0e317d1 Extracting [============================> ] 33.98MB/60.46MB
|
||||
3488d0e317d1 Extracting [====================================> ] 44.01MB/60.46MB
|
||||
3488d0e317d1 Extracting [============================================> ] 54.03MB/60.46MB
|
||||
0ff6b3eeee94 Downloading [==================================================>] 100B/100B
|
||||
0ff6b3eeee94 Download complete
|
||||
3488d0e317d1 Extracting [=================================================> ] 60.16MB/60.46MB
|
||||
3488d0e317d1 Extracting [==================================================>] 60.46MB/60.46MB
|
||||
3488d0e317d1 Pull complete
|
||||
e0d996230080 Extracting [> ] 557.1kB/54.96MB
|
||||
38f4a9ccb8d6 Downloading [==> ] 3.5kB/84.66kB
|
||||
38f4a9ccb8d6 Downloading [==================================================>] 84.66kB/84.66kB
|
||||
38f4a9ccb8d6 Download complete
|
||||
38f4a9ccb8d6 Extracting [===================> ] 32.77kB/84.66kB
|
||||
38f4a9ccb8d6 Extracting [==================================================>] 84.66kB/84.66kB
|
||||
38f4a9ccb8d6 Extracting [==================================================>] 84.66kB/84.66kB
|
||||
4a3afe08a0ac Downloading [==================================================>] 658B/658B
|
||||
4a3afe08a0ac Verifying Checksum
|
||||
4a3afe08a0ac Download complete
|
||||
e0d996230080 Extracting [===> ] 3.899MB/54.96MB
|
||||
38f4a9ccb8d6 Pull complete
|
||||
e0d996230080 Extracting [======> ] 7.242MB/54.96MB
|
||||
e0d996230080 Extracting [=========> ] 10.03MB/54.96MB
|
||||
e0d996230080 Extracting [===========> ] 12.81MB/54.96MB
|
||||
e0d996230080 Extracting [==============> ] 15.6MB/54.96MB
|
||||
e0d996230080 Extracting [=================> ] 18.94MB/54.96MB
|
||||
2e4cf50eeb92 Downloading [=============> ] 3.5kB/12.58kB
|
||||
2e4cf50eeb92 Download complete
|
||||
2e4cf50eeb92 Extracting [==================================================>] 12.58kB/12.58kB
|
||||
2e4cf50eeb92 Extracting [==================================================>] 12.58kB/12.58kB
|
||||
0f8b424aa0b9 Downloading [==================================================>] 75B/75B
|
||||
0f8b424aa0b9 Verifying Checksum
|
||||
0f8b424aa0b9 Download complete
|
||||
2e4cf50eeb92 Pull complete
|
||||
e0d996230080 Extracting [==================> ] 20.05MB/54.96MB
|
||||
e0d996230080 Extracting [======================> ] 24.51MB/54.96MB
|
||||
e0d996230080 Extracting [========================> ] 27.3MB/54.96MB
|
||||
e0d996230080 Extracting [==================================> ] 37.88MB/54.96MB
|
||||
e0d996230080 Extracting [===========================================> ] 47.91MB/54.96MB
|
||||
d557676654e5 Downloading [==================================================>] 193B/193B
|
||||
d557676654e5 Verifying Checksum
|
||||
d557676654e5 Download complete
|
||||
e0d996230080 Extracting [=================================================> ] 54.59MB/54.96MB
|
||||
e0d996230080 Extracting [==================================================>] 54.96MB/54.96MB
|
||||
e0d996230080 Pull complete
|
||||
5805cfa1a34e Extracting [==================================================>] 605B/605B
|
||||
5805cfa1a34e Extracting [==================================================>] 605B/605B
|
||||
d82bc7a76a83 Downloading [==================================================>] 130B/130B
|
||||
d82bc7a76a83 Verifying Checksum
|
||||
d82bc7a76a83 Download complete
|
||||
5805cfa1a34e Pull complete
|
||||
c8c5fe18afab Extracting [==================================================>] 4.023kB/4.023kB
|
||||
c8c5fe18afab Extracting [==================================================>] 4.023kB/4.023kB
|
||||
c8c5fe18afab Pull complete
|
||||
34c169812ca7 Extracting [==================================================>] 1.44kB/1.44kB
|
||||
34c169812ca7 Extracting [==================================================>] 1.44kB/1.44kB
|
||||
34c169812ca7 Pull complete
|
||||
f5d2fa6280ad Extracting [====================> ] 32.77kB/79.77kB
|
||||
f5d2fa6280ad Extracting [==================================================>] 79.77kB/79.77kB
|
||||
f5d2fa6280ad Extracting [==================================================>] 79.77kB/79.77kB
|
||||
f5d2fa6280ad Pull complete
|
||||
0ff6b3eeee94 Extracting [==================================================>] 100B/100B
|
||||
0ff6b3eeee94 Extracting [==================================================>] 100B/100B
|
||||
0ff6b3eeee94 Pull complete
|
||||
4a3afe08a0ac Extracting [==================================================>] 658B/658B
|
||||
4a3afe08a0ac Extracting [==================================================>] 658B/658B
|
||||
4a3afe08a0ac Pull complete
|
||||
prometheus Pulled
|
||||
d858cbc252ad Downloading [==================================================>] 173B/173B
|
||||
d858cbc252ad Verifying Checksum
|
||||
d858cbc252ad Download complete
|
||||
1069fc2daed1 Downloading [==================================================>] 97B/97B
|
||||
1069fc2daed1 Verifying Checksum
|
||||
1069fc2daed1 Download complete
|
||||
d44d440ac96b Downloading [=> ] 15.74kB/453.9kB
|
||||
d44d440ac96b Download complete
|
||||
d44d440ac96b Extracting [===> ] 32.77kB/453.9kB
|
||||
d44d440ac96b Extracting [====================================> ] 327.7kB/453.9kB
|
||||
d44d440ac96b Extracting [===========================================> ] 393.2kB/453.9kB
|
||||
d44d440ac96b Extracting [==================================================>] 453.9kB/453.9kB
|
||||
d44d440ac96b Extracting [==================================================>] 453.9kB/453.9kB
|
||||
b40161cd83fc Download complete
|
||||
3f4e2c586348 Downloading [==================================================>] 326B/326B
|
||||
3f4e2c586348 Verifying Checksum
|
||||
3f4e2c586348 Download complete
|
||||
80a8c047508a Downloading [=> ] 3.477kB/129.1kB
|
||||
80a8c047508a Downloading [==================================================>] 129.1kB/129.1kB
|
||||
80a8c047508a Verifying Checksum
|
||||
80a8c047508a Download complete
|
||||
d44d440ac96b Pull complete
|
||||
0f8b424aa0b9 Extracting [==================================================>] 75B/75B
|
||||
0f8b424aa0b9 Extracting [==================================================>] 75B/75B
|
||||
0f8b424aa0b9 Pull complete
|
||||
d557676654e5 Extracting [==================================================>] 193B/193B
|
||||
d557676654e5 Extracting [==================================================>] 193B/193B
|
||||
d557676654e5 Pull complete
|
||||
d82bc7a76a83 Extracting [==================================================>] 130B/130B
|
||||
d82bc7a76a83 Extracting [==================================================>] 130B/130B
|
||||
d82bc7a76a83 Pull complete
|
||||
d858cbc252ad Extracting [==================================================>] 173B/173B
|
||||
d858cbc252ad Extracting [==================================================>] 173B/173B
|
||||
d858cbc252ad Pull complete
|
||||
1069fc2daed1 Extracting [==================================================>] 97B/97B
|
||||
1069fc2daed1 Extracting [==================================================>] 97B/97B
|
||||
1069fc2daed1 Pull complete
|
||||
b40161cd83fc Extracting [==================================================>] 382B/382B
|
||||
b40161cd83fc Extracting [==================================================>] 382B/382B
|
||||
b40161cd83fc Pull complete
|
||||
3f4e2c586348 Extracting [==================================================>] 326B/326B
|
||||
3f4e2c586348 Extracting [==================================================>] 326B/326B
|
||||
3f4e2c586348 Pull complete
|
||||
80a8c047508a Extracting [============> ] 32.77kB/129.1kB
|
||||
80a8c047508a Extracting [==================================================>] 129.1kB/129.1kB
|
||||
80a8c047508a Extracting [==================================================>] 129.1kB/129.1kB
|
||||
80a8c047508a Pull complete
|
||||
5391af8231d5 Downloading [=> ] 15.74kB/758.9kB
|
||||
5391af8231d5 Verifying Checksum
|
||||
5391af8231d5 Download complete
|
||||
5391af8231d5 Extracting [==> ] 32.77kB/758.9kB
|
||||
380288218376 Downloading [> ] 343.4kB/33.92MB
|
||||
5391af8231d5 Extracting [==================================================>] 758.9kB/758.9kB
|
||||
380288218376 Downloading [====> ] 3.096MB/33.92MB
|
||||
380288218376 Downloading [=========> ] 6.537MB/33.92MB
|
||||
5391af8231d5 Pull complete
|
||||
380288218376 Downloading [==============> ] 9.977MB/33.92MB
|
||||
380288218376 Downloading [===================> ] 13.42MB/33.92MB
|
||||
380288218376 Downloading [========================> ] 16.51MB/33.92MB
|
||||
380288218376 Downloading [============================> ] 19.27MB/33.92MB
|
||||
1d91cb518276 Downloading [==================================================>] 787B/787B
|
||||
1d91cb518276 Download complete
|
||||
380288218376 Downloading [================================> ] 22.36MB/33.92MB
|
||||
380288218376 Downloading [=====================================> ] 25.46MB/33.92MB
|
||||
380288218376 Downloading [==========================================> ] 28.56MB/33.92MB
|
||||
380288218376 Downloading [==============================================> ] 31.31MB/33.92MB
|
||||
380288218376 Verifying Checksum
|
||||
380288218376 Download complete
|
||||
380288218376 Extracting [> ] 360.4kB/33.92MB
|
||||
e85d29cd1ed2 Downloading [==================================================>] 381B/381B
|
||||
e85d29cd1ed2 Download complete
|
||||
380288218376 Extracting [=======> ] 5.407MB/33.92MB
|
||||
380288218376 Extracting [==============> ] 10.09MB/33.92MB
|
||||
b1d8ed633678 Download complete
|
||||
380288218376 Extracting [====================> ] 13.7MB/33.92MB
|
||||
380288218376 Extracting [===========================> ] 18.38MB/33.92MB
|
||||
380288218376 Extracting [================================> ] 22.35MB/33.92MB
|
||||
f18232174bc9 Downloading [> ] 48.51kB/3.642MB
|
||||
f18232174bc9 Downloading [> ] 48.51kB/3.642MB
|
||||
380288218376 Extracting [==================================> ] 23.43MB/33.92MB
|
||||
09c933ff567d Downloading [> ] 32.77kB/2.777MB
|
||||
f18232174bc9 Downloading [====================================> ] 2.654MB/3.642MB
|
||||
f18232174bc9 Downloading [====================================> ] 2.654MB/3.642MB
|
||||
f18232174bc9 Verifying Checksum
|
||||
f18232174bc9 Download complete
|
||||
f18232174bc9 Verifying Checksum
|
||||
f18232174bc9 Extracting [> ] 65.54kB/3.642MB
|
||||
f18232174bc9 Extracting [> ] 65.54kB/3.642MB
|
||||
380288218376 Extracting [======================================> ] 26.31MB/33.92MB
|
||||
09c933ff567d Downloading [=============================> ] 1.632MB/2.777MB
|
||||
09c933ff567d Downloading [==================================================>] 2.777MB/2.777MB
|
||||
09c933ff567d Download complete
|
||||
380288218376 Extracting [==============================================> ] 31.36MB/33.92MB
|
||||
f18232174bc9 Extracting [============> ] 917.5kB/3.642MB
|
||||
f18232174bc9 Extracting [============> ] 917.5kB/3.642MB
|
||||
380288218376 Extracting [==================================================>] 33.92MB/33.92MB
|
||||
380288218376 Pull complete
|
||||
1d91cb518276 Extracting [==================================================>] 787B/787B
|
||||
1d91cb518276 Extracting [==================================================>] 787B/787B
|
||||
f18232174bc9 Extracting [=================================> ] 2.425MB/3.642MB
|
||||
f18232174bc9 Extracting [=================================> ] 2.425MB/3.642MB
|
||||
1d91cb518276 Pull complete
|
||||
e85d29cd1ed2 Extracting [==================================================>] 381B/381B
|
||||
e85d29cd1ed2 Extracting [==================================================>] 381B/381B
|
||||
f18232174bc9 Extracting [==================================================>] 3.642MB/3.642MB
|
||||
f18232174bc9 Extracting [==================================================>] 3.642MB/3.642MB
|
||||
f18232174bc9 Extracting [==================================================>] 3.642MB/3.642MB
|
||||
f18232174bc9 Extracting [==================================================>] 3.642MB/3.642MB
|
||||
4132acee8a50 Downloading [> ] 506.6kB/49.29MB
|
||||
e85d29cd1ed2 Pull complete
|
||||
b1d8ed633678 Extracting [==================================================>] 890B/890B
|
||||
b1d8ed633678 Extracting [==================================================>] 890B/890B
|
||||
b1d8ed633678 Pull complete
|
||||
f18232174bc9 Pull complete
|
||||
f18232174bc9 Pull complete
|
||||
09c933ff567d Extracting [> ] 32.77kB/2.777MB
|
||||
4132acee8a50 Downloading [===> ] 3.493MB/49.29MB
|
||||
loki Pulled
|
||||
4132acee8a50 Downloading [======> ] 5.974MB/49.29MB
|
||||
09c933ff567d Extracting [====> ] 229.4kB/2.777MB
|
||||
4132acee8a50 Downloading [=========> ] 8.977MB/49.29MB
|
||||
09c933ff567d Extracting [=======> ] 393.2kB/2.777MB
|
||||
4132acee8a50 Downloading [============> ] 11.96MB/49.29MB
|
||||
09c933ff567d Extracting [==========> ] 557.1kB/2.777MB
|
||||
aede6b7d834a Downloading [==================================================>] 948B/948B
|
||||
aede6b7d834a Verifying Checksum
|
||||
09c933ff567d Extracting [==================================================>] 2.777MB/2.777MB
|
||||
aede6b7d834a Download complete
|
||||
09c933ff567d Pull complete
|
||||
4132acee8a50 Downloading [===============> ] 14.95MB/49.29MB
|
||||
d99b47ecdbcf Downloading [==================================================>] 125B/125B
|
||||
d99b47ecdbcf Download complete
|
||||
4132acee8a50 Downloading [==================> ] 17.92MB/49.29MB
|
||||
4132acee8a50 Downloading [=====================> ] 20.91MB/49.29MB
|
||||
4132acee8a50 Downloading [========================> ] 23.89MB/49.29MB
|
||||
4132acee8a50 Downloading [===========================> ] 26.86MB/49.29MB
|
||||
4132acee8a50 Downloading [==============================> ] 30.34MB/49.29MB
|
||||
4132acee8a50 Downloading [==================================> ] 33.82MB/49.29MB
|
||||
6bbeea405980 Downloading [======> ] 16.38kB/128.3kB
|
||||
6bbeea405980 Verifying Checksum
|
||||
6bbeea405980 Download complete
|
||||
6bbeea405980 Extracting [============> ] 32.77kB/128.3kB
|
||||
6bbeea405980 Extracting [==================================================>] 128.3kB/128.3kB
|
||||
4132acee8a50 Downloading [=====================================> ] 36.81MB/49.29MB
|
||||
6bbeea405980 Pull complete
|
||||
4132acee8a50 Downloading [========================================> ] 40.32MB/49.29MB
|
||||
4132acee8a50 Downloading [============================================> ] 43.83MB/49.29MB
|
||||
b3bf60c8c824 Downloading [> ] 526.3kB/86.08MB
|
||||
4132acee8a50 Downloading [===============================================> ] 46.85MB/49.29MB
|
||||
4132acee8a50 Downloading [=================================================> ] 48.85MB/49.29MB
|
||||
b3bf60c8c824 Downloading [=> ] 2.65MB/86.08MB
|
||||
4132acee8a50 Verifying Checksum
|
||||
4132acee8a50 Download complete
|
||||
4132acee8a50 Extracting [> ] 524.3kB/49.29MB
|
||||
b3bf60c8c824 Downloading [===> ] 5.822MB/86.08MB
|
||||
4132acee8a50 Extracting [====> ] 4.719MB/49.29MB
|
||||
b3bf60c8c824 Downloading [=====> ] 8.982MB/86.08MB
|
||||
4132acee8a50 Extracting [=========> ] 8.913MB/49.29MB
|
||||
b3bf60c8c824 Downloading [=======> ] 12.15MB/86.08MB
|
||||
2f6df36b11f5 Downloading [==================================================>] 730B/730B
|
||||
2f6df36b11f5 Verifying Checksum
|
||||
2f6df36b11f5 Download complete
|
||||
4132acee8a50 Extracting [=============> ] 13.11MB/49.29MB
|
||||
b3bf60c8c824 Downloading [========> ] 15.32MB/86.08MB
|
||||
4132acee8a50 Extracting [=================> ] 16.78MB/49.29MB
|
||||
b3bf60c8c824 Downloading [==========> ] 18.5MB/86.08MB
|
||||
4132acee8a50 Extracting [===================> ] 19.4MB/49.29MB
|
||||
b3bf60c8c824 Downloading [============> ] 22.2MB/86.08MB
|
||||
4132acee8a50 Extracting [========================> ] 24.12MB/49.29MB
|
||||
b3bf60c8c824 Downloading [==============> ] 25.38MB/86.08MB
|
||||
4132acee8a50 Extracting [==============================> ] 29.88MB/49.29MB
|
||||
b3bf60c8c824 Downloading [================> ] 28.57MB/86.08MB
|
||||
4132acee8a50 Extracting [=========================================> ] 40.89MB/49.29MB
|
||||
b3bf60c8c824 Downloading [==================> ] 31.76MB/86.08MB
|
||||
4132acee8a50 Extracting [=================================================> ] 48.76MB/49.29MB
|
||||
b3bf60c8c824 Downloading [====================> ] 34.95MB/86.08MB
|
||||
4132acee8a50 Extracting [==================================================>] 49.29MB/49.29MB
|
||||
4132acee8a50 Pull complete
|
||||
aede6b7d834a Extracting [==================================================>] 948B/948B
|
||||
aede6b7d834a Extracting [==================================================>] 948B/948B
|
||||
bbb8b5218cfb Downloading [> ] 48.51kB/3.522MB
|
||||
aede6b7d834a Pull complete
|
||||
d99b47ecdbcf Extracting [==================================================>] 125B/125B
|
||||
d99b47ecdbcf Extracting [==================================================>] 125B/125B
|
||||
b3bf60c8c824 Downloading [======================> ] 38.12MB/86.08MB
|
||||
d99b47ecdbcf Pull complete
|
||||
bbb8b5218cfb Downloading [===========================> ] 1.916MB/3.522MB
|
||||
tempo Pulled
|
||||
b3bf60c8c824 Downloading [=======================> ] 40.23MB/86.08MB
|
||||
bbb8b5218cfb Verifying Checksum
|
||||
bbb8b5218cfb Download complete
|
||||
b3bf60c8c824 Downloading [========================> ] 42.88MB/86.08MB
|
||||
b3bf60c8c824 Downloading [==========================> ] 46.04MB/86.08MB
|
||||
b3bf60c8c824 Downloading [============================> ] 49.23MB/86.08MB
|
||||
b3bf60c8c824 Downloading [==============================> ] 52.93MB/86.08MB
|
||||
b3bf60c8c824 Downloading [================================> ] 56.11MB/86.08MB
|
||||
b3bf60c8c824 Downloading [==================================> ] 58.76MB/86.08MB
|
||||
b3bf60c8c824 Downloading [===================================> ] 61.4MB/86.08MB
|
||||
2a08a00fe446 Downloading [> ] 97.67kB/8.735MB
|
||||
b3bf60c8c824 Downloading [=====================================> ] 64.07MB/86.08MB
|
||||
b3bf60c8c824 Downloading [=======================================> ] 67.76MB/86.08MB
|
||||
2a08a00fe446 Downloading [=====> ] 884.1kB/8.735MB
|
||||
b3bf60c8c824 Downloading [=========================================> ] 70.94MB/86.08MB
|
||||
70ca445a67c2 Downloading [==================================================>] 139B/139B
|
||||
70ca445a67c2 Verifying Checksum
|
||||
70ca445a67c2 Download complete
|
||||
70ca445a67c2 Extracting [==================================================>] 139B/139B
|
||||
70ca445a67c2 Extracting [==================================================>] 139B/139B
|
||||
2a08a00fe446 Downloading [================> ] 2.85MB/8.735MB
|
||||
70ca445a67c2 Pull complete
|
||||
bbb8b5218cfb Extracting [> ] 65.54kB/3.522MB
|
||||
b3bf60c8c824 Downloading [==========================================> ] 73.06MB/86.08MB
|
||||
2a08a00fe446 Downloading [=========================> ] 4.521MB/8.735MB
|
||||
b3bf60c8c824 Downloading [===========================================> ] 75.18MB/86.08MB
|
||||
2a08a00fe446 Downloading [====================================> ] 6.389MB/8.735MB
|
||||
bbb8b5218cfb Extracting [=========> ] 655.4kB/3.522MB
|
||||
b3bf60c8c824 Downloading [============================================> ] 77.31MB/86.08MB
|
||||
2a08a00fe446 Downloading [================================================> ] 8.552MB/8.735MB
|
||||
2a08a00fe446 Verifying Checksum
|
||||
2a08a00fe446 Download complete
|
||||
bbb8b5218cfb Extracting [==============> ] 1.049MB/3.522MB
|
||||
b3bf60c8c824 Downloading [==============================================> ] 80.49MB/86.08MB
|
||||
bbb8b5218cfb Extracting [==================================================>] 3.522MB/3.522MB
|
||||
b3bf60c8c824 Downloading [================================================> ] 84.21MB/86.08MB
|
||||
bbb8b5218cfb Extracting [==================================================>] 3.522MB/3.522MB
|
||||
b3bf60c8c824 Verifying Checksum
|
||||
b3bf60c8c824 Download complete
|
||||
b3bf60c8c824 Extracting [> ] 557.1kB/86.08MB
|
||||
b3bf60c8c824 Extracting [===> ] 5.571MB/86.08MB
|
||||
bbb8b5218cfb Pull complete
|
||||
2a08a00fe446 Extracting [> ] 98.3kB/8.735MB
|
||||
b3bf60c8c824 Extracting [=====> ] 10.03MB/86.08MB
|
||||
2a08a00fe446 Extracting [=======================> ] 4.129MB/8.735MB
|
||||
5b32a5607528 Downloading [===> ] 3.5kB/54.68kB
|
||||
b3bf60c8c824 Extracting [=======> ] 13.37MB/86.08MB
|
||||
c0a27b1e2168 Downloading [======> ] 3.5kB/27.2kB
|
||||
c0a27b1e2168 Downloading [==================================================>] 27.2kB/27.2kB
|
||||
c0a27b1e2168 Verifying Checksum
|
||||
5b32a5607528 Downloading [==================================================>] 54.68kB/54.68kB
|
||||
c0a27b1e2168 Download complete
|
||||
5b32a5607528 Download complete
|
||||
2a08a00fe446 Extracting [============================================> ] 7.766MB/8.735MB
|
||||
2a08a00fe446 Extracting [==================================================>] 8.735MB/8.735MB
|
||||
b3bf60c8c824 Extracting [=========> ] 16.15MB/86.08MB
|
||||
2a08a00fe446 Pull complete
|
||||
5b32a5607528 Extracting [=============================> ] 32.77kB/54.68kB
|
||||
5b32a5607528 Extracting [==================================================>] 54.68kB/54.68kB
|
||||
5b32a5607528 Pull complete
|
||||
c0a27b1e2168 Extracting [==================================================>] 27.2kB/27.2kB
|
||||
c0a27b1e2168 Extracting [==================================================>] 27.2kB/27.2kB
|
||||
b3bf60c8c824 Extracting [===========> ] 20.05MB/86.08MB
|
||||
c0a27b1e2168 Pull complete
|
||||
b3bf60c8c824 Extracting [=============> ] 23.4MB/86.08MB
|
||||
b3bf60c8c824 Extracting [===============> ] 26.18MB/86.08MB
|
||||
ce185550173e Downloading [> ] 534kB/101.6MB
|
||||
ce185550173e Downloading [=> ] 3.7MB/101.6MB
|
||||
b3bf60c8c824 Extracting [================> ] 28.97MB/86.08MB
|
||||
ce185550173e Downloading [===> ] 6.847MB/101.6MB
|
||||
b3bf60c8c824 Extracting [==================> ] 31.75MB/86.08MB
|
||||
ce185550173e Downloading [====> ] 9.476MB/101.6MB
|
||||
b3bf60c8c824 Extracting [====================> ] 35.09MB/86.08MB
|
||||
b3bf60c8c824 Extracting [=====================> ] 37.32MB/86.08MB
|
||||
b9d78c8c657a Downloading [==============> ] 3.5kB/11.92kB
|
||||
b9d78c8c657a Downloading [==================================================>] 11.92kB/11.92kB
|
||||
b9d78c8c657a Verifying Checksum
|
||||
b9d78c8c657a Download complete
|
||||
b3bf60c8c824 Extracting [=======================> ] 40.11MB/86.08MB
|
||||
ce185550173e Downloading [=====> ] 12.1MB/101.6MB
|
||||
b3bf60c8c824 Extracting [========================> ] 42.34MB/86.08MB
|
||||
ce185550173e Downloading [=======> ] 15.26MB/101.6MB
|
||||
b3bf60c8c824 Extracting [=========================> ] 44.56MB/86.08MB
|
||||
ce185550173e Downloading [=========> ] 18.44MB/101.6MB
|
||||
b3bf60c8c824 Extracting [===========================> ] 46.79MB/86.08MB
|
||||
ce185550173e Downloading [==========> ] 21.08MB/101.6MB
|
||||
b3bf60c8c824 Extracting [============================> ] 49.02MB/86.08MB
|
||||
ce185550173e Downloading [===========> ] 23.72MB/101.6MB
|
||||
b3bf60c8c824 Extracting [==============================> ] 52.92MB/86.08MB
|
||||
ce185550173e Downloading [=============> ] 26.9MB/101.6MB
|
||||
b3bf60c8c824 Extracting [================================> ] 55.15MB/86.08MB
|
||||
daf4bae1c5dd Downloading [> ] 540kB/63.48MB
|
||||
ce185550173e Downloading [==============> ] 30.08MB/101.6MB
|
||||
b3bf60c8c824 Extracting [================================> ] 56.26MB/86.08MB
|
||||
ce185550173e Downloading [===============> ] 32.23MB/101.6MB
|
||||
b3bf60c8c824 Extracting [=================================> ] 58.49MB/86.08MB
|
||||
daf4bae1c5dd Downloading [=> ] 2.162MB/63.48MB
|
||||
ce185550173e Downloading [=================> ] 35.42MB/101.6MB
|
||||
daf4bae1c5dd Downloading [==> ] 3.784MB/63.48MB
|
||||
ce185550173e Downloading [==================> ] 37.54MB/101.6MB
|
||||
b3bf60c8c824 Extracting [==================================> ] 60.16MB/86.08MB
|
||||
daf4bae1c5dd Downloading [====> ] 5.947MB/63.48MB
|
||||
ce185550173e Downloading [===================> ] 39.67MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=====> ] 7.569MB/63.48MB
|
||||
ce185550173e Downloading [====================> ] 41.82MB/101.6MB
|
||||
b3bf60c8c824 Extracting [===================================> ] 61.28MB/86.08MB
|
||||
daf4bae1c5dd Downloading [=======> ] 9.731MB/63.48MB
|
||||
ce185550173e Downloading [=====================> ] 43.93MB/101.6MB
|
||||
b3bf60c8c824 Extracting [====================================> ] 62.39MB/86.08MB
|
||||
daf4bae1c5dd Downloading [========> ] 11.35MB/63.48MB
|
||||
ce185550173e Downloading [======================> ] 46.04MB/101.6MB
|
||||
b3bf60c8c824 Extracting [======================================> ] 66.29MB/86.08MB
|
||||
b3bf60c8c824 Extracting [========================================> ] 70.19MB/86.08MB
|
||||
ce185550173e Downloading [=======================> ] 48.69MB/101.6MB
|
||||
daf4bae1c5dd Downloading [==========> ] 12.98MB/63.48MB
|
||||
b3bf60c8c824 Extracting [===========================================> ] 74.09MB/86.08MB
|
||||
ce185550173e Downloading [=========================> ] 50.81MB/101.6MB
|
||||
daf4bae1c5dd Downloading [===========> ] 14.06MB/63.48MB
|
||||
b3bf60c8c824 Extracting [=============================================> ] 77.99MB/86.08MB
|
||||
ce185550173e Downloading [==========================> ] 52.92MB/101.6MB
|
||||
daf4bae1c5dd Downloading [============> ] 16.22MB/63.48MB
|
||||
b3bf60c8c824 Extracting [==============================================> ] 80.22MB/86.08MB
|
||||
ce185550173e Downloading [===========================> ] 55.05MB/101.6MB
|
||||
daf4bae1c5dd Downloading [==============> ] 18.38MB/63.48MB
|
||||
b3bf60c8c824 Extracting [================================================> ] 83MB/86.08MB
|
||||
ce185550173e Downloading [============================> ] 57.16MB/101.6MB
|
||||
daf4bae1c5dd Downloading [================> ] 20.54MB/63.48MB
|
||||
b3bf60c8c824 Extracting [=================================================> ] 85.23MB/86.08MB
|
||||
ce185550173e Downloading [=============================> ] 59.29MB/101.6MB
|
||||
b3bf60c8c824 Extracting [==================================================>] 86.08MB/86.08MB
|
||||
daf4bae1c5dd Downloading [=================> ] 22.71MB/63.48MB
|
||||
b3bf60c8c824 Pull complete
|
||||
2f6df36b11f5 Extracting [==================================================>] 730B/730B
|
||||
2f6df36b11f5 Extracting [==================================================>] 730B/730B
|
||||
2f6df36b11f5 Pull complete
|
||||
ce185550173e Downloading [==============================> ] 61.42MB/101.6MB
|
||||
daf4bae1c5dd Downloading [===================> ] 24.87MB/63.48MB
|
||||
collector Pulled
|
||||
ce185550173e Downloading [===============================> ] 63.54MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=====================> ] 27.03MB/63.48MB
|
||||
ce185550173e Downloading [================================> ] 65.67MB/101.6MB
|
||||
daf4bae1c5dd Downloading [======================> ] 28.65MB/63.48MB
|
||||
ce185550173e Downloading [=================================> ] 67.79MB/101.6MB
|
||||
daf4bae1c5dd Downloading [========================> ] 30.82MB/63.48MB
|
||||
ce185550173e Downloading [==================================> ] 69.93MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=========================> ] 32.98MB/63.48MB
|
||||
ce185550173e Downloading [===================================> ] 72.05MB/101.6MB
|
||||
daf4bae1c5dd Downloading [===========================> ] 34.6MB/63.48MB
|
||||
ce185550173e Downloading [====================================> ] 74.17MB/101.6MB
|
||||
daf4bae1c5dd Downloading [============================> ] 36.22MB/63.48MB
|
||||
ce185550173e Downloading [=====================================> ] 76.3MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=============================> ] 37.85MB/63.48MB
|
||||
ce185550173e Downloading [======================================> ] 78.43MB/101.6MB
|
||||
daf4bae1c5dd Downloading [===============================> ] 40.01MB/63.48MB
|
||||
ce185550173e Downloading [=======================================> ] 80.55MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=================================> ] 42.17MB/63.48MB
|
||||
babadc1b811e Downloading [==================================================>] 1.228kB/1.228kB
|
||||
babadc1b811e Verifying Checksum
|
||||
babadc1b811e Download complete
|
||||
ce185550173e Downloading [========================================> ] 82.66MB/101.6MB
|
||||
daf4bae1c5dd Downloading [==================================> ] 44.33MB/63.48MB
|
||||
ce185550173e Downloading [=========================================> ] 84.78MB/101.6MB
|
||||
daf4bae1c5dd Downloading [====================================> ] 46.5MB/63.48MB
|
||||
ce185550173e Downloading [==========================================> ] 86.9MB/101.6MB
|
||||
daf4bae1c5dd Downloading [======================================> ] 48.66MB/63.48MB
|
||||
ce185550173e Downloading [===========================================> ] 89.01MB/101.6MB
|
||||
daf4bae1c5dd Downloading [========================================> ] 50.82MB/63.48MB
|
||||
ce185550173e Downloading [============================================> ] 91.15MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=========================================> ] 52.99MB/63.48MB
|
||||
ce185550173e Downloading [=============================================> ] 93.28MB/101.6MB
|
||||
daf4bae1c5dd Downloading [===========================================> ] 55.15MB/63.48MB
|
||||
ce185550173e Downloading [==============================================> ] 95.4MB/101.6MB
|
||||
daf4bae1c5dd Downloading [=============================================> ] 57.31MB/63.48MB
|
||||
ce185550173e Downloading [===============================================> ] 97.52MB/101.6MB
|
||||
daf4bae1c5dd Downloading [==============================================> ] 59.47MB/63.48MB
|
||||
ce185550173e Downloading [=================================================> ] 99.65MB/101.6MB
|
||||
daf4bae1c5dd Downloading [================================================> ] 61.64MB/63.48MB
|
||||
ce185550173e Download complete
|
||||
daf4bae1c5dd Verifying Checksum
|
||||
daf4bae1c5dd Download complete
|
||||
ce185550173e Extracting [> ] 557.1kB/101.6MB
|
||||
ce185550173e Extracting [=> ] 3.899MB/101.6MB
|
||||
ce185550173e Extracting [===> ] 6.685MB/101.6MB
|
||||
ce185550173e Extracting [====> ] 10.03MB/101.6MB
|
||||
ce185550173e Extracting [======> ] 13.37MB/101.6MB
|
||||
ce185550173e Extracting [=======> ] 15.6MB/101.6MB
|
||||
ce185550173e Extracting [========> ] 16.71MB/101.6MB
|
||||
ce185550173e Extracting [=========> ] 19.5MB/101.6MB
|
||||
ce185550173e Extracting [============> ] 25.62MB/101.6MB
|
||||
ce185550173e Extracting [===============> ] 32.31MB/101.6MB
|
||||
ce185550173e Extracting [==================> ] 37.32MB/101.6MB
|
||||
ce185550173e Extracting [=====================> ] 44.01MB/101.6MB
|
||||
ce185550173e Extracting [========================> ] 50.69MB/101.6MB
|
||||
ce185550173e Extracting [============================> ] 57.38MB/101.6MB
|
||||
ce185550173e Extracting [==============================> ] 62.95MB/101.6MB
|
||||
ce185550173e Extracting [=================================> ] 69.07MB/101.6MB
|
||||
ce185550173e Extracting [=====================================> ] 75.2MB/101.6MB
|
||||
ce185550173e Extracting [========================================> ] 81.89MB/101.6MB
|
||||
ce185550173e Extracting [============================================> ] 90.24MB/101.6MB
|
||||
ce185550173e Extracting [===============================================> ] 96.93MB/101.6MB
|
||||
ce185550173e Extracting [================================================> ] 98.6MB/101.6MB
|
||||
ce185550173e Extracting [=================================================> ] 101.4MB/101.6MB
|
||||
ce185550173e Extracting [==================================================>] 101.6MB/101.6MB
|
||||
ce185550173e Pull complete
|
||||
daf4bae1c5dd Extracting [> ] 557.1kB/63.48MB
|
||||
daf4bae1c5dd Extracting [> ] 1.114MB/63.48MB
|
||||
daf4bae1c5dd Extracting [=> ] 1.671MB/63.48MB
|
||||
daf4bae1c5dd Extracting [=> ] 2.228MB/63.48MB
|
||||
daf4bae1c5dd Extracting [==> ] 2.785MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===> ] 3.899MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===> ] 4.456MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===> ] 5.014MB/63.48MB
|
||||
daf4bae1c5dd Extracting [======> ] 7.799MB/63.48MB
|
||||
daf4bae1c5dd Extracting [=======> ] 10.03MB/63.48MB
|
||||
daf4bae1c5dd Extracting [==========> ] 13.93MB/63.48MB
|
||||
daf4bae1c5dd Extracting [==============> ] 17.83MB/63.48MB
|
||||
daf4bae1c5dd Extracting [==============> ] 18.38MB/63.48MB
|
||||
daf4bae1c5dd Extracting [=================> ] 22.28MB/63.48MB
|
||||
daf4bae1c5dd Extracting [====================> ] 26.18MB/63.48MB
|
||||
daf4bae1c5dd Extracting [=======================> ] 29.52MB/63.48MB
|
||||
daf4bae1c5dd Extracting [=========================> ] 32.87MB/63.48MB
|
||||
daf4bae1c5dd Extracting [============================> ] 36.21MB/63.48MB
|
||||
daf4bae1c5dd Extracting [================================> ] 40.67MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===================================> ] 44.56MB/63.48MB
|
||||
daf4bae1c5dd Extracting [======================================> ] 49.02MB/63.48MB
|
||||
daf4bae1c5dd Extracting [========================================> ] 51.25MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===========================================> ] 55.15MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===============================================> ] 60.16MB/63.48MB
|
||||
daf4bae1c5dd Extracting [===============================================> ] 60.72MB/63.48MB
|
||||
daf4bae1c5dd Extracting [==================================================>] 63.48MB/63.48MB
|
||||
daf4bae1c5dd Extracting [==================================================>] 63.48MB/63.48MB
|
||||
daf4bae1c5dd Pull complete
|
||||
b9d78c8c657a Extracting [==================================================>] 11.92kB/11.92kB
|
||||
b9d78c8c657a Extracting [==================================================>] 11.92kB/11.92kB
|
||||
b9d78c8c657a Pull complete
|
||||
babadc1b811e Extracting [==================================================>] 1.228kB/1.228kB
|
||||
babadc1b811e Extracting [==================================================>] 1.228kB/1.228kB
|
||||
babadc1b811e Pull complete
|
||||
grafana Pulled
|
||||
#0 building with "default" instance using docker driver
|
||||
|
||||
#1 [s3 internal] load build definition from s3.Dockerfile
|
||||
#1 transferring dockerfile:
|
||||
#1 transferring dockerfile: 922B 0.0s done
|
||||
| ||||