Files
mtusi2026lab6/REPORT.md
T

34 KiB
Raw Blame History

Отчёт — лабораторная 6. Наблюдаемость

  • Автор / группа: Авзалов Артур Марсович / БПИ2301.
  • Целевая оценка: 4; трек 5 не заявлен.
  • Статус: кандидат на 4. Реализация проверена на Windows/Docker Desktop 2026-11-17: все шесть сценариев наблюдаемости, публичный smoke, ряд регрессионных тестов Lab5 и визуализация Grafana прошли. Целевая оценка 4; окончательную оценку определяет преподаватель.
  • Commit/PR: указывается после публикации.
  • ИИ: ChatGPT помог проектировать, реализовывать инструментацию, инфраструктуру, тесты и документацию. Результаты ниже получены при запуске именно Lab6; ChatGPT помог исправить диагностический тест backend-down.

Запуск из чистого clone

Docker Desktop (Linux containers, Compose V2), Python 3.9+ для публичных HTTP-тестов; Python 3.12 рекомендуется для локальных SDK/unit-проверок. Приложение использует Python 3.12.10. Желательно выделить Docker 6–8 GiB RAM с запасом. Перед запуском остановить Lab5 и другие стенды, занимающие 8080/3000/9090/3100/3200. Не удалять их volumes.

PowerShell (корень проекта):

Copy-Item .env.example .env
notepad .env
$env:PYTHONUTF8 = "1"
# Заменить ВСЕ REPLACE_WITH_... на разные случайные значения.
# Для паролей в DSN выбрать hex/URL-safe значения, не вставлять секреты в отчёт.
# OTEL_ENABLED=yes, LAB5_FAULT_AFTER_S3=off, LAB6_FAULT_RETRY_ONCE=off.
docker compose --env-file .env config --quiet
docker compose --env-file .env run --rm --no-deps otel-collector validate --config=/etc/otelcol/config.yaml
docker compose --env-file .env run --rm --no-deps --entrypoint /bin/promtool prometheus check config /etc/prometheus/prometheus.yml
docker compose --env-file .env up -d --build --wait
docker compose --env-file .env ps
python scripts/wait_ready.py
make check
make test

--wait для backend без healthcheck подтверждает только запущенный контейнер, не готовность ingestion. Дождаться /-/ready Prometheus, /ready Loki/Tempo, /api/health Grafana, up для Collector; расширенные тесты делают это автоматически. Grafana: http://127.0.0.1:3000, пользователь admin, пароль GRAFANA_ADMIN_PASSWORD из локального .env (задаётся при первом создании volume). Dashboard MTUCI → Lab6 | Messenger observability (/d/lab6-messenger/). Prometheus alerts: http://127.0.0.1:9090/alerts. Порты диагностики доступны только на loopback; никакого наружного OTLP или прямых API-реплик.

Для локальных unit/SDK-проверок в отдельном Python 3.12 venv:

python -m pip install -r requirements.txt
python scripts/check_lab6.py
python tests/jobs_sql_contract.py
python tests/own_unit.py
python tests/telemetry_unit.py
# Необязательная полная OpenAPI-валидация (отдельный dev requirement):
python -m pip install -r requirements-dev.txt
make validate

Безопасная остановка: docker compose --env-file .env down (named volumes сохраняются). Только намеренный сброс СВОЕГО учебного стенда: docker compose --env-file .env down -v (удаляет и бизнес-данные, и историю телеметрии, не использовать для тестов). .env, реальные credentials и данные вне Git. Инициализация migrate транзакционна и идемпотентна; s3-policy готовит приватные credentials/policy, s3-bootstrap bucket, telemetry-init устанавливает права директорий named volumes. RabbitMQ queue создаётся приложением с durable/publisher confirms. Provisioning Grafana полностью из Git.

Архитектура и перенос Lab5

HTTP -> HAProxy -> API1/API2 -> PostgreSQL + Redis + SeaweedFS
                         -> outbox -> dispatcher -> RabbitMQ -> worker
                                                        worker -> S3 + DB ready
API / dispatcher / worker (включая дочерний image process)
                | OTLP HTTP/protobuf :4318, внутри telemetry
                v
         OTel Collector
           | metrics /metrics :8889 <- Prometheus scrape
           | logs native OTLP HTTP -> Loki
           | traces OTLP gRPC -> Tempo
           v
                     Grafana (запросы к трём независимым stores)

Бизнес-контракт Lab6 и исходные публичные тесты не изменены; добавляется необязательный диагностический response header X-Trace-Id на business HTTP при активной телеметрии. Метаданные, состояние job/outbox и идемпотентность живут в PostgreSQL; сессии в Redis AOF; оригиналы/варианты в S3; RabbitMQ доставляет задачи at-least-once. SDK и Collector не участвуют в транзакциях приложения. Worker сохраняет исходный timeout/lease и отдельный process для Pillow; таймаут/ошибки приводят к durable retry через Outbox. Изменения в app/jobs.py, app/main.py, app/storage.py, app/attachments.py, app/image_worker.py касаются инструментации, измерения backlog и обработки DB statement timeout; dispatcher обслуживает heartbeat даже в idle. Миграции 001–004 сохранены. Новых бизнес-таблиц не нужно: контракт job допускает optional traceparent, tracestate, они сохраняются в JSONB outbox.

Роли / версии / данные / доступ

Service Версия (образ) Данные, сеть, readiness
api1/api2 Python 3.12.10-slim-bookworm, FastAPI 0.115.12 stateless, frontend/storage/telemetry; /health/ready, не опубликованы напрямую
lb HAProxy 3.1.7-alpine frontend, 127.0.0.1:8080; readiness upstream
postgres 16.10-bookworm postgres_data, storage, pg_isready
redis 7.4.5-alpine redis_data, storage, redis-cli ping, AOF
s3 SeaweedFS 4.53 s3_data, s3_config, storage; bootstrap + API head_bucket
broker RabbitMQ 4.1.8-management-alpine rabbitmq_data, storage, diagnostics ping
dispatcher/worker Python 3.12.10, Pika 1.3.2, Pillow 11.3.0 storage/telemetry, restart policy; live fault tests
otel-collector contrib 0.123.0 memory-only bounded batches, telemetry; scrape :8888/:8889
prometheus v3.2.1 prometheus_data, telemetry, loopback 9090; /-/ready
loki 3.4.2 loki_data, TSDB v13 filesystem, loopback 3100; /ready
tempo 2.7.2 tempo_data, local blocks + WAL, loopback 3200; /ready
grafana 11.6.0 grafana_data + Git provisioning, loopback 3000; /api/health
telemetry-init BusyBox 1.37.0 one-shot chown только корней named volumes, сеть отсутствует

API 384 MiB/0.75 CPU на реплику, worker 768 MiB/1 CPU, dispatcher 192 MiB/0.5 CPU, Collector 256 MiB/0.75 CPU, Prometheus 384 MiB, Loki/Tempo 512 MiB каждый, Grafana 384 MiB. Реальные CPU/RAM замеряются на стенде; лимиты не измерения. Prometheus retention 72h/512MB, Loki и Tempo retention 72h (асинхронная очистка backend, не жёсткий disk quota). Все конфиги infra/otel/ монтируются read-only. .env.example содержит логические настройки runtime, Compose отображает POSTGRES_* в DATABASE_URL, Redis URL фиксируется внутренней сетью, S3_* в credentials, BROKER_* в AMQP credentials. Локальный файл .env не коммитится; секреты хранятся в окружении контейнеров учебного стенда, не production secret manager. STAGING_RETENTION_SECONDS при отсутствии настройки приложения равен 86400. WORKER_PREFETCH=1, один активный job на worker. OTEL_ENABLED=yes включает SDK; endpoint http://otel-collector:4318 задаётся Compose. GRAFANA_ADMIN_PASSWORD только для локального интерфейса. LAB6_FAULT_RETRY_ONCE — операторская настройка, по умолчанию off (не API).

Сигналы, запросы и единицы

SDK OTel API/SDK/OTLP HTTP 1.42.1, явная инструментация app/telemetry.py. Стабильные локальные names и ограниченные semantic attributes вместо автоматического capture. service.name=messenger-api|messenger-dispatcher|messenger-worker, service.version=1.6.0, service.instance.id=api1|api2|container hostname, deployment.environment.name=lab; Prometheus exporter переводит точки в подчёркивания, добавляет суффиксы секунд/байт/total. Все histogram buckets одинаковы на репликах: 0.005…600 s. Health измеряется, но исключён из business SLI и трассировки (чтобы probe не загрязнял трассы). HTTP duration измеряется до получения заголовков ответа; потоковая передача content целиком не измеряется. Не именуем p99 средним.

Сигнал / Prometheus имя Выражение / единица
HTTP throughput и 5xx sum(rate(lab_http_requests_total{route=~"/api/.*"}[30s])), фильтр status_class="5xx" для ошибок; req/s
p50/p95/p99 histogram_quantile(0.95,sum by(le)(rate(lab_http_duration_seconds_bucket{route=~"/api/.*"}[30s]))), аналогично 0.5/0.99; секунды
Job outcomes sum by(outcome)(rate(lab_jobs_total[30s])), attempts/s; ready/retry/failed/stale/requeue; hard kill до метрики не считается завершённым attempt
Worker processing histogram_quantile(0.95,sum by(le)(rate(lab_job_duration_seconds_bucket[30s]))), секунды claimed attempt
Time to ready histogram_quantile(0.95,sum by(le)(rate(lab_ready_duration_seconds_bucket[30s]))), секунды от processing_jobs.created_at (время транзакции durable acceptance, близкое, но не точно равное моменту COMMIT) до commit ready, включает retry/backlog
Durable backlog max(lab_queue_depth): число jobs в статусе queued, включая неопубликованные и delayed retry
Broker queue max(lab_broker_ready): ready messages RabbitMQ через passive declare; lab_broker_consumers — число consumers; не включает unacked и не равно DB backlog
Oldest age max(lab_queue_oldest_age_seconds): now−created_at старейшей queued job; секунды; нет queued = 0
DB pool lab_db_pool_used, lab_db_pool_waiting, lab_db_pool_capacity по service_instance_id; connections/requests; used = size−available (включая reserved/создаваемые соединения)
Worker saturation sum(lab_worker_busy)/clamp_min(sum(lab_worker_capacity),1); ratio, active/capacity. Один job на процесс. При отсутствии worker ряд исчезает по expiration, это не доказательство idle
CPU/RAM lab_container_cpu_cores (CPU seconds / wall seconds), lab_container_memory_bytes (cgroup v2 usage, fallback v1 CPU / RSS дерева процессов)
Collector internal otelcol_exporter_queue_size, otelcol_exporter_queue_capacity, otelcol_exporter_send_failed_spans[_total], otelcol_exporter_send_failed_log_records[_total], otelcol_process_memory_rss / otelcol_process_memory_rss_bytes; учитывать текущую нормализацию выбранной версии

method, route template, status_class, job_type, outcome, queue — ограниченный набор label values, service_instance_id ограничен числом экземпляров за retention; нет raw URL, filename, user/chat/message/attachment/request/job ID. Метрики cumulative, Collector выставляет Prometheus exposition. metric_expiration: 15s ограничивает stale gauges (нет данных при недоступной БД, а не искусственный 0). Percentiles строятся по сумме histogram buckets всех реплик (не усреднение p95). При отсутствии событий rate/quantile может быть NaN: требуется свежая нагрузка, NaN не заменяем нулём искусственно.

Сквозная трасса и логи

  1. API создаёт реальный SERVER span на business route; db.transaction и s3.upload_fileobj видны как dependency spans. Request ID остаётся прежним; http.completed содержит request_id, status_code, method, route, trace/span ID, timestamp и severity.
  2. Во время транзакции job/outbox job_payload() добавляет W3C traceparent/tracestate. Dispatcher извлекает их; создаёт PRODUCER span и внедряет свой context в сообщение RabbitMQ. Outbox хранит исходный контекст. На retry вызов из CONSUMER сохраняет его context; lease rescue/replay без активного span использует первый сохранённый context.
  3. Worker извлекает context, CONSUMER является child producer; проверяет job/lease в БД. image.subprocess передаёт context дочернему процессу в env без секретов телеметрии; видны image.transform, db.load_staging_metadata, s3.get_object, s3.put_object, s3.copy_object, затем db.publish_result. Worker завершает job.ready или job.retry/job.failed, ack после durable результата/retry. В случае hard kill последний span может не успеть экспортироваться; retry продолжает trace.
  4. В Grafana Explore → Tempo по X-Trace-Id / trace_id; открываем span; Loki: {service_name="messenger-api"} | trace_id="<trace_id>" | request_id="<request_id>", worker {service_name="messenger-worker"} | trace_id="<trace_id>". Поля trace_id, span_id, event — OTLP structured metadata; тела записей фиксированные технические события. Технический job_id только в trace/log для конкретного учебного задания; SQL text, exception messages/stack traces, raw URLs, Authorization, passwords, session tokens, тело сообщений и файлы не передаются SDK. Отключён uvicorn access log, только отдельный безопасный logger передаётся в OTLP. Это проверкой синтетических sentinel полей подтверждено локально, не исчерпывающий security-аудит.

SLI / SLO и alerts

SLI = 1−(число business HTTP 5xx / число всех завершённых business HTTP responses), health исключён, 4xx клиента не считаются отказом сервера. Окно 5 минут; SLO >= 99% (учебный, выбран нами, не обещание SLA). Dashboard SLI: 1 - ((sum(increase(lab_http_requests_total{route=~"/api/.*",status_class="5xx"}[5m])) or vector(0)) / sum(increase(lab_http_requests_total{route=~"/api/.*"}[5m]))). Если нет трафика — нет измеримого SLI. SLI не учитывает отказ между клиентом и HAProxy либо ответы самого HAProxy, поскольку SDK в API; для production нужны LB/probe metrics. Время до ready отдельно измеряется histogram; успешные ready не учитывают навсегда failed, поэтому не подменяем им SLI доступности.

Правила infra/otel/prometheus/alerts.yml: LabAPIHighErrorRate >5% business 5xx за 30 s, for: 9s; LabQueueLag age >15 s и depth>0, for: 12s. Это локальные diagnostic alert thresholds, не burn-rate track 5. Prometheus evaluation/scrape 3s; firing/pending/inactive (inactive после firing = resolved) в Prometheus UI/API, Grafana dashboard ALERTS. Проверка искусственными отказами — ниже; внешней доставки нет.

Backpressure и сбой телеметрии

SDK async BatchSpan/BatchLogRecordProcessor queue 512 items/64 batch, HTTP exporter 2s timeout; metric reader 3s interval/2s export timeout. Не ждём backend для HTTP/normal commit; дочерний process ограниченно flush'ит (добавляет latency, остаётся внутри JOB_TIMEOUT), потеря телеметрии допустима. Collector memory_limiter 180 MiB (spike 40 MiB), container limit 256 MiB, GOMEMLIMIT 180MiB. Batch 128/256 items, timeout 1s; каждый Tempo/Loki exporter queue 64 batches, один consumer, request timeout 3s, retry до 10s. При переполнении/отказе telemetry может быть потеряна; нет бесконечной durable очереди и нет гарантий delivery telemetry. Prometheus scrape хранит history самостоятельно. backend-down проверяет успешные бизнес-записи/обработку изображения при остановленном Tempo, рост failed exports, sampled RSS и queue size, отсутствие OOM/restart и свежий trace после восстановления. Failed export counter отражает неуспешный экспорт Collector (не точное число всех потерянных spans SDK; повторные попытки и обрывы могут влиять). Измерение на коротком сценарии не доказательство бессрочной нагрузки.

Доказательства критериев

Локальные проверки (в среде подготовки, 2026-11-17) см. evidence/offline_validation.md. Фактические результаты Docker-прогона на Windows 2026-11-17 сведены в evidence/verified_results_2026-11-17.md. JSON-файлы сформированы тестами на стенде; скриншоты Grafana — в evidence/grafana/. Неповторённые проверки отмечены отдельно. Скрипты добавлены отдельно, исходные tests/smoke.py, client.py, load.py, resilience.py, fixtures и OpenAPI сохранены byte-for-byte.

Критерий Команда/сценарий Результат / evidence
Структура, SQL, SDK make check, python scripts/check_lab6.py, python tests/jobs_sql_contract.py, python tests/telemetry_unit.py, python tests/own_unit.py локально PASS; SDK wire-format test не проверяет Collector/backend
Основной API и регрессия Lab5 make test, attachments_negative, idempotency_parallel, own_unit, pipeline_resilience (paused/outbox-crash/worker-crash) PASS на Lab6; отдельные resilience.py и pipeline_extended.py в данном прогоне не подтверждены
Все три stores, dashboard/datasources, метрики + низкая кардинальность observability_live.py --scenario metrics PASS: ожидаемые ряды и отсутствие запрещённых ID labels; evidence/lab6-metrics.json
Upload/producer/consumer/retry, лог+trace, S3+DB result --scenario trace-retry PASS: API/producer/consumer/S3/DB с retry, связанные логи; evidence/lab6-trace-retry.json
Queue age / depth / SLO & alert --scenario queue-lag PASS: возраст 27.574387 s; queued=1; firing → ready → resolved; evidence/lab6-queue-lag.json
DB latency / 5xx alert --scenario db-error PASS: QueryCanceled/503, error ratio 1.0; firing → resolved; evidence/lab6-db-error.json
Collector ограничен, telemetry backend down --scenario backend-down PASS после исправления теста: 16 успешных записей, sampled max RSS 200.43 MiB / 256 MiB, queue 18/64, свежая трасса после восстановления; evidence/lab6-backend-down.json
Сохранение метрик/логов/traces при restart --scenario history PASS: сохранены метрики, логи, трассы после перезапуска backend; evidence/lab6-history.json
Нагрузка, percentiles, ресурсы tests/load.py, attachments_concurrent.py, dashboard CPU/RAM, PromQL PASS: 10/10 HTTP 202 → ready, по 3 варианта; acceptance 3.976 RPS, p50 2296.5 ms, max 2484.0 ms, все ready за 36.406 s; evidence/attachments-concurrent.json; 16 панелей Grafana показывают данные. Отдельный tests/load.py ещё не подтверждён

Команды полного прогона на Windows

Список включает как уже выполненные, так и дополнительные регрессионные проверки. Фактический статус — в сводке доказательств; команды сами по себе не означают PASS.

$env:PYTHONUTF8 = "1"
$env:LAB5_ALLOW_FAILURE_TEST = "yes"
$env:LAB6_ALLOW_FAILURE_TEST = "yes"
# Все fault tests строго последовательно, только на отдельном учебном стенде.
make test
python tests/attachments_negative.py
python tests/idempotency_parallel.py
python tests/own_unit.py
python tests/pipeline_resilience.py --scenario paused
python tests/pipeline_resilience.py --scenario outbox-crash
python tests/pipeline_resilience.py --scenario worker-crash
python tests/pipeline_extended.py --scenario broker-persistence
python tests/pipeline_extended.py --scenario failed-replay
python tests/pipeline_extended.py --scenario staging-cleanup
python tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
python tests/attachments_concurrent.py --concurrency 10 --output evidence/attachments-concurrent.json
python tests/observability_live.py --scenario metrics
python tests/observability_live.py --scenario trace-retry
python tests/observability_live.py --scenario queue-lag
python tests/observability_live.py --scenario db-error
python tests/observability_live.py --scenario backend-down
python tests/observability_live.py --scenario history
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
docker compose --env-file .env up -d --no-deps --wait api1 api2
make test

На Linux соответствующие hooks restart.sh, stop-one.sh (executable). Не запускать сценарии одновременно. Fault scripts управляют реальными контейнерами, не удаляют volumes. trace-retry временно пересоздаёт worker с operator-only fault once, затем восстанавливает off. db-error удерживает lock не более 60s после захвата; освобождение в конце транзакции; не применять на production. history перезапускает telemetry stores с named volumes. При ошибке смотреть docker compose logs --tail=80 <service>, не публиковать secrets. make check не заменяет runtime. Если Docker не стартует, не менять публичные тесты ради PASS.

Инциденты и runbook

Инцидент 1, гипотеза: остановлен worker. queue-lag принимает синтетический upload при остановленном worker. Через метрики backlog/oldest age определяем растущую очередь, сравниваем broker ready/consumer count; API может продолжать отвечать 202, CPU worker отсутствует, DB pool нормальный. LabQueueLag firing; trace upload → publish есть, consume отсутствует. Запустить worker и дождаться ready, depth=0, alert inactive. Время обнаружения/возраст/глубина — в JSON результата. Факт (17.11): queue-lag PASS, age 27.574387 s, queued=1 при firing; после запуска worker задание стало ready, alert resolved. См. evidence/lab6-queue-lag.json и графики очереди.

Инцидент 2, гипотеза: DB заблокирована, не медленный handler. db-error удерживает кратковременный ACCESS EXCLUSIVE LOCK на users в отдельной psql транзакции, health SELECT 1 остаётся рабочим. Создаётся несколько business GET /api/v1/users/me, которые получают 503 после database statement timeout ~5s или pool timeout. В Grafana: HTTP errors/p95 растут, db.transaction занимает основное время и имеет error.type QueryCanceled, связанный http.completed лог с request_id; отличить от долгого обработчика с нормальными dependency spans. LabAPIHighErrorRate firing; после COMMIT lock запросы снова 200, error rate падает и alert inactive. Факт (17.11): db-error PASS, QueryCanceled и HTTP 503 обнаружены, error ratio=1.0 при firing, после снятия блокировки alert resolved. См. evidence/lab6-db-error.json и графики API.

Инцидент 3: Tempo недоступна. backend-down останавливает Tempo, посылает synthetic messages и image upload. Prometheus продолжает считать business telemetry; Collector failed spans/queue/RSS показывают сбой экспорта, API/worker продолжают обработку. После возврата Tempo создаётся новая трасса, старые могли потеряться. Факт (17.11): 16 успешных записей, обработка изображения сохранена; RSS Collector до отказа 197.35 MiB, наблюдаемый максимум 200.43 MiB при лимите 256 MiB; очередь выросла с 0/64 до 18/64. Ошибки экспорта наблюдались, свежая трасса после восстановления доступна. См. evidence/lab6-backend-down.json и графики Collector. Первоначальный тест завершился на проверке RSS; исправлен только тест (поддержка варианта имени метрики с _bytes, строгая проверка очереди и диагностика лимитов); последующий живой прогон PASS.

Для нагрузки фиксировать hardware/выделенные Docker CPU/RAM, прогрев после up, дату, commit, размер файла 111817 B, длительность 30s и concurrency 4 для POST messages, concurrency 10 для upload; сохранить load.json, attachments-concurrent.json, показатели p50/p95/p99 из dashboard, CPU/RAM через PromQL/периодические замеры docker stats. Closed-loop нагрузки не доказывают максимальную capacity; p95 из histogram приблизителен. В evidence/ хранить только обезличенные summary и технические IDs синтетических trace, не raw secrets/requests. Скриншоты Grafana/alerts полезны как дополнение, не вместо stored results.

Визуальная проверка Grafana (17.11.2026)

Все 16 панелей на четырёх приложенных скриншотах содержат данные реального запуска. Снимки показывают часовой интервал с тестовыми инцидентами и последующей нагрузкой; точные значения и состояния берутся из результатов сценариев, визуальные оценки округлены.

Доказательство Что видно
API и jobs Throughput, всплеск доли 5xx до 100%, p95/p99 около 10 s в момент сбоя, job outcomes
Worker и очередь Processing duration, time to ready (с учётом очереди), backlog, пик возраста около 27 s
Pool и ресурсы DB pool capacity 8 на реплику, worker saturation достигает 100%, CPU и sampled memory по экземплярам
Collector, alerts, SLO Очередь экспорта Tempo при ограничении 64, failed exports, firing/pending, падение SLI ниже 99% и последующее восстановление

Для показа связи лога и трассы в Grafana Explore используйте сохранённый trace ID 4d8711b71965876a59aa5594ad0d51a0 из trace-retry, пока данные доступны по retention. При истечении retention повторите сценарий. PNG подтверждают визуализацию метрик; связанные логи и spans подтверждены тестом trace-retry, а не отдельными скриншотами Explore.

Ограничения и следующие шаги

Один Docker-host и одиночные PG, Redis, S3, RabbitMQ, LB, Collector и telemetry backends. При их потере не заявляем HA. Бизнес-данные и telemetry разделены, at-least-once не exactly-once. Наблюдаемость best-effort: SDK queue/Collector memory pressure, hard crash, offline backend могут приводить к пропускам traces/logs/metrics. Трассируем зависимость до заголовков/вызова S3, не каждую SQL-команду и не весь downloaded stream. No sampling research / burn-rate track. Нагрузочные и fault evidence приведены выше. Замеры ограничены коротким сценарием и 10 одновременными upload; отдельно tests/load.py, повторный полный persistence/failover бизнес-стенда и три сценария pipeline_extended.py в предоставленном выводе Lab6 отсутствуют. Параметры CPU/RAM Docker-host и полный вывод JSON не предоставлены для этой сводки. Примерные пароли использовались на локальном тестовом стенде; при новом развёртывании заменить их перед запуском, не коммитить .env.

Источники