Files
mtusi2026lab6/evidence/summary.md

18 KiB
Raw Permalink Blame History

Сводка проверок (Docker-стенд, 2026-11-01)

Шаги запускались группами (collect_evidence.py check stack smoke configs telemetry dashboard telemetry-history, затем каждый инцидент и load отдельно, затем --from jobs-variants); load выполнен дважды — в группе lab6 и в регрессии, evidence/load.txt и load.json — от второго прогона.

Шаг Что проверяет Результат Время, с Файл
check offline contract check (make check) PASS 0 evidence/check.txt
stack stand layout: replicas, ports, limits, networks, secrets, S3, telemetry services PASS 3 evidence/stack.txt
smoke public smoke via the balancer (make test) with telemetry ON, with attachment PASS 1 evidence/smoke.txt
configs lab6: collector/prometheus/loki/tempo configs by their own tools, alert unit tests, Grafana provisioning PASS 6 evidence/configs.txt
telemetry lab6: request<->log<->trace, upload->publish->consume->S3/DB chain, retry, replay link, no secrets PASS 79 evidence/telemetry.txt
dashboard lab6: every dashboard/rule query runs on live data, key signals present, no forbidden labels PASS 1 evidence/dashboard.txt
telemetry-history lab6: traces/logs/metrics survive restart of prometheus/loki/tempo (volumes) PASS 39 evidence/telemetry-history.txt
incident-worker lab6 incident 1: worker stopped -> queue lag + no consumers firing -> resolved PASS 162 evidence/incident-worker.txt
incident-db lab6 incident 2: slow PostgreSQL (table lock) -> high error rate firing, cause from traces -> resolved PASS 286 evidence/incident-db.txt
incident-telemetry lab6: Tempo+Loki down -> API unaffected, collector memory bounded, losses counted PASS 380 evidence/incident-telemetry.txt
incident-collector lab6: Collector down -> API unaffected, SDK queue bounded, drops counted PASS 156 evidence/incident-collector.txt
load public load generator, 30 s, concurrency 4 PASS 30 evidence/load.txt
jobs-variants lab5: thumbnail/crop/optimized, EXIF orientation, alpha, no upscale, metadata stripped PASS 20 evidence/jobs-variants.txt
jobs-limits lab5: worker limits - bytes, pixels, memory (RLIMIT_AS), time (JOB_TIMEOUT_SECONDS) PASS 73 evidence/jobs-limits.txt
jobs-recovery lab5: worker down -> 202 -> restart api+broker -> ready; broker down -> outbox waits PASS 55 evidence/jobs-recovery.txt
jobs-outbox lab5: dispatcher crash between COMMIT and publish / after confirm PASS 17 evidence/jobs-outbox.txt
jobs-crash lab5: worker crash after S3 PUT / after COMMIT before ack, staging cleanup, frozen worker lease PASS 157 evidence/jobs-crash.txt
jobs-retry lab5: backoff+jitter, retry_exhausted, replay, permanent errors, DLQ PASS 78 evidence/jobs-retry.txt
jobs-janitor-replay lab5: janitor does not delete objects re-written by replay (review fix) PASS 187 evidence/jobs-janitor-replay.txt
jobs-concurrency lab5: WORKER_CONCURRENCY consumers, prefetch 1, bounded processing PASS 16 evidence/jobs-concurrency.txt
attachments lab4: files, limits, damaged images, MIME, filenames, access, attachment_ids PASS 10 evidence/attachments.txt
s3-security lab4: private bucket outside API, limited API key, no console/ports, idempotent bootstrap PASS 10 evidence/s3-security.txt
consistency lab4: aborted upload, crash between S3 and DB, janitor, orphans, S3 outage PASS 160 evidence/consistency.txt
upload-memory lab4: >=10 concurrent uploads, peak memory of api replicas PASS 53 evidence/upload-memory.txt
balancing balancing, shared sessions/data/files, X-Instance-Id PASS 2 evidence/balancing.txt
idempotency Idempotency-Key, parallel same key via replicas PASS 2 evidence/idempotency.txt
student-tests lab1/lab2 API tests via the balancer PASS 3 evidence/student-tests.txt
race lab2 races via the balancer PASS 1 evidence/race.txt
db PostgreSQL: rollback, FK, Argon2id, unique keys, migrations PASS 12 evidence/db.txt
redis Redis as the session store PASS 3 evidence/redis.txt
explain EXPLAIN of the history page (full plans: explain-history.txt) PASS 1 evidence/explain.txt
failover public failover test for every replica, file downloaded via the other one (make test-failover) PASS 42 evidence/failover.txt
load public load generator, 30 s, concurrency 4 PASS 30 evidence/load.txt
failures Redis and PostgreSQL outages via the balancer PASS 56 evidence/failures.txt
persistence public persistence test incl. S3 + proof of real restarts (make test-persistence) PASS 62 evidence/persistence.txt

Замеры

Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-01, commit 470d9d6 + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB.

Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):

Инцидент Воздействие Алерт firing через, с resolved через, с после устранения
1. worker docker compose stop worker + 3 загрузки MessengerWorkerNoConsumers 101.7 (от stop) 29.7 (от start)
1. worker docker compose stop worker + 3 загрузки MessengerQueueLagGrowing 131.8 (от stop) 29.7 (от start)
2. PostgreSQL LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков MessengerHighErrorRate 140.8 (от LOCK) 50.1 (от COMMIT блокировки)
3. телеметрия docker compose stop tempo loki на 150 с TelemetryExportFailing 73.1 (от stop) 165.6 (от start)

Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 6.0, queued заданий = 3.0, возраст старейшего = 127.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 131.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 4.7 с, backlog 0.0.

Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 17.2, 'max': 23.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 216}. Error-трасса 237e2d6b1c7db22adbb7d4752fa47f2: server-спан 5013.3 мс, из них INSERT 5001.3 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 4a222e478c2d51006538a7bfeb485eb1, POST /users): server 21.2 мс, argon2id hash 16.4 мс, все спаны БД 0.7 мс. Нагрузка: до 115.5 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 116.8/с без ошибок.

Отказ телеметрии API во время отказа Память Потери телеметрии
stop tempo loki на 150 с (окно повторов Collector 120 с) 9555 запросов, коды {'201': 9555}, доля успеха 1.0 heap Collector 35.5 -> max 86.9 MiB (limit 200), контейнер max 107.0 MiB send/enqueue failed в Collector: {'spans': 4096, 'log_records': 235}; пробные трассы дошли 13/13, потеряны отправленные на [] с
stop otel-collector на 90 с 5852 запросов, коды {'201': 5852}, доля успеха 1.0 api 295.2 -> max 313.5 MiB (2 реплики) SDK api потерял спанов: {'processor_queue_full': 8252, 'exporter_failed': 10752} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10287 спанов за минуту)

Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):

Прогон Остановлена реплика Реплик до отказа Успешных записей Неудачных попыток (повторены с тем же ключом) Первая запись после hook, с
1 171a473b0d28 2 127 0 4.75
2 1db2fedff78f 2 126 0 4.578

Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:

Сценарий Одновременно Объём, MiB Время, с (p50 / max) Реплика: загрузок RSS до, MiB Пик RSS, MiB Рост, MiB Пик cgroup, MiB
10 x ~9.5 MiB PNG (noise) 10 94.9 1.77 / 1.95 171a473b0d28: 5 109.6 124.5 14.9 162.8
1db2fedff78f: 5 110.5 125.6 15.1 163.3
10 x 40 Mpx PNG (8000x5000 RGB) 10 1.1 0.98 / 1.3 171a473b0d28: 5 107.6 112.4 4.8 101.5
1db2fedff78f: 5 107.1 109.8 2.7 100.0
20 mixed: large + 40 Mpx + JPEG 20 133.2 1.45 / 1.95 171a473b0d28: 10 109.0 136.3 27.3 191.4
1db2fedff78f: 10 110.6 135.0 24.3 172.8

Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.

Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 239.02 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
публичный make test-failover для каждой реплики запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет PASS 2 раз(а), неудачных попыток: 0, 0 первая запись после hook через 4.75, 4.578 с (hook ждёт остановки ~4 с); потерь нет
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) данные, файл и прежний токен живы PASS, те же контейнеры с новым временем старта 60.9 с до готовности; потерь нет
docker compose stop s3 (SeaweedFS остановлен) загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают upload 503 за 20234 мс, download 503, остальное 200/201 после start файлы на месте; uploading-строку убрал janitor; потерь нет
docker compose pause s3 (SeaweedFS завис) то же, но через таймауты S3-клиента upload 503 за 14703 мс (2 попытки x 5 с + откат 2 с) после unpause файлы на месте; потерь нет
падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено мусора не осталось; повторный проход ничего не делает
обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) ничего не сохраняется строк и объектов не прибавилось, временных файлов 0 мгновенно
worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready worker started -> same job 6a45774d-0d88-46ec-87b9-70fb4c122bbd ready, thumbnail downloadable; staging object deleted потерь нет; staging удалён после COMMIT
rabbitmq остановлен во время upload 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется rabbitmq started -> dispatcher published the pending row -> ready потерь нет
crash dispatcher между COMMIT задания и publish строка outbox не отмечена -> публикуется после рестарта процесса dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job d1eb476a-fbe1-4271-861f-74f3e943b8cc ready, attempt 1, no manual action без ручного действия
crash dispatcher после confirm, до отметки outbox дубль сообщения, worker распознаёт по состоянию job dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set один набор вариантов
crash worker после PUT в S3, до COMMIT и ack повтор после истечения аренды перезаписывает те же ключи worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] один набор, 4 объекта
crash worker после COMMIT, до ack redelivery ready-задачи -> no-op ack worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) очередь пуста, дублей нет
worker завис (не продлевает аренду) dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 17 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] ready не откатан
зависание обработки изображения процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 62 s повтор -> ready
нехватка памяти в процессе обработки (RLIMIT_AS) failed/resource_limit, worker жив memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived постоянная ошибка, без повторов
2 временные ошибки S3 backoff с jitter, затем ready 2 x storage_unavailable -> retries after 1.90 s and 3.20 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready -
5 временных ошибок подряд failed/retry_exhausted, реестр failed, content 409 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) replay оператора
replay failed и повторный replay ready тот же job_id -> ready; повтор отклонён ops replay -> same job_id d8ab860c-eb40-4df2-8d98-67aade24f2f2 attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" дубля нет
невалидное сообщение и неизвестный job_id reject -> DLQ, dlq-replay не исполняет schema-invalid message and unknown job_id -> reject -> DLQ (2 message(s)); dlq-replay kept them: ['invalid message is kept for analysis', 'unknown job'] сообщения сохранены
8 заданий в очереди, старт worker WORKER_CONCURRENCY=2, prefetch 1 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.4 s after worker start, peak processing 2 of 8 (6 samples) -