Files
mtusi2026lab7/evidence/summary.md

23 KiB
Raw Permalink Blame History

Сводка проверок

Шаг Что проверяет Результат Время, с Файл
check offline contract check (make check) PASS 0 evidence/check.txt
stack stand layout: replicas, ports, limits, networks, secrets, S3, telemetry services PASS 3 evidence/stack.txt
smoke public smoke over HTTPS (make test CA_FILE=...) with telemetry ON, with attachment PASS 2 evidence/smoke.txt
security lab7 public: trusted HTTPS works, empty trust store fails verification (make test-security) PASS 0 evidence/security.txt
hardening lab7: no privileged/host net/docker.sock, caps dropped, no-new-privileges, read-only, non-root, limits, ports PASS 1 evidence/hardening.txt
tls-matrix lab7: every trust-matrix link from inside — allowed identity passes, no cert / foreign CA / wrong identity / expired fail PASS 20 evidence/tls-matrix.txt
least-privilege lab7: each service identity vs PostgreSQL grants, S3 prefixes, OpenBao policies, Redis ACL PASS 6 evidence/least-privilege.txt
lab7-security lab7: HTTPS only, headers, outsider ACL, logout, shared login rate limit, size limits, Argon2id, rehash, no credential leaks PASS 17 evidence/lab7-security.txt
leak-check lab7: password/token/Authorization absent in container logs, Loki, Tempo traces, Prometheus labels PASS 21 evidence/leak-check.txt
argon2-bench lab7: Argon2id cost inside the api container for candidate parameters PASS 4 evidence/argon2-bench.txt
lifecycle-rotate-secret lab7: Redis password of api rotated via OpenBao under load, old one revoked PASS 38 evidence/lifecycle-rotate-secret.txt
lifecycle-rotate-leaf lab7: LB leaf rotated (HAProxy reload), old leaf revoked via CRL, rejected by API PASS 28 evidence/lifecycle-rotate-leaf.txt
lifecycle-token-expiry lab7: OpenBao token TTL 20 s / max 40 s + revoke: services re-login with their cert PASS 102 evidence/lifecycle-token-expiry.txt
lifecycle-sealed lab7: sealed OpenBao: running replicas serve, restarted replica not ready until unseal PASS 91 evidence/lifecycle-sealed.txt
configs lab6: collector/prometheus/loki/tempo configs by their own tools, alert unit tests, Grafana provisioning PASS 6 evidence/configs.txt
telemetry lab6: request<->log<->trace, upload->publish->consume->S3/DB chain, retry, replay link, no secrets PASS 87 evidence/telemetry.txt
dashboard lab6: every dashboard/rule query runs on live data, key signals present, no forbidden labels PASS 3 evidence/dashboard.txt
telemetry-history lab6: traces/logs/metrics survive restart of prometheus/loki/tempo (volumes) PASS 41 evidence/telemetry-history.txt
incident-worker lab6 incident 1: worker stopped -> queue lag + no consumers firing -> resolved PASS 171 evidence/incident-worker.txt
incident-db lab6 incident 2: slow PostgreSQL (table lock) -> high error rate firing, cause from traces -> resolved PASS 271 evidence/incident-db.txt
incident-telemetry lab6: Tempo+Loki down -> API unaffected, collector memory bounded, losses counted PASS 285 evidence/incident-telemetry.txt
incident-collector lab6: Collector down -> API unaffected, SDK queue bounded, drops counted PASS 154 evidence/incident-collector.txt
jobs-variants lab5: thumbnail/crop/optimized, EXIF orientation, alpha, no upscale, metadata stripped PASS 21 evidence/jobs-variants.txt
jobs-limits lab5: worker limits - bytes, pixels, memory (RLIMIT_AS), time (JOB_TIMEOUT_SECONDS) PASS 75 evidence/jobs-limits.txt
jobs-recovery lab5: worker down -> 202 -> restart api+broker -> ready; broker down -> outbox waits PASS 60 evidence/jobs-recovery.txt
jobs-outbox lab5: dispatcher crash between COMMIT and publish / after confirm PASS 20 evidence/jobs-outbox.txt
jobs-crash lab5: worker crash after S3 PUT / after COMMIT before ack, staging cleanup, frozen worker lease PASS 161 evidence/jobs-crash.txt
jobs-retry lab5: backoff+jitter, retry_exhausted, replay, permanent errors, DLQ PASS 79 evidence/jobs-retry.txt
jobs-janitor-replay lab5: janitor does not delete objects re-written by replay (review fix) PASS 192 evidence/jobs-janitor-replay.txt
jobs-concurrency lab5: WORKER_CONCURRENCY consumers, prefetch 1, bounded processing PASS 19 evidence/jobs-concurrency.txt
attachments lab4: files, limits, damaged images, MIME, filenames, access, attachment_ids PASS 13 evidence/attachments.txt
s3-security lab4: private bucket outside API, limited API key, no console/ports, idempotent bootstrap PASS 10 evidence/s3-security.txt
consistency lab4: aborted upload, crash between S3 and DB, janitor, orphans, S3 outage PASS 131 evidence/consistency.txt
upload-memory lab4: >=10 concurrent uploads, peak memory of api replicas PASS 56 evidence/upload-memory.txt
balancing balancing, shared sessions/data/files, X-Instance-Id PASS 3 evidence/balancing.txt
idempotency Idempotency-Key, parallel same key via replicas PASS 4 evidence/idempotency.txt
student-tests lab1/lab2 API tests via the balancer PASS 5 evidence/student-tests.txt
race lab2 races via the balancer PASS 2 evidence/race.txt
db PostgreSQL: rollback, FK, Argon2id, unique keys, migrations PASS 11 evidence/db.txt
redis Redis as the session store PASS 5 evidence/redis.txt
explain EXPLAIN of the history page (full plans: explain-history.txt) PASS 1 evidence/explain.txt
failover public failover test for every replica, file downloaded via the other one (make test-failover) PASS 46 evidence/failover.txt
load public load generator, 30 s, concurrency 4 PASS 30 evidence/load.txt
failures Redis and PostgreSQL outages via the balancer PASS 32 evidence/failures.txt
persistence public persistence test incl. S3, OpenBao (+ operator unseal) + proof of real restarts (make test-persistence) PASS 83 evidence/persistence.txt
login-dos lab7: wrong-password login flood: Argon2id budget per replica, 503/429, latency of legit requests PASS 47 evidence/login-dos.txt

Замеры

Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID.

TLS/mTLS-аудит trust matrix изнутри сети (student-tests/test_tls_matrix.py, контейнер probe):

Связь Проверок Пройдено
LB -> API (mTLS, allowlist CN=lb) 10 10
API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) 11 11
API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) 13 13
API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) 4 4
API -> Redis (TLS + client cert of our CA + ACL user) 6 6
API/worker -> S3 (HTTPS + per-service keys by prefix) 6 6
Services -> OpenBao (TLS + cert auth by CN + policy) 7 7
Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) 7 7
Collector/Grafana/operator -> Loki (mTLS, CA) 4 4
Collector/Grafana/operator -> Tempo (mTLS, CA) 4 4
Collector -> Tempo OTLP gRPC :4317 (mTLS) 3 3
Operator -> Grafana (HTTPS) 3 3

Минимальные права (test_least_privilege.py): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ).

Argon2id внутри контейнера api (argon2_bench.py, медиана из 7):

m, KiB t p hash, мс verify, мс входов/с на реплику при 2 параллельных RAM на хеширование, MiB
19456 2 1 12.2 12.2 163.9 38
19456 3 1 18.3 18.5 108.1 38
32768 (выбрано) 2 1 22.6 22.2 90.1 64
47104 2 1 34.2 34.8 57.5 92
65536 2 1 49.8 50.4 39.7 128
65536 3 1 75.3 75.2 26.6 128

Login DoS (login_dos.py, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}.

Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0.

Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0.

Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0.

OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0.

Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):

Инцидент Воздействие Алерт firing через, с resolved через, с после устранения
1. worker docker compose stop worker + 3 загрузки MessengerWorkerNoConsumers 94.0 (от stop) 45.6 (от start)
1. worker docker compose stop worker + 3 загрузки MessengerQueueLagGrowing 124.5 (от stop) 45.6 (от start)
2. PostgreSQL LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков MessengerHighErrorRate 122.5 (от LOCK) 35.1 (от COMMIT блокировки)
3. телеметрия docker compose stop tempo loki на 150 с TelemetryExportFailing 85.9 (от stop) 70.6 (от start)

Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 5.4 с, backlog 0.0.

Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них INSERT 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, argon2id hash 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок.

Отказ телеметрии API во время отказа Память Потери телеметрии
stop tempo loki на 150 с (окно повторов Collector 120 с) 8486 запросов, коды {'201': 8486}, доля успеха 1.0 heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с
stop otel-collector на 90 с 5298 запросов, коды {'201': 5298}, доля успеха 1.0 api 831.6 -> max 866.4 MiB (2 реплики) SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту)

Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):

Прогон Остановлена реплика Реплик до отказа Успешных записей Неудачных попыток (повторены с тем же ключом) Первая запись после hook, с
1 0c7893e1043d 2 126 0 5.453
2 b7f37f051ba1 2 125 0 5.313

Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:

Сценарий Одновременно Объём, MiB Время, с (p50 / max) Реплика: загрузок RSS до, MiB Пик RSS, MiB Рост, MiB Пик cgroup, MiB
10 x ~9.5 MiB PNG (noise) 10 94.9 1.54 / 1.64 0c7893e1043d: 5 129.5 141.0 11.5 164.8
b7f37f051ba1: 5 126.2 139.1 12.9 164.8
10 x 40 Mpx PNG (8000x5000 RGB) 10 1.1 1.13 / 1.39 0c7893e1043d: 5 128.9 134.9 6.0 113.5
b7f37f051ba1: 5 126.7 134.4 7.7 113.9
20 mixed: large + 40 Mpx + JPEG 20 133.2 1.64 / 2.25 0c7893e1043d: 10 125.6 144.1 18.5 174.8
b7f37f051ba1: 10 128.7 147.9 19.2 182.8

Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.

Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
публичный make test-failover для каждой реплики запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет PASS 2 раз(а), неудачных попыток: 0, 0 первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) данные, файл и прежний токен живы PASS, те же контейнеры с новым временем старта 82.1 с до готовности; потерь нет
docker compose stop s3 (SeaweedFS остановлен) загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают upload 503 за 781 мс, download 503, остальное 200/201 после start файлы на месте; uploading-строку убрал janitor; потерь нет
docker compose pause s3 (SeaweedFS завис) то же, но через таймауты S3-клиента upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) после unpause файлы на месте; потерь нет
падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено мусора не осталось; повторный проход ничего не делает
обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) ничего не сохраняется строк и объектов не прибавилось, временных файлов 0 мгновенно
worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted потерь нет; staging удалён после COMMIT
rabbitmq остановлен во время upload 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется rabbitmq started -> dispatcher published the pending row -> ready потерь нет
crash dispatcher между COMMIT задания и publish строка outbox не отмечена -> публикуется после рестарта процесса dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action без ручного действия
crash dispatcher после confirm, до отметки outbox дубль сообщения, worker распознаёт по состоянию job dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set один набор вариантов
crash worker после PUT в S3, до COMMIT и ack повтор после истечения аренды перезаписывает те же ключи worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] один набор, 4 объекта
crash worker после COMMIT, до ack redelivery ready-задачи -> no-op ack worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) очередь пуста, дублей нет
worker завис (не продлевает аренду) dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] ready не откатан
зависание обработки изображения процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s повтор -> ready
нехватка памяти в процессе обработки (RLIMIT_AS) failed/resource_limit, worker жив memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived постоянная ошибка, без повторов
2 временные ошибки S3 backoff с jitter, затем ready 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready -
5 временных ошибок подряд failed/retry_exhausted, реестр failed, content 409 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) replay оператора
replay failed и повторный replay ready тот же job_id -> ready; повтор отклонён ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" дубля нет
невалидное сообщение и неизвестный job_id reject -> DLQ, dlq-replay не исполняет schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] сообщения сохранены
8 заданий в очереди, старт worker WORKER_CONCURRENCY=2, prefetch 1 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) -