23 KiB
Сводка проверок
| Шаг | Что проверяет | Результат | Время, с | Файл |
|---|---|---|---|---|
| check | offline contract check (make check) | PASS | 0 | evidence/check.txt |
| stack | stand layout: replicas, ports, limits, networks, secrets, S3, telemetry services | PASS | 3 | evidence/stack.txt |
| smoke | public smoke over HTTPS (make test CA_FILE=...) with telemetry ON, with attachment | PASS | 2 | evidence/smoke.txt |
| security | lab7 public: trusted HTTPS works, empty trust store fails verification (make test-security) | PASS | 0 | evidence/security.txt |
| hardening | lab7: no privileged/host net/docker.sock, caps dropped, no-new-privileges, read-only, non-root, limits, ports | PASS | 1 | evidence/hardening.txt |
| tls-matrix | lab7: every trust-matrix link from inside — allowed identity passes, no cert / foreign CA / wrong identity / expired fail | PASS | 20 | evidence/tls-matrix.txt |
| least-privilege | lab7: each service identity vs PostgreSQL grants, S3 prefixes, OpenBao policies, Redis ACL | PASS | 6 | evidence/least-privilege.txt |
| lab7-security | lab7: HTTPS only, headers, outsider ACL, logout, shared login rate limit, size limits, Argon2id, rehash, no credential leaks | PASS | 17 | evidence/lab7-security.txt |
| leak-check | lab7: password/token/Authorization absent in container logs, Loki, Tempo traces, Prometheus labels | PASS | 21 | evidence/leak-check.txt |
| argon2-bench | lab7: Argon2id cost inside the api container for candidate parameters | PASS | 4 | evidence/argon2-bench.txt |
| lifecycle-rotate-secret | lab7: Redis password of api rotated via OpenBao under load, old one revoked | PASS | 38 | evidence/lifecycle-rotate-secret.txt |
| lifecycle-rotate-leaf | lab7: LB leaf rotated (HAProxy reload), old leaf revoked via CRL, rejected by API | PASS | 28 | evidence/lifecycle-rotate-leaf.txt |
| lifecycle-token-expiry | lab7: OpenBao token TTL 20 s / max 40 s + revoke: services re-login with their cert | PASS | 102 | evidence/lifecycle-token-expiry.txt |
| lifecycle-sealed | lab7: sealed OpenBao: running replicas serve, restarted replica not ready until unseal | PASS | 91 | evidence/lifecycle-sealed.txt |
| configs | lab6: collector/prometheus/loki/tempo configs by their own tools, alert unit tests, Grafana provisioning | PASS | 6 | evidence/configs.txt |
| telemetry | lab6: request<->log<->trace, upload->publish->consume->S3/DB chain, retry, replay link, no secrets | PASS | 87 | evidence/telemetry.txt |
| dashboard | lab6: every dashboard/rule query runs on live data, key signals present, no forbidden labels | PASS | 3 | evidence/dashboard.txt |
| telemetry-history | lab6: traces/logs/metrics survive restart of prometheus/loki/tempo (volumes) | PASS | 41 | evidence/telemetry-history.txt |
| incident-worker | lab6 incident 1: worker stopped -> queue lag + no consumers firing -> resolved | PASS | 171 | evidence/incident-worker.txt |
| incident-db | lab6 incident 2: slow PostgreSQL (table lock) -> high error rate firing, cause from traces -> resolved | PASS | 271 | evidence/incident-db.txt |
| incident-telemetry | lab6: Tempo+Loki down -> API unaffected, collector memory bounded, losses counted | PASS | 285 | evidence/incident-telemetry.txt |
| incident-collector | lab6: Collector down -> API unaffected, SDK queue bounded, drops counted | PASS | 154 | evidence/incident-collector.txt |
| jobs-variants | lab5: thumbnail/crop/optimized, EXIF orientation, alpha, no upscale, metadata stripped | PASS | 21 | evidence/jobs-variants.txt |
| jobs-limits | lab5: worker limits - bytes, pixels, memory (RLIMIT_AS), time (JOB_TIMEOUT_SECONDS) | PASS | 75 | evidence/jobs-limits.txt |
| jobs-recovery | lab5: worker down -> 202 -> restart api+broker -> ready; broker down -> outbox waits | PASS | 60 | evidence/jobs-recovery.txt |
| jobs-outbox | lab5: dispatcher crash between COMMIT and publish / after confirm | PASS | 20 | evidence/jobs-outbox.txt |
| jobs-crash | lab5: worker crash after S3 PUT / after COMMIT before ack, staging cleanup, frozen worker lease | PASS | 161 | evidence/jobs-crash.txt |
| jobs-retry | lab5: backoff+jitter, retry_exhausted, replay, permanent errors, DLQ | PASS | 79 | evidence/jobs-retry.txt |
| jobs-janitor-replay | lab5: janitor does not delete objects re-written by replay (review fix) | PASS | 192 | evidence/jobs-janitor-replay.txt |
| jobs-concurrency | lab5: WORKER_CONCURRENCY consumers, prefetch 1, bounded processing | PASS | 19 | evidence/jobs-concurrency.txt |
| attachments | lab4: files, limits, damaged images, MIME, filenames, access, attachment_ids | PASS | 13 | evidence/attachments.txt |
| s3-security | lab4: private bucket outside API, limited API key, no console/ports, idempotent bootstrap | PASS | 10 | evidence/s3-security.txt |
| consistency | lab4: aborted upload, crash between S3 and DB, janitor, orphans, S3 outage | PASS | 131 | evidence/consistency.txt |
| upload-memory | lab4: >=10 concurrent uploads, peak memory of api replicas | PASS | 56 | evidence/upload-memory.txt |
| balancing | balancing, shared sessions/data/files, X-Instance-Id | PASS | 3 | evidence/balancing.txt |
| idempotency | Idempotency-Key, parallel same key via replicas | PASS | 4 | evidence/idempotency.txt |
| student-tests | lab1/lab2 API tests via the balancer | PASS | 5 | evidence/student-tests.txt |
| race | lab2 races via the balancer | PASS | 2 | evidence/race.txt |
| db | PostgreSQL: rollback, FK, Argon2id, unique keys, migrations | PASS | 11 | evidence/db.txt |
| redis | Redis as the session store | PASS | 5 | evidence/redis.txt |
| explain | EXPLAIN of the history page (full plans: explain-history.txt) | PASS | 1 | evidence/explain.txt |
| failover | public failover test for every replica, file downloaded via the other one (make test-failover) | PASS | 46 | evidence/failover.txt |
| load | public load generator, 30 s, concurrency 4 | PASS | 30 | evidence/load.txt |
| failures | Redis and PostgreSQL outages via the balancer | PASS | 32 | evidence/failures.txt |
| persistence | public persistence test incl. S3, OpenBao (+ operator unseal) + proof of real restarts (make test-persistence) | PASS | 83 | evidence/persistence.txt |
| login-dos | lab7: wrong-password login flood: Argon2id budget per replica, 503/429, latency of legit requests | PASS | 47 | evidence/login-dos.txt |
Замеры
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID.
TLS/mTLS-аудит trust matrix изнутри сети (student-tests/test_tls_matrix.py, контейнер probe):
| Связь | Проверок | Пройдено |
|---|---|---|
| LB -> API (mTLS, allowlist CN=lb) | 10 | 10 |
| API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) | 11 | 11 |
| API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) | 13 | 13 |
| API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) | 4 | 4 |
| API -> Redis (TLS + client cert of our CA + ACL user) | 6 | 6 |
| API/worker -> S3 (HTTPS + per-service keys by prefix) | 6 | 6 |
| Services -> OpenBao (TLS + cert auth by CN + policy) | 7 | 7 |
| Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) | 7 | 7 |
| Collector/Grafana/operator -> Loki (mTLS, CA) | 4 | 4 |
| Collector/Grafana/operator -> Tempo (mTLS, CA) | 4 | 4 |
| Collector -> Tempo OTLP gRPC :4317 (mTLS) | 3 | 3 |
| Operator -> Grafana (HTTPS) | 3 | 3 |
Минимальные права (test_least_privilege.py): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ).
Argon2id внутри контейнера api (argon2_bench.py, медиана из 7):
| m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику при 2 параллельных | RAM на хеширование, MiB |
|---|---|---|---|---|---|---|
| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 |
| 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 |
| 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 |
| 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 |
| 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 |
| 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 |
Login DoS (login_dos.py, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}.
Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0.
Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0.
Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0.
OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0.
Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
|---|---|---|---|---|
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerWorkerNoConsumers | 94.0 (от stop) | 45.6 (от start) |
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerQueueLagGrowing | 124.5 (от stop) | 45.6 (от start) |
| 2. PostgreSQL | LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков |
MessengerHighErrorRate | 122.5 (от LOCK) | 35.1 (от COMMIT блокировки) |
| 3. телеметрия | docker compose stop tempo loki на 150 с |
TelemetryExportFailing | 85.9 (от stop) | 70.6 (от start) |
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 5.4 с, backlog 0.0.
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них INSERT 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, argon2id hash 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок.
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
|---|---|---|---|
stop tempo loki на 150 с (окно повторов Collector 120 с) |
8486 запросов, коды {'201': 8486}, доля успеха 1.0 | heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB | send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с |
stop otel-collector на 90 с |
5298 запросов, коды {'201': 5298}, доля успеха 1.0 | api 831.6 -> max 866.4 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту) |
Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
|---|---|---|---|---|---|
| 1 | 0c7893e1043d | 2 | 126 | 0 | 5.453 |
| 2 | b7f37f051ba1 | 2 | 125 | 0 | 5.313 |
Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
|---|---|---|---|---|---|---|---|---|
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.54 / 1.64 | 0c7893e1043d: 5 | 129.5 | 141.0 | 11.5 | 164.8 |
| b7f37f051ba1: 5 | 126.2 | 139.1 | 12.9 | 164.8 | ||||
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 1.13 / 1.39 | 0c7893e1043d: 5 | 128.9 | 134.9 | 6.0 | 113.5 |
| b7f37f051ba1: 5 | 126.7 | 134.4 | 7.7 | 113.9 | ||||
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.64 / 2.25 | 0c7893e1043d: 10 | 125.6 | 144.1 | 18.5 | 174.8 |
| b7f37f051ba1: 10 | 128.7 | 147.9 | 19.2 | 182.8 |
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
публичный make test-failover для каждой реплики |
запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет |
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) |
данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 82.1 с до готовности; потерь нет |
docker compose stop s3 (SeaweedFS остановлен) |
загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 781 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
docker compose pause s3 (SeaweedFS завис) |
то же, но через таймауты S3-клиента | upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
| worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT |
| rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет |
| crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action | без ручного действия |
| crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов |
| crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта |
| crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет |
| worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан |
| зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s | повтор -> ready |
| нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов |
| 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - |
| 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора |
| replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет |
| невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] | сообщения сохранены |
| 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) | - |