Files
mtusi2026lab7/evidence/summary.md
T

158 lines
23 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Сводка проверок
| Шаг | Что проверяет | Результат | Время, с | Файл |
| --- | --- | --- | --- | --- |
| check | offline contract check (make check) | PASS | 0 | evidence/check.txt |
| stack | stand layout: replicas, ports, limits, networks, secrets, S3, telemetry services | PASS | 3 | evidence/stack.txt |
| smoke | public smoke over HTTPS (make test CA_FILE=...) with telemetry ON, with attachment | PASS | 2 | evidence/smoke.txt |
| security | lab7 public: trusted HTTPS works, empty trust store fails verification (make test-security) | PASS | 0 | evidence/security.txt |
| hardening | lab7: no privileged/host net/docker.sock, caps dropped, no-new-privileges, read-only, non-root, limits, ports | PASS | 1 | evidence/hardening.txt |
| tls-matrix | lab7: every trust-matrix link from inside — allowed identity passes, no cert / foreign CA / wrong identity / expired fail | PASS | 20 | evidence/tls-matrix.txt |
| least-privilege | lab7: each service identity vs PostgreSQL grants, S3 prefixes, OpenBao policies, Redis ACL | PASS | 6 | evidence/least-privilege.txt |
| lab7-security | lab7: HTTPS only, headers, outsider ACL, logout, shared login rate limit, size limits, Argon2id, rehash, no credential leaks | PASS | 17 | evidence/lab7-security.txt |
| leak-check | lab7: password/token/Authorization absent in container logs, Loki, Tempo traces, Prometheus labels | PASS | 21 | evidence/leak-check.txt |
| argon2-bench | lab7: Argon2id cost inside the api container for candidate parameters | PASS | 4 | evidence/argon2-bench.txt |
| lifecycle-rotate-secret | lab7: Redis password of api rotated via OpenBao under load, old one revoked | PASS | 38 | evidence/lifecycle-rotate-secret.txt |
| lifecycle-rotate-leaf | lab7: LB leaf rotated (HAProxy reload), old leaf revoked via CRL, rejected by API | PASS | 28 | evidence/lifecycle-rotate-leaf.txt |
| lifecycle-token-expiry | lab7: OpenBao token TTL 20 s / max 40 s + revoke: services re-login with their cert | PASS | 102 | evidence/lifecycle-token-expiry.txt |
| lifecycle-sealed | lab7: sealed OpenBao: running replicas serve, restarted replica not ready until unseal | PASS | 91 | evidence/lifecycle-sealed.txt |
| configs | lab6: collector/prometheus/loki/tempo configs by their own tools, alert unit tests, Grafana provisioning | PASS | 6 | evidence/configs.txt |
| telemetry | lab6: request<->log<->trace, upload->publish->consume->S3/DB chain, retry, replay link, no secrets | PASS | 87 | evidence/telemetry.txt |
| dashboard | lab6: every dashboard/rule query runs on live data, key signals present, no forbidden labels | PASS | 3 | evidence/dashboard.txt |
| telemetry-history | lab6: traces/logs/metrics survive restart of prometheus/loki/tempo (volumes) | PASS | 41 | evidence/telemetry-history.txt |
| incident-worker | lab6 incident 1: worker stopped -> queue lag + no consumers firing -> resolved | PASS | 171 | evidence/incident-worker.txt |
| incident-db | lab6 incident 2: slow PostgreSQL (table lock) -> high error rate firing, cause from traces -> resolved | PASS | 271 | evidence/incident-db.txt |
| incident-telemetry | lab6: Tempo+Loki down -> API unaffected, collector memory bounded, losses counted | PASS | 285 | evidence/incident-telemetry.txt |
| incident-collector | lab6: Collector down -> API unaffected, SDK queue bounded, drops counted | PASS | 154 | evidence/incident-collector.txt |
| jobs-variants | lab5: thumbnail/crop/optimized, EXIF orientation, alpha, no upscale, metadata stripped | PASS | 21 | evidence/jobs-variants.txt |
| jobs-limits | lab5: worker limits - bytes, pixels, memory (RLIMIT_AS), time (JOB_TIMEOUT_SECONDS) | PASS | 75 | evidence/jobs-limits.txt |
| jobs-recovery | lab5: worker down -> 202 -> restart api+broker -> ready; broker down -> outbox waits | PASS | 60 | evidence/jobs-recovery.txt |
| jobs-outbox | lab5: dispatcher crash between COMMIT and publish / after confirm | PASS | 20 | evidence/jobs-outbox.txt |
| jobs-crash | lab5: worker crash after S3 PUT / after COMMIT before ack, staging cleanup, frozen worker lease | PASS | 161 | evidence/jobs-crash.txt |
| jobs-retry | lab5: backoff+jitter, retry_exhausted, replay, permanent errors, DLQ | PASS | 79 | evidence/jobs-retry.txt |
| jobs-janitor-replay | lab5: janitor does not delete objects re-written by replay (review fix) | PASS | 192 | evidence/jobs-janitor-replay.txt |
| jobs-concurrency | lab5: WORKER_CONCURRENCY consumers, prefetch 1, bounded processing | PASS | 19 | evidence/jobs-concurrency.txt |
| attachments | lab4: files, limits, damaged images, MIME, filenames, access, attachment_ids | PASS | 13 | evidence/attachments.txt |
| s3-security | lab4: private bucket outside API, limited API key, no console/ports, idempotent bootstrap | PASS | 10 | evidence/s3-security.txt |
| consistency | lab4: aborted upload, crash between S3 and DB, janitor, orphans, S3 outage | PASS | 131 | evidence/consistency.txt |
| upload-memory | lab4: >=10 concurrent uploads, peak memory of api replicas | PASS | 56 | evidence/upload-memory.txt |
| balancing | balancing, shared sessions/data/files, X-Instance-Id | PASS | 3 | evidence/balancing.txt |
| idempotency | Idempotency-Key, parallel same key via replicas | PASS | 4 | evidence/idempotency.txt |
| student-tests | lab1/lab2 API tests via the balancer | PASS | 5 | evidence/student-tests.txt |
| race | lab2 races via the balancer | PASS | 2 | evidence/race.txt |
| db | PostgreSQL: rollback, FK, Argon2id, unique keys, migrations | PASS | 11 | evidence/db.txt |
| redis | Redis as the session store | PASS | 5 | evidence/redis.txt |
| explain | EXPLAIN of the history page (full plans: explain-history.txt) | PASS | 1 | evidence/explain.txt |
| failover | public failover test for every replica, file downloaded via the other one (make test-failover) | PASS | 46 | evidence/failover.txt |
| load | public load generator, 30 s, concurrency 4 | PASS | 30 | evidence/load.txt |
| failures | Redis and PostgreSQL outages via the balancer | PASS | 32 | evidence/failures.txt |
| persistence | public persistence test incl. S3, OpenBao (+ operator unseal) + proof of real restarts (make test-persistence) | PASS | 83 | evidence/persistence.txt |
| login-dos | lab7: wrong-password login flood: Argon2id budget per replica, 503/429, latency of legit requests | PASS | 47 | evidence/login-dos.txt |
# Замеры
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID.
TLS/mTLS-аудит trust matrix изнутри сети (`student-tests/test_tls_matrix.py`, контейнер probe):
| Связь | Проверок | Пройдено |
| --- | --- | --- |
| LB -> API (mTLS, allowlist CN=lb) | 10 | 10 |
| API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) | 11 | 11 |
| API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) | 13 | 13 |
| API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) | 4 | 4 |
| API -> Redis (TLS + client cert of our CA + ACL user) | 6 | 6 |
| API/worker -> S3 (HTTPS + per-service keys by prefix) | 6 | 6 |
| Services -> OpenBao (TLS + cert auth by CN + policy) | 7 | 7 |
| Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) | 7 | 7 |
| Collector/Grafana/operator -> Loki (mTLS, CA) | 4 | 4 |
| Collector/Grafana/operator -> Tempo (mTLS, CA) | 4 | 4 |
| Collector -> Tempo OTLP gRPC :4317 (mTLS) | 3 | 3 |
| Operator -> Grafana (HTTPS) | 3 | 3 |
Минимальные права (`test_least_privilege.py`): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ).
Argon2id внутри контейнера api (`argon2_bench.py`, медиана из 7):
| m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику при 2 параллельных | RAM на хеширование, MiB |
| --- | --- | --- | --- | --- | --- | --- |
| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 |
| 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 |
| 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 |
| 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 |
| 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 |
| 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 |
Login DoS (`login_dos.py`, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}.
Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0.
Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0.
Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0.
OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0.
Алерты на контролируемых инцидентах (`student-tests/incidents.py`, состояние из Prometheus /api/v1/alerts):
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
| --- | --- | --- | --- | --- |
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerWorkerNoConsumers | 94.0 (от stop) | 45.6 (от start) |
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerQueueLagGrowing | 124.5 (от stop) | 45.6 (от start) |
| 2. PostgreSQL | `LOCK TABLE messages IN ACCESS EXCLUSIVE MODE` на 210 с под нагрузкой 8 потоков | MessengerHighErrorRate | 122.5 (от LOCK) | 35.1 (от COMMIT блокировки) |
| 3. телеметрия | `docker compose stop tempo loki` на 150 с | TelemetryExportFailing | 85.9 (от stop) | 70.6 (от start) |
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=`service.stopped`; трасса загрузки содержит `publish attachments`, но не содержит `process attachments.process.v1`. После start: вложения ready через 5.4 с, backlog 0.0.
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них `INSERT` 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, `argon2id hash` 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок.
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
| --- | --- | --- | --- |
| `stop tempo loki` на 150 с (окно повторов Collector 120 с) | 8486 запросов, коды {'201': 8486}, доля успеха 1.0 | heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB | send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с |
| `stop otel-collector` на 90 с | 5298 запросов, коды {'201': 5298}, доля успеха 1.0 | api 831.6 -> max 866.4 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту) |
Публичный тест отказа (`make test-failover`, 15 с записи во время остановки реплики):
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
| --- | --- | --- | --- | --- | --- |
| 1 | 0c7893e1043d | 2 | 126 | 0 | 5.453 |
| 2 | b7f37f051ba1 | 2 | 125 | 0 | 5.313 |
Одновременные загрузки (`student-tests/upload_memory.py`, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.54 / 1.64 | 0c7893e1043d: 5 | 129.5 | 141.0 | 11.5 | 164.8 |
| | | | | b7f37f051ba1: 5 | 126.2 | 139.1 | 12.9 | 164.8 |
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 1.13 / 1.39 | 0c7893e1043d: 5 | 128.9 | 134.9 | 6.0 | 113.5 |
| | | | | b7f37f051ba1: 5 | 126.7 | 134.4 | 7.7 | 113.9 |
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.64 / 2.25 | 0c7893e1043d: 10 | 125.6 | 144.1 | 18.5 | 174.8 |
| | | | | b7f37f051ba1: 10 | 128.7 | 147.9 | 19.2 | 182.8 |
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
Публичный генератор нагрузки (`tests/load.py`, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| публичный `make test-failover` для каждой реплики | запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет |
| перезапуск всего стенда (`restart` hook: postgres, redis, s3, api, janitor, lb) | данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 82.1 с до готовности; потерь нет |
| `docker compose stop s3` (SeaweedFS остановлен) | загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 781 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
| `docker compose pause s3` (SeaweedFS завис) | то же, но через таймауты S3-клиента | upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
| worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT |
| rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет |
| crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action | без ручного действия |
| crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов |
| crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта |
| crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет |
| worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан |
| зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s | повтор -> ready |
| нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов |
| 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - |
| 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора |
| replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет |
| невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] | сообщения сохранены |
| 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) | - |