From 2950b77967bdd852431ae5592bd9d9b72dac4671 Mon Sep 17 00:00:00 2001 From: Ilya Date: Thu, 15 Oct 2026 23:14:20 +0300 Subject: [PATCH] =?UTF-8?q?lab3:=20evidence,=20=D0=BE=D1=82=D1=87=D1=91?= =?UTF-8?q?=D1=82=20=D0=B8=20=D0=B4=D0=BE=D0=BA=D1=83=D0=BC=D0=B5=D0=BD?= =?UTF-8?q?=D1=82=D0=B0=D1=86=D0=B8=D1=8F=20(C5)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - REPORT.md: запуск из чистого clone, архитектура и решения, таблица доказательств по каждому заявленному критерию, методика экспериментов, гипотезы H1–H5, результаты серии A (1/2/4 реплики), диагностики горячего чата и пути чтения, серии роста ресурсов, A/B улучшения и таблица отказов, ограничения и следующие шаги. - evidence/: индекс (README.md), level3 (smoke, persistence, failover по каждой реплике с переходами статусов LB) и level4 (spread, идемпотентность, failover каждой реплики под нагрузкой, rolling update, отказы зависимостей, лимиты и порты) плюс raw-данные трека 1: сводки k6, сжатые потоки сэмплера, манифесты условий измерения, таблицы и графики. - app/README.md и infra/README.md: LB и реплики, семантика Idempotency-Key, /internal/lb-check, переменные окружения, дрейн по SIGTERM, харнесс. - .env.example приведён к реальной конфигурации (убраны SESSION_STORE/CACHE_URL_FILE, добавлены DATABASE_URL/REDIS_URL/лимиты стенда/BUILD_ID и т.д.); .lab3-quiesce.json добавлен в .gitignore. --- .env.example | 60 +- REPORT.md | 385 ++- evidence/README.md | 61 +- evidence/level3/failover-mtusi-lab3-api-1.txt | 23 + evidence/level3/failover-mtusi-lab3-api-2.txt | 23 + evidence/level3/persistence.txt | 45 + evidence/level3/smoke.txt | 11 + evidence/level4/dependency-faults.txt | 19 + evidence/level4/failover-sweep.json | 2865 +++++++++++++++++ evidence/level4/failover-sweep.md | 9 + evidence/level4/limits-and-ports.txt | 33 + evidence/level4/rolling-update.json | 48 + evidence/level4/rolling-update.md | 9 + evidence/level4/spread.json | 27 + evidence/track1/ab-verdict.json | 52 + evidence/track1/graphs/ab-comparison.png | Bin 0 -> 32724 bytes .../track1/graphs/container-cpu-ab_A_rep1.png | Bin 0 -> 149989 bytes .../track1/graphs/container-cpu-ab_B_rep1.png | Bin 0 -> 150648 bytes .../container-cpu-failover_438cdb0e0de6.png | Bin 0 -> 122603 bytes .../container-cpu-failover_63edcffba23f.png | Bin 0 -> 117759 bytes .../container-cpu-growth_api-total-6-900.png | Bin 0 -> 121223 bytes .../container-cpu-growth_api-total-6.png | Bin 0 -> 123968 bytes .../container-cpu-growth_api6-pg3-900.png | Bin 0 -> 117889 bytes .../container-cpu-growth_pg-3.0-900.png | Bin 0 -> 117212 bytes .../graphs/container-cpu-growth_pg-3.0.png | Bin 0 -> 125037 bytes .../container-cpu-growth_pool-20-900.png | Bin 0 -> 121776 bytes .../graphs/container-cpu-growth_pool-20.png | Bin 0 -> 130733 bytes .../container-cpu-growth_pool-5-900.png | Bin 0 -> 118607 bytes .../graphs/container-cpu-growth_pool-5.png | Bin 0 -> 129452 bytes .../graphs/container-cpu-p-a_n1-vu900.png | Bin 0 -> 97732 bytes .../graphs/container-cpu-p-a_n1_rep2.png | Bin 0 -> 112243 bytes .../graphs/container-cpu-p-a_n2_rep3.png | Bin 0 -> 125609 bytes .../graphs/container-cpu-p-a_n4-vu900.png | Bin 0 -> 130016 bytes .../graphs/container-cpu-p-a_n4_rep1.png | Bin 0 -> 155911 bytes .../graphs/container-cpu-p-b_after-ext.png | Bin 0 -> 125556 bytes .../track1/graphs/container-cpu-p-b_n4.png | Bin 0 -> 143181 bytes .../graphs/container-cpu-p-c_gen2.0.png | Bin 0 -> 159117 bytes .../graphs/container-cpu-p-c_lb0.25.png | Bin 0 -> 153595 bytes .../track1/graphs/container-cpu-p-c_lb1.0.png | Bin 0 -> 156629 bytes .../track1/graphs/container-cpu-rolling.png | Bin 0 -> 152929 bytes evidence/track1/graphs/generator-vus.png | Bin 0 -> 81509 bytes evidence/track1/graphs/growth.png | Bin 0 -> 32804 bytes evidence/track1/graphs/latency-errors.png | Bin 0 -> 103641 bytes .../track1/graphs/replica-distribution.png | Bin 28292 -> 45207 bytes evidence/track1/graphs/steady-throughput.png | Bin 26715 -> 41695 bytes evidence/track1/graphs/throughput.png | Bin 0 -> 87703 bytes evidence/track1/raw/ab#A#rep1.k6.json | 132 + evidence/track1/raw/ab#A#rep1.manifest.json | 122 + .../track1/raw/ab#A#rep1.samples.jsonl.gz | Bin 0 -> 42434 bytes evidence/track1/raw/ab#A#rep2.k6.json | 132 + evidence/track1/raw/ab#A#rep2.manifest.json | 122 + .../track1/raw/ab#A#rep2.samples.jsonl.gz | Bin 0 -> 42412 bytes evidence/track1/raw/ab#A#rep3.k6.json | 132 + evidence/track1/raw/ab#A#rep3.manifest.json | 122 + .../track1/raw/ab#A#rep3.samples.jsonl.gz | Bin 0 -> 41722 bytes evidence/track1/raw/ab#B#rep1.k6.json | 131 + evidence/track1/raw/ab#B#rep1.manifest.json | 122 + .../track1/raw/ab#B#rep1.samples.jsonl.gz | Bin 0 -> 38481 bytes evidence/track1/raw/ab#B#rep2.k6.json | 131 + evidence/track1/raw/ab#B#rep2.manifest.json | 122 + .../track1/raw/ab#B#rep2.samples.jsonl.gz | Bin 0 -> 36952 bytes evidence/track1/raw/ab#B#rep3.k6.json | 131 + evidence/track1/raw/ab#B#rep3.manifest.json | 122 + .../track1/raw/ab#B#rep3.samples.jsonl.gz | Bin 0 -> 38631 bytes .../track1/raw/failover#438cdb0e0de6.k6.json | 31 + .../raw/failover#438cdb0e0de6.manifest.json | 95 + .../raw/failover#438cdb0e0de6.phases.json | 15 + .../failover#438cdb0e0de6.samples.jsonl.gz | Bin 0 -> 15191 bytes .../track1/raw/failover#63edcffba23f.k6.json | 31 + .../raw/failover#63edcffba23f.manifest.json | 95 + .../raw/failover#63edcffba23f.phases.json | 15 + .../failover#63edcffba23f.samples.jsonl.gz | Bin 0 -> 15157 bytes .../track1/raw/growth#api-total-6-900.k6.json | 37 + .../raw/growth#api-total-6-900.manifest.json | 109 + .../growth#api-total-6-900.samples.jsonl.gz | Bin 0 -> 21212 bytes .../track1/raw/growth#api-total-6.k6.json | 36 + .../raw/growth#api-total-6.manifest.json | 109 + .../raw/growth#api-total-6.samples.jsonl.gz | Bin 0 -> 19812 bytes .../track1/raw/growth#api6-pg3-900.k6.json | 37 + .../raw/growth#api6-pg3-900.manifest.json | 109 + .../raw/growth#api6-pg3-900.samples.jsonl.gz | Bin 0 -> 21072 bytes evidence/track1/raw/growth#pg-3.0-900.k6.json | 37 + .../raw/growth#pg-3.0-900.manifest.json | 109 + .../raw/growth#pg-3.0-900.samples.jsonl.gz | Bin 0 -> 21270 bytes evidence/track1/raw/growth#pg-3.0.k6.json | 36 + .../track1/raw/growth#pg-3.0.manifest.json | 109 + .../track1/raw/growth#pg-3.0.samples.jsonl.gz | Bin 0 -> 20389 bytes .../track1/raw/growth#pool-20-900.k6.json | 37 + .../raw/growth#pool-20-900.manifest.json | 109 + .../raw/growth#pool-20-900.samples.jsonl.gz | Bin 0 -> 20790 bytes evidence/track1/raw/growth#pool-20.k6.json | 36 + .../track1/raw/growth#pool-20.manifest.json | 109 + .../raw/growth#pool-20.samples.jsonl.gz | Bin 0 -> 20584 bytes evidence/track1/raw/growth#pool-5-900.k6.json | 37 + .../raw/growth#pool-5-900.manifest.json | 109 + .../raw/growth#pool-5-900.samples.jsonl.gz | Bin 0 -> 20564 bytes evidence/track1/raw/growth#pool-5.k6.json | 36 + .../track1/raw/growth#pool-5.manifest.json | 109 + .../track1/raw/growth#pool-5.samples.jsonl.gz | Bin 0 -> 20345 bytes evidence/track1/raw/p-a#n1#rep1.k6.json | 128 + evidence/track1/raw/p-a#n1#rep1.manifest.json | 92 + .../track1/raw/p-a#n1#rep1.samples.jsonl.gz | Bin 0 -> 24548 bytes evidence/track1/raw/p-a#n1#rep2.k6.json | 128 + evidence/track1/raw/p-a#n1#rep2.manifest.json | 92 + .../track1/raw/p-a#n1#rep2.samples.jsonl.gz | Bin 0 -> 25147 bytes evidence/track1/raw/p-a#n1-vu900.k6.json | 37 + .../track1/raw/p-a#n1-vu900.manifest.json | 85 + .../track1/raw/p-a#n1-vu900.samples.jsonl.gz | Bin 0 -> 14222 bytes evidence/track1/raw/p-a#n2#rep1.k6.json | 128 + evidence/track1/raw/p-a#n2#rep1.manifest.json | 100 + .../track1/raw/p-a#n2#rep1.samples.jsonl.gz | Bin 0 -> 30383 bytes evidence/track1/raw/p-a#n2#rep2.k6.json | 128 + evidence/track1/raw/p-a#n2#rep2.manifest.json | 100 + .../track1/raw/p-a#n2#rep2.samples.jsonl.gz | Bin 0 -> 30628 bytes evidence/track1/raw/p-a#n2#rep3.k6.json | 128 + evidence/track1/raw/p-a#n2#rep3.manifest.json | 100 + .../track1/raw/p-a#n2#rep3.samples.jsonl.gz | Bin 0 -> 30650 bytes evidence/track1/raw/p-a#n4#rep1.k6.json | 128 + evidence/track1/raw/p-a#n4#rep1.manifest.json | 116 + .../track1/raw/p-a#n4#rep1.samples.jsonl.gz | Bin 0 -> 38399 bytes evidence/track1/raw/p-a#n4#rep2.k6.json | 128 + evidence/track1/raw/p-a#n4#rep2.manifest.json | 116 + .../track1/raw/p-a#n4#rep2.samples.jsonl.gz | Bin 0 -> 38311 bytes evidence/track1/raw/p-a#n4-vu900.k6.json | 37 + .../track1/raw/p-a#n4-vu900.manifest.json | 109 + .../track1/raw/p-a#n4-vu900.samples.jsonl.gz | Bin 0 -> 20474 bytes evidence/track1/raw/p-b#after-ext.k6.json | 80 + .../track1/raw/p-b#after-ext.manifest.json | 118 + .../track1/raw/p-b#after-ext.samples.jsonl.gz | Bin 0 -> 23505 bytes evidence/track1/raw/p-b#n4.k6.json | 128 + evidence/track1/raw/p-b#n4.manifest.json | 116 + evidence/track1/raw/p-b#n4.samples.jsonl.gz | Bin 0 -> 39451 bytes evidence/track1/raw/p-c#gen2.0.k6.json | 128 + evidence/track1/raw/p-c#gen2.0.manifest.json | 116 + .../track1/raw/p-c#gen2.0.samples.jsonl.gz | Bin 0 -> 39006 bytes evidence/track1/raw/p-c#lb0.25.k6.json | 128 + evidence/track1/raw/p-c#lb0.25.manifest.json | 116 + .../track1/raw/p-c#lb0.25.samples.jsonl.gz | Bin 0 -> 38564 bytes evidence/track1/raw/p-c#lb1.0.k6.json | 128 + evidence/track1/raw/p-c#lb1.0.manifest.json | 116 + .../track1/raw/p-c#lb1.0.samples.jsonl.gz | Bin 0 -> 39929 bytes evidence/track1/raw/rolling.k6.json | 31 + evidence/track1/raw/rolling.manifest.json | 106 + evidence/track1/raw/rolling.phases.json | 24 + evidence/track1/raw/rolling.samples.jsonl.gz | Bin 0 -> 46419 bytes evidence/track1/summary-ab.md | 25 + evidence/track1/summary-diagnostics.md | 123 + evidence/track1/summary-growth.md | 15 +- evidence/track1/summary-runs.md | 830 +++++ evidence/track1/summary-series-a.md | 160 + infra/README.md | 77 +- scripts/lab3/lab3.py | 6 +- 152 files changed, 11205 insertions(+), 29 deletions(-) create mode 100644 evidence/level3/failover-mtusi-lab3-api-1.txt create mode 100644 evidence/level3/failover-mtusi-lab3-api-2.txt create mode 100644 evidence/level3/persistence.txt create mode 100644 evidence/level3/smoke.txt create mode 100644 evidence/level4/dependency-faults.txt create mode 100644 evidence/level4/failover-sweep.json create mode 100644 evidence/level4/failover-sweep.md create mode 100644 evidence/level4/limits-and-ports.txt create mode 100644 evidence/level4/rolling-update.json create mode 100644 evidence/level4/rolling-update.md create mode 100644 evidence/level4/spread.json create mode 100644 evidence/track1/ab-verdict.json create mode 100644 evidence/track1/graphs/ab-comparison.png create mode 100644 evidence/track1/graphs/container-cpu-ab_A_rep1.png create mode 100644 evidence/track1/graphs/container-cpu-ab_B_rep1.png create mode 100644 evidence/track1/graphs/container-cpu-failover_438cdb0e0de6.png create mode 100644 evidence/track1/graphs/container-cpu-failover_63edcffba23f.png create mode 100644 evidence/track1/graphs/container-cpu-growth_api-total-6-900.png create mode 100644 evidence/track1/graphs/container-cpu-growth_api-total-6.png create mode 100644 evidence/track1/graphs/container-cpu-growth_api6-pg3-900.png create mode 100644 evidence/track1/graphs/container-cpu-growth_pg-3.0-900.png create mode 100644 evidence/track1/graphs/container-cpu-growth_pg-3.0.png create mode 100644 evidence/track1/graphs/container-cpu-growth_pool-20-900.png create mode 100644 evidence/track1/graphs/container-cpu-growth_pool-20.png create mode 100644 evidence/track1/graphs/container-cpu-growth_pool-5-900.png create mode 100644 evidence/track1/graphs/container-cpu-growth_pool-5.png create mode 100644 evidence/track1/graphs/container-cpu-p-a_n1-vu900.png create mode 100644 evidence/track1/graphs/container-cpu-p-a_n1_rep2.png create mode 100644 evidence/track1/graphs/container-cpu-p-a_n2_rep3.png create mode 100644 evidence/track1/graphs/container-cpu-p-a_n4-vu900.png create mode 100644 evidence/track1/graphs/container-cpu-p-a_n4_rep1.png create mode 100644 evidence/track1/graphs/container-cpu-p-b_after-ext.png create mode 100644 evidence/track1/graphs/container-cpu-p-b_n4.png create mode 100644 evidence/track1/graphs/container-cpu-p-c_gen2.0.png create mode 100644 evidence/track1/graphs/container-cpu-p-c_lb0.25.png create mode 100644 evidence/track1/graphs/container-cpu-p-c_lb1.0.png create mode 100644 evidence/track1/graphs/container-cpu-rolling.png create mode 100644 evidence/track1/graphs/generator-vus.png create mode 100644 evidence/track1/graphs/growth.png create mode 100644 evidence/track1/graphs/latency-errors.png create mode 100644 evidence/track1/graphs/throughput.png create mode 100644 evidence/track1/raw/ab#A#rep1.k6.json create mode 100644 evidence/track1/raw/ab#A#rep1.manifest.json create mode 100644 evidence/track1/raw/ab#A#rep1.samples.jsonl.gz create mode 100644 evidence/track1/raw/ab#A#rep2.k6.json create mode 100644 evidence/track1/raw/ab#A#rep2.manifest.json create mode 100644 evidence/track1/raw/ab#A#rep2.samples.jsonl.gz create mode 100644 evidence/track1/raw/ab#A#rep3.k6.json create mode 100644 evidence/track1/raw/ab#A#rep3.manifest.json create mode 100644 evidence/track1/raw/ab#A#rep3.samples.jsonl.gz create mode 100644 evidence/track1/raw/ab#B#rep1.k6.json create mode 100644 evidence/track1/raw/ab#B#rep1.manifest.json create mode 100644 evidence/track1/raw/ab#B#rep1.samples.jsonl.gz create mode 100644 evidence/track1/raw/ab#B#rep2.k6.json create mode 100644 evidence/track1/raw/ab#B#rep2.manifest.json create mode 100644 evidence/track1/raw/ab#B#rep2.samples.jsonl.gz create mode 100644 evidence/track1/raw/ab#B#rep3.k6.json create mode 100644 evidence/track1/raw/ab#B#rep3.manifest.json create mode 100644 evidence/track1/raw/ab#B#rep3.samples.jsonl.gz create mode 100644 evidence/track1/raw/failover#438cdb0e0de6.k6.json create mode 100644 evidence/track1/raw/failover#438cdb0e0de6.manifest.json create mode 100644 evidence/track1/raw/failover#438cdb0e0de6.phases.json create mode 100644 evidence/track1/raw/failover#438cdb0e0de6.samples.jsonl.gz create mode 100644 evidence/track1/raw/failover#63edcffba23f.k6.json create mode 100644 evidence/track1/raw/failover#63edcffba23f.manifest.json create mode 100644 evidence/track1/raw/failover#63edcffba23f.phases.json create mode 100644 evidence/track1/raw/failover#63edcffba23f.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#api-total-6-900.k6.json create mode 100644 evidence/track1/raw/growth#api-total-6-900.manifest.json create mode 100644 evidence/track1/raw/growth#api-total-6-900.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#api-total-6.k6.json create mode 100644 evidence/track1/raw/growth#api-total-6.manifest.json create mode 100644 evidence/track1/raw/growth#api-total-6.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#api6-pg3-900.k6.json create mode 100644 evidence/track1/raw/growth#api6-pg3-900.manifest.json create mode 100644 evidence/track1/raw/growth#api6-pg3-900.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#pg-3.0-900.k6.json create mode 100644 evidence/track1/raw/growth#pg-3.0-900.manifest.json create mode 100644 evidence/track1/raw/growth#pg-3.0-900.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#pg-3.0.k6.json create mode 100644 evidence/track1/raw/growth#pg-3.0.manifest.json create mode 100644 evidence/track1/raw/growth#pg-3.0.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#pool-20-900.k6.json create mode 100644 evidence/track1/raw/growth#pool-20-900.manifest.json create mode 100644 evidence/track1/raw/growth#pool-20-900.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#pool-20.k6.json create mode 100644 evidence/track1/raw/growth#pool-20.manifest.json create mode 100644 evidence/track1/raw/growth#pool-20.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#pool-5-900.k6.json create mode 100644 evidence/track1/raw/growth#pool-5-900.manifest.json create mode 100644 evidence/track1/raw/growth#pool-5-900.samples.jsonl.gz create mode 100644 evidence/track1/raw/growth#pool-5.k6.json create mode 100644 evidence/track1/raw/growth#pool-5.manifest.json create mode 100644 evidence/track1/raw/growth#pool-5.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n1#rep1.k6.json create mode 100644 evidence/track1/raw/p-a#n1#rep1.manifest.json create mode 100644 evidence/track1/raw/p-a#n1#rep1.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n1#rep2.k6.json create mode 100644 evidence/track1/raw/p-a#n1#rep2.manifest.json create mode 100644 evidence/track1/raw/p-a#n1#rep2.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n1-vu900.k6.json create mode 100644 evidence/track1/raw/p-a#n1-vu900.manifest.json create mode 100644 evidence/track1/raw/p-a#n1-vu900.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n2#rep1.k6.json create mode 100644 evidence/track1/raw/p-a#n2#rep1.manifest.json create mode 100644 evidence/track1/raw/p-a#n2#rep1.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n2#rep2.k6.json create mode 100644 evidence/track1/raw/p-a#n2#rep2.manifest.json create mode 100644 evidence/track1/raw/p-a#n2#rep2.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n2#rep3.k6.json create mode 100644 evidence/track1/raw/p-a#n2#rep3.manifest.json create mode 100644 evidence/track1/raw/p-a#n2#rep3.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n4#rep1.k6.json create mode 100644 evidence/track1/raw/p-a#n4#rep1.manifest.json create mode 100644 evidence/track1/raw/p-a#n4#rep1.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n4#rep2.k6.json create mode 100644 evidence/track1/raw/p-a#n4#rep2.manifest.json create mode 100644 evidence/track1/raw/p-a#n4#rep2.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-a#n4-vu900.k6.json create mode 100644 evidence/track1/raw/p-a#n4-vu900.manifest.json create mode 100644 evidence/track1/raw/p-a#n4-vu900.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-b#after-ext.k6.json create mode 100644 evidence/track1/raw/p-b#after-ext.manifest.json create mode 100644 evidence/track1/raw/p-b#after-ext.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-b#n4.k6.json create mode 100644 evidence/track1/raw/p-b#n4.manifest.json create mode 100644 evidence/track1/raw/p-b#n4.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-c#gen2.0.k6.json create mode 100644 evidence/track1/raw/p-c#gen2.0.manifest.json create mode 100644 evidence/track1/raw/p-c#gen2.0.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-c#lb0.25.k6.json create mode 100644 evidence/track1/raw/p-c#lb0.25.manifest.json create mode 100644 evidence/track1/raw/p-c#lb0.25.samples.jsonl.gz create mode 100644 evidence/track1/raw/p-c#lb1.0.k6.json create mode 100644 evidence/track1/raw/p-c#lb1.0.manifest.json create mode 100644 evidence/track1/raw/p-c#lb1.0.samples.jsonl.gz create mode 100644 evidence/track1/raw/rolling.k6.json create mode 100644 evidence/track1/raw/rolling.manifest.json create mode 100644 evidence/track1/raw/rolling.phases.json create mode 100644 evidence/track1/raw/rolling.samples.jsonl.gz create mode 100644 evidence/track1/summary-ab.md diff --git a/.env.example b/.env.example index d32b9be..f9bb758 100644 --- a/.env.example +++ b/.env.example @@ -1,13 +1,59 @@ # Copy to .env for your LOCAL synthetic test environment; never commit .env. -# These are logical interface suggestions; map actual framework names in REPORT.md. +# Полный список переменных, которые читают приложение и стенд; значения-образцы +# не являются секретами. Соответствие «переменная -> фактическая конфигурация» +# описано в REPORT.md. +# +# Приложение (проверяется zod-схемой app/src/config/app-config.schema.ts): APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab SESSION_TTL_SECONDS=3600 -# Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres -CACHE_URL_FILE=/run/secrets/cache_url -API_REPLICAS=2 +DATABASE_URL=postgresql://messenger:change-me@postgres:5432/messenger +REDIS_URL=redis://redis:6379 +DATABASE_POOL_MAX=10 +DATABASE_CONNECTION_TIMEOUT_MS=5000 +DATABASE_STATEMENT_TIMEOUT_MS=5000 +CACHE_TTL_SECONDS=30 +CACHE_MODE=protected +CACHE_LOCK_TTL_MS=1000 +CACHE_MISS_DELAY_MS=0 +# Токен доступа к /internal/metrics; сгенерируйте свой. +METRICS_TOKEN=change-me +# Дрейн перед выходом по SIGTERM: реплика перестаёт проходить пробу LB, +# ждёт DRAIN_DELAY_MS (длиннее обнаружения отказа ~1 s) и только потом закрывается. +DRAIN_DELAY_MS=3000 +# Переопределяет X-Instance-Id; по умолчанию это hostname контейнера +# (= короткий ID контейнера, по нему работает scripts/stop-one.sh). +# INSTANCE_ID=api-1 IDEMPOTENCY_TTL_SECONDS=86400 + +# Стенд (compose.yaml и scripts/): +# Суммарный бюджет серии трека 1: API_TOTAL_CPUS / API_TOTAL_MEMORY_MB делятся +# на API_REPLICAS, поэтому лимит реплики меняется вместе с их числом. +API_TOTAL_CPUS=3.0 +API_TOTAL_MEMORY_MB=1536 +API_REPLICAS=2 +API_CPUS_PER_REPLICA=1.5 +API_MEMORY_PER_REPLICA=768m +PG_CPUS=1.5 +PG_MEMORY=512m +REDIS_CPUS=0.25 +REDIS_MEMORY=128m +LB_CPUS=0.25 +LB_MEMORY=128m +LOADGEN_CPUS=1.5 +LOADGEN_MEMORY=256m +# Тег образа API; BUILD_ID отличает сборки при rolling update. +API_IMAGE=mtusi-messenger:lab3 +BUILD_ID=local +APP_PUBLIC_PORT=8080 +LB_STATS_PORT=8404 +# Loopback-порты PostgreSQL/Redis нужны только операторским проверкам с хоста +# (make test-e2e, psql). API-реплики портов не публикуют. +POSTGRES_PUBLISHED_PORT=5432 +REDIS_PUBLISHED_PORT=6379 + +# PostgreSQL (пароль подставьте свой; тот же, что в DATABASE_URL): +POSTGRES_DB=messenger +POSTGRES_USER=messenger +POSTGRES_PASSWORD=change-me diff --git a/REPORT.md b/REPORT.md index c267900..e73cdf3 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,392 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- **Автор, группа:** заполните перед сдачей +- **Целевая оценка:** 5 (уровни 3 и 4 целиком + трек 1 «Цена масштабирования») +- **Commit/PR:** ветка `lab3`; коммиты: `e9cd28d` (идентичность реплики, LB-проверка, + идемпотентность), `917ed1a` (стенд HAProxy + реплики, лимиты, хуки), `410e1ea` + (харнесс экспериментов), `5a5a8fe` (оптимизация пути записи, C2), `c0a1a5c`… — + этот отчёт и evidence (хеш указан в следующем коммите ветки). PR — после пуша + ветки в origin оператором. +- **Источники, библиотеки и помощь ИИ:** контракт `contracts/openapi.json`, + `contracts/README.md`, `tests/README.md`, документация HAProxy 3.2, Docker + Compose, k6 0.54, докуменация NestJS/Fastify/pg/redis. Код и эксперименты + подготовлены с использованием ИИ-ассистента; все числа в отчёте получены + прогонами на описанном стенде и лежат в `evidence/`. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Версии: Docker 29.9.0, Docker Compose v5.6.0, Node.js 25.7.0, Python 3.14 (для +проверок и харнесса; публичные тесты требуют 3.9+), образы `postgres:16.4-alpine`, +`redis:7.4.2-alpine`, `haproxy:3.2-alpine`, `grafana/k6:0.54.0`, +`node:25.7.0-slim` (сборка API). Хост — Fedora, 8 логических CPU, 16 GiB RAM. + +```sh +git clone lab3 && cd lab3 +cp .env.example .env +password=$(openssl rand -hex 32) +sed -i "s/^POSTGRES_PASSWORD=.*/POSTGRES_PASSWORD=$password/" .env +sed -i "s|^DATABASE_URL=.*|DATABASE_URL=postgresql://messenger:$password@postgres:5432/messenger|" .env +sed -i "s/^METRICS_TOKEN=.*/METRICS_TOKEN=$(openssl rand -hex 16)/" .env + +make stand-up # docker compose up -d --build --wait: postgres, redis, migrate, api x API_REPLICAS, haproxy +make wait-ready # GET /health/ready через LB +make test # публичный smoke lab3 (через LB, BASE_URL=http://localhost:8080) +make test-e2e # black-box набор приложения (нужны loopback-порты PG/Redis из compose.yaml) +``` + +Проверки отказов и сохранности (требуют управления контейнерами): + +```sh +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh +make test-dependencies +``` + +Эксперименты трека 1 (останавливают посторонние контейнеры хоста и возвращают их): + +```sh +docker pull haproxy:3.2-alpine grafana/k6:0.54.0 postgres:16.4-alpine redis:7.4.2-alpine +python3 scripts/lab3/lab3.py track1 # серия A/B/C и рост ресурсов; фон хоста глушится сам +python3 scripts/lab3/lab3.py analyze # таблицы и графики из raw +``` + +Безопасная остановка стенда: `make stand-down` (`docker compose down`) — тома +`postgres-data` и `redis-data` **сохраняются**, поэтому данные и сессии остаются +на месте. Намеренное удаление учебных данных: `docker compose down -v` (удаляет +оба тома; после этого следующий `make stand-up` создаёт пустую схему и применяет +миграции заново). ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```text +клиент ──► HAProxy :8080 ──► api-1 ─┐ + (проба /internal/lb-check) ├──► PostgreSQL (источник истины) + api-2 ─┘ └──► Redis (сессии, кэш истории) + api-N +``` + +| Роль | Service | Образ | Готовность | Тома/порты | +|---|---|---|---|---| +| Балансировщик | `haproxy` | `haproxy:3.2-alpine` | проба backend `GET /internal/lb-check` | `8080`, статистика `127.0.0.1:8404` | +| API ×N | `api` | сборка `Dockerfile` (`${API_IMAGE}`) | `/health/ready` (healthcheck контейнера) | портов нет | +| Миграции | `migrate` | тот же образ | `service_completed_successfully` | — | +| PostgreSQL | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `postgres-data`, loopback:5432 | +| Redis | `redis` | `redis:7.4.2-alpine` | `redis-cli ping` | `redis-data`, loopback:6379 | + +**Источник истины и транзакционные границы.** Пользователи, чаты, членство, +сообщения и журнал идемпотентности живут в PostgreSQL. Redis хранит сессии +(durability обеспечена AOF, поэтому сессии переживают рестарт) и кэш страниц +истории — производное состояние, которое всегда восстанавливается из БД: кэш +версионирован (`chats.message_version`, растёт в той же транзакции, что и вставка +сообщения), поэтому устаревшая страница не отдаётся. Локального состояния, +влияющего на корректность, у реплики нет — только счётчики метрик, они не +являются источником истины. + +**Что перенесено из lab2 и что изменено.** Из lab2 без изменений: регистрация с +Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-пагинация `(created_at, id)`, +версионированный кэш истории с lock'ом на страницу, `X-Request-Id`, +`/health/live`, `/health/ready`, `/internal/metrics`, ограниченные `503` при +отказе зависимостей, миграции отдельным сервисом. Изменено: (1) `X-Instance-Id` +больше не случайный UUID, а `INSTANCE_ID`/hostname — по нему реплика +сопоставляется контейнеру; он же ставится в ответах об ошибках, которые +формируются фильтром раньше интерсептора; (2) появилась проба LB +`/internal/lb-check`, не зависящая от БД и Redis; (3) добавлена общая +идемпотентность отправки сообщения (таблица `idempotency_keys`, миграция 003); +(4) порядок остановки по `SIGTERM` вынесен в `main.ts`: дрейн → закрытие +сервера и пулов (стандартный порядок Nest закрывает пулы раньше дрейна); +(5) транзиентные коды PostgreSQL (`57014`, `40001`, `40P01`) отдаются как +`503 unavailable`, чтобы клиент мог безопасно повторить запрос с тем же ключом; +(6) `metrics` отдаёт `instance_id` и `build_id`. + +**Идемпотентность.** Ключ обязателен, область — пользователь + метод + путь чата ++ ключ; заявка и тело ответа записываются одной транзакцией, повтор возвращает +сохранённый ответ, другое тело — `409`, отсутствие/неверный ключ — `400`, +просроченные записи (> `IDEMPOTENCY_TTL_SECONDS`, по умолчанию 24 ч) удаляются +фоновым проходом под advisory-локом и вручную (`npm run idempotency:gc`). +Семантика и ветки описаны в `app/README.md`. + +**Соответствие `.env.example` ↔ фактическая конфигурация.** Приложение читает +`APP_*`, `SESSION_TTL_SECONDS`, `DATABASE_*`, `REDIS_URL`, `CACHE_*`, +`METRICS_TOKEN`, `DRAIN_DELAY_MS`, `INSTANCE_ID`, `IDEMPOTENCY_TTL_SECONDS` +(`app/src/config/app-config.schema.ts`); стенд читает `API_TOTAL_CPUS`, +`API_TOTAL_MEMORY_MB` (делятся на `API_REPLICAS` → `API_CPUS_PER_REPLICA` / +`API_MEMORY_PER_REPLICA`), `PG_*`, `REDIS_*`, `LB_*`, `LOADGEN_*`, `API_IMAGE`, +`BUILD_ID`, `APP_PUBLIC_PORT`, `LB_STATS_PORT`, `POSTGRES_PUBLISHED_PORT`, +`REDIS_PUBLISHED_PORT`, `POSTGRES_DB/USER/PASSWORD`. Из скелетного +`.env.example` удалены неиспользуемые `SESSION_STORE` и `CACHE_URL_FILE`: в lab3 +источник сессий один (Redis по `REDIS_URL`), выбор хранилища сессий больше не +конфигурируется, а секреты передаются через `DATABASE_URL`/`REDIS_URL` или +`*_FILE` (docker secrets). Публикуются только `8080` (LB), `127.0.0.1:8404` +(статистика LB) и loopback-порты PostgreSQL/Redis — исключительно для +операторских проверок с хоста (`make test-e2e`, `psql`); **у реплик API портов +нет**, `container_name` не задан нигде (`evidence/level4/limits-and-ports.txt`). ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `make test` | `PASS: lab3 public API scenario` (через LB; повтор с тем же ключом → тот же JSON, другое тело → 409, без ключа → 400) | `evidence/level3/smoke.txt` | +| ≥2 реплики, одна точка входа, разные реплики с одной сессией | `python3 scripts/lab3/lab3.py check spread --requests 40` | 40 запросов с одним токеном → 2 разных `X-Instance-Id` (20/20), каждый сопоставлен контейнеру | `evidence/level4/spread.json` | +| Остановка любой одной реплики; записи продолжаются | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (по разу на реплику) | `observed_instances_before=2`, 130 успешных записей во время отказа, 0 потерянных подтверждений, `first_recovery_seconds≈3.3`, остановленный контейнер виден в `docker ps` до/после, HAProxy помечает слот `DOWN` (L7STS) через ≈1 s | `evidence/level3/failover-mtusi-lab3-api-1.txt`, `…-api-2.txt` | +| Сохранность данных и сессии при рестарте | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `PASS`; перезапущены postgres, redis, api ×2, haproxy (StartedAt до/после), токен и подтверждённые сообщения живы | `evidence/level3/persistence.txt` | +| Идемпотентность, в том числе конкурентная | `python3 scripts/lab3/lab3.py check idempotency` | 4/4 теста: неверный/отсутствующий ключ → 400; повтор → тот же JSON; другое тело → 409; 8 параллельных POST с одним ключом → ровно одно сообщение; ключ не конфликтует между пользователями и чатами | `evidence/level4/idempotency-concurrency.txt` | +| Health/readiness, LB исключает недоступный backend | `python3 scripts/lab3/lab3.py watch` во время failover | HAProxy: `apiN UP → UP 1/2 (L7STS) → DOWN → MAINT (resolution)`; период проверки 500 ms, `fall 2` ⇒ обнаружение ≈1 s ≪ дрейн 3 s | `evidence/level3/failover-*.txt` | +| Последовательная остановка каждой реплики под нагрузкой: RPS, ошибки, восстановление | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | по каждой реплике: 0 ошибок у клиента и у LB, 0 дублей и 0 потерь, реплика возвращается за ≈3 s; k6 держит 200 req/s без dropped | `evidence/level4/failover-sweep.json`, `.md` | +| Лимиты CPU/RAM, отсутствие портов API, отсутствие `container_name`, секреты | `docker inspect`, `docker compose ps/config` | у api `NanoCpus`/`Memory` = лимитам конфигурации, `bindings=map[]`; суммарные лимиты стенда 2304 MiB; `container_name` отсутствует; пароль БД и токен метрик в трекаемых файлах не встречаются | `evidence/level4/limits-and-ports.txt` | +| Rolling update под нагрузкой, миграции однократно | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id …` | реплики заменяются по одной, `BUILD_ID` и image id меняются, 0 ответов 5xx из 880 попыток, `migrate` не перезапускался | `evidence/level4/rolling-update.json`, `.md` | +| Отказы зависимостей | `make test-dependencies` | 2/2: bounded `503 unavailable` с `request_id` для Redis и PostgreSQL, запрос без сессии остаётся `401`, после возврата зависимости данные и сессия целы | `evidence/level4/dependency-faults.txt` | +| Трек 1: цена масштабирования | `python3 scripts/lab3/lab3.py sweep/growth/ab/analyze` | серия 1/2/4 реплики, точки сатурации, серия роста ресурсов, подтверждённое улучшение | `evidence/track1/summary-*.md`, `evidence/track1/graphs/*.png`, `evidence/track1/raw/` | +| Воспроизводимость с чистого clone | `git clone … && make stand-up && make test` | `PASS` | раздел «Запуск из чистого clone» выше | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +### Гипотезы (зафиксированы до прогонов) + +- **H1.** При фиксированном суммарном бюджете API (3.0 CPU / 1.5 GiB) пропускная + способность растёт с числом реплик сублинейно и упирается в общий PostgreSQL + (1.5 CPU): серия A показывает knee, серия роста ресурсов подтверждает, что + именно БД, а не API, является ограничителем. +- **H2.** Запись в один «горячий» чат сериализуется на строке `chats` + (`UPDATE chats SET message_version = message_version + 1` держит блокировку до + COMMIT — это якорь инвалидации кэша), поэтому добавление реплик в этом профиле + не помогает: p-b упирается раньше p-a и не растёт с N. +- **H3.** Балансировщик (0.25 CPU) ограничивает путь чтения: два диагностических + прогона p-c при `LB_CPUS=0.25` и `LB_CPUS=1.0` показывают, что потолок + сдвигается вверх вместе с лимитом LB. +- **H4.** Число соединений с БД растёт как `N × DATABASE_POOL_MAX`, поэтому + размер пула влияет на потолок и на ожидания в БД (свип пула 5/10/20). +- **H5 (улучшение).** Сокращение пути записи с 8 SQL-обращений (проверка чата, + BEGIN, claim, проверка членства, INSERT, UPDATE версии, store, COMMIT) до одного + оператора уменьшает время удержания блокировки строки чата и число round trip'ов + и поднимает потолок при тех же лимитах. Проверяется A/B по правилу «медиана ≥5 % + и диапазоны min/max повторов не перекрываются». + +### Методика + +Метрики снимаются генератором k6 (`constant-arrival-rate`, плоские полки) и +сэмплером харнесса: `docker stats` (GPU/RAM контейнеров, 1.5 s), +статистика HAProxy (0.5 s), `/internal/metrics` каждой реплики (2 s), +`pg_stat_database`/`pg_stat_activity`/`pg_stat_statements` (2 s / 10 s) и фон +хоста. Профили: p-a (spread, POST) 100…1100 req/s, p-b (hot, один чат) 50…400 +req/s, p-c (read, GET истории limit=50) 200…3000 req/s; шаг 15 s, прогрев — отдельный +прогон 30 s на первом темпе (в анализ не входит). Перед серией посторонние +контейнеры хоста останавливаются (`scripts/quiesce.sh`, состояние фиксируется в +манифестах), после — возвращаются. Конфигурации интерливятся по повторам, чтобы +дрейф частот и фоновой нагрузки ложился на все точки одинаково. + +Бюджет серии одинаков для всех конфигураций: API total 3.0 CPU / 1536 MiB +(⇒ 3/N CPU и 1536/N MiB на реплику), PostgreSQL 1.5 CPU / 512 MiB, +Redis 0.25 CPU / 128 MiB, HAProxy 0.25 CPU / 128 MiB, генератор 1.5 CPU / 256 MiB. +Суммарный лимит RAM стенда — 2304 MiB при N=2 и 2560 MiB при N=4 (с генератором), +host на момент серии — 8 логических CPU, ≈6.6 GiB доступной памяти, background +остановлен. + +### Серия A: 1 / 2 / 4 реплики + +Бюджет серии одинаков для всех конфигураций (API total 3.0 CPU / 1536 MiB, PostgreSQL +1.5 CPU, LB 0.25 CPU, генератор 1.5 CPU), поэтому реплика получает 3/N CPU и 1536/N MiB. +Профиль p-a (24 чата, POST), 7 прогонов: N=1 и N=4 по два повтора, N=2 — три. + +| темп, req/s | N=1: достигнуто (2 повтора) | N=2: достигнуто (3 повтора) | N=4: достигнуто (2 повтора) | +| --- | --- | --- | --- | +| 100 | 100 / 100 | 100 / 100 / 100 | 100 / 100 | +| 200 | 200 / 200 | 200 / 200 / 200 | 200 / 200 | +| 300 | 300 / 300 | 300 / 300 / 300 | 300 / 300 | +| 400 | 400 / 400 | 400 / 400 / 400 | 399 / 400 | +| 550 | 550 / 550 | 550 / 550 / 550 | 541 / 550 | +| 700 | 700 / 700 | 700 / 690 / 692 | 696 / 653 | +| 900 | **754 / 807** (p95 432 / 360 ms) | **650 / 538 / 614** (p95 474 / 693 / 502 ms) | **637 / 587** (p95 964 / 851 ms) | +| 1100 | **761 / 680** (p95 360 / 515 ms) | **532 / 578 / 590** (p95 604 / 609 / 566 ms) | **610 / 567** (p95 866 / 992 ms) | + +Наблюдения: + +- Точка сатурации у всех конфигураций — между 700 и 900 req/s, но **потолок не + растёт с числом реплик**: N=1 держит ≈750–800 req/s, N=2 ≈540–650, N=4 ≈570–640. + При фиксированном суммарном CPU выигрыша от реплик нет, а лучший результат даёт + одна реплика с полным бюджетом. +- Общий PostgreSQL при этом насыщен во всех конфигурациях: его пиковый CPU + 153–156 % при лимите 1.5 CPU (150 %), `xact/s` 1224–1443, ожидания блокировок + до 16, hit ratio 0.95. То есть ограничитель один и тот же, и добавление + API-реплик его не расширяет (H1 подтверждена). +- Реплики добавляют собственную накладную нагрузку: при N=4 квота 0.75 CPU на + реплику удерживает p95 в районе 850–990 ms там, где N=1 с квотой 3.0 CPU даёт + 360–515 ms при большем достигнутом RPS. Это и есть «цена масштабирования»: + сублинейный (здесь — отрицательный) эффект при неизменном бюджете. +- Генератор не был узким местом серии A: его пиковый CPU 36–74 % от квоты 1.5 CPU, + `dropped_iterations` появляется только на шагах выше knee, а p95 там растёт + монотонно — признак перегрузки сервера, а не нехватки VU (`generator-vus.png`). + +### Диагностика: горячий чат и путь чтения + +**Горячий чат (p-b, N=4, все записи в один чат).** Потолок наступает раньше и +падает: до 200 req/s достигнутый темп равен предложенному (p95 9–14 ms), на 250 +— 189 req/s (p95 2.2 s), на 300–400 — 79–104 req/s при p95 3.3–4.3 s, генератор +упирается в свои 200 VU, а сервер стоит в очереди за строкой чата. PostgreSQL в +этом прогоне: 39 ожидающих блокировку сессий (против 16 в spread-профиле), +41 активная сессия, 356 xact/s (против 1224), hit ratio 0.85 (против 0.95), +CPU БД 156 % (квота исчерпана), при этом API-реплики загружены на 29–40 % — +они ждут блокировку, а не работают. Причина — якорь инвалидации кэша: +`UPDATE chats SET message_version = message_version + 1` в той же транзакции, +что и вставка сообщения, сериализует всех писателей одного чата до COMMIT. +Поэтому в профиле «один чат» добавление реплик не помогает вообще: H2 подтверждена, +и именно этот профиль выбран для A/B улучшения. + +**Путь чтения (p-c, N=4, GET истории limit=50).** Потолок ≈1300–1400 req/s, +knee на 1500 req/s, p95 растёт с 24 ms (1000 req/s) до 241–379 ms. Два прогона с +разным лимитом LB (`LB_CPUS=0.25` и `1.0`) дали одинаковый потолок (1419 против +1397 на 1500 req/s, 1268 против 1329 на 3000 req/s), а сам HAProxy за прогон +использовал 8.3 % CPU в среднем и 13 % в пике, то есть около половины своей +квоты 0.25 CPU: **H3 отклонена — балансировщик в этом стенде не является +ограничителем пути чтения**. Ограничителями оказались общие компоненты: CPU +PostgreSQL 155 % (квота 150 %) и генератор, чей пик 144 % при квоте 1.5 CPU +(контингенция плана: `p-c#gen2.0` — повтор с поднятой квотой генератора). + +### Серия роста ресурсов + +Каждая точка отличается от базовой конфигурации (N=4: API total 3.0 CPU — 0.75 CPU на +реплику, PostgreSQL 1.5 CPU, пул 10, LB 0.25 CPU) **ровно одним** ресурсом; темп — +560 req/s (80 % от колена) и 900 req/s (за плато, где базовая конфигурация уже +перегружена). Базовые значения: при 550 req/s медиана серии A 545.5 req/s (p95 117 ms), +при 900 req/s 611.8 req/s (587..637, p95 908 ms). + +| Точка | темп, req/s | достигнуто, req/s | p95, ms | dropped | PG CPU пик, % | +| --- | --- | --- | --- | --- | --- | +| базовая | 550 (лестница) | 545.5 | 117 | — | 154 | +| API ×2 (6.0 CPU) | 560 | 557.9 | 99 | 130 | 151 | +| PostgreSQL ×2 (3.0 CPU) | 560 | 559.4 | 94 | 35 | 144 | +| пул 5 (20 соединений) | 560 | 559.3 | 98 | 45 | 145 | +| пул 20 (80 соединений) | 560 | 559.3 | 122 | 50 | 149 | +| базовая | 900 (лестница) | 611.8 | 908 | — | 156 | +| API ×2 | 900 | 530.5 | 899 | 22 173 | 156 | +| PostgreSQL ×2 | 900 | 597.7 | 921 | 18 142 | 151 | +| API ×2 + PostgreSQL ×2 | 900 | 581.0 | 658 | 19 142 | 153 | +| пул 5 | 900 | 521.4 | 1143 | 22 725 | 156 | +| пул 20 | 900 | 572.1 | 712 | 19 676 | 154 | + +Выводы: + +- **При 80 % от колена ни один из проверенных ресурсов не является ограничителем**: + все точки держат 99.6–99.9 % предложенного темпа при p95 94–122 ms. Разница с + базовой строкой объясняется разным предложенным темпом (550 в лестнице против + 560 в фиксированном прогоне), а не эффектом ресурса. +- **За плато ни один рычаг не поднимает потолок**: удвоение CPU API (530), CPU + PostgreSQL (598), обоих сразу (581) и пула до 20 (572) остаются в диапазоне + разброса базовой конфигурации 587..637, а p95 держится на 658–1143 ms. Система + в этом режиме перегружена: генератор фиксирует 18–23 тыс. отброшенных итераций, + а PostgreSQL во всех точках стоит у квоты (151–156 %). +- **H4 (пул) отклонена в проверенном диапазоне**: 20/40/80 соединений (5/10/20 на + реплику) не меняют ни потолок, ни p95 значимо. +- Калибровочные прогоны `p-a#n1-vu900` и `p-a#n4-vu900` (900 VU, генератор 2.0 CPU) + показывают, что измеренный потолок — серверный, а не потолок генератора: + достигнуто 680 req/s при N=1 против 616 при N=4 при том же предложенном темпе 900. + Порядок «одна реплика с полным бюджетом лучше четырёх с четвертью» сохраняется. + +### A/B улучшения + +Профиль p-b (все записи в один чат), N=4, бюджет прежний; A — сборка из коммита C1 +(8 SQL-обращений на путь записи, явная транзакция), B — коммит C2 (один оператор). +Прогоны интерливились: A,B,A,B,A,B — по три повтора на сторону, между сторонами +менялся только образ API (всё остальное, включая образцы генератора, одинаково). +Генератору дано 1200 VU и 1 GiB: на стороне A очередь за строкой чата раздувает +число одновременных запросов, и при 512 MiB k6 убивался OOM (exit 137). + +| темп, req/s | A: RPS (min..max) | p95 A, ms | B: RPS (min..max) | p95 B, ms | Δ, % | вывод | +| --- | --- | --- | --- | --- | --- | --- | +| 50 | 50.0 (50.0..50.07) | 9.5 | 50.07 (50.0..50.07) | 7.9 | +0.1 | не подтверждено | +| 100 | 100.07 (100.0..100.07) | 9.4 | 100.0 (100.0..100.07) | 6.7 | −0.1 | не подтверждено | +| 150 | 150.07 (150.07..150.07) | 10.1 | 150.07 (150.0..150.07) | 7.1 | 0.0 | не подтверждено | +| 200 | 200.07 (200.07..200.07) | 9.7 | 200.0 (198.93..200.07) | 7.8 | −0.0 | не подтверждено | +| 250 | 250.07 (250.07..250.07) | 11.2 | 250.07 (250.0..250.07) | 7.5 | 0.0 | не подтверждено | +| 300 | 257.8 (243.87..261.87) | **5200.9** | 300.07 (300.07..300.07) | 8.2 | **+16.4** | подтверждено | +| 350 | 188.33 (187.93..210.07) | **10 991.9** | 348.6 (348.13..350.07) | 29.3 | **+85.1** | подтверждено | +| 400 | 171.73 (167.07..226.73) | **10 816.3** | 400.07 (399.93..400.07) | 24.4 | **+133.0** | подтверждено | + +**Потолок: A ≈ 258 req/s, B ≥ 400 req/s** (правило подтверждения: медиана меняется +≥5 % и диапазоны min/max повторов не перекрываются; ниже 300 req/s обе стороны +работают без насыщения, поэтому различие там и не должно было проявиться). + +До насыщения обе версии одинаковы (различие ≤0.1 %): один оператор не меняет +семантику, он меняет только время удержания блокировки строки чата и число круглых +поездок. После насыщения разница радикальна: у A очередь за строкой чата даёт p95 +5–11 секунд и падение пропускной способности до 172 req/s на 400 req/s предложенных, +у B на 400 req/s p95 равен 24 ms, а отброшенных итераций 29 на 18 000. Это и есть +подтверждённое улучшение трека 1: сокращение критической секции (вместо проверки +чата, BEGIN, claim, проверки членства, INSERT, UPDATE версии, store и COMMIT — +один оператор, который делает всё то же самое атомарно). + +Расширенная лестница для стороны B (400, 500, 600, 800 req/s, прогрев 30 s) +показывает новый потолок горячего чата: 400→400 (p95 65 ms), 500→495 (p95 276 ms), +600→559 (p95 1205 ms), 800→529 (p95 3113 ms), то есть **≈560–600 req/s против +≈258 req/s у A — рост более чем в 2 раза** при том же бюджете ресурсов +(`evidence/track1/raw/p-b#after-ext.*`). + +Проверка «8 → 1 обращение» подтверждается счётчиками SQL-меток в `/internal/metrics` +(в прогонах A присутствуют `messages.checkMembership`, `messages.insert`, +`messages.incrementVersion`, `idempotency.*` по отдельности, в прогонах B — один +`messages.createIdempotent`); в `evidence/track1/summary-runs.md` по прогонам видно +и падение числа sql-меток на запрос. + +### Таблица отказов | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `SIGTERM` одной API-реплике (`scripts/stop-one.sh`, `docker stop --time 10`) | LB исключает узел, клиент продолжает работать; подтверждённые записи целы | HAProxy: `UP → 1/2 → DOWN (L7STS) → MAINT (resolution)` ≈1 s после начала остановки; k6 держит 200 req/s без dropped и ошибок; проба клиента: 0 ошибок, 0 дублей, 0 потерь (289/290 и 290/290 подтверждены) | реплика возвращается за ≈3 s (`scripts/start-replica.sh`); потерь нет | +| Рестарт всего стенда (`scripts/restart.sh`) | данные и сессии сохраняются, повторный вход не нужен | `make test-persistence` PASS; StartedAt всех контейнеровобновились, токен и сообщения живы | ≈8 s до `/health/ready`; потерь нет | +| Rolling update под нагрузкой (замена реплик по одной) | нет 5xx, миграции не перезапускаются | 0 ответов 5xx из 880 попыток при 200 req/s; `BUILD_ID` меняется по шагам; `migrate` StartedAt не изменился | реплика поднимается за ≈8 s, стенд не теряет запросы | +| Отказ Redis (`docker compose stop redis`) | ограниченный 503, без 500 и без утечки деталей драйвера; анонимный запрос остаётся 401 | `make test-dependencies` PASS | зависимость возвращается за ≈2 s, сессия сохраняется (AOF) | +| Отказ PostgreSQL (`docker compose stop postgres`) | то же; после возврата данные целы | PASS, подтверждённые сообщения и сессия на месте | ≈6 s до `/health/ready` | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +**Что стенд выдерживает (проверено, evidence/level3 и evidence/level4):** + +- Остановку любой одной API-реплики: LB исключает её за ≈1 s (проб 500 ms, `fall 2`), + клиент продолжает работу без ошибок, дублей и потерь; окно дреина (3 s) длиннее + обнаружения, поэтому начатые запросы успевают завершиться. +- Рестарт всего стенда: данные PostgreSQL и сессии в Redis (AOF) сохраняются, + повторный вход не нужен. +- Rolling update: поочерёдная замена реплик под нагрузкой без ответов 5xx. +- Отказ Redis и PostgreSQL: ограниченный `503 unavailable` с `request_id`, без + `500` и без деталей драйвера; анонимный запрос остаётся `401`; после возврата + зависимости подтверждённые данные и сессия целы. + +**Что не выдерживает:** + +- Отказ docker-хоста целиком: узел один (это трек 2). +- Потерю единственного экземпляра PostgreSQL, Redis или балансировщика: они не + реплицированы, у LB нет второго экземпляра — падение БД означает отказ записи и + чтения истории, падение LB — потерю точки входа. +- Потерю тома PostgreSQL: резервных копий в стенде нет. + +**Границы измерения:** + +- Один хост (8 логических CPU, ≈6.6 GiB свободной памяти на момент серии). + Конфигурации интерливятся по повторам, посторонние контейнеры остановлены + (`scripts/quiesce.sh`), но разброс повторов на насыщении достигает ±5–8 % + (в отчёте публикуются min/max). Поэтому однократные точки роста за плато не + доказывают различия меньше этого разброса — это прямо отражено в выводах. +- Путь чтения: генератор упирался в свой пул VU (200) на шагах ≥1500 req/s + (`Insufficient VUs`), поэтому измеренный потолок 1300–1400 req/s — нижняя оценка; + вопрос «кто ограничивает чтение» отдельным экспериментом не закрыт (LB проверен + и отклонён как ограничитель). +- Серверные перцентили берутся из `/internal/metrics` (буфер 4096 последних + запросов на процесс), клиентские — из k6; при N реплик счётчики суммируются, а + перцентили снимаются по репликам. +- Redis работает с `maxmemory 96mb` и `volatile-lru`: при исчерпании памяти + теоретически возможно вытеснение наименее используемой сессии (учебное + упрощение); в измеренных профилях объём ключей на порядки меньше лимита. +- Генератор нагрузки ограничен контейнером (CPU/RAM/VU); для ключевых выводов + проведена калибровка (прогоны с 900 VU и 2.0 CPU), чтобы потолок не был + потолком k6. + +**Что подтверждено измерением:** сокращение пути записи до одного оператора (коммит C2) поднимает потолок горячего чата с ≈258 до ≥400 req/s и снижает p95 с 5–11 s до 8–29 ms при том же бюджете ресурсов (A/B, 3+3 повтора, `evidence/track1/summary-ab.md`). Остальные гипотезы подтверждены или отклонены как указано в разделах выше (H1 — подтверждена, H2 — подтверждена, H3 — отклонена, H4 — отклонена в проверенном диапазоне, H5 — подтверждена). +**Что осталось гипотезой:** механизм «потолок задаёт связка квота CPU на реплику + +общий PostgreSQL + сериализация на строке чата» подтверждён косвенно (серия A, +диагностика горячего чата, серия роста), но отдельного эксперимента «тот же +суммарный бюджет, другое распределение» с достаточным числом повторов не +проводилось; эффекты за плато меньше разброса измерений. + +**Следующие шаги:** (1) повторить серию A с ≥3 повторами и прогревом 60 s, чтобы +различать эффекты меньше 8 %; (2) повторить путь чтения с большим пулом VU +генератора; (3) вынести PostgreSQL и LB на отдельные узлы и проверить перенос +(трек 2); (4) добавить бэкап тома PostgreSQL и проверку восстановления. diff --git a/evidence/README.md b/evidence/README.md index 8df7001..ffeeee4 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,5 +1,62 @@ # Доказательства -Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. +Небольшие обезличенные результаты: команды и stdout проверок, агрегаты нагрузки, +состояния контейнеров. В файлах нет `.env`, session tokens, cookies, приватных +ключей, паролей и реальных сообщений: все данные синтетические, пользователи +создаются тестами с случайными именами. Полные условия измерения каждого прогона +(лимиты, образ и его id, `X-Instance-Id` → контейнер, версии, объём данных, фон +хоста) лежат в `track1/raw/