Исправить заголовок 413 и дополнить проверку отказов и масштабирования lab3
This commit is contained in:
+4
-2
@@ -19,6 +19,8 @@ make test
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
```
|
||||
|
||||
Первый успешный failover: 48 записей, 0 ошибок, восстановление 0.801 секунды, сессия и сообщения сохранены. Актуальные другие результаты находятся в evidence/shared-*; не выдавать повтор с сетевым timeout за успешный.
|
||||
29.10 последовательно остановлены обе исходные API: восстановление 0.190 и 2.547 секунды, подтверждённые сообщения сохранены. Сценарий: scripts/test-both-replicas.sh. Ответ 413 теперь тоже содержит X-Instance-Id.
|
||||
|
||||
Ограничения: PostgreSQL и Valkey не реплицированы, hostpath PVC зависит от узла. Полный исследовательский трек на 5 ещё требует матрицы 1/2/4, доказанного насыщения и улучшения; один HPA его не заменяет. Kubernetes вместо Compose/Swarm требует принятия преподавателем.
|
||||
Исследование: полная матрица 1/2/4 API при фиксированном и растущем бюджете. При фиксированном CPU дополнительные процессы не дали ускорения. Заполнены все 32 глобальных admission-слота. Удвоение ресурсов двух API повысило полезный RPS в обоих повторах, но один прогон дал много 503: рост пропускной способности не означает устойчивость. Числа, графики и ограничения — в [исследовании](RESEARCH.md).
|
||||
|
||||
Ограничения: PostgreSQL и Valkey не реплицированы, hostpath PVC зависит от узла. Kubernetes вместо Compose/Swarm требует принятия преподавателем.
|
||||
|
||||
+7
-7
@@ -2,11 +2,11 @@
|
||||
|
||||
| Требования | Работа | Статус |
|
||||
| --- | --- | --- |
|
||||
| L3-01–04 | База lab2, идемпотентность, cursor, отдельная миграция | Реализовано; базовый коммит a57cbcf опубликован |
|
||||
| L3-05–07,10 | Release lab2, Traefik hl.agapov.space, TLS, HPA | Применено; две реплики готовы, сертификат Ready; evidence/shared-state.txt |
|
||||
| L3-09 | Go test/vet/lint, race/integration/coverage | test/vet/lint и race/integration/coverage прошли: 59 файлов, минимум 90% |
|
||||
| L3-01,02,05 | Smoke, concurrent retry, failover, persistence, rolling update | Актуальные результаты в evidence/shared-* |
|
||||
| L3-08 | Матрица, насыщение, подтверждённое улучшение | Полный трек не завершён |
|
||||
| L3-01–04 | База lab2, идемпотентность, cursor, миграция | Реализовано; прежние проверки отделены в REPORT |
|
||||
| L3-01 | X-Instance-Id для раннего 413 | Исправлено; регрессия на TCP listener и публичный HTTPS |
|
||||
| L3-05 | Последовательный отказ обеих исходных API | Проверено 29.10; recovery 0.190/2.547 с; evidence/review-20261029 |
|
||||
| L3-05–07,10 | Release lab2, Traefik, TLS, HPA | Существующий release обновлён, штатные values восстановлены после исследования |
|
||||
| L3-08 | Матрица, графики, насыщение и улучшение | Измерены шесть точек и повторный A/B; вырос полезный RPS, устойчивость не подтверждена. См. RESEARCH |
|
||||
| L3-09 | Race/integration/coverage, lint, vet, контракт | Пройдены; 59 исполняемых файлов с покрытием не менее 90% |
|
||||
|
||||
Проверки: shared-smoke PASS, shared-failover-1 PASS, shared-persistence PASS, shared-dependency-faults PASS. Concurrent retry: 34/34 checks, один Message через две реплики. Два повторных внешних failover-прогона завершились timeout до action; последовательная остановка каждой исходной реплики ещё не подтверждена.
|
||||
Rolling update выполнен под короткой нагрузкой: 308 подтверждённых сообщений, 17 ошибок операций, обновление завершилось; raw в evidence/load-rolling-20261016.json. Полный исследовательский трек остаётся незавершённым.
|
||||
Свежие доказательства и ограничения: [REPORT](../REPORT.md), [исследование](RESEARCH.md). Исторические persistence, concurrent retry и rolling update не выдаются за повторные проверки 29.10. Принятие Kubernetes как замены учебного стенда и итоговая оценка остаются за преподавателем.
|
||||
|
||||
@@ -0,0 +1,77 @@
|
||||
# Цена масштабирования: измерения 29.10.2026
|
||||
|
||||
## Методика
|
||||
|
||||
Гипотеза: рост числа API при неизменном суммарном бюджете не гарантирует рост полезного RPS. Ограничениями могут стать CPU каждой реплики, пулы зависимостей, общий пул admission, сеть и доступность backend для Traefik.
|
||||
|
||||
Основная матрица: 1/2/4 API, фиксированный общий бюджет 1000m CPU / 512Mi RAM; затем растущий бюджет по 250m / 128Mi на API. Requests равны limits во время измерений. PostgreSQL, три Valkey и Traefik не масштабируются; HPA отключён. GOMEMLIMIT=80MiB, pool=8. Существующие PVC сохраняются.
|
||||
|
||||
Профиль k6 1.3.0: 16 синтетических пользователей с отдельными чатами, 32 VU, 5 секунд прогрева, 5 секунд дренирования, 30 секунд измерения. Итерация отправляет сообщение и читает историю; каждый десятый подтверждённый POST повторяется с тем же ключом. Подготовка может заново создать синтетического участника после временного отказа; эти операции исключены из измеряемых счётчиков. Частично подготовленные данные не используются в нагрузке.
|
||||
|
||||
Полезный RPS = confirmed_messages / 30, а не общий http_reqs, включающий setup и быстрые отказы. Доля ошибок = application_errors / measured_operations. p50/p95/p99 относятся ко всем попыткам записи; низкая задержка при большом числе быстрых 503 не считается улучшением. События, CPU/RAM и ожидания PostgreSQL сохранены отдельно.
|
||||
|
||||
## Контроль конфигурации
|
||||
|
||||
Перед первой сменой replicas HPA удаляется отдельным Helm-обновлением. После завершения возможной текущей reconciliation задаётся профиль. До Job проверяется соответствие spec.replicas ожидаемому значению. Deployment, Helm values и pod/node snapshot сохраняются. Анализатор исключает прежние прогоны с несовпадением числа реплик, отсутствующим измерением или нарушенной изоляцией смены конфигурации.
|
||||
|
||||
Основная матрица использует штатное распределение API по нодам; восстановленная точка growing1 закреплена на dev.asisti.tech. Ноды неоднородны, поэтому матрица описывает этот dev-стенд, а не чистый эффект числа процессов. Дополнительные A/B выполняются на одной ноде с неизменными зависимостями, образом и сценарием.
|
||||
|
||||
## Насыщение
|
||||
|
||||
В серии 64 VU зафиксировано заполнение всех 32 глобальных admission-слотов. Дополнительные запросы конкурируют за ограниченный общий бюджет, а не получают отдельную ёмкость при добавлении API. Readiness-события показывают также временное исключение backend; мгновенные 503 от LB способны увеличить общий http_reqs при падении полезной пропускной способности.
|
||||
|
||||
Это измеренное насыщение пула допуска запросов и доступности backend. Предел CPU PostgreSQL по редким выборкам не установлен: наблюдение свободного CPU не исключает ожидания сети, диска или соединений. Изменение общего параметра pool одновременно влияет на pgxpool и Valkey; отдельный вклад этих пулов не выделен.
|
||||
|
||||
## Проверенные альтернативы
|
||||
|
||||
- Pool 8 → 32: повторные замеры неоднородны, отдельный прирост RPS сопровождался большой долей ошибок. Устойчивое улучшение не подтверждено, штатный pool=8 сохранён.
|
||||
- Readiness 2 с / 2 ошибки → 5 с / 1 ошибка: проверка зависимостей может последовательно занять до 4 секунд, но изменение probe не устранило реальные отказы/нестабильность. Устойчивое улучшение не подтверждено; штатные 2/2 сохранены.
|
||||
- Ресурсный бюджет двух API: отдельный A/B/A/B при одинаковой ноде, pool=8 и 32 VU сравнивает по 250m/128Mi и по 500m/256Mi. Результаты приведены в итоговой таблице ниже.
|
||||
|
||||
## Результаты
|
||||
|
||||
| Профиль | API | CPU/RAM на API | Полезный RPS | Ошибки, % | p95 записи, мс |
|
||||
| --- | ---: | --- | ---: | ---: | ---: |
|
||||
| fixed1 | 1 | 1000m / 512Mi | 141.40 | 0.00 | 221.84 |
|
||||
| fixed2 | 2 | 500m / 256Mi | 124.17 | 0.46 | 172.74 |
|
||||
| fixed4 | 4 | 250m / 128Mi | 92.77 | 0.17 | 579.48 |
|
||||
| growing1 | 1 | 250m / 128Mi | 37.77 | 61.95 | 400.90 |
|
||||
| growing2 | 2 | 250m / 128Mi | 39.93 | 73.19 | 347.85 |
|
||||
| growing4 | 4 | 250m / 128Mi | 77.30 | 0.00 | 800.67 |
|
||||
| saturation8 | 1 | 1000m / 512Mi | 66.93 | 0.00 | 119.67 |
|
||||
| saturation64 | 1 | 1000m / 512Mi | 108.20 | 41.27 | 371.87 |
|
||||
| resource-low-a | 2 | 250m / 128Mi | 42.70 | 4.46 | 474.74 |
|
||||
| resource-high-a | 2 | 500m / 256Mi | 109.00 | 72.94 | 165.90 |
|
||||
| resource-low-b | 2 | 250m / 128Mi | 38.80 | 1.00 | 427.35 |
|
||||
| resource-high-b | 2 | 500m / 256Mi | 170.30 | 0.00 | 150.96 |
|
||||
|
||||
Полные p50/p95/p99, CPU/RAM, ошибки и ссылки на исходные серии: [summary.csv](../evidence/research-20261029-final/summary.csv). Единый источник чисел — этот CSV.
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
При фиксированном бюджете увеличение числа процессов снизило полезный RPS с 141.40 до 92.77; дробление CPU не создало дополнительных ресурсов. При растущем бюджете RPS вырос с 37.77 до 77.30, но ошибки двух первых точек не позволяют считать это устойчивой линейной масштабируемостью.
|
||||
|
||||
**Подтверждённое улучшение пропускной способности:** при двух API удвоение ресурсов каждой реплики повысило полезный RPS с 42.70 до 109.00 (2.55 раза) и с 38.80 до 170.30 (4.39 раза). Средние двух повторов — 40.75 и 139.65 RPS (3.43 раза). Это рост подтверждённых записей, а не числа быстрых отказов. Однако первый high-прогон дал 72.94% ошибок; улучшение надёжности под нагрузкой не подтверждено. Низкий p95 этого прогона частично объясняется быстрыми 503. Поэтому повышенный бюджет — проверенный способ увеличить полезную пропускную способность на данном стенде, но не доказательство выполнения SLO. Штатные requests/limits после эксперимента восстановлены.
|
||||
|
||||
При 8 VU получено 66.93 RPS без ошибок, при 64 VU — 108.20 RPS и 41.27% ошибок. Нагрузка выросла восьмикратно, полезный RPS — только в 1.62 раза; наблюдение 32 занятых admission-слотов подтверждает ограничение общей ёмкости. Эти точки сняты в разное время; они не определяют точный порог насыщения.
|
||||
|
||||
## Исходные данные и воспроизведение
|
||||
|
||||
Основные принятые источники: evidence/research-20261029-final, evidence/research-20261029-pool, evidence/research-20261029-readiness, evidence/research-20261029-budget. summary.csv содержит источник каждой строки; excluded.json перечисляет автоматически исключённые точки. Исключённые прогоны и причины остаются в соответствующих README/логах.
|
||||
|
||||
```sh
|
||||
EVIDENCE_DIR=evidence/new-matrix scripts/experiment.sh
|
||||
EVIDENCE_DIR=evidence/new-budget BENCHMARK_NODE=dev.asisti.tech \
|
||||
PROFILES='resource-low-a resource-high-a resource-low-b resource-high-b' scripts/experiment.sh
|
||||
python3 scripts/plot-research.py evidence/new-matrix evidence/new-budget
|
||||
```
|
||||
|
||||
Для графиков: Python 3 и matplotlib 3.10.8. Управление стендом выполняют shell, Helm и kubectl. scripts/sample-admission.sh наблюдает слоты без изменения данных. Нужны также jq, rg, Ruby 2.6+ для отчёта отказов. Helm 4 использует client-side apply во время исследований; force-replace не применяется. После каждого запуска восстанавливаются исходные values и HPA.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Общий dev-кластер не изолирован от другой нагрузки; публичный путь включает сеть и Traefik. Есть измеренные сетевые/TLS-сбои и readiness-flapping. Короткие прогоны не дают статистической гарантии; повторный A/B служит проверкой направления эффекта, не доверительным интервалом. Новые чаты одинаково пусты в начале, но общий объём БД растёт; чужие/старые записи не удаляются.
|
||||
|
||||
CPU/RAM — выборки kubectl top примерно раз в 5 секунд за весь Job, включая setup и прогрев, а не точное профилирование измерительного окна. Анализатор исключает старые API и load-поды из других прогонов, когда есть pod snapshot. PostgreSQL active включает наблюдающий запрос. Эти выборки не заменяют CPU-throttling, I/O или pgxpool wait histograms. CPU CFS quota на dev.asisti.tech включена, период 100ms.
|
||||
@@ -16,3 +16,21 @@
|
||||
| L3-10 | Timeweb Cloud Registry: токен из локального файла, Docker login через stdin, Kubernetes imagePullSecret; секреты не попадают в Git или Helm values; образ фиксируется digest |
|
||||
|
||||
Вне объёма: HA PostgreSQL и Valkey, отказ чужих узлов, развёртывание Grafana, реализация lab4+. Секреты не хранятся в Git. Эксперименты затрагивают учебный release lab2, обновлённый реализацией lab3. HPA отключается на время контролируемого сравнения реплик; после эксперимента возвращается.
|
||||
|
||||
## Приёмка исправлений 29.10.2026
|
||||
|
||||
- L3-01: ошибки HTTP-парсера до middleware, включая 413, содержат стабильный X-Instance-Id и согласованный X-Request-Id. Проверка настоящим HTTP-запросом с превышением BodyLimit.
|
||||
- L3-05: сохранить исходные имена/UID двух API; остановить каждую отдельно, восстановив две готовые реплики между отказами. Проверять через Traefik чтение, запись, повтор ключа и сохранность подтверждений; сохранить ошибки и время восстановления.
|
||||
- L3-08: одинаковый профиль для шести конфигураций, ограниченный прогрев и измерение, отдельные счётчики успешных операций/ошибок/latency, CPU/RAM и ожидания PostgreSQL. Дополнительная серия интенсивности выявляет предел, A/B проверяет одно изменение при равных ресурсах. Нулевые и отрицательные результаты публикуются без подмены прогнозом.
|
||||
|
||||
Методика L3-08: 16 синтетических пользователей с отдельными чатами, 32 VU; 5 секунд прогрева, 5 секунд дренирования, 30 секунд измерения без graceful-продления нагрузки. Сравнение fixed1/2/4 и growing1/2/4; затем 8/64 VU на четырёх репликах. Гипотеза улучшения: увеличение ограниченного пула зависимостей 8 → 32 уменьшит ожидание при неизменных CPU/RAM; проверка A/B/A/B, отрицательный результат также сохраняется. Данные каждого профиля — новые отдельные чаты без очистки чужих записей.
|
||||
|
||||
Уточнение методики после неуспешного setup fixed4: подготовка допускает до пяти попыток на синтетического участника, каждый раз с новым именем; частично подготовленные участники не используются в нагрузке. Ошибки setup видны в raw log, измеряемые запросы не получают автоматических повторов (кроме предусмотренной проверки Idempotency-Key). Серии интенсивности и A/B пула проводятся на одной API с 1000m/512Mi, чтобы проверить именно ограничение пула 8 против 32; fixed1 служит первым A, далее B/A/B. Шесть основных профилей заново измеряются с одной версией workload.
|
||||
|
||||
Контроль A/B: при необходимости повторов BENCHMARK_NODE=dev.asisti.tech фиксирует одну API на той же ноде для всех четырёх прогонов, сохраняя CPU/RAM, workload, БД и Valkey. В обычном развёртывании nodeSelector отсутствует; исходная конфигурация восстанавливается. Это устраняет смену аппаратной платформы как объяснение различия размеров пула.
|
||||
|
||||
L3-05 / L3-08: проверка гипотезы readiness. PostgreSQL Ping и Valkey Ping используют отдельные последовательные бюджеты по 2 с, а прежняя readinessProbe имеет timeout 2 с. Сравнение A/B/A/B: 2 с / 2 ошибки против 5 с / 1 ошибка при неизменных 1 API, 1000m/512Mi, pool=8, 32 VU и ноде dev.asisti.tech. Новый вариант допускает завершение ограниченной проверки, сохраняя оценку обнаружения примерно до 7 с (период 2 + timeout 5), плюс распространение EndpointSlice. Выбор штатного варианта зависит от измерения и повторного failover.
|
||||
|
||||
Контроль фактической конфигурации: HPA сначала отключается отдельным Helm-обновлением, затем завершается его возможная текущая reconciliation. До старта Job сравниваются ожидаемые replicas из Helm values и реальные spec.replicas Deployment. Несовпадение останавливает опыт. Анализатор также исключает ранее полученные прогоны с несовпадением; заданное значение в команде не считается доказательством фактического числа API.
|
||||
|
||||
L3-08: подтверждение ресурсного улучшения проводится отдельным A/B/A/B на одной ноде: две API, pool=8, 32 VU, readiness 2 с / 2 ошибки; A — по 250m/128Mi, B — по 500m/256Mi. Меняется только бюджет API; PostgreSQL, Valkey, Traefik и сценарий одинаковые. Не считать увеличение connection pool или probe timeout улучшением, если успешный RPS вырос ценой большей доли ошибок. Штатные значения pool=8 и readiness 2/2 сохраняются.
|
||||
|
||||
Reference in New Issue
Block a user