Files
mtusi2026lab2/openspec/changes/add-lab3-failover-operations/proposal.md
T
ArtyomandClaude Opus 5.5 1ae4b770ae Propose failover operations as an openspec change
Level 4 of lab 3 asks for health checks, timeouts and SIGTERM handling
that agree with each other, a stated check period and worst detection
time, stopping every replica in turn under load with RPS, errors and
recovery time, a parallel race on one idempotency key, limits and
port and secret isolation, and a rolling update under load with
migrations run once.

The new lab3-failover-operations capability covers those guarantees.
The lab 1 operability delta makes a replica leave the rotation first
on SIGTERM: readiness answers 503 for a drain window longer than the
balancer detection time, and only then the listener closes. The lab 2
dependency failure delta states that the balancer drops every replica
and answers 503 itself while PostgreSQL is down. The design adds the
measurement tooling from the prepared kit: k6 under a bench profile,
probe load and detect modes, detection, failover-each, limits and
rolling update scripts with one make target each.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-28 19:30:27 +03:00

4.6 KiB

Why

Уровень «3» показал, что отказ реплики переживается, но не за сколько LB его замечает и что происходит под нагрузкой и при плановой замене. Рубрика «4» README.md требует согласованных проверок, таймаутов и остановки по SIGTERM с заявленными периодом и максимумом обнаружения, поочерёдного отказа каждой реплики под нагрузкой с RPS, ошибками и временем восстановления, параллельной проверки одного ключа, лимитов и изоляции портов и секретов, rolling update под нагрузкой с однократными совместимыми миграциями. Закрывает строки 4.1–4.4 REPORT.md.

What Changes

  • Остановка реплики по SIGTERM начинается с вывода из ротации: /health/ready отвечает 503, пока балансировщик не исключит реплику (DRAIN_SECONDS=2 больше максимума обнаружения 1,5 с), и только потом процесс перестаёт принимать соединения и дорабатывает принятые запросы. Общий срок остаётся SHUTDOWN_TIMEOUT_SECONDS=5 < docker stop -t 6 < stop_grace_period: 8s.
  • Readiness отвечает быстрее timeout check балансировщика: пинг PostgreSQL ограничен 0,4 с на соединение и 0,4 с на запрос.
  • Цепочку таймаутов проверяет тест по compose.yaml, haproxy.cfg и хуку.
  • make detection: время обнаружения для SIGTERM, SIGKILL, зависшего процесса и остановки PostgreSQL, с заявленным максимумом.
  • make failover-each: каждая реплика по очереди останавливается и возвращается под нагрузкой k6; RPS, ошибки, обнаружение, восстановление, счётчики повторов LB.
  • make lb-check: 20 раундов по 8 параллельных POST с одним ключом через LB.
  • make limits: лимиты всех сервисов, порты только у lb, секреты, volumes и сети по принципу необходимости, нет container_name.
  • make rolling-update: замена реплик по одной с запасом +1 под нагрузкой, migrate один раз до замены; FROM_REV поднимает прежнюю версию из Git для настоящего обновления.

Capabilities

New Capabilities

  • lab3-failover-operations: период и максимум обнаружения, поочерёдный отказ под нагрузкой, параллельная идемпотентность через LB, лимиты и изоляция, rolling update и однократные миграции.

Modified Capabilities

  • lab1-service-operability: «Корректное завершение по сигналу» — сначала вывод из ротации, затем закрытие приёма.
  • lab2-dependency-failures: «Отказ PostgreSQL даёт ограниченную ошибку» — балансировщик исключает все реплики и сам отвечает 503.

Impact

  • Код: платформа (gunicorn_conf.py, shared/entrypoints/health.py, пинг в shared/infrastructure/postgres.py); доменные зоны не меняются.
  • Стенд: compose.yaml (k6 под профилем bench, явные таймауты API), infra/k6/messages.js, scripts/ (probe.py load|detect, detection.sh, failover-each.sh, rolling-update.sh, k6.sh, limits.py), Makefile, CI.
  • Тесты: остановка gunicorn, цепочка таймаутов, отказ PostgreSQL через LB.
  • Отчёт: строки 4.1–4.4, таблица обнаружения и отказов, evidence/.

Non-goals

Серии 1/2/4 реплик и поиск насыщения — трек «5», следующее изменение. Схема БД не меняется. Из Out of scope ничего: Swarm, HA PostgreSQL и LB, alias реплики (лаба 7).