Level 4 of lab 3 asks for health checks, timeouts and SIGTERM handling that agree with each other, a stated check period and worst detection time, stopping every replica in turn under load with RPS, errors and recovery time, a parallel race on one idempotency key, limits and port and secret isolation, and a rolling update under load with migrations run once. The new lab3-failover-operations capability covers those guarantees. The lab 1 operability delta makes a replica leave the rotation first on SIGTERM: readiness answers 503 for a drain window longer than the balancer detection time, and only then the listener closes. The lab 2 dependency failure delta states that the balancer drops every replica and answers 503 itself while PostgreSQL is down. The design adds the measurement tooling from the prepared kit: k6 under a bench profile, probe load and detect modes, detection, failover-each, limits and rolling update scripts with one make target each. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
4.6 KiB
4.6 KiB
Why
Уровень «3» показал, что отказ реплики переживается, но не за сколько LB его замечает и что происходит под нагрузкой и при плановой замене. Рубрика «4» README.md требует согласованных проверок, таймаутов и остановки по SIGTERM с заявленными периодом и максимумом обнаружения, поочерёдного отказа каждой реплики под нагрузкой с RPS, ошибками и временем восстановления, параллельной проверки одного ключа, лимитов и изоляции портов и секретов, rolling update под нагрузкой с однократными совместимыми миграциями. Закрывает строки 4.1–4.4 REPORT.md.
What Changes
- Остановка реплики по
SIGTERMначинается с вывода из ротации:/health/readyотвечает503, пока балансировщик не исключит реплику (DRAIN_SECONDS=2больше максимума обнаружения 1,5 с), и только потом процесс перестаёт принимать соединения и дорабатывает принятые запросы. Общий срок остаётсяSHUTDOWN_TIMEOUT_SECONDS=5<docker stop -t 6<stop_grace_period: 8s. - Readiness отвечает быстрее
timeout checkбалансировщика: пинг PostgreSQL ограничен 0,4 с на соединение и 0,4 с на запрос. - Цепочку таймаутов проверяет тест по
compose.yaml,haproxy.cfgи хуку. make detection: время обнаружения дляSIGTERM,SIGKILL, зависшего процесса и остановки PostgreSQL, с заявленным максимумом.make failover-each: каждая реплика по очереди останавливается и возвращается под нагрузкой k6; RPS, ошибки, обнаружение, восстановление, счётчики повторов LB.make lb-check: 20 раундов по 8 параллельныхPOSTс одним ключом через LB.make limits: лимиты всех сервисов, порты только уlb, секреты, volumes и сети по принципу необходимости, нетcontainer_name.make rolling-update: замена реплик по одной с запасом +1 под нагрузкой,migrateодин раз до замены;FROM_REVподнимает прежнюю версию из Git для настоящего обновления.
Capabilities
New Capabilities
lab3-failover-operations: период и максимум обнаружения, поочерёдный отказ под нагрузкой, параллельная идемпотентность через LB, лимиты и изоляция, rolling update и однократные миграции.
Modified Capabilities
lab1-service-operability: «Корректное завершение по сигналу» — сначала вывод из ротации, затем закрытие приёма.lab2-dependency-failures: «Отказ PostgreSQL даёт ограниченную ошибку» — балансировщик исключает все реплики и сам отвечает503.
Impact
- Код: платформа (
gunicorn_conf.py,shared/entrypoints/health.py, пинг вshared/infrastructure/postgres.py); доменные зоны не меняются. - Стенд:
compose.yaml(k6под профилемbench, явные таймауты API),infra/k6/messages.js,scripts/(probe.py load|detect,detection.sh,failover-each.sh,rolling-update.sh,k6.sh,limits.py),Makefile, CI. - Тесты: остановка gunicorn, цепочка таймаутов, отказ PostgreSQL через LB.
- Отчёт: строки 4.1–4.4, таблица обнаружения и отказов,
evidence/.
Non-goals
Серии 1/2/4 реплик и поиск насыщения — трек «5», следующее изменение. Схема БД не меняется. Из Out of scope ничего: Swarm, HA PostgreSQL и LB, alias реплики (лаба 7).