Files
mtusi2026lab2/openspec/changes/add-lab3-failover-operations/tasks.md
T
ArtyomandClaude Opus 5.5 85ed37914d Pin the timeout chain in the stand and test it
The API service now names every timeout that the chain depends on:
DRAIN_SECONDS, DB_ACQUIRE_TIMEOUT_SECONDS and DB_COMMAND_TIMEOUT_SECONDS
join REQUEST_TIMEOUT_SECONDS and SHUTDOWN_TIMEOUT_SECONDS in compose,
and the image gets the drain default. A unit test reads the compose
defaults, the HAProxy check and timeout settings and the stop hook
timeout, and checks that the chain shrinks inwards: LB server 10 s >
request 8 s > pool wait plus statement 3 s, readiness 0.8 s < check
1 s, drain 2 s > worst detection 1.5 s, shutdown 5 s leaves 3 s for
accepted requests, and shutdown < hook 6 s < stop_grace_period 8 s
< 10 s. It also pins the declared detection maxima: 1.5 s for a 503
or a refused connection and 3.5 s for a hung replica.

The k6 load generator joins the stand under the bench profile: pinned
by digest, edge network only, 2 CPU and 512 MiB, no secrets.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-28 19:33:55 +03:00

3.5 KiB
Raw Blame History

1. Остановка и готовность (платформа)

  • 1.1 DRAINING в shared/entrypoints/health.py: /health/ready отвечает 503 unavailable, пока флаг поднят
  • 1.2 DrainingServer и MessengerWorker._serve в gunicorn_conf.py: окно DRAIN_SECONDS, затем штатная остановка; uvicorn дообрабатывает SHUTDOWN_TIMEOUT_SECONDS − DRAIN_SECONDS
  • 1.3 Пинг readiness: 0,4 с на соединение и 0,4 с на запрос
  • 1.4 Проверка группы: тесты — ready 503 при флаге и live 200; настоящий gunicorn по SIGTERM держит окно, закрывает порт и выходит с кодом 0 за срок

2. Стенд и таймауты

  • 2.1 compose.yaml: явные DRAIN_SECONDS, DB_ACQUIRE_TIMEOUT_SECONDS, DB_COMMAND_TIMEOUT_SECONDS у api; сервис k6 под профилем bench; .env.example, Dockerfile
  • 2.2 Тест цепочки таймаутов по compose.yaml, haproxy.cfg и scripts/stop-one.sh
  • 2.3 Проверка группы: docker compose --profile bench config --quiet, make student-test -k "timeouts or drain"

3. Нагрузка и зонд

  • 3.1 infra/k6/messages.js, scripts/k6.sh (запуск от uid хоста)
  • 3.2 scripts/probe.py: load (k6 + зонд + опрос LB, action.log, счётчики повторов LB, --expect dip|replace, pass), detect (действие фоном, --max, --until, --within-action, --lb-status, --restore), check --rounds
  • 3.3 Проверка группы: make lint, make check (разбор scripts/*.py интерпретатором CI), k6 inspect

4. Сценарии уровня «4»

  • 4.1 scripts/detection.sh и make detection: SIGTERM, docker kill, docker pause, остановка PostgreSQL с заявленными максимумами
  • 4.2 scripts/failover-each.sh и make failover-each: остановка, 10 с без реплики и возврат каждой реплики под нагрузкой
  • 4.3 scripts/limits.py и make limits: политика лимитов, портов, секретов, volumes, сетей
  • 4.4 scripts/rolling-update.sh и make rolling-update [FROM_REV=…]: migrate один раз, замена с запасом +1, журнал образов
  • 4.5 Тест отказа PostgreSQL через LB: ответы 503, live внутри реплики 200, LB исключает все реплики и сам отвечает 503
  • 4.6 CI: make limits, make detection в acceptance
  • 4.7 Проверка группы: make up, make limits, make lb-check, make detection, make failover-each, make rolling-update FROM_REV=8d28d45, make test-faults

5. Отчёт

  • 5.1 evidence/: detection, failover-each, rolling, limits, lb-check, повторные прогоны уровня «3» на новом коде
  • 5.2 REPORT.md: таймауты и обнаружение, строки 4.1–4.4, таблица отказов уровня «4», ограничения
  • 5.3 Проверка группы: make check, make validate, make lint, make student-test, make test, make test-persistence ACTION_SCRIPT=scripts/restart.sh, make test-failover ACTION_SCRIPT=scripts/stop-one.sh для обеих реплик