Grade 4 of lab 3 is closed. A replica on SIGTERM first answers 503 on readiness for a two second window, longer than the 1.5 s worst detection, and only then closes its listener and finishes accepted requests within five seconds; the balancer lets a replica back only after two passed checks. A test pins the timeout chain to compose, HAProxy and the stop hook. make detection measured 0.71 s for SIGTERM (before the process exited at 2.49 s), 0.67 s for a killed process, 2.76 s for a hung one and 1.23 s until no replica was left with PostgreSQL down. make failover-each stopped and restored each replica under k6 at 100 rps with no errors and no balancer retries, make lb-check ran 20 same-key races of 8, make limits checks limits and isolation against a policy, and make rolling-update replaced the level 3 image with the current one under load with capacity kept at two and no errors, migrate running once. The new lab3-failover-operations spec is synced, and the lab 1 operability and lab 2 dependency failure specs carry their deltas. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
3.8 KiB
lab2-dependency-failures Specification
Purpose
Определяет поведение API при отказе PostgreSQL и при исчерпании пула соединений: ограниченная по времени ошибка 503 вместо зависания, 500 или анонимного доступа, и восстановление без рестарта процесса.
Requirements
Requirement: Отказ PostgreSQL даёт ограниченную ошибку
При недоступном PostgreSQL защищённые endpoint и /health/ready каждой реплики SHALL отвечать 503 с кодом unavailable в общем формате ошибки быстрее 2 секунд. Проверка сессии, которая не смогла обратиться к БД, SHALL давать 503, а не 401, и SHALL NOT пропускать запрос. /health/live реплики SHALL отвечать 200. Балансировщик SHALL исключить все реплики из ротации не позднее чем через 1,5 с после отказа и SHALL сам отвечать на любой запрос 503 в общем формате ошибки с request_id, равным X-Request-Id; после возвращения PostgreSQL реплики SHALL вернуться в ротацию без перезапуска.
Scenario: PostgreSQL остановлен
- WHEN сервис
postgresостановлен - THEN
GET /health/readyиGET /api/v1/users/meчерез LB отвечают503 unavailableбыстрее 2 с,GET /health/liveвнутри реплики —200, ни один ответ не500
Scenario: Неизвестный токен при остановленной БД
- WHEN PostgreSQL остановлен и приходит запрос с неизвестным токеном
- THEN ответ
503, а не200
Scenario: Балансировщик исключает все реплики
- WHEN PostgreSQL остановлен дольше времени обнаружения
- THEN статистика LB показывает 0 готовых реплик, а запрос через LB, включая
GET /health/live, получает503 {"error":{"code":"unavailable",...}}безX-Instance-Id - AND после запуска PostgreSQL все реплики снова готовы в LB без перезапуска своих процессов
Requirement: Восстановление без рестарта API
После возвращения PostgreSQL API SHALL восстанавливать обслуживание без перезапуска своего процесса за счёт переподключения пула.
Scenario: PostgreSQL снова запущен
- WHEN сервис
postgresзапущен после остановки - THEN в течение 30 с
/health/readyотвечает200, а прежний токен читает свои данные
Requirement: Ограниченный пул соединений
Каждый процесс API SHALL держать не больше заданного числа соединений с PostgreSQL. Запрос, не получивший соединение за заданное время, SHALL получать 503 и SHALL NOT ждать бесконечно. Все SQL-запросы SHALL быть параметризованными.
Scenario: Пул исчерпан
- WHEN все соединения пула заняты и приходит запрос, требующий БД
- THEN ответ
503 unavailableза время ожидания соединения