Files
mtusi2026lab2/openspec/specs/lab2-dependency-failures/spec.md
T
ArtyomandClaude Opus 5.5 61c0c28a43 Archive the failover operations change
Grade 4 of lab 3 is closed. A replica on SIGTERM first answers 503 on
readiness for a two second window, longer than the 1.5 s worst
detection, and only then closes its listener and finishes accepted
requests within five seconds; the balancer lets a replica back only
after two passed checks. A test pins the timeout chain to compose,
HAProxy and the stop hook. make detection measured 0.71 s for SIGTERM
(before the process exited at 2.49 s), 0.67 s for a killed process,
2.76 s for a hung one and 1.23 s until no replica was left with
PostgreSQL down. make failover-each stopped and restored each replica
under k6 at 100 rps with no errors and no balancer retries, make
lb-check ran 20 same-key races of 8, make limits checks limits and
isolation against a policy, and make rolling-update replaced the
level 3 image with the current one under load with capacity kept at
two and no errors, migrate running once. The new
lab3-failover-operations spec is synced, and the lab 1 operability
and lab 2 dependency failure specs carry their deltas.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-28 20:08:15 +03:00

3.8 KiB
Raw Blame History

lab2-dependency-failures Specification

Purpose

Определяет поведение API при отказе PostgreSQL и при исчерпании пула соединений: ограниченная по времени ошибка 503 вместо зависания, 500 или анонимного доступа, и восстановление без рестарта процесса.

Requirements

Requirement: Отказ PostgreSQL даёт ограниченную ошибку

При недоступном PostgreSQL защищённые endpoint и /health/ready каждой реплики SHALL отвечать 503 с кодом unavailable в общем формате ошибки быстрее 2 секунд. Проверка сессии, которая не смогла обратиться к БД, SHALL давать 503, а не 401, и SHALL NOT пропускать запрос. /health/live реплики SHALL отвечать 200. Балансировщик SHALL исключить все реплики из ротации не позднее чем через 1,5 с после отказа и SHALL сам отвечать на любой запрос 503 в общем формате ошибки с request_id, равным X-Request-Id; после возвращения PostgreSQL реплики SHALL вернуться в ротацию без перезапуска.

Scenario: PostgreSQL остановлен

  • WHEN сервис postgres остановлен
  • THEN GET /health/ready и GET /api/v1/users/me через LB отвечают 503 unavailable быстрее 2 с, GET /health/live внутри реплики — 200, ни один ответ не 500

Scenario: Неизвестный токен при остановленной БД

  • WHEN PostgreSQL остановлен и приходит запрос с неизвестным токеном
  • THEN ответ 503, а не 200

Scenario: Балансировщик исключает все реплики

  • WHEN PostgreSQL остановлен дольше времени обнаружения
  • THEN статистика LB показывает 0 готовых реплик, а запрос через LB, включая GET /health/live, получает 503 {"error":{"code":"unavailable",...}} без X-Instance-Id
  • AND после запуска PostgreSQL все реплики снова готовы в LB без перезапуска своих процессов

Requirement: Восстановление без рестарта API

После возвращения PostgreSQL API SHALL восстанавливать обслуживание без перезапуска своего процесса за счёт переподключения пула.

Scenario: PostgreSQL снова запущен

  • WHEN сервис postgres запущен после остановки
  • THEN в течение 30 с /health/ready отвечает 200, а прежний токен читает свои данные

Requirement: Ограниченный пул соединений

Каждый процесс API SHALL держать не больше заданного числа соединений с PostgreSQL. Запрос, не получивший соединение за заданное время, SHALL получать 503 и SHALL NOT ждать бесконечно. Все SQL-запросы SHALL быть параметризованными.

Scenario: Пул исчерпан

  • WHEN все соединения пула заняты и приходит запрос, требующий БД
  • THEN ответ 503 unavailable за время ожидания соединения