forked from mtusi2026/mtusi2026lab3
Grade 4 of lab 3 is closed. A replica on SIGTERM first answers 503 on readiness for a two second window, longer than the 1.5 s worst detection, and only then closes its listener and finishes accepted requests within five seconds; the balancer lets a replica back only after two passed checks. A test pins the timeout chain to compose, HAProxy and the stop hook. make detection measured 0.71 s for SIGTERM (before the process exited at 2.49 s), 0.67 s for a killed process, 2.76 s for a hung one and 1.23 s until no replica was left with PostgreSQL down. make failover-each stopped and restored each replica under k6 at 100 rps with no errors and no balancer retries, make lb-check ran 20 same-key races of 8, make limits checks limits and isolation against a policy, and make rolling-update replaced the level 3 image with the current one under load with capacity kept at two and no errors, migrate running once. The new lab3-failover-operations spec is synced, and the lab 1 operability and lab 2 dependency failure specs carry their deltas. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
44 lines
3.8 KiB
Markdown
44 lines
3.8 KiB
Markdown
# lab2-dependency-failures Specification
|
||
|
||
## Purpose
|
||
Определяет поведение API при отказе PostgreSQL и при исчерпании пула соединений: ограниченная по времени ошибка `503` вместо зависания, `500` или анонимного доступа, и восстановление без рестарта процесса.
|
||
## Requirements
|
||
### Requirement: Отказ PostgreSQL даёт ограниченную ошибку
|
||
|
||
При недоступном PostgreSQL защищённые endpoint и `/health/ready` каждой реплики SHALL отвечать `503` с кодом `unavailable` в общем формате ошибки быстрее 2 секунд. Проверка сессии, которая не смогла обратиться к БД, SHALL давать `503`, а не `401`, и SHALL NOT пропускать запрос. `/health/live` реплики SHALL отвечать `200`. Балансировщик SHALL исключить все реплики из ротации не позднее чем через 1,5 с после отказа и SHALL сам отвечать на любой запрос `503` в общем формате ошибки с `request_id`, равным `X-Request-Id`; после возвращения PostgreSQL реплики SHALL вернуться в ротацию без перезапуска.
|
||
|
||
#### Scenario: PostgreSQL остановлен
|
||
|
||
- **WHEN** сервис `postgres` остановлен
|
||
- **THEN** `GET /health/ready` и `GET /api/v1/users/me` через LB отвечают `503 unavailable` быстрее 2 с, `GET /health/live` внутри реплики — `200`, ни один ответ не `500`
|
||
|
||
#### Scenario: Неизвестный токен при остановленной БД
|
||
|
||
- **WHEN** PostgreSQL остановлен и приходит запрос с неизвестным токеном
|
||
- **THEN** ответ `503`, а не `200`
|
||
|
||
#### Scenario: Балансировщик исключает все реплики
|
||
|
||
- **WHEN** PostgreSQL остановлен дольше времени обнаружения
|
||
- **THEN** статистика LB показывает 0 готовых реплик, а запрос через LB, включая `GET /health/live`, получает `503 {"error":{"code":"unavailable",...}}` без `X-Instance-Id`
|
||
- **AND** после запуска PostgreSQL все реплики снова готовы в LB без перезапуска своих процессов
|
||
|
||
### Requirement: Восстановление без рестарта API
|
||
|
||
После возвращения PostgreSQL API SHALL восстанавливать обслуживание без перезапуска своего процесса за счёт переподключения пула.
|
||
|
||
#### Scenario: PostgreSQL снова запущен
|
||
|
||
- **WHEN** сервис `postgres` запущен после остановки
|
||
- **THEN** в течение 30 с `/health/ready` отвечает `200`, а прежний токен читает свои данные
|
||
|
||
### Requirement: Ограниченный пул соединений
|
||
|
||
Каждый процесс API SHALL держать не больше заданного числа соединений с PostgreSQL. Запрос, не получивший соединение за заданное время, SHALL получать `503` и SHALL NOT ждать бесконечно. Все SQL-запросы SHALL быть параметризованными.
|
||
|
||
#### Scenario: Пул исчерпан
|
||
|
||
- **WHEN** все соединения пула заняты и приходит запрос, требующий БД
|
||
- **THEN** ответ `503 unavailable` за время ожидания соединения
|
||
|