Evidence from 4e0cc4e: stand ports, limits and per-service env,
X-Instance-Id distribution and scaling, LB-generated errors,
test-persistence through the LB, test-failover for each replica in stop
and kill modes, stop-one refusals, test runs and bench self-checks.
REPORT.md gains the LB architecture, timeout chain, limits, criteria
rows and defence answers. Coverage exclusions for restart now point to
the lab 3 persistence evidence; stale lab 2 pointers go to
KNOWN_ISSUES.md.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
43 KiB
Отчёт — лабораторная 3
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
- Целевая оценка 5; выбранный трек 5: TODO (предложен трек 1 «Цена масштабирования»,
PLAN.md) - Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Запуск из чистого clone
TODO (этап 7, PLAN.md): версии runtime/образов и prerequisites одним
списком, повторная проверка из настоящего git clone на стенде с LB.
Стенд с балансировщиком (change replicas-lb):
make env_setup # .env (случайные POSTGRES_PASSWORD и VALKEY_PASSWORD) и config.toml из шаблонов; существующие не трогает
make run_docker # docker compose build + up -d: postgres, valkey → migrate → api × API_REPLICAS (2) → haproxy
docker compose ps # готовность — haproxy (healthy): через LB можно обслужить запрос
make test # публичный smoke через LB на http://localhost:8080
make student_test # свой набор через LB, тесты реплик выполняются (EXPECT_REPLICAS = API_REPLICAS)
make instances # ≥2 X-Instance-Id одной сессии через LB (шаг 1 сценария защиты)
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make replicas # вернуть остановленную реплику (те же ID) перед следующим прогоном failover
make stop # остановить; make down — удалить контейнеры, volume с данными остаётся
make wipe_data # намеренно удалить учебные данные: только после ввода yes, только проект mtusi-lab3
Порт API на хосте один — у HAProxy (127.0.0.1:${APP_OUT_PORT}, 8080).
Число реплик — API_REPLICAS в .env (по умолчанию 2), разово —
make replicas API_REPLICAS=N. В консоли (make run_dev) — один
процесс без LB; свой набор против него — make student_test EXPECT_REPLICAS=1.
Проверено на одном API без балансировщика (change
instance-id-idempotency): в настоящем git clone docker build -t mtusi-messenger:lab3 . проходит без .env и config.toml; после
make env_setup на этом образе проходит smoke
(evidence/tests/clean-clone.md). Удаление учебных данных — make wipe_data с вводом yes, трогает только проект mtusi-lab3
(evidence/tests/stand-lab3.md).
Архитектура и решения
TODO (этап 7): что перенесено из lab2 одним списком, транзакционные границы сводно.
клиент → 127.0.0.1:APP_OUT_PORT → haproxy ──→ api (реплика 1) ──→ postgres (данные, сессии, ключи идемпотентности; volume)
└─→ api (реплика 2) ──→ valkey (кэш неизменяемых карточек чатов)
migrate (один раз на каждый up, до реплик) ──→ postgres
Источник истины — PostgreSQL: пользователи, чаты, сообщения, сессии и
ключи идемпотентности. Valkey — общий кэш, его отказ — обход в
Postgres. Реплики api одинаковы и взаимозаменяемы, порта на хосте у
них нет; единственная точка входа — HAProxy.
Балансировщик и реплики (change replicas-lb)
Почему Compose + HAProxy (выбор подтверждён 2026-10-07, PLAN.md):
| Критерий | HAProxy | Nginx (бесплатный) | Traefik | Swarm |
|---|---|---|---|---|
Активная проверка /health/ready с периодом |
есть (inter/fall/rise) |
нет: пассивная по живым запросам, активная — только в NGINX Plus | есть (healthcheck в labels) | healthcheck контейнера, грубее (interval × retries) |
Новые реплики после --scale без правки конфига |
DNS Docker (server-template + resolvers) |
server ... resolve с 1.27.3 |
через docker socket | встроено |
| Повтор только недошедшего запроса | retry-on conn-failure |
по умолчанию POST не повторяется, если уже отправлен | retry middleware, семантику для POST надо проверять | повторов нет |
| Статистика по репликам (трек 1) | встроена (/stats;csv) |
только общие счётчики | метрики Prometheus | нет |
| Лишние привилегии | нет | нет | docker socket — почти root на хосте | — |
| Переделка стенда лабы 2 | добавить сервис | добавить сервис | сервис и labels | build и depends_on не работают в stack deploy, migrate как job, образ доступен узлам |
Swarm на одном хосте ничего не даёт, а сборку образа и его доступность
узлам пришлось бы описывать отдельно. Цена HAProxy — свой язык
конфигурации и фиксированное число слотов server-template (8).
Как устроено (infra/haproxy/haproxy.cfg, HAProxy 3.4 LTS):
- реплики находятся через DNS Docker: имя сервиса
apiотвечает адресами всех работающих реплик, HAProxy раскладывает их по 8 слотам. Новая и пропавшая реплика видны за 1–2 с без перезагрузки LB; - активная проверка
GET /health/ready(200 — Postgres отвечает) раз в секунду,fall 2,rise 2. Слот, получивший адрес из DNS, начинает вDOWN(init-state down) и получает запросы только после проверок: Docker регистрирует адрес при старте контейнера, раньше, чем uvicorn слушает порт; balance roundrobin, без cookie и stick-table: запросы одной сессии чередуются между репликами (evidence/replicas/distribution.md);- повтор в LB — только
retry-on conn-failure,retries 2,option redispatch 1(каждый повтор — на другую реплику): запрос до реплики не дошёл, повтор безопасен для любого метода. Оборванный или долгий ответ не повторяется; - ответы самого LB (502/503/504) — в формате ошибки контракта с
codeunavailable,request_id=X-Request-Id, безX-Instance-Id(evidence/replicas/lb-errors.md); - статистика и
/lb/ready—frontend monitorна:8404, только внутри сети compose; оператору —make lb_stats. Healthcheck контейнера LB —/lb/ready: 200, пока есть готовая реплика.
Цепочка таймаутов (числа — в конфигах; замер времени обнаружения —
change graceful-failover):
| Звено | Значение | Соотношение |
|---|---|---|
HAProxy inter / fall / rise |
1 с / 2 / 2 | обнаружение ≈ inter × fall + timeout check = 1 × 2 + 3 = 5 с ≤ 10 с |
HAProxy timeout check |
3 с | > таймаута проверки внутри /health/ready (2 с): медленный Postgres не выглядит мёртвой репликой |
HAProxy timeout connect, retries, redispatch |
500 мс, 2, каждый повтор | 0,5 × 3 = 1,5 с < 2 с таймаута клиента tests/resilience.py |
HAProxy timeout server |
10 с | > [database] request_timeout_seconds (6 с) + KDF входа |
uvicorn [app] graceful_shutdown_seconds |
8 с | < stop_grace_period 10 с |
scripts/stop-one.sh |
docker stop --timeout 9 |
возврат hook < 10 с |
Остановленная реплика (docker stop) сразу закрывает приёмный сокет:
LB получает отказ соединения и перенаправляет запрос, клиент ошибок не
видит. Убитая (docker kill) рвёт запросы в полёте: LB отвечает 502,
клиент повторяет с тем же ключом (evidence/failover/).
Роли и сервисы (infra/README.md):
| Роль | Сервис | Версия / digest | Health / readiness | Volume | Порт на хосте | Credentials |
|---|---|---|---|---|---|---|
| load_balancer | haproxy |
haproxy:3.4.6-trixie@sha256:e2739156… |
/lb/ready (есть готовая реплика) |
— | 127.0.0.1:${APP_OUT_PORT} (8080) |
нет |
api × API_REPLICAS |
api |
образ из Dockerfile (mtusi-messenger:lab3) |
/health/ready (healthcheck образа и проверки LB) |
— | нет | environment: пароли Postgres и Valkey мостами из .env |
| миграции | migrate |
тот же образ, alembic upgrade head |
код выхода 0 | — | нет | пароль Postgres |
| postgres | postgres |
postgres:18.6-trixie@sha256:5a5a84b1… |
pg_isready по TCP |
postgres_data |
127.0.0.1:${POSTGRES_OUT_PORT} (консоль) |
POSTGRES_* из .env |
| кэш | valkey |
valkey/valkey:9.1.2-trixie@sha256:418652cf… |
valkey-cli ping с паролем |
нет (persistence выключен) | 127.0.0.1:${VALKEY_OUT_PORT} (консоль) |
VALKEY_PASSWORD из .env |
Лимиты и соединения (deploy.resources.limits, evidence/replicas/stand.md):
| Сервис | CPU | Память |
|---|---|---|
api (на реплику) |
1.0 | 512M |
postgres |
2.0 | 1G |
valkey |
0.5 | 128M |
haproxy (nbthread 1) |
1.0 | 256M |
migrate |
0.5 | 256M |
При двух репликах — 6 CPU и 2,6 GiB из 12 CPU и 7,7 GiB ВМ Docker.
Соединения Postgres: API_REPLICAS × (pool_size + max_overflow) +
migrate = 2 × (10 + 5) + 1 = 31 ≤ max_connections 100; при 6
репликах — 91, при 7 — 106 > 100. Граница пула — гипотеза 3 трека 1.
Секреты по сервисам. Пароль Postgres — postgres, api,
migrate; пароль Valkey — valkey и api; у haproxy секретов нет
(окружение — только API_PORT). Окружение собрано из якорей
x-db-env / x-cache-env в docker-compose.yml.
Состояние процесса. Просмотр src/ (уровень модулей): в памяти
процесса только пул соединений Postgres, клиент Valkey с отметкой
«пропускать кэш после отказа» (retry_after_seconds), лимитер и
фиктивный хэш KDF, instance_id и логгер. От них не зависит
корректность ответа: сессии, данные и ключи идемпотентности — в
Postgres, карточки чатов неизменны, поэтому общий кэш не требует
инвалидации между репликами.
Восстановление реплики после scripts/stop-one.sh: make replicas
(docker compose up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api) — тот же контейнер запускается снова, LB
включает его после проверок.
Стенд лабы 3
Проект compose — mtusi-lab3, образ — mtusi-messenger:lab3. Имя
проекта задаёт имена volumes: с именем второй лабы стенд подключился бы
к её базе. Данные второй лабы не переносились (они синтетические), volume
mtusi-lab2_postgres_data не затронут, в том числе make wipe_data
этого стенда (evidence/tests/stand-lab3.md).
X-Instance-Id
- Значение —
[app] instance_id. Пусто (по умолчанию) — hostname процесса, определённый один раз при загрузке настроек; в compose это короткий ID контейнера, то есть то, что показываетdocker compose ps -q api. По немуscripts/stop-one.shнайдёт контейнер без таблицы соответствия. - Значение не задаётся ни в
config.toml, ни в.env, ни в compose (environment,hostname:): эти источники общие у реплик, а значение должно различаться. В консоли его можно заменитьAPP__INSTANCE_ID. Формат проверяется при старте ([A-Za-z0-9._-]{1,64}): сapi aсервис не стартует (evidence/idempotency/config-checks.md). - Заголовок ставит то же ASGI-middleware, что
X-Request-Id; ответ 500 собираетServerErrorMiddlewareснаружи него, поэтому обработчикExceptionставит оба заголовка сам. То же значение — полеinstance_idв каждой записи журнала, включая старт и shutdown (evidence/idempotency/instance-id.md). docker restartсохраняет hostname, и значение остаётся прежним; новый контейнер — новое значение. В лабе 7 поле получит непрозрачный alias вместо hostname.
Идемпотентность отправки сообщения
Таблица idempotency_keys (миграция 7652184b7016, только добавляет
таблицу): первичный ключ (user_id, chat_id, key) — область ключа
контракта «пользователь + метод + путь чата + ключ», ключ принимает одна
ручка; внешний ключ (chat_id, user_id) → chat_members; message_id → messages с проверкой на commit (DEFERRABLE INITIALLY DEFERRED);
SHA-256 тела; created_at с индексом; CHECK формата и длины ключа.
Отправка (MessageService.send_message) — одна транзакция:
- Сессию проверила зависимость (401), сервис проверяет членство (404) — и при повторе тоже.
- Захват ключа одним выражением:
INSERT … ON CONFLICT (user_id, chat_id, key) DO UPDATE … WHERE created_at < now − ttl RETURNING. Строка вернулась — ключ свободен (новый или просроченный, заменён тем же выражением): вставка сообщения,commit(). - Ключ занят — чтение сохранённого хэша и сообщения,
commit()(снять блокировку строки). Хэш совпал — тот же 201 и то жеMessageиз БД; не совпал — 409conflict.
Почему это корректно, в том числе между репликами (READ COMMITTED):
одновременная вставка того же ключа ждёт commit или отката чужой
транзакции на уникальном индексе. После commit — конфликт и сохранённый
результат, после отката — вставка проходит, то есть транзиентная ошибка
результатом не фиксируется. Ключ вставляется раньше сообщения, поэтому
повтор не пишет и не откатывает сообщение. Любая ошибка до commit
откатывает и ключ, и сообщение (evidence/tests/failure-checks.md:
сбой вставки сообщения, остановка Postgres).
«То же тело» — SHA-256 канонического JSON, собранного из разобранного
тела (сортированные ключи, значения по умолчанию подставлены): пробелы,
\u-экранирование и порядок полей на сравнение не влияют, другой текст
— другой хэш. В журнале ключа нет: повтор виден по "replayed": true и
тому же message_id.
Порядок кодов при нескольких ошибках — 401 → 400 → 404 → 409.
Idempotency-Key объявлен параметром ручки (есть в /openapi.json),
а FastAPI проверяет параметры после зависимостей: без сессии — 401,
затем нет ключа или неверное тело — 400, затем не участник — 404,
затем другое тело — 409. Битый JSON — 400 раньше 401. Это то самое
расхождение порядка кодов FastAPI, согласованное с преподавателем
2026-09-26 (AGENTS.md, «Согласования с преподавателем»); smoke его не
затрагивает, порядок закреплён тестами test_idempotency.py.
Соответствие переменных .env.example
| Имя skeleton | Где у нас | Почему так |
|---|---|---|
IDEMPOTENCY_TTL_SECONDS |
[idempotency] ttl_seconds в config.toml, по умолчанию 86400 (24 ч); разовая подмена — IDEMPOTENCY__TTL_SECONDS |
значение читает только приложение; как SESSION_TTL_SECONDS (.claude/rules/settings.md). Срок меньше 86400 нарушает контракт и применяется только в проверках (2 с у «тесного» API стенда отказов) |
API_REPLICAS |
API_REPLICAS в .env (шаблон — 2), deploy.replicas: ${API_REPLICAS:-2} сервиса api; Makefile — API_REPLICAS ?= 2 (make replicas, EXPECT_REPLICAS тестов). Разово — make replicas API_REPLICAS=N |
приложение его не читает, поэтому имя без секции; без строки в .env действует 2 (.claude/rules/settings.md) |
TODO: остальные имена skeleton (APP_HOST, APP_PORT, APP_ENV, SESSION_TTL_SECONDS, DATABASE_URL_FILE, SESSION_STORE, CACHE_URL_FILE).
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test через LB на стенде make run_docker; make test_isolated (образ из 4e0cc4e, временная база, один контейнер): make test + make student_test EXPECT_REPLICAS=1 |
PASS: lab3 public API scenario в обоих; в изоляции 127 passed, 4 теста реплик пропущены с причиной «one API process»; сверка покрытия: 135 сценариев, 123 тестом, 12 исключений |
evidence/tests/test-isolated.md, evidence/tests/student-test-lb.md |
| «3»: стенд одной командой, ≥2 API, одна точка входа, общие БД и сессии | make run_docker; docker compose ps, docker port, docker compose config |
haproxy — единственный порт API на хосте (127.0.0.1:8080), api × 2 без портов и container_name; общие Postgres (сессии, данные, ключи) и Valkey; миграции — один прогон migrate на каждый up, в журналах реплик alembic нет |
evidence/replicas/stand.md |
| «3»: разные запросы одного пользователя — разными репликами без повторного входа | make instances (один вход, 12 × GET /users/me с одним токеном); test_load_balancing.py |
ответы чередуются 0a93eeb192b4 / 47a14cfd6cd7 по 6; 20 запросов сессии — по 10; запись через одну реплику видна в чтениях через другую |
evidence/replicas/distribution.md, evidence/tests/student-test-lb.md |
«3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; make test-failover |
make test-failover ACTION_SCRIPT=scripts/stop-one.sh для каждой реплики, make replicas между прогонами; STOP_ONE_LOG — какой TARGET_INSTANCE_ID выбрал тест; docker compose ps -a и StartedAt до и после |
3 × PASS (остановлены 47a14cfd6cd7 дважды и 0a93eeb192b4), первая запись через 0,98–1,59 с, 0 неудачных попыток, 2–3 запроса перенаправлены LB; ID остановленного контейнера = TARGET_INSTANCE_ID, остальные контейнеры с прежним StartedAt |
evidence/failover/test-failover.md |
| «3»: отказ процесса без graceful, реплика остаётся остановленной | STOP_MODE=kill make test-failover …; через 15 с docker inspect; входы по Basic под kill |
PASS, первая запись через 0,74 с; контейнер exited 137, RestartCount 0 через 15 с (restart: unless-stopped его не поднял); 4 входа в полёте — 502 от LB без повтора (SH--, повторов 0), 4 после kill — перенаправлены |
evidence/failover/test-failover-kill.md |
«3»: make test-persistence с LB |
make test-persistence ACTION_SCRIPT=scripts/restart.sh; StartedAt до и после |
PASS за 7,1 с; перезапущены LB, обе реплики, Postgres и Valkey (те же ID, новый StartedAt), volume с прежней датой создания |
evidence/replicas/test-persistence.md |
«3»: повтор POST с тем же ключом при переключении реплики |
test_idempotency.py::test_replay_on_other_replica через LB |
отправка через 47a14cfd6cd7, повтор через 0a93eeb192b4 — тот же JSON; другое тело — 409 от обеих реплик |
evidence/tests/student-test-lb.md |
| Failover hook не трогает чужое | scripts/stop-one.sh с пустым, не-hex, коротким ID, ID Postgres / Valkey / LB / migrate, несуществующим, контейнером mtusi-lab2, STOP_MODE=pause |
ненулевой код у всех, состояние и StartedAt всех контейнеров не изменились |
evidence/failover/stop-one-refusals.md |
«4»: лимиты CPU/RAM, порты API не наружу, секреты только где нужно, нет container_name |
docker inspect (NanoCpus, Memory), docker port, имена переменных из docker compose config |
лимиты у всех 6 контейнеров; порт API только у LB; пароль Valkey только у valkey и api, у LB секретов нет; container_name нет |
evidence/replicas/stand.md |
| «4» (часть): LB исключает недоступный backend; период проверок | make lb_stats, журнал LB; все реплики остановлены |
период 1 с, fall 2, rise 2, timeout check 3 с — оценка обнаружения 5 с; остановленные реплики DOWN / в обслуживании, вернувшиеся — после проверки; без реплик LB отвечает 503 в формате контракта, healthcheck LB unhealthy. Замер времени обнаружения — change graceful-failover |
evidence/replicas/lb-errors.md, evidence/failover/test-failover.md |
| Масштабирование без правки LB | make replicas API_REPLICAS=3, затем make replicas |
третья реплика в распределении через 2 с без правки haproxy.cfg; обратно — две |
evidence/replicas/distribution.md |
| Свои стенды на новом compose | make test_isolated, make failure_checks, make bench_quick, make bench_restore_quick |
все код 0; рабочий стенд не тронут; лимиты в паспорте bench те же, что до change |
evidence/tests/test-isolated.md, evidence/tests/failure-checks.md, evidence/tests/bench-self-checks.md |
«3»: повтор POST с тем же Idempotency-Key не создаёт дубль |
разовый HTTP-скрипт: отправка, повтор, повтор в \u-записи |
все 201 с одинаковым JSON, в истории одно сообщение | evidence/idempotency/replay.md |
| «3»: другое тело с тем же ключом, нет и неверный ключ | тот же скрипт | 409 conflict; 400 без ключа и с a b, значение ключа в ответ не попадает; постороннему — 404, ключ у другого пользователя — новое сообщение |
evidence/idempotency/replay.md |
| «3»: повтор через другой процесс API | отправка, docker compose up -d --force-recreate api, повтор с тем же ключом и токеном |
новый контейнер и X-Instance-Id, тот же Message (тот же id и created_at) |
evidence/idempotency/replay-after-restart.md |
| «3»: ключ переживает рестарт API и хранилищ | отправка, scripts/restart.sh (api, Postgres, Valkey без удаления volumes), повтор с тем же ключом и токеном |
новый StartedAt у всех трёх; повтор — 201 и тот же Message, другое тело — 409, в чате одно сообщение |
evidence/idempotency/replay-after-storage-restart.md |
| «3»: неподтверждённую запись можно повторить; сбой не занимает ключ | make failure_checks: триггер роняет вставку сообщения после вставки ключа; остановка Postgres |
500 / 503, затем повтор с тем же ключом — 201, ровно одно сообщение | evidence/tests/failure-checks.md |
| Срок ключа | make failure_checks, «тесный» API с IDEMPOTENCY__TTL_SECONDS=2 |
в пределах срока другое тело — 409, после срока — 201 и новое сообщение | evidence/tests/failure-checks.md |
Настройки instance_id и срока ключа |
API в консоли с APP__INSTANCE_ID=api-a; запуск с APP__INSTANCE_ID="api a", IDEMPOTENCY__TTL_SECONDS=abc и 0 |
X-Instance-Id: api-a и instance_id = api-a во всех 14 записях журнала; недопустимые значения — код 1 до старта, ошибка называет поле |
evidence/idempotency/config-checks.md |
| «4»: идемпотентность под параллельными запросами с одним ключом | test_race.py::test_same_key_through_replicas через LB: 10 клиентов за threading.Barrier, одно тело и один ключ |
10 × 201 с одним Message, одно сообщение в истории; ответы обеих реплик (5 + 5), есть пара пересекающихся по времени запросов разных реплик. Против одного процесса — test_same_key_at_once |
evidence/tests/student-test-lb.md, evidence/idempotency/keys-table.md |
X-Instance-Id на каждом ответе, instance_id в журнале |
тесты api-conventions, curl, docker compose logs api |
заголовок у 2xx, 4xx, health, 404, 405, 500; значение = короткий ID контейнера; 85 из 85 записей журнала с instance_id, включая старт и shutdown; ключей и текста в журнале нет |
evidence/idempotency/instance-id.md |
| Стенд лабы 3 не трогает данные лабы 2 | make run_docker, make wipe_data, снова make run_docker; docker volume inspect до и после |
wipe_data удалил только контейнеры, сеть и volume mtusi-lab3; mtusi-lab2_postgres_data с прежней датой создания |
evidence/tests/stand-lab3.md |
| Сборка из чистого clone | git clone, docker build -t mtusi-messenger:lab3 . до make env_setup; стенд на этом образе, make test |
сборка без .env и config.toml, в образе их нет, процесс от UID 10001; PASS: lab3 public API scenario |
evidence/tests/clean-clone.md |
Стенд bench/: отправки с ключом при восстановлении |
make bench_restore_quick (самопроверка, не замер) |
1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | evidence/tests/bench-restore-quick.md |
| Остальные пункты уровня 4 | TODO: changes graceful-failover (согласованные таймауты и SIGTERM, замер времени обнаружения, поочерёдная остановка под нагрузкой: RPS, ошибки, восстановление) и rolling-update |
TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
docker stop одной из двух реплик (stop-one.sh) во время записи раз в 0,1 с |
закрытый сокет → отказ соединения → LB перенаправляет, ошибок нет | 0 неудачных попыток в 3 прогонах; 2–3 отправки перенаправлены (+1 в журнале LB), одна — через timeout connect 500 мс к пропавшему адресу |
первая запись 0,98–1,59 с от старта hook; потерь и дублей нет (evidence/failover/test-failover.md) |
docker kill реплики |
запросы в полёте рвутся, LB их не повторяет; клиент повторяет с тем же ключом | при записи раз в 0,1 с в полёте не оказалось ни одной (0 ошибок); при входах по Basic 4 оборванных → 502 без повтора, 4 перенаправлены | первая запись 0,74 с; дублей нет; реплика не поднимается сама (evidence/failover/test-failover-kill.md) |
| остановка всех реплик | LB отвечает 503 в формате контракта, healthcheck LB — unhealthy |
так и есть; после make replicas — 200 через ~5 с |
данные в Postgres не затронуты (evidence/replicas/lb-errors.md) |
scripts/restart.sh: LB, обе реплики, Postgres, Valkey |
данные и токен переживают рестарт | PASS; до прохождения проверок LB отвечал 503, реплики начинают в DOWN |
7,1 с на тест целиком; кэш пуст, данные целы (evidence/replicas/test-persistence.md) |
Посекундные RPS и ошибки под постоянной нагрузкой и замер времени
обнаружения — change graceful-failover.
Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Идемпотентность:
-
Таблица ключей растёт. Строка на каждое сообщение, фоновой уборки нет до worker лабы 5. Просроченный ключ заменяется только при следующей отправке с ним же. Ручная очистка — по индексу
created_at:docker compose exec postgres sh -c 'psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" \ -c "DELETE FROM idempotency_keys WHERE created_at < now() - interval '"'"'24 hours'"'"'"'Удаляются только ключи, сообщения остаются.
-
Замороженная реплика держит блокировку ключа. Если процесс заморожен (
docker pause) между захватом ключа и commit, повторы того же ключа на других репликах ждут доstatement_timeout(5 с) и получают 503, клиент повторяет позже.idle_in_transaction_session_timeoutпока не задан — область changegraceful-failover. -
Каждая запись дороже на одну вставку и проверку отложенного внешнего ключа. Это цена контракта; её измеряет трек 1, там же кандидат «ключ и сообщение одним SQL-выражением» (
PLAN.md). -
После 24 ч повтор того же тела с тем же ключом создаст новое сообщение: контракт гарантирует повтор только в пределах срока.
-
В консоли
X-Instance-Id— имя машины разработчика; для локальной разработки это допустимо,APP__INSTANCE_IDего заменяет.
Балансировщик и реплики:
- Что стенд выдерживает и что нет. Один Docker-host, один HAProxy, одна PostgreSQL, один Valkey. Выдерживается отказ процесса API — любой одной реплики при второй живой. Не выдерживается отказ хоста, LB и PostgreSQL: это единые точки отказа, устойчивость к ним не заявляется. Отказ Valkey — деградация до Postgres, не отказ.
- 8 слотов
server-template. Девятую реплику LB не увидит; 8 — максимум серий трека 1. Число меняется вhaproxy.cfg. - Граница пула Postgres. С пулом 10 + 5 на реплику при 7 репликах
соединений больше
max_connections(106 > 100). Гипотеза 3 трека 1. timeout check3 с, а не 1 с, как в плане. Проверка не должна обрываться раньше таймаута готовности внутри API (2 с). Худшее обнаружение зависшей реплики — около 5 с вместо 3 с; остановленную или убитую LB исключает раньше (отказ соединения илиtimeout connect500 мс). Пересмотр вместе с таймаутом готовности и замер — changegraceful-failover.- Оборванный ответ при
kill. Запросы в полёте на убитой реплике получают 502 от LB, LB их не повторяет (они уже дошли). Отправку сообщения клиент повторяет с тем же ключом; другиеPOST— на усмотрение клиента, прозрачных повторов контракт не допускает. - Выбор реплики в
make test-failover. Тест останавливает реплику, ответившую на его первую отправку; число запросов до неё постоянно, и при round-robin по двум репликам послеmake replicasтест снова выбирает ту же. Для второй реплики очередь сдвигается одним запросом до теста (evidence/failover/test-failover.md). - Argon2id под лимитом 1 CPU. Вход и регистрация на реплике с
лимитом 1 CPU медленнее, чем без лимита (
p=4делят одну квоту):make test_isolatedзанимает 65 с вместо 21 с. На обязательный путь после входа не влияет; вход в замеры трека 1 не входит.
Ответы на вопросы защиты
Чем отказ процесса отличается от отказа узла? Отказ процесса —
остановлена или убита одна реплика API, а хост, сеть, LB и хранилища
живы. Его стенд переживает: LB исключает реплику по проверке или по
отказу соединения, вторая реплика обслуживает те же сессии из
Postgres (evidence/failover/). Отказ узла — пропал весь хост: вместе
с ним LB, Postgres, Valkey и все реплики. На одном хосте его не
пережить, это трек 2, который мы не выбрали; здесь он честно назван
единой точкой отказа.
Почему depends_on и healthcheck сами по себе не являются
балансировщиком? depends_on лишь упорядочивает старт контейнеров
(postgres → migrate → api), а healthcheck только меняет статус
контейнера на unhealthy: Docker Compose не перестаёт слать ему
запросы и не распределяет их. Распределять некому: без LB клиент
ходит на один опубликованный порт одного контейнера. Нужен отдельный
процесс, который принимает соединения, выбирает готовую реплику,
исключает неготовую по своей проверке и повторяет недошедший запрос —
здесь это HAProxy с проверкой /health/ready раз в секунду.
Healthcheck контейнера остаётся для make replicas --wait и
docker compose ps.
Какие POST можно повторять после timeout и что защищает
Idempotency-Key? После таймаута клиент не знает, выполнен ли
запрос. Безопасно повторять только POST /api/v1/chats/{chat_id}/messages с тем же ключом и телом: ключ и
сообщение пишутся одной транзакцией, повтор через любую реплику вернёт
тот же 201 и то же Message, другое тело — 409, одновременные повторы
дают одно сообщение. Регистрация, создание чата и вход ключа не имеют:
повтор создаст второго пользователя (или 409), второй чат, вторую
сессию. Поэтому и LB повторяет запрос сам только при отказе
соединения, когда запрос до реплики точно не дошёл (retry-on conn-failure), а не по таймауту или обрыву ответа
(evidence/failover/test-failover-kill.md).
Что сломается при увеличении числа API, если сессии находятся в
локальной памяти? Токен, выданный одной репликой, другая не знает:
round-robin отправит следующий запрос на другую реплику — 401, хотя
пользователь вошёл. Logout отзовёт сессию только на одной реплике, и
токен продолжит работать на остальных. Рестарт или отказ реплики
стирает её сессии, make test-persistence и make test-failover
упали бы. Sticky session это лишь маскирует и запрещена заданием.
Поэтому сессии в Postgres (общие для реплик, переживают рестарт), как
и ключи идемпотентности; в памяти процесса нет ничего, от чего зависит
корректность (раздел «Балансировщик и реплики»).