Files
mtusi2026lab3/docs/DEFENSE.md
T

105 lines
18 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Шпаргалка к защите ЛР 3
Отчёт с доказательствами — [REPORT.md](../REPORT.md), команды на ноутбуке — [WINDOWS.md](WINDOWS.md), модель данных — [DATA_MODEL.md](DATA_MODEL.md).
## Что изменилось по сравнению с lab2
| Было в lab2 | Стало в lab3 | Где |
| --- | --- | --- |
| один контейнер `api`, порт 8080 наружу | сервис `api` × N (`deploy.replicas`, без `ports` и `container_name`), вход только через HAProxy | [compose.yaml](../compose.yaml), [haproxy.cfg](../infra/haproxy/haproxy.cfg) |
| — | `X-Instance-Id` = hostname контейнера (короткий container ID) на **каждом** ответе, включая 500/503 | `RequestContextMiddleware` в [app.py](../src/messenger/app.py) |
| POST сообщения без ключа | `Idempotency-Key` обязателен; ключ, сообщение и результат — одна транзакция | [repo.py](../src/messenger/repo.py), [0002](../migrations/0002_idempotency_keys.sql), [0003](../migrations/0003_post_message_function.sql) |
| SIGTERM → сразу закрыть сокет | SIGTERM → readiness 503 и 3 с drain (запросы ещё обслуживаются) → graceful stop | [__main__.py](../src/messenger/__main__.py) |
| миграции — сервис `migrate` | так же один раз до старта реплик; реплики сами не мигрируют | `migrate` в compose.yaml |
| одна сеть | `edge` (lb↔api) и internal `data` (api/migrate↔postgres/valkey) | compose.yaml |
| дедлайн БД отменял задачу psycopg | задача не отменяется (cancel в libpq блокировал event loop), мёртвые сокеты рвёт `tcp_user_timeout` | [db.py](../src/messenger/db.py) |
Осталось из lab2: сессии только в Valkey (AOF `always`), Argon2id, cursor с привязкой к ресурсу, строгая валидация, `bytea` для текста с U+0000, дедлайны БД/Valkey, 503 вместо 401 при отказе хранилищ.
## Схема
```
клиент ──127.0.0.1:8080──▶ HAProxy (lb) ──edge──▶ api-1, api-2 … (Starlette/uvicorn, без состояния)
│ check GET /health/ready каждую 1 с │
│ fall 2 / rise 2, Docker DNS каждые 1 с └──data──▶ PostgreSQL 18 (источник истины)
└─ свои 502/503/504 в формате ошибки контракта Valkey 8 (сессии, AOF always)
```
## Путь `POST /chats/{id}/messages` с `Idempotency-Key`
1. HAProxy: ставит `X-Request-Id` (если у клиента нет валидного), выбирает следующую `UP`-реплику (roundrobin).
2. API: `parse_bearer` → Valkey `session:<sha256>` (общий для всех реплик) → 401/503.
3. UUID чата → 400. Посторонний → **404 всегда**, даже при повторе чужого ключа (членство проверяется до ключа).
4. Ключ `[A-Za-z0-9._:-]{1,128}` и ровно один заголовок → иначе 400. Тело: строгий JSON (дубли ключей, лишние поля — 400), `attachment_ids: []` = отсутствие поля.
5. Отпечаток тела = SHA-256 канонического JSON (`sort_keys`, `attachment_ids` по умолчанию `[]`).
6. Запись — **одна транзакция** (функция `post_message`, миграция 0003, или прежний многооператорный путь `MESSAGE_WRITE_PATH=multi`):
- `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE ключ старше 24 ч`;
- вставили ключ → `UPDATE chats` (часы чата под блокировкой строки) → `INSERT messages` → `created`;
- не вставили → ключ уже есть: тот же отпечаток → **тот же Message, 201** (`replayed`), другой → **409**.
7. Конкурентный повтор с тем же ключом через другую реплику ждёт на уникальном индексе, пока первая транзакция не завершится: после COMMIT он видит результат, после ROLLBACK вставляет сам. Отдельного «pending»-состояния нет, поэтому сбой не оставляет «висящий» ключ (это был главный блокер у других).
## Вопросы из README
**Чем отказ процесса отличается от отказа узла?**
- **Процесс** (у нас — API-реплика): остальные процессы, сеть, диск и Docker живы. Его можно перезапустить рядом, а LB перестаёт слать на него запросы: соединение отклонено → HAProxy сразу повторяет на другой (`retry-on conn-failure` + `redispatch`), readiness не отвечает → через ≈ 1,5–3,5 с `DOWN`. Данные в PostgreSQL/Valkey не страдают.
- **Узел** (хост/VM): пропадает всё, что на нём: все реплики, LB, БД, volumes и сам Docker. Пережить это можно только если копии каждого нужного компонента живут на **других** узлах: реплики API, второй LB (VIP/DNS), реплицированная БД с переключением, хранилище не на этом диске.
- У нас один Docker-host: стенд выдерживает отказ **одной API-реплики** (доказано `make test-failover` и серией в REPORT), но не отказ узла. LB, PostgreSQL и Valkey — единичные точки отказа (SPOF), это записано в ограничениях.
**Почему `depends_on`/`healthcheck` сами по себе не являются балансировщиком?**
- `depends_on` действует **только при старте**: в каком порядке запускать и чего ждать. После запуска он ничего не делает.
- `healthcheck` Docker только **помечает** контейнер `unhealthy`. Трафик он не перенаправляет и контейнер не перезапускает (в Compose без Swarm). Пометка появляется через `interval × retries`.
- Распределение запросов, исключение неготовой реплики и повтор на другую — работа LB. У нас HAProxy сам опрашивает `/health/ready` каждую секунду и не шлёт бизнес-запросы реплике, которая жива (`/health/live` 200), но не готова (нет БД или Valkey, идёт drain). Проверено тестом: у одной реплики отнят PostgreSQL (`pg_hba reject`) или вся сеть `data` (`docker network disconnect`) — через 3–4 с ни одного запроса к ней, вторая обслуживает всё (`test_lb_stops_routing_to_a_replica_that_is_alive_but_not_ready`). Резервных серверов «без проверки» нет.
**Какие POST можно повторять после timeout и что защищает `Idempotency-Key`?**
- Timeout = **неизвестный исход**: запрос мог не дойти, мог выполниться без ответа, мог выполниться и ответ потерялся.
- Повторять без вреда можно то, что идемпотентно: **отправку сообщения с тем же ключом и тем же телом**. Сервер вернёт исходный 201 и тот же Message, дубля не будет. Это проверено и для повтора через другую реплику, и для 24 одновременных повторов, и для случая, когда клиент сдался через 0,4 с, а сервер закоммитил позже.
- Регистрацию, создание чата, вход повторять «прозрачно» нельзя: без ключа сервер не отличит повтор от нового запроса (второй чат, `409` на username). Поэтому HAProxy повторяет **только** запросы, которые не были отправлены на реплику (`retry-on conn-failure`); всё, что могло дойти до API, повторяет клиент сам и осознанно.
- Ключ защищает от **дубля при повторе**, но не от другого тела с тем же ключом (409), не от чужого пользователя (у каждого своя область ключей) и не делает запрос «успешным»: временная 5xx не сохраняется как результат, повтор может снова получить 503.
- Область ключа: пользователь + метод + путь чата + ключ; результат хранится ≥ 24 ч (`IDEMPOTENCY_TTL_SECONDS`, меньше 86 400 нельзя).
**Что сломается при увеличении числа API, если сессии находятся в локальной памяти?**
- Вход на реплике A, следующий запрос на B → B сессии не знает → **401**: пользователь «разлогинивается» через раз (у нас запросы одного токена идут по очереди на все реплики, это проверяет тест).
- Logout на A не отзывает токен на B → отозванный токен продолжает работать (нарушение контракта и безопасности).
- Рестарт или rolling update реплики теряет все её сессии.
- Попытка «починить» это sticky-сессиями маскирует проблему: при отказе реплики её пользователи всё равно теряют сессии, а нагрузка распределяется неравномерно. README это запрещает.
- То же касается любой локальной корректностно-важной памяти: кэш истории без инвалидации, локальная идемпотентность (две реплики вставили бы два сообщения), локальные счётчики. У нас в процессе API нет ничего, кроме пула соединений.
## Частые ловушки (на чём преподаватель ловил других) и наш ответ
| Проверка преподавателя | У нас | Тест |
| --- | --- | --- |
| после сбоя ключ остаётся «pending», повтор висит/504/409 | ключ и сообщение в одной транзакции, сбой после первого INSERT → нет ни ключа, ни сообщения, повтор → 201 | `test_failure_after_the_key_insert_rolls_everything_back` |
| одновременные повторы: 19×201 + 1×409 | 24 запроса через ≥ 2 реплики → 24×201, одно тело, одна строка в БД; три раунда | `test_concurrent_same_key_through_different_replicas_creates_exactly_one` |
| посторонний: 404, потом 409 | членство проверяется до ключа: всегда 404 | `test_outsider_and_revoked_session_never_see_the_stored_result` |
| `X-Instance-Id: unknown` / нет на 500 и 413 | hostname контейнера, middleware на всех ответах | `test_every_api_response_carries_instance_and_request_id`, `Api.call` проверяет на каждом ответе |
| LB шлёт запросы неготовой реплике (pg отнят, сеть отключена, пул забит) | активная проверка `/health/ready`, без backup-слотов | `test_lb_stops_routing_…[pg_hba/network]` |
| после общего restart LB видит одну реплику | HAProxy re-resolve Docker DNS каждую 1 с | `test_full_restart_lb_rediscovers_all_replicas` |
| «rolling update» останавливает обе API | +1 новая реплика (healthy и UP), затем graceful stop старой | `bench/rolling_under_load.py`: 0 ошибок |
| миграции в каждой API | только сервис `migrate`, API логов миграции нет | `test_migrations_ran_once_by_the_migrate_service` |
| нет лимитов у LB/migrate/PG/Redis | лимиты у всех 5 сервисов, проверка и config, и реальных контейнеров | `test_compose_policy_…`, `test_running_containers_…` |
| cursor с `[]`, `{}`, числом, `null`, пустой, пробел → 500/200 | 400 на обоих списках | `test_malformed_cursor_values_are_400_on_both_lists` |
| `attachment_ids: []` при повторе → 400 | равно отсутствию поля, тот же 201 | `test_key_order_and_missing_attachment_ids_are_the_same_body` |
| `{"text":"a","TEXT":"b"}`, байт FF, `Bearer é`, UUID в разном регистре, тело при входе | 400 / 400 / 401 / 400 / 400 | `test_api.py`, раздел lab 3 |
## Обнаружение отказа: периоды и максимумы
| Что | Настройка | Максимум |
| --- | --- | --- |
| проверка HAProxy | `inter 1s`, `fastinter 500ms`, `fall 2`, `rise 2`, `timeout check 1s` | — |
| реплика сразу отвечает 503 на ready (drain после SIGTERM) | 1 с до проверки + 0,5 с (`fastinter`), ответ мгновенный | ≈ 1,5 с (измерено ≈ 1,2–1,3 с) |
| ready отвечает медленно: отнят PostgreSQL или Valkey | ответ занимает ≈ 1 с = `timeout check`, поэтому как у замороженной: 1 + 1 + 0,5 + 1 | ≈ 3,5 с (измерено 3,2–4,1 с, включая опрос ≈ 0,1–0,5 с) |
| процесс убит (SIGKILL) / порт закрыт | следующий запрос получает отказ соединения → повтор на другую реплику в HAProxy | новые запросы — сразу; рвутся только запросы «в полёте» (3 запроса за ≤ 0,25 с в серии) |
| процесс заморожен (`docker pause`) | соединения висят до `timeout check` | ≈ 3,5 с до `DOWN`; запросы, попавшие на него раньше, ждут клиентский таймаут |
| DNS: новая/пропавшая реплика | `hold valid 1s` | ≈ 1–2 с |
| graceful stop | readiness 503 сразу, 3 с drain, ≤ 8 с на запросы «в полёте», `stop_grace_period` 15 с | 0 ошибок (серия, тесты) |
## Трек 1 — коротко
Числа и графики — в REPORT.md и [evidence/track1/summary.md](../evidence/track1/summary.md).
- **Методика.** k6 в отдельном контейнере в сети `edge` (как внешний клиент, без проброса портов Windows), open-loop `constant-arrival-rate`, только `201` считаются успехом, `dropped_iterations` — неудовлетворённый спрос. Ступени нагрузки, прогрев 10 с + замер 20 с. На каждую конфигурацию и повтор — **свежий стенд** с пустой БД, образ API собирается из конкретного коммита. CPU закреплены `cpuset`: k6 0–1, LB+Valkey 2, PostgreSQL 3–4, API 5–7. Три повтора.
- **Фиксированный суммарный CPU (2,0):** 1 × 2,0 упирается в одно ядро — один процесс Python исполняет байткод одним потоком (GIL), второе ядро почти простаивает. 2 × 1,0 и 4 × 0,5 используют весь бюджет; дальнейшее дробление не добавляет производительности, только накладные расходы.
- **Рост ресурсов:** реплики помогают, пока не упрёмся в общий ресурс. С БД 0,5 CPU потолок перестаёт расти после 2 реплик — CPU PostgreSQL у предела; добавление CPU БД поднимает потолок, значит, узкое место — БД. LB при этом занят на десятки процентов одного ядра.
- **Где тратится CPU API:** py-spy показал ~57 % времени реплики в драйвере psycopg — накладные расходы на каждый оператор (около 11 обращений к БД на одно сообщение).
- **Улучшение:** вся идемпотентная запись — один вызов SQL-функции `post_message` (миграция 0003) в autocommit. Семантика та же (те же тесты проходят в обоих режимах), A/B на одном образе через `MESSAGE_WRITE_PATH=multi|function`.