forked from mtusi2026/mtusi2026lab3
105 lines
18 KiB
Markdown
105 lines
18 KiB
Markdown
# Шпаргалка к защите ЛР 3
|
||
|
||
Отчёт с доказательствами — [REPORT.md](../REPORT.md), команды на ноутбуке — [WINDOWS.md](WINDOWS.md), модель данных — [DATA_MODEL.md](DATA_MODEL.md).
|
||
|
||
## Что изменилось по сравнению с lab2
|
||
|
||
| Было в lab2 | Стало в lab3 | Где |
|
||
| --- | --- | --- |
|
||
| один контейнер `api`, порт 8080 наружу | сервис `api` × N (`deploy.replicas`, без `ports` и `container_name`), вход только через HAProxy | [compose.yaml](../compose.yaml), [haproxy.cfg](../infra/haproxy/haproxy.cfg) |
|
||
| — | `X-Instance-Id` = hostname контейнера (короткий container ID) на **каждом** ответе, включая 500/503 | `RequestContextMiddleware` в [app.py](../src/messenger/app.py) |
|
||
| POST сообщения без ключа | `Idempotency-Key` обязателен; ключ, сообщение и результат — одна транзакция | [repo.py](../src/messenger/repo.py), [0002](../migrations/0002_idempotency_keys.sql), [0003](../migrations/0003_post_message_function.sql) |
|
||
| SIGTERM → сразу закрыть сокет | SIGTERM → readiness 503 и 3 с drain (запросы ещё обслуживаются) → graceful stop | [__main__.py](../src/messenger/__main__.py) |
|
||
| миграции — сервис `migrate` | так же один раз до старта реплик; реплики сами не мигрируют | `migrate` в compose.yaml |
|
||
| одна сеть | `edge` (lb↔api) и internal `data` (api/migrate↔postgres/valkey) | compose.yaml |
|
||
| дедлайн БД отменял задачу psycopg | задача не отменяется (cancel в libpq блокировал event loop), мёртвые сокеты рвёт `tcp_user_timeout` | [db.py](../src/messenger/db.py) |
|
||
|
||
Осталось из lab2: сессии только в Valkey (AOF `always`), Argon2id, cursor с привязкой к ресурсу, строгая валидация, `bytea` для текста с U+0000, дедлайны БД/Valkey, 503 вместо 401 при отказе хранилищ.
|
||
|
||
## Схема
|
||
|
||
```
|
||
клиент ──127.0.0.1:8080──▶ HAProxy (lb) ──edge──▶ api-1, api-2 … (Starlette/uvicorn, без состояния)
|
||
│ check GET /health/ready каждую 1 с │
|
||
│ fall 2 / rise 2, Docker DNS каждые 1 с └──data──▶ PostgreSQL 18 (источник истины)
|
||
└─ свои 502/503/504 в формате ошибки контракта Valkey 8 (сессии, AOF always)
|
||
```
|
||
|
||
## Путь `POST /chats/{id}/messages` с `Idempotency-Key`
|
||
|
||
1. HAProxy: ставит `X-Request-Id` (если у клиента нет валидного), выбирает следующую `UP`-реплику (roundrobin).
|
||
2. API: `parse_bearer` → Valkey `session:<sha256>` (общий для всех реплик) → 401/503.
|
||
3. UUID чата → 400. Посторонний → **404 всегда**, даже при повторе чужого ключа (членство проверяется до ключа).
|
||
4. Ключ `[A-Za-z0-9._:-]{1,128}` и ровно один заголовок → иначе 400. Тело: строгий JSON (дубли ключей, лишние поля — 400), `attachment_ids: []` = отсутствие поля.
|
||
5. Отпечаток тела = SHA-256 канонического JSON (`sort_keys`, `attachment_ids` по умолчанию `[]`).
|
||
6. Запись — **одна транзакция** (функция `post_message`, миграция 0003, или прежний многооператорный путь `MESSAGE_WRITE_PATH=multi`):
|
||
- `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE ключ старше 24 ч`;
|
||
- вставили ключ → `UPDATE chats` (часы чата под блокировкой строки) → `INSERT messages` → `created`;
|
||
- не вставили → ключ уже есть: тот же отпечаток → **тот же Message, 201** (`replayed`), другой → **409**.
|
||
7. Конкурентный повтор с тем же ключом через другую реплику ждёт на уникальном индексе, пока первая транзакция не завершится: после COMMIT он видит результат, после ROLLBACK вставляет сам. Отдельного «pending»-состояния нет, поэтому сбой не оставляет «висящий» ключ (это был главный блокер у других).
|
||
|
||
## Вопросы из README
|
||
|
||
**Чем отказ процесса отличается от отказа узла?**
|
||
- **Процесс** (у нас — API-реплика): остальные процессы, сеть, диск и Docker живы. Его можно перезапустить рядом, а LB перестаёт слать на него запросы: соединение отклонено → HAProxy сразу повторяет на другой (`retry-on conn-failure` + `redispatch`), readiness не отвечает → через ≈ 1,5–3,5 с `DOWN`. Данные в PostgreSQL/Valkey не страдают.
|
||
- **Узел** (хост/VM): пропадает всё, что на нём: все реплики, LB, БД, volumes и сам Docker. Пережить это можно только если копии каждого нужного компонента живут на **других** узлах: реплики API, второй LB (VIP/DNS), реплицированная БД с переключением, хранилище не на этом диске.
|
||
- У нас один Docker-host: стенд выдерживает отказ **одной API-реплики** (доказано `make test-failover` и серией в REPORT), но не отказ узла. LB, PostgreSQL и Valkey — единичные точки отказа (SPOF), это записано в ограничениях.
|
||
|
||
**Почему `depends_on`/`healthcheck` сами по себе не являются балансировщиком?**
|
||
- `depends_on` действует **только при старте**: в каком порядке запускать и чего ждать. После запуска он ничего не делает.
|
||
- `healthcheck` Docker только **помечает** контейнер `unhealthy`. Трафик он не перенаправляет и контейнер не перезапускает (в Compose без Swarm). Пометка появляется через `interval × retries`.
|
||
- Распределение запросов, исключение неготовой реплики и повтор на другую — работа LB. У нас HAProxy сам опрашивает `/health/ready` каждую секунду и не шлёт бизнес-запросы реплике, которая жива (`/health/live` 200), но не готова (нет БД или Valkey, идёт drain). Проверено тестом: у одной реплики отнят PostgreSQL (`pg_hba reject`) или вся сеть `data` (`docker network disconnect`) — через 3–4 с ни одного запроса к ней, вторая обслуживает всё (`test_lb_stops_routing_to_a_replica_that_is_alive_but_not_ready`). Резервных серверов «без проверки» нет.
|
||
|
||
**Какие POST можно повторять после timeout и что защищает `Idempotency-Key`?**
|
||
- Timeout = **неизвестный исход**: запрос мог не дойти, мог выполниться без ответа, мог выполниться и ответ потерялся.
|
||
- Повторять без вреда можно то, что идемпотентно: **отправку сообщения с тем же ключом и тем же телом**. Сервер вернёт исходный 201 и тот же Message, дубля не будет. Это проверено и для повтора через другую реплику, и для 24 одновременных повторов, и для случая, когда клиент сдался через 0,4 с, а сервер закоммитил позже.
|
||
- Регистрацию, создание чата, вход повторять «прозрачно» нельзя: без ключа сервер не отличит повтор от нового запроса (второй чат, `409` на username). Поэтому HAProxy повторяет **только** запросы, которые не были отправлены на реплику (`retry-on conn-failure`); всё, что могло дойти до API, повторяет клиент сам и осознанно.
|
||
- Ключ защищает от **дубля при повторе**, но не от другого тела с тем же ключом (409), не от чужого пользователя (у каждого своя область ключей) и не делает запрос «успешным»: временная 5xx не сохраняется как результат, повтор может снова получить 503.
|
||
- Область ключа: пользователь + метод + путь чата + ключ; результат хранится ≥ 24 ч (`IDEMPOTENCY_TTL_SECONDS`, меньше 86 400 нельзя).
|
||
|
||
**Что сломается при увеличении числа API, если сессии находятся в локальной памяти?**
|
||
- Вход на реплике A, следующий запрос на B → B сессии не знает → **401**: пользователь «разлогинивается» через раз (у нас запросы одного токена идут по очереди на все реплики, это проверяет тест).
|
||
- Logout на A не отзывает токен на B → отозванный токен продолжает работать (нарушение контракта и безопасности).
|
||
- Рестарт или rolling update реплики теряет все её сессии.
|
||
- Попытка «починить» это sticky-сессиями маскирует проблему: при отказе реплики её пользователи всё равно теряют сессии, а нагрузка распределяется неравномерно. README это запрещает.
|
||
- То же касается любой локальной корректностно-важной памяти: кэш истории без инвалидации, локальная идемпотентность (две реплики вставили бы два сообщения), локальные счётчики. У нас в процессе API нет ничего, кроме пула соединений.
|
||
|
||
## Частые ловушки (на чём преподаватель ловил других) и наш ответ
|
||
|
||
| Проверка преподавателя | У нас | Тест |
|
||
| --- | --- | --- |
|
||
| после сбоя ключ остаётся «pending», повтор висит/504/409 | ключ и сообщение в одной транзакции, сбой после первого INSERT → нет ни ключа, ни сообщения, повтор → 201 | `test_failure_after_the_key_insert_rolls_everything_back` |
|
||
| одновременные повторы: 19×201 + 1×409 | 24 запроса через ≥ 2 реплики → 24×201, одно тело, одна строка в БД; три раунда | `test_concurrent_same_key_through_different_replicas_creates_exactly_one` |
|
||
| посторонний: 404, потом 409 | членство проверяется до ключа: всегда 404 | `test_outsider_and_revoked_session_never_see_the_stored_result` |
|
||
| `X-Instance-Id: unknown` / нет на 500 и 413 | hostname контейнера, middleware на всех ответах | `test_every_api_response_carries_instance_and_request_id`, `Api.call` проверяет на каждом ответе |
|
||
| LB шлёт запросы неготовой реплике (pg отнят, сеть отключена, пул забит) | активная проверка `/health/ready`, без backup-слотов | `test_lb_stops_routing_…[pg_hba/network]` |
|
||
| после общего restart LB видит одну реплику | HAProxy re-resolve Docker DNS каждую 1 с | `test_full_restart_lb_rediscovers_all_replicas` |
|
||
| «rolling update» останавливает обе API | +1 новая реплика (healthy и UP), затем graceful stop старой | `bench/rolling_under_load.py`: 0 ошибок |
|
||
| миграции в каждой API | только сервис `migrate`, API логов миграции нет | `test_migrations_ran_once_by_the_migrate_service` |
|
||
| нет лимитов у LB/migrate/PG/Redis | лимиты у всех 5 сервисов, проверка и config, и реальных контейнеров | `test_compose_policy_…`, `test_running_containers_…` |
|
||
| cursor с `[]`, `{}`, числом, `null`, пустой, пробел → 500/200 | 400 на обоих списках | `test_malformed_cursor_values_are_400_on_both_lists` |
|
||
| `attachment_ids: []` при повторе → 400 | равно отсутствию поля, тот же 201 | `test_key_order_and_missing_attachment_ids_are_the_same_body` |
|
||
| `{"text":"a","TEXT":"b"}`, байт FF, `Bearer é`, UUID в разном регистре, тело при входе | 400 / 400 / 401 / 400 / 400 | `test_api.py`, раздел lab 3 |
|
||
|
||
## Обнаружение отказа: периоды и максимумы
|
||
|
||
| Что | Настройка | Максимум |
|
||
| --- | --- | --- |
|
||
| проверка HAProxy | `inter 1s`, `fastinter 500ms`, `fall 2`, `rise 2`, `timeout check 1s` | — |
|
||
| реплика сразу отвечает 503 на ready (drain после SIGTERM) | 1 с до проверки + 0,5 с (`fastinter`), ответ мгновенный | ≈ 1,5 с (измерено ≈ 1,2–1,3 с) |
|
||
| ready отвечает медленно: отнят PostgreSQL или Valkey | ответ занимает ≈ 1 с = `timeout check`, поэтому как у замороженной: 1 + 1 + 0,5 + 1 | ≈ 3,5 с (измерено 3,2–4,1 с, включая опрос ≈ 0,1–0,5 с) |
|
||
| процесс убит (SIGKILL) / порт закрыт | следующий запрос получает отказ соединения → повтор на другую реплику в HAProxy | новые запросы — сразу; рвутся только запросы «в полёте» (3 запроса за ≤ 0,25 с в серии) |
|
||
| процесс заморожен (`docker pause`) | соединения висят до `timeout check` | ≈ 3,5 с до `DOWN`; запросы, попавшие на него раньше, ждут клиентский таймаут |
|
||
| DNS: новая/пропавшая реплика | `hold valid 1s` | ≈ 1–2 с |
|
||
| graceful stop | readiness 503 сразу, 3 с drain, ≤ 8 с на запросы «в полёте», `stop_grace_period` 15 с | 0 ошибок (серия, тесты) |
|
||
|
||
## Трек 1 — коротко
|
||
|
||
Числа и графики — в REPORT.md и [evidence/track1/summary.md](../evidence/track1/summary.md).
|
||
|
||
- **Методика.** k6 в отдельном контейнере в сети `edge` (как внешний клиент, без проброса портов Windows), open-loop `constant-arrival-rate`, только `201` считаются успехом, `dropped_iterations` — неудовлетворённый спрос. Ступени нагрузки, прогрев 10 с + замер 20 с. На каждую конфигурацию и повтор — **свежий стенд** с пустой БД, образ API собирается из конкретного коммита. CPU закреплены `cpuset`: k6 0–1, LB+Valkey 2, PostgreSQL 3–4, API 5–7. Три повтора.
|
||
- **Фиксированный суммарный CPU (2,0):** 1 × 2,0 упирается в одно ядро — один процесс Python исполняет байткод одним потоком (GIL), второе ядро почти простаивает. 2 × 1,0 и 4 × 0,5 используют весь бюджет; дальнейшее дробление не добавляет производительности, только накладные расходы.
|
||
- **Рост ресурсов:** реплики помогают, пока не упрёмся в общий ресурс. С БД 0,5 CPU потолок перестаёт расти после 2 реплик — CPU PostgreSQL у предела; добавление CPU БД поднимает потолок, значит, узкое место — БД. LB при этом занят на десятки процентов одного ядра.
|
||
- **Где тратится CPU API:** py-spy показал ~57 % времени реплики в драйвере psycopg — накладные расходы на каждый оператор (около 11 обращений к БД на одно сообщение).
|
||
- **Улучшение:** вся идемпотентная запись — один вызов SQL-функции `post_message` (миграция 0003) в autocommit. Семантика та же (те же тесты проходят в обоих режимах), A/B на одном образе через `MESSAGE_WRITE_PATH=multi|function`.
|