forked from mtusi2026/mtusi2026lab3
18 KiB
18 KiB
Шпаргалка к защите ЛР 3
Отчёт с доказательствами — REPORT.md, команды на ноутбуке — WINDOWS.md, модель данных — DATA_MODEL.md.
Что изменилось по сравнению с lab2
| Было в lab2 | Стало в lab3 | Где |
|---|---|---|
один контейнер api, порт 8080 наружу |
сервис api × N (deploy.replicas, без ports и container_name), вход только через HAProxy |
compose.yaml, haproxy.cfg |
| — | X-Instance-Id = hostname контейнера (короткий container ID) на каждом ответе, включая 500/503 |
RequestContextMiddleware в app.py |
| POST сообщения без ключа | Idempotency-Key обязателен; ключ, сообщение и результат — одна транзакция |
repo.py, 0002, 0003 |
| SIGTERM → сразу закрыть сокет | SIGTERM → readiness 503 и 3 с drain (запросы ещё обслуживаются) → graceful stop | __main__.py |
миграции — сервис migrate |
так же один раз до старта реплик; реплики сами не мигрируют | migrate в compose.yaml |
| одна сеть | edge (lb↔api) и internal data (api/migrate↔postgres/valkey) |
compose.yaml |
| дедлайн БД отменял задачу psycopg | задача не отменяется (cancel в libpq блокировал event loop), мёртвые сокеты рвёт tcp_user_timeout |
db.py |
Осталось из lab2: сессии только в Valkey (AOF always), Argon2id, cursor с привязкой к ресурсу, строгая валидация, bytea для текста с U+0000, дедлайны БД/Valkey, 503 вместо 401 при отказе хранилищ.
Схема
клиент ──127.0.0.1:8080──▶ HAProxy (lb) ──edge──▶ api-1, api-2 … (Starlette/uvicorn, без состояния)
│ check GET /health/ready каждую 1 с │
│ fall 2 / rise 2, Docker DNS каждые 1 с └──data──▶ PostgreSQL 18 (источник истины)
└─ свои 502/503/504 в формате ошибки контракта Valkey 8 (сессии, AOF always)
Путь POST /chats/{id}/messages с Idempotency-Key
- HAProxy: ставит
X-Request-Id(если у клиента нет валидного), выбирает следующуюUP-реплику (roundrobin). - API:
parse_bearer→ Valkeysession:<sha256>(общий для всех реплик) → 401/503. - UUID чата → 400. Посторонний → 404 всегда, даже при повторе чужого ключа (членство проверяется до ключа).
- Ключ
[A-Za-z0-9._:-]{1,128}и ровно один заголовок → иначе 400. Тело: строгий JSON (дубли ключей, лишние поля — 400),attachment_ids: []= отсутствие поля. - Отпечаток тела = SHA-256 канонического JSON (
sort_keys,attachment_idsпо умолчанию[]). - Запись — одна транзакция (функция
post_message, миграция 0003, или прежний многооператорный путьMESSAGE_WRITE_PATH=multi):INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE ключ старше 24 ч;- вставили ключ →
UPDATE chats(часы чата под блокировкой строки) →INSERT messages→created; - не вставили → ключ уже есть: тот же отпечаток → тот же Message, 201 (
replayed), другой → 409.
- Конкурентный повтор с тем же ключом через другую реплику ждёт на уникальном индексе, пока первая транзакция не завершится: после COMMIT он видит результат, после ROLLBACK вставляет сам. Отдельного «pending»-состояния нет, поэтому сбой не оставляет «висящий» ключ (это был главный блокер у других).
Вопросы из README
Чем отказ процесса отличается от отказа узла?
- Процесс (у нас — API-реплика): остальные процессы, сеть, диск и Docker живы. Его можно перезапустить рядом, а LB перестаёт слать на него запросы: соединение отклонено → HAProxy сразу повторяет на другой (
retry-on conn-failure+redispatch), readiness не отвечает → через ≈ 1,5–3,5 сDOWN. Данные в PostgreSQL/Valkey не страдают. - Узел (хост/VM): пропадает всё, что на нём: все реплики, LB, БД, volumes и сам Docker. Пережить это можно только если копии каждого нужного компонента живут на других узлах: реплики API, второй LB (VIP/DNS), реплицированная БД с переключением, хранилище не на этом диске.
- У нас один Docker-host: стенд выдерживает отказ одной API-реплики (доказано
make test-failoverи серией в REPORT), но не отказ узла. LB, PostgreSQL и Valkey — единичные точки отказа (SPOF), это записано в ограничениях.
Почему depends_on/healthcheck сами по себе не являются балансировщиком?
depends_onдействует только при старте: в каком порядке запускать и чего ждать. После запуска он ничего не делает.healthcheckDocker только помечает контейнерunhealthy. Трафик он не перенаправляет и контейнер не перезапускает (в Compose без Swarm). Пометка появляется черезinterval × retries.- Распределение запросов, исключение неготовой реплики и повтор на другую — работа LB. У нас HAProxy сам опрашивает
/health/readyкаждую секунду и не шлёт бизнес-запросы реплике, которая жива (/health/live200), но не готова (нет БД или Valkey, идёт drain). Проверено тестом: у одной реплики отнят PostgreSQL (pg_hba reject) или вся сетьdata(docker network disconnect) — через 3–4 с ни одного запроса к ней, вторая обслуживает всё (test_lb_stops_routing_to_a_replica_that_is_alive_but_not_ready). Резервных серверов «без проверки» нет.
Какие POST можно повторять после timeout и что защищает Idempotency-Key?
- Timeout = неизвестный исход: запрос мог не дойти, мог выполниться без ответа, мог выполниться и ответ потерялся.
- Повторять без вреда можно то, что идемпотентно: отправку сообщения с тем же ключом и тем же телом. Сервер вернёт исходный 201 и тот же Message, дубля не будет. Это проверено и для повтора через другую реплику, и для 24 одновременных повторов, и для случая, когда клиент сдался через 0,4 с, а сервер закоммитил позже.
- Регистрацию, создание чата, вход повторять «прозрачно» нельзя: без ключа сервер не отличит повтор от нового запроса (второй чат,
409на username). Поэтому HAProxy повторяет только запросы, которые не были отправлены на реплику (retry-on conn-failure); всё, что могло дойти до API, повторяет клиент сам и осознанно. - Ключ защищает от дубля при повторе, но не от другого тела с тем же ключом (409), не от чужого пользователя (у каждого своя область ключей) и не делает запрос «успешным»: временная 5xx не сохраняется как результат, повтор может снова получить 503.
- Область ключа: пользователь + метод + путь чата + ключ; результат хранится ≥ 24 ч (
IDEMPOTENCY_TTL_SECONDS, меньше 86 400 нельзя).
Что сломается при увеличении числа API, если сессии находятся в локальной памяти?
- Вход на реплике A, следующий запрос на B → B сессии не знает → 401: пользователь «разлогинивается» через раз (у нас запросы одного токена идут по очереди на все реплики, это проверяет тест).
- Logout на A не отзывает токен на B → отозванный токен продолжает работать (нарушение контракта и безопасности).
- Рестарт или rolling update реплики теряет все её сессии.
- Попытка «починить» это sticky-сессиями маскирует проблему: при отказе реплики её пользователи всё равно теряют сессии, а нагрузка распределяется неравномерно. README это запрещает.
- То же касается любой локальной корректностно-важной памяти: кэш истории без инвалидации, локальная идемпотентность (две реплики вставили бы два сообщения), локальные счётчики. У нас в процессе API нет ничего, кроме пула соединений.
Частые ловушки (на чём преподаватель ловил других) и наш ответ
| Проверка преподавателя | У нас | Тест |
|---|---|---|
| после сбоя ключ остаётся «pending», повтор висит/504/409 | ключ и сообщение в одной транзакции, сбой после первого INSERT → нет ни ключа, ни сообщения, повтор → 201 | test_failure_after_the_key_insert_rolls_everything_back |
| одновременные повторы: 19×201 + 1×409 | 24 запроса через ≥ 2 реплики → 24×201, одно тело, одна строка в БД; три раунда | test_concurrent_same_key_through_different_replicas_creates_exactly_one |
| посторонний: 404, потом 409 | членство проверяется до ключа: всегда 404 | test_outsider_and_revoked_session_never_see_the_stored_result |
X-Instance-Id: unknown / нет на 500 и 413 |
hostname контейнера, middleware на всех ответах | test_every_api_response_carries_instance_and_request_id, Api.call проверяет на каждом ответе |
| LB шлёт запросы неготовой реплике (pg отнят, сеть отключена, пул забит) | активная проверка /health/ready, без backup-слотов |
test_lb_stops_routing_…[pg_hba/network] |
| после общего restart LB видит одну реплику | HAProxy re-resolve Docker DNS каждую 1 с | test_full_restart_lb_rediscovers_all_replicas |
| «rolling update» останавливает обе API | +1 новая реплика (healthy и UP), затем graceful stop старой | bench/rolling_under_load.py: 0 ошибок |
| миграции в каждой API | только сервис migrate, API логов миграции нет |
test_migrations_ran_once_by_the_migrate_service |
| нет лимитов у LB/migrate/PG/Redis | лимиты у всех 5 сервисов, проверка и config, и реальных контейнеров | test_compose_policy_…, test_running_containers_… |
cursor с [], {}, числом, null, пустой, пробел → 500/200 |
400 на обоих списках | test_malformed_cursor_values_are_400_on_both_lists |
attachment_ids: [] при повторе → 400 |
равно отсутствию поля, тот же 201 | test_key_order_and_missing_attachment_ids_are_the_same_body |
{"text":"a","TEXT":"b"}, байт FF, Bearer é, UUID в разном регистре, тело при входе |
400 / 400 / 401 / 400 / 400 | test_api.py, раздел lab 3 |
Обнаружение отказа: периоды и максимумы
| Что | Настройка | Максимум |
|---|---|---|
| проверка HAProxy | inter 1s, fastinter 500ms, fall 2, rise 2, timeout check 1s |
— |
| реплика сразу отвечает 503 на ready (drain после SIGTERM) | 1 с до проверки + 0,5 с (fastinter), ответ мгновенный |
≈ 1,5 с (измерено ≈ 1,2–1,3 с) |
| ready отвечает медленно: отнят PostgreSQL или Valkey | ответ занимает ≈ 1 с = timeout check, поэтому как у замороженной: 1 + 1 + 0,5 + 1 |
≈ 3,5 с (измерено 3,2–4,1 с, включая опрос ≈ 0,1–0,5 с) |
| процесс убит (SIGKILL) / порт закрыт | следующий запрос получает отказ соединения → повтор на другую реплику в HAProxy | новые запросы — сразу; рвутся только запросы «в полёте» (3 запроса за ≤ 0,25 с в серии) |
процесс заморожен (docker pause) |
соединения висят до timeout check |
≈ 3,5 с до DOWN; запросы, попавшие на него раньше, ждут клиентский таймаут |
| DNS: новая/пропавшая реплика | hold valid 1s |
≈ 1–2 с |
| graceful stop | readiness 503 сразу, 3 с drain, ≤ 8 с на запросы «в полёте», stop_grace_period 15 с |
0 ошибок (серия, тесты) |
Трек 1 — коротко
Числа и графики — в REPORT.md и evidence/track1/summary.md.
- Методика. k6 в отдельном контейнере в сети
edge(как внешний клиент, без проброса портов Windows), open-loopconstant-arrival-rate, только201считаются успехом,dropped_iterations— неудовлетворённый спрос. Ступени нагрузки, прогрев 10 с + замер 20 с. На каждую конфигурацию и повтор — свежий стенд с пустой БД, образ API собирается из конкретного коммита. CPU закрепленыcpuset: k6 0–1, LB+Valkey 2, PostgreSQL 3–4, API 5–7. Три повтора. - Фиксированный суммарный CPU (2,0): 1 × 2,0 упирается в одно ядро — один процесс Python исполняет байткод одним потоком (GIL), второе ядро почти простаивает. 2 × 1,0 и 4 × 0,5 используют весь бюджет; дальнейшее дробление не добавляет производительности, только накладные расходы.
- Рост ресурсов: реплики помогают, пока не упрёмся в общий ресурс. С БД 0,5 CPU потолок перестаёт расти после 2 реплик — CPU PostgreSQL у предела; добавление CPU БД поднимает потолок, значит, узкое место — БД. LB при этом занят на десятки процентов одного ядра.
- Где тратится CPU API: py-spy показал ~57 % времени реплики в драйвере psycopg — накладные расходы на каждый оператор (около 11 обращений к БД на одно сообщение).
- Улучшение: вся идемпотентная запись — один вызов SQL-функции
post_message(миграция 0003) в autocommit. Семантика та же (те же тесты проходят в обоих режимах), A/B на одном образе черезMESSAGE_WRITE_PATH=multi|function.