Files
mtusi2026lab3/docs/DEFENSE.md
T

18 KiB
Raw Blame History

Шпаргалка к защите ЛР 3

Отчёт с доказательствами — REPORT.md, команды на ноутбуке — WINDOWS.md, модель данных — DATA_MODEL.md.

Что изменилось по сравнению с lab2

Было в lab2 Стало в lab3 Где
один контейнер api, порт 8080 наружу сервис api × N (deploy.replicas, без ports и container_name), вход только через HAProxy compose.yaml, haproxy.cfg
— X-Instance-Id = hostname контейнера (короткий container ID) на каждом ответе, включая 500/503 RequestContextMiddleware в app.py
POST сообщения без ключа Idempotency-Key обязателен; ключ, сообщение и результат — одна транзакция repo.py, 0002, 0003
SIGTERM → сразу закрыть сокет SIGTERM → readiness 503 и 3 с drain (запросы ещё обслуживаются) → graceful stop __main__.py
миграции — сервис migrate так же один раз до старта реплик; реплики сами не мигрируют migrate в compose.yaml
одна сеть edge (lb↔api) и internal data (api/migrate↔postgres/valkey) compose.yaml
дедлайн БД отменял задачу psycopg задача не отменяется (cancel в libpq блокировал event loop), мёртвые сокеты рвёт tcp_user_timeout db.py

Осталось из lab2: сессии только в Valkey (AOF always), Argon2id, cursor с привязкой к ресурсу, строгая валидация, bytea для текста с U+0000, дедлайны БД/Valkey, 503 вместо 401 при отказе хранилищ.

Схема

клиент ──127.0.0.1:8080──▶ HAProxy (lb) ──edge──▶ api-1, api-2 … (Starlette/uvicorn, без состояния)
                              │  check GET /health/ready каждую 1 с        │
                              │  fall 2 / rise 2, Docker DNS каждые 1 с     └──data──▶ PostgreSQL 18 (источник истины)
                              └─ свои 502/503/504 в формате ошибки контракта         Valkey 8 (сессии, AOF always)

Путь POST /chats/{id}/messages с Idempotency-Key

  1. HAProxy: ставит X-Request-Id (если у клиента нет валидного), выбирает следующую UP-реплику (roundrobin).
  2. API: parse_bearer → Valkey session:<sha256> (общий для всех реплик) → 401/503.
  3. UUID чата → 400. Посторонний → 404 всегда, даже при повторе чужого ключа (членство проверяется до ключа).
  4. Ключ [A-Za-z0-9._:-]{1,128} и ровно один заголовок → иначе 400. Тело: строгий JSON (дубли ключей, лишние поля — 400), attachment_ids: [] = отсутствие поля.
  5. Отпечаток тела = SHA-256 канонического JSON (sort_keys, attachment_ids по умолчанию []).
  6. Запись — одна транзакция (функция post_message, миграция 0003, или прежний многооператорный путь MESSAGE_WRITE_PATH=multi):
    • INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE ключ старше 24 ч;
    • вставили ключ → UPDATE chats (часы чата под блокировкой строки) → INSERT messages → created;
    • не вставили → ключ уже есть: тот же отпечаток → тот же Message, 201 (replayed), другой → 409.
  7. Конкурентный повтор с тем же ключом через другую реплику ждёт на уникальном индексе, пока первая транзакция не завершится: после COMMIT он видит результат, после ROLLBACK вставляет сам. Отдельного «pending»-состояния нет, поэтому сбой не оставляет «висящий» ключ (это был главный блокер у других).

Вопросы из README

Чем отказ процесса отличается от отказа узла?

  • Процесс (у нас — API-реплика): остальные процессы, сеть, диск и Docker живы. Его можно перезапустить рядом, а LB перестаёт слать на него запросы: соединение отклонено → HAProxy сразу повторяет на другой (retry-on conn-failure + redispatch), readiness не отвечает → через ≈ 1,5–3,5 с DOWN. Данные в PostgreSQL/Valkey не страдают.
  • Узел (хост/VM): пропадает всё, что на нём: все реплики, LB, БД, volumes и сам Docker. Пережить это можно только если копии каждого нужного компонента живут на других узлах: реплики API, второй LB (VIP/DNS), реплицированная БД с переключением, хранилище не на этом диске.
  • У нас один Docker-host: стенд выдерживает отказ одной API-реплики (доказано make test-failover и серией в REPORT), но не отказ узла. LB, PostgreSQL и Valkey — единичные точки отказа (SPOF), это записано в ограничениях.

Почему depends_on/healthcheck сами по себе не являются балансировщиком?

  • depends_on действует только при старте: в каком порядке запускать и чего ждать. После запуска он ничего не делает.
  • healthcheck Docker только помечает контейнер unhealthy. Трафик он не перенаправляет и контейнер не перезапускает (в Compose без Swarm). Пометка появляется через interval × retries.
  • Распределение запросов, исключение неготовой реплики и повтор на другую — работа LB. У нас HAProxy сам опрашивает /health/ready каждую секунду и не шлёт бизнес-запросы реплике, которая жива (/health/live 200), но не готова (нет БД или Valkey, идёт drain). Проверено тестом: у одной реплики отнят PostgreSQL (pg_hba reject) или вся сеть data (docker network disconnect) — через 3–4 с ни одного запроса к ней, вторая обслуживает всё (test_lb_stops_routing_to_a_replica_that_is_alive_but_not_ready). Резервных серверов «без проверки» нет.

Какие POST можно повторять после timeout и что защищает Idempotency-Key?

  • Timeout = неизвестный исход: запрос мог не дойти, мог выполниться без ответа, мог выполниться и ответ потерялся.
  • Повторять без вреда можно то, что идемпотентно: отправку сообщения с тем же ключом и тем же телом. Сервер вернёт исходный 201 и тот же Message, дубля не будет. Это проверено и для повтора через другую реплику, и для 24 одновременных повторов, и для случая, когда клиент сдался через 0,4 с, а сервер закоммитил позже.
  • Регистрацию, создание чата, вход повторять «прозрачно» нельзя: без ключа сервер не отличит повтор от нового запроса (второй чат, 409 на username). Поэтому HAProxy повторяет только запросы, которые не были отправлены на реплику (retry-on conn-failure); всё, что могло дойти до API, повторяет клиент сам и осознанно.
  • Ключ защищает от дубля при повторе, но не от другого тела с тем же ключом (409), не от чужого пользователя (у каждого своя область ключей) и не делает запрос «успешным»: временная 5xx не сохраняется как результат, повтор может снова получить 503.
  • Область ключа: пользователь + метод + путь чата + ключ; результат хранится ≥ 24 ч (IDEMPOTENCY_TTL_SECONDS, меньше 86 400 нельзя).

Что сломается при увеличении числа API, если сессии находятся в локальной памяти?

  • Вход на реплике A, следующий запрос на B → B сессии не знает → 401: пользователь «разлогинивается» через раз (у нас запросы одного токена идут по очереди на все реплики, это проверяет тест).
  • Logout на A не отзывает токен на B → отозванный токен продолжает работать (нарушение контракта и безопасности).
  • Рестарт или rolling update реплики теряет все её сессии.
  • Попытка «починить» это sticky-сессиями маскирует проблему: при отказе реплики её пользователи всё равно теряют сессии, а нагрузка распределяется неравномерно. README это запрещает.
  • То же касается любой локальной корректностно-важной памяти: кэш истории без инвалидации, локальная идемпотентность (две реплики вставили бы два сообщения), локальные счётчики. У нас в процессе API нет ничего, кроме пула соединений.

Частые ловушки (на чём преподаватель ловил других) и наш ответ

Проверка преподавателя У нас Тест
после сбоя ключ остаётся «pending», повтор висит/504/409 ключ и сообщение в одной транзакции, сбой после первого INSERT → нет ни ключа, ни сообщения, повтор → 201 test_failure_after_the_key_insert_rolls_everything_back
одновременные повторы: 19×201 + 1×409 24 запроса через ≥ 2 реплики → 24×201, одно тело, одна строка в БД; три раунда test_concurrent_same_key_through_different_replicas_creates_exactly_one
посторонний: 404, потом 409 членство проверяется до ключа: всегда 404 test_outsider_and_revoked_session_never_see_the_stored_result
X-Instance-Id: unknown / нет на 500 и 413 hostname контейнера, middleware на всех ответах test_every_api_response_carries_instance_and_request_id, Api.call проверяет на каждом ответе
LB шлёт запросы неготовой реплике (pg отнят, сеть отключена, пул забит) активная проверка /health/ready, без backup-слотов test_lb_stops_routing_…[pg_hba/network]
после общего restart LB видит одну реплику HAProxy re-resolve Docker DNS каждую 1 с test_full_restart_lb_rediscovers_all_replicas
«rolling update» останавливает обе API +1 новая реплика (healthy и UP), затем graceful stop старой bench/rolling_under_load.py: 0 ошибок
миграции в каждой API только сервис migrate, API логов миграции нет test_migrations_ran_once_by_the_migrate_service
нет лимитов у LB/migrate/PG/Redis лимиты у всех 5 сервисов, проверка и config, и реальных контейнеров test_compose_policy_…, test_running_containers_…
cursor с [], {}, числом, null, пустой, пробел → 500/200 400 на обоих списках test_malformed_cursor_values_are_400_on_both_lists
attachment_ids: [] при повторе → 400 равно отсутствию поля, тот же 201 test_key_order_and_missing_attachment_ids_are_the_same_body
{"text":"a","TEXT":"b"}, байт FF, Bearer é, UUID в разном регистре, тело при входе 400 / 400 / 401 / 400 / 400 test_api.py, раздел lab 3

Обнаружение отказа: периоды и максимумы

Что Настройка Максимум
проверка HAProxy inter 1s, fastinter 500ms, fall 2, rise 2, timeout check 1s —
реплика сразу отвечает 503 на ready (drain после SIGTERM) 1 с до проверки + 0,5 с (fastinter), ответ мгновенный ≈ 1,5 с (измерено ≈ 1,2–1,3 с)
ready отвечает медленно: отнят PostgreSQL или Valkey ответ занимает ≈ 1 с = timeout check, поэтому как у замороженной: 1 + 1 + 0,5 + 1 ≈ 3,5 с (измерено 3,2–4,1 с, включая опрос ≈ 0,1–0,5 с)
процесс убит (SIGKILL) / порт закрыт следующий запрос получает отказ соединения → повтор на другую реплику в HAProxy новые запросы — сразу; рвутся только запросы «в полёте» (3 запроса за ≤ 0,25 с в серии)
процесс заморожен (docker pause) соединения висят до timeout check ≈ 3,5 с до DOWN; запросы, попавшие на него раньше, ждут клиентский таймаут
DNS: новая/пропавшая реплика hold valid 1s ≈ 1–2 с
graceful stop readiness 503 сразу, 3 с drain, ≤ 8 с на запросы «в полёте», stop_grace_period 15 с 0 ошибок (серия, тесты)

Трек 1 — коротко

Числа и графики — в REPORT.md и evidence/track1/summary.md.

  • Методика. k6 в отдельном контейнере в сети edge (как внешний клиент, без проброса портов Windows), open-loop constant-arrival-rate, только 201 считаются успехом, dropped_iterations — неудовлетворённый спрос. Ступени нагрузки, прогрев 10 с + замер 20 с. На каждую конфигурацию и повтор — свежий стенд с пустой БД, образ API собирается из конкретного коммита. CPU закреплены cpuset: k6 0–1, LB+Valkey 2, PostgreSQL 3–4, API 5–7. Три повтора.
  • Фиксированный суммарный CPU (2,0): 1 × 2,0 упирается в одно ядро — один процесс Python исполняет байткод одним потоком (GIL), второе ядро почти простаивает. 2 × 1,0 и 4 × 0,5 используют весь бюджет; дальнейшее дробление не добавляет производительности, только накладные расходы.
  • Рост ресурсов: реплики помогают, пока не упрёмся в общий ресурс. С БД 0,5 CPU потолок перестаёт расти после 2 реплик — CPU PostgreSQL у предела; добавление CPU БД поднимает потолок, значит, узкое место — БД. LB при этом занят на десятки процентов одного ядра.
  • Где тратится CPU API: py-spy показал ~57 % времени реплики в драйвере psycopg — накладные расходы на каждый оператор (около 11 обращений к БД на одно сообщение).
  • Улучшение: вся идемпотентная запись — один вызов SQL-функции post_message (миграция 0003) в autocommit. Семантика та же (те же тесты проходят в обоих режимах), A/B на одном образе через MESSAGE_WRITE_PATH=multi|function.