Files
mtusi2026lab3/REPORT.md
T

42 KiB
Raw Blame History

Лабораторная 3 — Горбанюк, БВТ2301

Целевая оценка: 5, трек 1 «Цена масштабирования». Реализованы требования уровней 3/4 и исследование трека 1. Окончательную оценку выставляет преподаватель. Работа подготовлена локально; fork, push и МР для lab3 пока не выполнялись. Будущий заголовок МР: ЛР 3 — БВТ2301 — Горбанюк — на 5. Ветка: solution/bvt2301-gorbanyuk; проверенная версия отмечается lab3-verified.

Перенесена собственная реализация lab2: HTTP/domain/service/repository, Argon2id, непрозрачные сессии PostgreSQL, необязательный кэш User в Valkey, keyset-пагинация и миграция 001. README, COURSE, CONTRIBUTING, contracts и публичные tests взяты из skeleton именно lab3 и не изменены. фактические результаты приведены в evidence, внешние решения студентов не копировались.

Воспроизведение из отдельного чистого clone

Нужны Git, Docker Engine/Desktop с Compose v2+, Python 3.14.7, uv 0.12.13. Рабочий стенд использует Python/FastAPI/psycopg внутри Docker. Локальные uv и Python нужны для расширенных проверок и исследования; публичным проверкам достаточно Python 3.9+. На Linux/macOS из каталога репозитория:

make bootstrap
uv sync --locked
make check
uv run --locked python scripts/validate_openapi.py
make up
make test

bootstrap создаёт случайный локальный пароль PostgreSQL, файлы в secrets/ и .env из .env.example. Существующие значения не заменяет. Эти файлы игнорируются Git и не копируются в образ. Каталог secrets имеет права 0700, файлы 0644, чтобы Compose bind-mount был читаем процессом UID 10001. Это локальная учебная модель secrets; она не заменяет secret manager или защиту самого Docker-host.

make up собирает закреплённые зависимости, запускает PostgreSQL, отдельный одноразовый migrate, Valkey, две реплики API и HAProxy; --wait ждёт readiness. Адрес клиента: http://127.0.0.1:8083, только синтетические данные. Внешняя демонстрация потребует TLS. База и кэш в обычном compose наружу не публикуются.

Образы: Python 3.14.7 slim-bookworm с digest в Dockerfile, PostgreSQL 18.3, Valkey 8.1.3-alpine, HAProxy 3.2.1-alpine. Python-пакеты с точными версиями и транзитивными hash находятся в uv.lock: FastAPI 0.143.3, Pydantic 2.14.1, Uvicorn 0.54.0, psycopg 3.3.6 / pool 3.3.3, argon2-cffi 25.1.0, redis 8.1.0. Теги инфраструктуры закреплены по версии; фактические image IDs испытанного стенда записаны в evidence/cluster.json. Это не обещание неизменности upstream-тега.

Собственные интеграционные тесты требуют только локальный override с портами БД 55433 и кэша 56380, привязанными к 127.0.0.1. Портов API он не добавляет:

docker compose --env-file .env -f compose.yaml -f compose.test.yaml up -d --build --wait
PYTEST_ADDOPTS=--disable-warnings make test-student
make lint
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# После failover выбранная реплика остаётся остановленной:
docker compose --env-file .env up -d --no-build --wait
make test-persistence ACTION_SCRIPT=scripts/restart.sh

Полная проверка реальных контейнеров (создаёт новые синтетические объекты, проверяет каждую из двух API, затем замену и полный restart) пишет новый файл доказательств:

uv run --locked python scripts/verify_cluster.py --output evidence/cluster-new.json

Она требует стандартные две реплики и сохранённые volumes, самостоятельно восстанавливает их после испытаний. scripts/stop-one.sh обязателен для публичного failover: TARGET_INSTANCE_ID выбирает конкретный процесс, скрипт сопоставляет alias с реальным CID этого Compose-проекта и выполняет stop. Ручной запуск тоже требует TARGET_INSTANCE_ID из заголовка ответа выбранной реплики; без него скрипт откажется.

Обычная остановка сохраняет данные:

make down

Намеренно удалить только учебные данные этой работы (не требуется для проверки):

docker compose --env-file .env down --volumes

Безымянного Docker prune или остановки других проектов скрипты не выполняют. Lab2 и последующие работы имеют отдельные Git-репозитории, project names и volumes.

Архитектура и транзакционные границы

flowchart LR
    C[HTTP client] --> H[HAProxy :8083]
    H --> A1[API process 1]
    H --> A2[API process 2]
    A1 --> P[(PostgreSQL: users, sessions, chats, messages, request results)]
    A2 --> P
    A1 --> V[Valkey: disposable User cache]
    A2 --> V
    M[One migration job] --> P

Использована слоистая архитектура: HTTP-адаптер валидирует контракт, service применяет правила доступа, repository выполняет параметризованный SQL. Domain-модели не зависят от HTTP. Реплики взаимозаменяемы, sticky sessions нет. API не хранит локально авторитетные сессии, ключи повторов или историю сообщений. PostgreSQL — единственный источник истины. При каждом Bearer проверяются серверная сессия и expiry; попадание User в Valkey не отменяет эту проверку. Потеря кэша замедляет чтение, но не отзывает сессии и не выдаёт доступ постороннему.

Keyset-пагинация идёт по (created_at, id) с индексом (chat_id, created_at, id); cursor содержит область чата. Чужой cursor — 400, чужой чат — 404. Межстраничного snapshot нет: конкурентная вставка с ключом позади уже выданного cursor может не попасть в текущий обход. Это разрешённое контрактом ограничение часов.

Новая миграция 002 добавляет message_requests. Полная схема — SCHEMA.md. Migrate использует checksum применённых SQL и общий transaction advisory lock; параллельный запуск job не исполняет одну миграцию дважды. API проверяет наличие 001/002, но самостоятельно DDL не запускает. depends_on упорядочивает старт, а проверки HAProxy управляют текущим маршрутом запросов.

Атомарная идемпотентность

  1. До поиска сохранённого результата проверяются валидность тела, сессия и членство.
  2. Область ключа: user + POST + chat_id/путь сообщений + Idempotency-Key. Заголовок ровно один, ASCII [A-Za-z0-9._:-]{1,128}. Нет/неверный — 400.
  3. SHA-256 считается по каноническому валидированному содержимому, а не сырым байтам JSON. Точный text сохраняется, пробелы внутри него не обрезаются. Внутренняя канонизация учитывает пустые attachment_ids для будущего расширения; внешний OpenAPI lab3 пока принимает только text и запрещает лишние поля.
  4. pg_advisory_xact_lock сериализует запросы одной области между процессами. Hash lock — 64-битный: коллизия только задерживает независимые операции. Точная уникальность проверяется составным PK, body — полным SHA-256.
  5. Тот же валидный body в пределах 24 часов возвращает прежнее неизменяемое Message с кодом 201; другой body — 409. Разные users/chats независимы.
  6. INSERT message и INSERT результата находятся в одной явной транзакции. Ответ появляется после COMMIT. Ошибка между вставками откатывает обе записи; 5xx не сохраняется как окончательный ответ. Если COMMIT прошёл, но HTTP потерян, повтор с тем же ключом читает уже сохранённое сообщение.
  7. TTL считается часами PostgreSQL, минимум 86400 секунд. После expiry ключ можно использовать заново, прежнее Message остаётся. Очистка выполняется при повторном использовании области; общего фонового удаления истёкших ключей пока нет.

Это однократный побочный эффект в заданной области и сроке, а не гарантия однократной доставки HTTP. HAProxy не повторяет POST автоматически (retries 0). Клиент при неопределённом результате повторяет сообщение с исходными ключом и body. Создание чата, регистрация и будущая загрузка файла такой гарантии не получили.

Health, DNS, сигналы и ограничения ресурсов

  • /health/live — жизнь процесса. /health/ready проверяет подключение к критичной PostgreSQL и версии схемы; Valkey не критичен. Все ответы, созданные API, включая 4xx/5xx/health, несут X-Request-Id и случайный X-Instance-Id, стабильный на время процесса. Ошибки, созданные самим LB, могут не иметь alias API.
  • HAProxy round-robin, активная HTTP-проверка readiness: inter 500 ms, fastinter 250 ms, fall 2, rise 1; timeout connect/check 500 ms. Для полностью недоступного процесса ожидаемое исключение занимает примерно 1–2 секунды без перегрузки. Это расчёт бюджета, не жёсткий SLA при зависшем host.
  • Docker DNS 127.0.0.11, server-template 1–8, обновление valid 1 s, obsolete 0 s. После пересоздания контейнера не нужен рестарт LB. Максимум этого конфига — восемь адресов API; исследование использует 1/2/4.
  • HTTP connect 0.5 s, server 8 s, client 10 s, request headers 3 s. На каждую API пул 8 соединений, очередь до 32 ожидающих, ожидание пула 1 s, connect 2 s, SQL statement 2.5 s, lock 1 s, idle-in-transaction 5 s. Ошибки перегрузки/БД преобразуются в ограниченный 503, детали SQL не выдаются.
  • Uvicorn — один worker на контейнер, sync DB/KDF work исполняется в thread pool. SIGTERM прекращает приём и даёт активным запросам до 5 s на завершение. Compose ждёт 7 s; failover hook намеренно ждёт до 5 s, поэтому возможен обрыв медленного запроса — безопасный повтор сообщения покрыт общей идемпотентностью.
  • Обычно каждая API: 1 CPU / 512 MiB; PostgreSQL: 1 CPU / 768 MiB; LB: 0.5 CPU / 128 MiB; Valkey: 0.5 CPU / 128 MiB (maxmemory 64 MiB). Swap сверх memory limit запрещён. API/LB read-only, без capabilities; API UID 10001. Нет container_name и публикации API-портов.
  • Ошибки и access log содержат route template, status, request_id, duration; пароли, Bearer, тела сообщений и Authorization туда не пишутся.

Настройки

Переменная Значение / действие
PUBLIC_PORT 8083: порт HAProxy на loopback
APP_HOST, APP_PORT 0.0.0.0:8080 внутри API; Compose фиксирует внутренний адрес
APP_ENV Compose задаёт lab3, только отметка старта
SESSION_STORE postgres: документирует источник сессий; runtime не переключает backend
SESSION_TTL_SECONDS 3600, проверяется PostgreSQL без продления при рестарте
API_REPLICAS 2; API_CPU=1, API_MEMORY=512m задают лимиты каждой реплики
DATABASE_POOL_SIZE 8, допустимо 1–32
IDEMPOTENCY_TTL_SECONDS 86400, меньше 24 часов запрещено
DATABASE_READ_AUTOCOMMIT 1: одиночные SELECT без отдельных BEGIN/COMMIT; 0: контрольный вариант
DATABASE_URL_FILE, CACHE_URL_FILE Пути /run/secrets/... фиксированы в Compose
POSTGRES_CPU Обычно 1; исследование снижает только в отдельной диагностической серии
API_IMAGE, VCS_REF Локальный тег образа / revision label при сборке

Проверки и доказательства

Сохранённый вывод — результат конкретного запуска, а не автоматическое обещание оценки.

Дополнительно выполнен запуск из отдельного чистого clone коммита 5f69c6d: созданы новые secrets и volume, собран образ с OCI revision этого коммита, снова прошли 48 тестов, публичный smoke и persistence. Хеши runtime внутри образа совпали с manifest исследования и исходниками clone. Временный тестовый стенд и только его новый volume удалены; основной volume lab3 сохранён. Доказательства: clean-clone.txt, clean-clone.json.

Критерий Команда / действие Наблюдение Доказательство
Сохранность skeleton и OpenAPI make check; uv run python scripts/validate_openapi.py Успешная структура и полная валидация схемы contracts.txt
Публичный smoke make test Прошли сценарии обязательного API smoke.txt
Валидация, ACL, сессии, пагинация, cache fallback make test-student 48 тестов на настоящих PostgreSQL/Valkey, отдельная test DB student-tests.txt
Несколько реальных API / единая сессия make verify Два CID/PID и два alias через LB с одним Bearer cluster.json
Общий ключ между процессами make verify 30 конкурентных POST через обе реальные реплики, один Message cluster.json
Конфликт, expiry, rollback make test-student 409 для другого тела; после expiry новый Message; искусственная ошибка между INSERT даёт ноль эффектов и успешный retry test_cluster.py
Остановка любой из двух API make verify / scripts/stop-one.sh Каждая остановлена отдельно, предыдущая восстановлена; чтения и записи продолжаются; подтверждённые сообщения найдены cluster.json
Публичный failover hook make test-failover ACTION_SCRIPT=scripts/stop-one.sh PASS, наблюдались минимум две реплики failover.txt
Restart API/БД/кэша/LB make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS с прежним токеном и сообщениями; StartedAt каждого хранилища изменился persistence.txt, cluster.json
Лимиты и отсутствие обхода LB inspect в make verify PortBindings API пуст, CPU/RAM реально применены cluster.json
Поочерёдная замена под нагрузкой scripts/rolling-update.py внутри make verify Два старых процесса заменены новыми, все подтверждённые записи сохранены cluster.json
Масштабирование 1/2/4 и рост ресурсов make research Три независимых повтора каждой конфигурации, raw/таблицы/графики scaling
Насыщение и подтверждённое улучшение research/run.py + analyze.py См. результаты и границы интерпретации ниже analysis.csv

Workflow .github/workflows/application.yml добавляет сборку, readiness, собственные и публичные проверки отдельным job. Здесь выполнены локальные команды; запуск на удалённом runner не заявляется.

Отказы и поочерёдная замена

Воздействие Успешные RPS Ошибки / попытки p50 / p95 / p99, ms Первый успех после hook, s Подтверждённые записи
Остановка API 1 386.6 93/2049 (4.54%) 9.6/29.4/66.6 1.487 194
Остановка API 2 387.4 133/2123 (6.26%) 9.7/28.5/65.0 1.536 197
Поочерёдная замена 447.6 300/6571 (4.57%) 9.6/49.9/74.3 10.006 624

Для каждой остановки соблюдён бюджет 10 секунд; все подтверждённые сообщения сохранены. Полный restart действительно изменил StartedAt PostgreSQL, Valkey и LB, а публичный сценарий продолжил работать с прежним Bearer. Публичный failover отдельно наблюдал две реплики, сохранил 126 подтверждённых записей; 2 попытки были неуспешны, первый подтверждённый результат после действия — 1.381 s.

Методика verify_cluster.py: 6 клиентов без think time, каждая десятая операция — POST сообщения, остальные GET /users/me. При неопределённом POST повторяется тот же ключ. Запись подтверждённых ID сравнивается с полной историей, уникальность синтетического текста проверяет отсутствие дублей после неясного результата.

В stopped сохранён паспорт выбранного контейнера до stop (поэтому running=true); сразу после hook скрипт отдельно проверяет running=false и отсутствие его alias в хвосте трафика. Повторный start подтверждает возвращение уже нового процесса.

Поле first_success_after_action_seconds — первый успешный ответ после возврата hook, отсчитанный от начала hook. Это консервативный контроль, что к концу воздействия сервис работает; это не длительность сплошного простоя. Другая реплика может отвечать в течение всего hook. Краткие ошибки измеряются, не скрываются retry в счётчиках. Распределение latency в таблице относится к успешным ответам.

Rolling здесь — допустимая заданием последовательная замена контейнеров тем же образом, с ожиданием readiness/наблюдения новых alias между шагами. Это проверка пересоздания процессов и DNS, а не испытание произвольного релиза с новой схемой. Миграция 002 аддитивна, но lab2 API не требует Idempotency-Key: lab2 и lab3 нельзя смешивать за одним LB. Для будущей смены схемы нужна стратегия expand/contract.

Трек 1: методика исследования

Гипотезы: при фиксированных ресурсах больше процессов не обязаны дать больше RPS; при увеличении CPU масштабирование ограничит общий компонент; сокращение лишних сетевых команд для одиночных SELECT повысит полезную производительность.

Исследование запускается в отдельном проекте mtusi-lab3-research, порты 18083/55434/56381, отдельный volume. Основной стенд на время замеров остановлен, volumes сохранены. Нельзя запускать матрицу дважды параллельно в одном project.

make down
# Образ должен быть предварительно собран make image.
make research

make research сохраняет новый опыт в evidence/scaling-new и строит графики. Приложенные результаты этой сдачи лежат отдельно в evidence/scaling. Runner отказывается перезаписывать существующий каталог. Другой каталог:

make research RESEARCH_OUTPUT=evidence/scaling-another

Docker VM: ARM64, 18 CPU, 8 317 267 968 bytes RAM (~7.75 GiB). Это один Mac с Docker Desktop, не независимые физические узлы. Генератор — закреплённый digest k6 v1.3.0+dirty (commit 5870e99ae8-dirty), 2 CPU / 384 MiB, в той же bridge-сети. Реальный image ID API, hash всех runtime-модулей, время серии и последовательность конфигураций — в manifest.json. Данные вымышленные; токен передаётся генератору временным файлом и удаляется, в evidence не сохраняется.

Перед каждым повтором: свежие 3 пользователя/сессия/чат, 10 000 сообщений по 128 символов, очистка только исследовательских таблиц и Valkey, VACUUM ANALYZE, сброс pg_stat_statements. Профиль неизменный: 90% GET истории с limit=50 (первые и глубокие страницы около позиции 9000), 10% POST с новым ключом. OFFSET используется только при подготовке контрольного cursor, не в API.

k6 constant-vus: основной профиль 32 VU, прогрев 5 s, затем 1 s для окончания прогрева, измерение 15 s и до 5 s на завершение начатых запросов. Для успешного RPS знаменатель включает фактическое завершение измерительного сценария, а не только номинальные 15 s. Три повтора каждого случая; порядок перемешан с seed 2301.

  • Fixed: 1/2/4 API с суммой 2 CPU / 1024 MiB: на реплику 2/1/0.5 CPU, 1024/512/256 MiB. БД, LB, Valkey и генератор одинаковы.
  • Growing: по 1 CPU / 512 MiB на API: суммарно 1/2/4 CPU и 512/1024/2048 MiB.
  • Saturation: те же 2 API / 2 CPU, но 8/32/96 VU; точка 32 взята из fixed.
  • Improvement: ровно та же конфигурация 2 API / 2 CPU / 32 VU; меняется только DATABASE_READ_AUTOCOMMIT с 0 на 1. Одиночный SELECT не требует отдельного блока BEGIN/COMMIT; операции записи, в том числе idempotency, остаются атомарны.
  • Database: для тех же 2 API и оптимизации искусственно ограничивается только PostgreSQL: 0.1/0.25/1 CPU. Это контроль чувствительности к насыщению БД, а не утверждение, что обычная БД на 1 CPU уже исчерпана.

Всего 33 опыта. Для каждой серии сохраняются requests/errors, успешные RPS, p50/p95/p99, счётчики реплик, native k6 summary, периодические docker stats (API/PG/LB/Valkey/генератор), нормализованные SQL/calls/time. В конце каждого опыта проверяется: прирост числа Message равен числу результатов ключей и не меньше числа подтверждённых POST, включая прогрев. Измерения CPU по всему периоду генератора, включая прогрев; Docker CPU 100% означает одно ядро, не 100% всей VM. Memory — максимум usage контейнера из docker stats, не process RSS.

Трек 1: результаты и выводы

Серия завершена 2026-10-17T15:52:56.467562+00:00; 154,554 измеренных запросов, 0 ошибок. Прогрев в это число не входит. Runtime соответствует коммиту 534ddd1; hash каждого модуля сохранён в manifest и дополнительно сверяется с образом при проверке чистого clone.

Серия API VU CPU БД RPS: медиана [min; max] p50/p95/p99 ms Ошибки/запросы CPU API / БД, % ядра Max API MiB
database 2 32 0.1 253.7 [241.4; 257.7] 103.6/303.3/451.5 0/11428 104.0/8.9 76.3
database 2 32 0.25 417.4 [415.9; 420.9] 79.5/178.4/252.0 0/18906 145.4/14.2 80.0
fixed 1 32 1 263.4 [253.7; 263.8] 119.7/148.6/166.9 0/11770 129.1/11.2 79.5
fixed 2 32 1 292.4 [277.8; 292.4] 108.7/285.1/364.2 0/13055 140.0/12.9 80.4
fixed 4 32 1 234.2 [213.3; 240.8] 23.5/491.2/694.1 0/10464 129.1/14.4 78.1
growing 1 32 1 167.8 [152.2; 167.9] 182.9/298.7/347.8 0/7362 86.0/7.5 78.8
growing 2 32 1 283.9 [278.8; 287.8] 115.0/293.5/366.2 0/12862 138.3/15.4 81.2
growing 4 32 1 472.9 [466.3; 482.7] 4.4/269.7/376.4 0/21475 222.2/26.7 77.2
improvement 2 32 1 429.5 [417.2; 440.2] 81.8/173.6/223.1 0/19394 148.7/13.0 78.0
saturation 2 8 1 343.6 [342.2; 346.1] 17.8/65.0/89.9 0/15502 132.8/17.2 81.4
saturation 2 96 1 266.6 [263.3; 279.9] 338.2/496.9/573.0 0/12336 176.1/14.2 82.5
  1. Фиксированный бюджет: 1/2/4 API дали 263.4/292.4/234.2 RPS. Четыре процесса на тех же 2 CPU медленнее двух примерно на 20%; p95 увеличился с 285 до 491 ms. Дробление бюджета до 0.5 CPU на процесс и дополнительные переключения/ожидания не компенсировались параллелизмом. Это наблюдение данного профиля; средняя CPU-utilization не доказывает единственную причину задержек.
  2. Растущий бюджет: 1/2/4 CPU дали 167.8/283.9/472.9 RPS: около 2.82× при четырёхкратном CPU. Масштабирование есть, но не линейное. PostgreSQL использовала 7.5/15.4/26.7% одного ядра; заявлять её насыщение в обычной серии оснований нет.
  3. Нагрузка: при 8/32/96 VU — 343.6/292.4/266.6 RPS и p95 65.0/285.1/496.9 ms. Лучший из проверенных уровней — 8 VU, колено деградации находится между 8 и 32. При 96 VU API использует около 88% суммарной CPU-квоты, но RPS падает. Значит, увеличение числа ожидающих клиентов само по себе не ускоряет обработку. Более мелкий поиск глобального максимума не выполнялся; прямой длины очереди pool нет, поэтому насыщение именно pool не утверждается.
  4. Контролируемое насыщение БД: при квоте PostgreSQL 0.1 CPU — 253.7 RPS, загрузка БД около 89.4% её квоты, API около 52% своего бюджета. Только увеличение квоты БД до 0.25 CPU подняло RPS до 417.4 (+64.6%). Диапазоны повторов не пересекаются. Дальнейший рост БД до 1 CPU дал 429.5 RPS; диапазоны 0.25/1 перекрываются. Это причинное подтверждение предела общего хранилища при квоте 0.1 и смены ограничивающего компонента после её увеличения. LB/генератор по sampled CPU также не исчерпали квоты; абсолютная пропускная способность их отдельным тестом не определялась.
  5. Одно подтверждённое улучшение: одиночные SELECT выполняются без отдельных BEGIN/COMMIT, только DATABASE_READ_AUTOCOMMIT=0 → 1; 2 API, 2 CPU, 1 GiB, 32 VU, PostgreSQL 1 CPU и остальной профиль одинаковы. Успешные RPS выросли с 292.4 до 429.5 (+46.9%), p95 снизился с 285.1 до 173.6 ms (−39.1%). Диапазоны RPS: 277.8–292.4 и 417.2–440.2, ошибок нет. pg_stat_statements подтверждает механизм: BEGIN на один HTTP-запрос, включая прогрев, примерно 3.019 → 0.098. Остались транзакции записей; конкурентные повторы и rollback проверены отдельно. Оптимизация включена по умолчанию. Это не отключение транзакционности PostgreSQL.

Полный machine-readable набор: analysis.csv, analysis.json; каждый trial содержит исходный k6 summary, SQL и CPU/RAM samples. Максимум sampled API memory в сериях — 82.5 MiB на контейнер; это не оценка пика Argon2id при одновременной регистрации пользователей.

Графики показывают медианы трёх повторов; полоса — min/max, а не доверительный интервал. p50/p95/p99 — медиана соответствующих перцентилей повторов, не перцентиль объединённой выборки. Неуспешные запросы включены в errors и raw all_latency, а успешные latency вынесены отдельно. Низкий p95 сам по себе не отменяет ошибки.

Масштабирование и ресурсы

Насыщение и оптимизация

Ограничения измерений: короткие локальные серии, общий host, scheduler и фоновые процессы дают шум; closed-loop с фиксированными VU уменьшает входную интенсивность при замедлении сервера (coordinated omission). Это сравнение ограниченного профиля, не проверка production SLO или максимума всех возможных нагрузок. SQL server time не включает сетевые round trips/ожидание на клиенте; sampled CPU не измеряет длину очереди пула. Нельзя по одному графику утверждать, что исчерпан именно pool или RAM.

Ограничения и подготовка к lab4/5

Выдерживается отказ одного API-процесса при доступных LB/PG/host. HAProxy, PostgreSQL, Docker VM и её диск — SPOF. Узел не реплицирован; отказ host или потеря volume не покрывается. Кэш восстанавливаем, PostgreSQL хранит сессии и результаты повторов. Внешних backup/PITR и автоматического переноса БД нет.

Нет общего сборщика expired idempotency rows, rate limit, удалённого TLS, метрик production и CI-результата с другого host. Они не заявляются выполненными. Локальный HTTP допустим только для синтетического изолированного стенда.

Lab4 расширит эту же архитектуру приватным S3 и миграцией метаданных вложений, с проверкой членства и потоковым ограничением bytes/декодирования. Нельзя помещать байты в локальный API disk или менять этот репозиторий при сдаче lab4: он останется самостоятельной проверенной lab3. В lab5 отдельный worker и брокер получат только ID/ссылки; устойчивое staging и намерение обработки должны быть сохранены до 202. Ключи сообщений и сессии уже общие для любых реплик, это не придётся переделывать.

Ответы на вопросы из README

Чем отказ процесса отличается от отказа узла? Процесс — одна API, у остальных на том же host остаются сеть, память и доступ к БД. Узел — VM/сервер: одновременно пропадают все контейнеры и, возможно, доступ к его диску. Две реплики на одном Mac защищают от отказа одного процесса, но не от выключения Mac. Для защиты узла нужны разные failure domains, доступный с другого узла LB, репликация/восстановление хранилищ и проверка реального failover зависимостей.

Почему depends_on/healthcheck не балансировщик? depends_on задаёт порядок создания и условия старта; healthcheck выставляет состояние контейнера. Они не принимают клиентские запросы, не выбирают backend и сами не переносят уже открытый TCP. Это делает HAProxy: одна точка входа, round-robin, активное исключение backend, повторное включение после readiness, DNS при пересоздании. Проверка готовности не гарантирует, что следующий запрос не попадёт в гонку с отказом.

Какие POST можно повторять после timeout и что защищает Idempotency-Key? Timeout означает «неизвестно, завершилась ли операция». В нашем контракте безопасно повторять отправку сообщения с прежними user/chat/key и тем же валидным body в пределах 24 часов. Сервер возвращает прежнее Message/201; другой body даёт 409. Если сменить ключ, получится новая операция. Ключ не заменяет аутентификацию, ACL или транзакцию: без атомарности message/result возможен дубль после сбоя. POST создания чата/пользователя не объявлен идемпотентным; слепой retry может создать новый объект. GET идемпотентен по HTTP-семантике, но ответ может меняться со временем.

Что сломается при росте API с локальными сессиями? После входа на A запрос на B не найдёт сессию и вернёт 401; отзыв на A не отзовёт копию на B; перезапуск потеряет сессии. Sticky sessions маскируют проблему до отказа A, но не решают её. Здесь все реплики проверяют одну PostgreSQL-таблицу, поэтому токен работает независимо от выбранного backend, а отзыв и expiry действуют на следующей проверке.

Дополнительно: горизонтальное масштабирование увеличивает число процессов, вертикальное — ресурсы процесса. При фиксированной сумме CPU новый процесс делит тот же бюджет, а не создаёт ядра. Закон Амдала объясняет ограничение общей последовательной частью; дополнительные пулы, проверки и переключения тоже стоят ресурсов. p95 — граница, быстрее которой завершились 95% измеренных запросов, а RPS — число завершённых запросов в секунду. Успешные RPS нужно читать вместе с ошибками и хвостовыми задержками.

Первичные источники