Files
mtusi2026lab3/REPORT.md
T
iDizZ d065cffb4e Добавить две реплики API за HAProxy и проверку отказа одной из них.
Общие сессии и ключ идемпотентности позволяют продолжать чтение и запись, когда одна реплика остановлена.
2026-11-06 17:31:40 +03:00

14 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Колмычков Иван Сергеевич БВТ2303
  • Целевая оценка: 4. Трек 5 не заявлен.
  • Commit/PR:
  • Источники и помощь ИИ: контракт репозитория, документация HAProxy 2.8 (server-template, http-check) и Docker Compose. Нейросети помогали с написанием кода, написанием отчета, проверки качества кода. числа ниже сняты с этого компьютера.

Запуск из чистого clone

Проверено 2026-11-05 на Linux 7.0.0-31-generic, x86_64, 8 логических CPU, 7.0 ГиБ RAM. Docker Engine 29.1.3, Compose v2.40.3, локальный Go 1.26.8, Python 3.14.4. Образы зафиксированы тегами, без latest:

Роль Образ
API messenger-api:lab3, сборка из Dockerfile: golang:1.26-bookworm, runtime gcr.io/distroless/static-debian12:nonroot@sha256:afa5c872c891853ca7fcf1f12c3edb23f7eeef36189728842dd51042ff57f7ab
PostgreSQL postgres:16.10-bookworm, лимит 1.00 CPU / 512 МиБ, synchronous_commit=on, max_connections=50
Redis redis:7.4.6-alpine, AOF appendfsync everysec, лимит 0.25 CPU / 128 МиБ
Балансировщик haproxy:2.8.14, лимит 0.25 CPU / 128 МиБ

Рабочий стенд — 2 реплики API, у каждой лимит 0.50 CPU и 256 МиБ (сумма 1.00 CPU и 512 МиБ). Пул PostgreSQL — 8 соединений на реплику.

cp .env.example .env
# В .env замените change-me на локальные пароли. Файл не коммитить.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь healthy у haproxy. Порт API снаружи один: 127.0.0.1:8080.
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Остановка без удаления учебных данных: docker compose --env-file .env stop. Удаление учебных volumes, если они больше не нужны: docker compose --env-file .env down -v. scripts/restart.sh делает restart postgres, redis, api и haproxy и volumes не трогает.

Соответствие имён из исходного .env.example: DATABASE_URL собирается в compose.yaml из POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB (отдельный файл секрета не используется). Сессии — Redis, не PostgreSQL: REDIS_URL из REDIS_PASSWORD. SESSION_TTL_SECONDS, API_REPLICAS, IDEMPOTENCY_TTL_SECONDS читает процесс API.

Архитектура и решения

клиент → HAProxy :8080 → API × N → PostgreSQL (пользователи, чаты, сообщения, ключи)
                                 ↘ Redis AOF (сессии)

Из lab2 перенесены PostgreSQL, Redis с AOF, Argon2id, Bearer-сессии и миграции. В этой работе API больше не применяет миграции сам: одноразовый сервис migrate выполняет messenger migrate после готовности PostgreSQL и до старта реплик. Apply держит pg_advisory_lock на одном соединении и пишет версию в schema_migrations. Повторный запуск SQL не исполняет. На стенде в таблице две строки: 001_init.sql и 002_idempotency.sql, обе с одним applied_at.

Реплики — один Compose-service api с deploy.replicas. container_name нет. Порт 8080 наружу публикует только HAProxy, на 127.0.0.1. У API есть expose, published port нет.

X-Instance-Id — hostname контейнера. Он стабилен, пока жив процесс, и scripts/stop-one.sh находит по нему именно тот контейнер. Для lab7 это уже не подойдёт: hostname раскрывает идентификатор контейнера, там нужен отдельный случайный alias.

Sticky session нет. Баланс roundrobin. Сессия лежит в Redis, поэтому следующий запрос может попасть на другую реплику с тем же Bearer-токеном. Локальной памяти сессий у API нет.

Проверки и таймауты согласованы так:

  • API: ReadHeaderTimeout 5 с, ReadTimeout/WriteTimeout 15 с, SHUTDOWN_TIMEOUT_SECONDS 8.
  • HAProxy: timeout connect 2 с, timeout server 16 с, retries 0. Балансировщик не повторяет POST. Повтор сообщения делает клиент тем же ключом. Создание пользователя и чата не идемпотентно, прозрачный retry их размножил бы.
  • Готовность backend: GET /health/ready должен вернуть 200. Период inter 1s, fall 2, rise 1. Недоступный backend выводится не позже чем за 2 с. DNS Compose перечитывается с hold valid 1s.
  • SIGTERM: процесс сразу переводит /health/ready и новые бизнес-запросы в 503 и дорабатывает уже принятые в пределах 8 с. docker stop -t 8 совпадает с этим бюджетом. restart: unless-stopped не поднимает контейнер обратно после явного stop.

/health/ready требует живые PostgreSQL и Redis. Живой процесс при мёртвой базе отвечает 503 и в пул HAProxy не входит.

Идемпотентность. Для POST /api/v1/chats/{id}/messages обязателен Idempotency-Key ([A-Za-z0-9._:-]{1,128}). Область — пользователь + чат + ключ. Отпечаток — уже разобранный текст, поэтому другой порядок ключей JSON и \u-экранирование не считаются другим телом. В одной транзакции пишутся строка messages и строка message_idempotency. Если вторая реплика успела занять тот же ключ, первая транзакция откатывается целиком: не остаётся ни сообщения без ключа, ни ключа без сообщения. Повтор с тем же текстом возвращает тот же 201 и ту же строку. Другой текст — 409. Чужой ключ не хранится, если нет доступа к чату: членство проверяется до записи. Ключ живёт IDEMPOTENCY_TTL_SECONDS (86400). Ошибка 5xx клиенту можно повторить тем же ключом. Порядок истории задаёт (created_at, id).

Доказательства критериев

Критерий Команда Наблюдение Файл
Публичный smoke make test PASS: lab3 public API scenario evidence/smoke.txt
Две реплики и одна сессия 20× GET /health/live через HAProxy два X-Instance-Id, они равны hostname контейнеров evidence/instances.txt
Сохранность токена и данных make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: persistence preserved confirmed data and existing session evidence/persistence.txt
Отказ первой реплики make test-failover ACTION_SCRIPT=scripts/stop-one.sh 2 реплики до отказа, 121 успешная запись, 1 ошибка, первая успешная запись через 0.209 с. В docker compose ps остался один API evidence/failover-first.txt, evidence/failover-first-ps.txt
Отказ второй реплики тот же тест после docker start остановленного API 120 успешных, 1 ошибка, восстановление 2.435 с. Остановлен уже другой контейнер evidence/failover-second.txt, evidence/failover-second-ps.txt
Каждая реплика под нагрузкой python3 scripts/grade4.py hook 0.406 с и 0.431 с, после остановки 2613 и 2889 успешных ответов, целевой X-Instance-Id среди них 0. RPS 306 и 326, ошибки 45 и 57 за окно 12 с evidence/grade4.json
Гонка одного ключа тот же скрипт, 12 параллельных POST 12 ответов 201, 1 id, в истории одна копия текста evidence/grade4.json
Лимиты, порты, без container_name compose.yaml CPU/RAM заданы, наружу открыт только HAProxy 127.0.0.1:8080, плюс localhost postgres/redis для проверки compose.yaml
Rolling update под нагрузкой scripts/rolling-update.sh во время tests/load.py 40 с, concurrency 4 замена по одному контейнеру, 14411 успешных, 61 ошибка (доля 0.004), p50 6.6 мс, p95 45.9 мс, p99 85.4 мс. Один curl /health/ready поймал 503, затем готовность вернулась evidence/rolling-load.json
Миграция один раз SELECT version FROM schema_migrations две строки, повторного применения нет evidence/schema-migrations.txt

Юнит-тесты go test ./... проходят без базы: повтор ключа, конфликт тела, гонка из 16 запросов в памяти.

Отказы

Замеры отказа каждой реплики: python3 scripts/grade4.py, окно 12 с, 4 параллельных клиента. Это RPS подтверждённых ответов за всё окно, включая секунды до остановки. Rolling update: tests/load.py 40 с, concurrency 4, закрытый цикл без повторов клиента. Процентили только по успешным запросам.

Воздействие Что ожидаем Что наблюдали Восстановление / данные
stop-one.sh одной реплики вторая продолжает писать и читать, остановленный id пропадает из ответов публичный тест: 1 ошибка, восстановление 0.209 с и 2.435 с подтверждённые сообщения на месте, дублей нет
Та же остановка по очереди для обоих id hook быстрее 10 с, после выхода целевой id не обслуживает 0.406 с и 0.431 с, целевых ответов после остановки 0 реплика поднята обратно docker start, данные не чистились
restart.sh всего пути старый токен и старые сообщения живы PASS persistence volumes сохранены
Rolling replace двух контейнеров короткие 5xx, запись продолжается 61 ошибка на 14472 попытки новые контейнеры healthy, схема не переигрывалась

Ограничения и следующие шаги

Стенд выдерживает смерть одного процесса API и перезапуск контейнеров с теми же volumes. Он не выдерживает потерю этого компьютера: HAProxy, PostgreSQL и Redis в одном экземпляре. Несколько реплик API не делают базу и балансировщик отказоустойчивыми. depends_on и healthcheck только задают порядок старта; запросы раскидывает HAProxy, а не Compose.

Повтор после таймаута безопасен для отправки сообщения: тот же Idempotency-Key и то же тело вернут исходный объект. POST /users, POST /chats и POST /auth/sessions таким ключом не защищены. Их автоматический retry создаст второй объект или вторую сессию.

Если сессии снова положить в память процесса, общий Redis перестанет быть источником сессии. Запрос на другую реплику получит 401, и sticky session это только замаскирует: после смерти «своей» реплики сессия исчезнет.

X-Instance-Id сейчас равен hostname. Для этой лабораторной так скрипт находит контейнер. На lab7 его надо заменить непрозрачным alias.

Вложение attachment_ids в контракте lab3 у сообщения ещё нет. Когда оно появится, отпечаток ключа нужно расширить отсортированным списком id, иначе тот же ключ с разными вложениями будет считаться тем же телом.