Общие сессии и ключ идемпотентности позволяют продолжать чтение и запись, когда одна реплика остановлена.
14 KiB
Отчёт — лабораторная 3
- Автор, группа: Колмычков Иван Сергеевич БВТ2303
- Целевая оценка: 4. Трек 5 не заявлен.
- Commit/PR:
- Источники и помощь ИИ: контракт репозитория, документация HAProxy 2.8 (
server-template,http-check) и Docker Compose. Нейросети помогали с написанием кода, написанием отчета, проверки качества кода. числа ниже сняты с этого компьютера.
Запуск из чистого clone
Проверено 2026-11-05 на Linux 7.0.0-31-generic, x86_64, 8 логических CPU, 7.0 ГиБ RAM. Docker Engine 29.1.3, Compose v2.40.3, локальный Go 1.26.8, Python 3.14.4. Образы зафиксированы тегами, без latest:
| Роль | Образ |
|---|---|
| API | messenger-api:lab3, сборка из Dockerfile: golang:1.26-bookworm, runtime gcr.io/distroless/static-debian12:nonroot@sha256:afa5c872c891853ca7fcf1f12c3edb23f7eeef36189728842dd51042ff57f7ab |
| PostgreSQL | postgres:16.10-bookworm, лимит 1.00 CPU / 512 МиБ, synchronous_commit=on, max_connections=50 |
| Redis | redis:7.4.6-alpine, AOF appendfsync everysec, лимит 0.25 CPU / 128 МиБ |
| Балансировщик | haproxy:2.8.14, лимит 0.25 CPU / 128 МиБ |
Рабочий стенд — 2 реплики API, у каждой лимит 0.50 CPU и 256 МиБ (сумма 1.00 CPU и 512 МиБ). Пул PostgreSQL — 8 соединений на реплику.
cp .env.example .env
# В .env замените change-me на локальные пароли. Файл не коммитить.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь healthy у haproxy. Порт API снаружи один: 127.0.0.1:8080.
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Остановка без удаления учебных данных: docker compose --env-file .env stop.
Удаление учебных volumes, если они больше не нужны: docker compose --env-file .env down -v.
scripts/restart.sh делает restart postgres, redis, api и haproxy и volumes не трогает.
Соответствие имён из исходного .env.example: DATABASE_URL собирается в compose.yaml из POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB (отдельный файл секрета не используется). Сессии — Redis, не PostgreSQL: REDIS_URL из REDIS_PASSWORD. SESSION_TTL_SECONDS, API_REPLICAS, IDEMPOTENCY_TTL_SECONDS читает процесс API.
Архитектура и решения
клиент → HAProxy :8080 → API × N → PostgreSQL (пользователи, чаты, сообщения, ключи)
↘ Redis AOF (сессии)
Из lab2 перенесены PostgreSQL, Redis с AOF, Argon2id, Bearer-сессии и миграции. В этой работе API больше не применяет миграции сам: одноразовый сервис migrate выполняет messenger migrate после готовности PostgreSQL и до старта реплик. Apply держит pg_advisory_lock на одном соединении и пишет версию в schema_migrations. Повторный запуск SQL не исполняет. На стенде в таблице две строки: 001_init.sql и 002_idempotency.sql, обе с одним applied_at.
Реплики — один Compose-service api с deploy.replicas. container_name нет. Порт 8080 наружу публикует только HAProxy, на 127.0.0.1. У API есть expose, published port нет.
X-Instance-Id — hostname контейнера. Он стабилен, пока жив процесс, и scripts/stop-one.sh находит по нему именно тот контейнер. Для lab7 это уже не подойдёт: hostname раскрывает идентификатор контейнера, там нужен отдельный случайный alias.
Sticky session нет. Баланс roundrobin. Сессия лежит в Redis, поэтому следующий запрос может попасть на другую реплику с тем же Bearer-токеном. Локальной памяти сессий у API нет.
Проверки и таймауты согласованы так:
- API:
ReadHeaderTimeout5 с,ReadTimeout/WriteTimeout15 с,SHUTDOWN_TIMEOUT_SECONDS8. - HAProxy:
timeout connect2 с,timeout server16 с,retries 0. Балансировщик не повторяет POST. Повтор сообщения делает клиент тем же ключом. Создание пользователя и чата не идемпотентно, прозрачный retry их размножил бы. - Готовность backend:
GET /health/readyдолжен вернуть 200. Периодinter 1s,fall 2,rise 1. Недоступный backend выводится не позже чем за 2 с. DNS Compose перечитывается сhold valid 1s. - SIGTERM: процесс сразу переводит
/health/readyи новые бизнес-запросы в 503 и дорабатывает уже принятые в пределах 8 с.docker stop -t 8совпадает с этим бюджетом.restart: unless-stoppedне поднимает контейнер обратно после явногоstop.
/health/ready требует живые PostgreSQL и Redis. Живой процесс при мёртвой базе отвечает 503 и в пул HAProxy не входит.
Идемпотентность. Для POST /api/v1/chats/{id}/messages обязателен Idempotency-Key ([A-Za-z0-9._:-]{1,128}). Область — пользователь + чат + ключ. Отпечаток — уже разобранный текст, поэтому другой порядок ключей JSON и \u-экранирование не считаются другим телом. В одной транзакции пишутся строка messages и строка message_idempotency. Если вторая реплика успела занять тот же ключ, первая транзакция откатывается целиком: не остаётся ни сообщения без ключа, ни ключа без сообщения. Повтор с тем же текстом возвращает тот же 201 и ту же строку. Другой текст — 409. Чужой ключ не хранится, если нет доступа к чату: членство проверяется до записи. Ключ живёт IDEMPOTENCY_TTL_SECONDS (86400). Ошибка 5xx клиенту можно повторить тем же ключом. Порядок истории задаёт (created_at, id).
Доказательства критериев
| Критерий | Команда | Наблюдение | Файл |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab3 public API scenario |
evidence/smoke.txt |
| Две реплики и одна сессия | 20× GET /health/live через HAProxy |
два X-Instance-Id, они равны hostname контейнеров |
evidence/instances.txt |
| Сохранность токена и данных | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: persistence preserved confirmed data and existing session |
evidence/persistence.txt |
| Отказ первой реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
2 реплики до отказа, 121 успешная запись, 1 ошибка, первая успешная запись через 0.209 с. В docker compose ps остался один API |
evidence/failover-first.txt, evidence/failover-first-ps.txt |
| Отказ второй реплики | тот же тест после docker start остановленного API |
120 успешных, 1 ошибка, восстановление 2.435 с. Остановлен уже другой контейнер | evidence/failover-second.txt, evidence/failover-second-ps.txt |
| Каждая реплика под нагрузкой | python3 scripts/grade4.py |
hook 0.406 с и 0.431 с, после остановки 2613 и 2889 успешных ответов, целевой X-Instance-Id среди них 0. RPS 306 и 326, ошибки 45 и 57 за окно 12 с |
evidence/grade4.json |
| Гонка одного ключа | тот же скрипт, 12 параллельных POST | 12 ответов 201, 1 id, в истории одна копия текста | evidence/grade4.json |
| Лимиты, порты, без container_name | compose.yaml |
CPU/RAM заданы, наружу открыт только HAProxy 127.0.0.1:8080, плюс localhost postgres/redis для проверки |
compose.yaml |
| Rolling update под нагрузкой | scripts/rolling-update.sh во время tests/load.py 40 с, concurrency 4 |
замена по одному контейнеру, 14411 успешных, 61 ошибка (доля 0.004), p50 6.6 мс, p95 45.9 мс, p99 85.4 мс. Один curl /health/ready поймал 503, затем готовность вернулась |
evidence/rolling-load.json |
| Миграция один раз | SELECT version FROM schema_migrations |
две строки, повторного применения нет | evidence/schema-migrations.txt |
Юнит-тесты go test ./... проходят без базы: повтор ключа, конфликт тела, гонка из 16 запросов в памяти.
Отказы
Замеры отказа каждой реплики: python3 scripts/grade4.py, окно 12 с, 4 параллельных клиента. Это RPS подтверждённых ответов за всё окно, включая секунды до остановки. Rolling update: tests/load.py 40 с, concurrency 4, закрытый цикл без повторов клиента. Процентили только по успешным запросам.
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / данные |
|---|---|---|---|
stop-one.sh одной реплики |
вторая продолжает писать и читать, остановленный id пропадает из ответов | публичный тест: 1 ошибка, восстановление 0.209 с и 2.435 с | подтверждённые сообщения на месте, дублей нет |
| Та же остановка по очереди для обоих id | hook быстрее 10 с, после выхода целевой id не обслуживает | 0.406 с и 0.431 с, целевых ответов после остановки 0 | реплика поднята обратно docker start, данные не чистились |
restart.sh всего пути |
старый токен и старые сообщения живы | PASS persistence | volumes сохранены |
| Rolling replace двух контейнеров | короткие 5xx, запись продолжается | 61 ошибка на 14472 попытки | новые контейнеры healthy, схема не переигрывалась |
Ограничения и следующие шаги
Стенд выдерживает смерть одного процесса API и перезапуск контейнеров с теми же volumes. Он не выдерживает потерю этого компьютера: HAProxy, PostgreSQL и Redis в одном экземпляре. Несколько реплик API не делают базу и балансировщик отказоустойчивыми. depends_on и healthcheck только задают порядок старта; запросы раскидывает HAProxy, а не Compose.
Повтор после таймаута безопасен для отправки сообщения: тот же Idempotency-Key и то же тело вернут исходный объект. POST /users, POST /chats и POST /auth/sessions таким ключом не защищены. Их автоматический retry создаст второй объект или вторую сессию.
Если сессии снова положить в память процесса, общий Redis перестанет быть источником сессии. Запрос на другую реплику получит 401, и sticky session это только замаскирует: после смерти «своей» реплики сессия исчезнет.
X-Instance-Id сейчас равен hostname. Для этой лабораторной так скрипт находит контейнер. На lab7 его надо заменить непрозрачным alias.
Вложение attachment_ids в контракте lab3 у сообщения ещё нет. Когда оно появится, отпечаток ключа нужно расширить отсортированным списком id, иначе тот же ключ с разными вложениями будет считаться тем же телом.