Files
mtusi2026lab3-implementaion/REPORT.md
T
2026-11-06 05:12:28 +03:00

16 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Спесивцев Даниил БПИ2301
  • Целевая оценка 4; выбранный трек 5, если нужен: не заявлен
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: Go 1.27.1 (стандартная библиотека). Для консультации, реализации некоторых фич, написания отчета использовались LLM. Библиотеки и компоненты:

Запуск из чистого clone

Стенд: i5-11400H (12 потоков), 16 GB RAM, Linux 7.1.8, podman 6.1.0 + podman-compose 1.6.0 (evidence/env.txt). Образы: postgres:18.6-alpine3.24, redis:8.10.3-alpine3.23, migrate/migrate:v4.20.1, haproxy:3.4.7-alpine; API из Dockerfile (golang:1.27.1-alpine3.24 → alpine:3.24.1).

Движок выбирается автоматически в Makefile и скриптах: podman + podman-compose, если podman установлен, иначе docker + docker compose. Явно: ENGINE=docker COMPOSE="docker compose". compose.yaml проходит docker compose config --quiet и podman-compose config.

scripts/init-secrets.sh                          # локальные secrets в ./secrets, вне Git; повторный запуск не перезаписывает
make up                                          # build; postgres, redis → migrate (однократно) → api ×2; lb
until curl -sf http://localhost:8080/health/ready; do sleep 1; done

make check && make test && make test-go
make test-idempotency                            # один Idempotency-Key, 20 параллельных POST через LB
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
$COMPOSE start api                               # вернуть остановленную реплику и повторить для другой
scripts/rolling-update.sh                        # rolling update (под нагрузкой: параллельно python3 tests/load.py --duration 60)

make down                                        # остановка, volumes сохраняются
$COMPOSE down -v                                 # намеренное удаление учебных данных

Число реплик — API_REPLICAS (по умолчанию 2, балансируется до 4: server-template api 4). Публичная точка входа — только lb на :8080. Bootstrap безопасно повторяется: migrate при повторном запуске отвечает no change, init-secrets.sh не трогает существующие файлы.

Архитектура и решения

client → lb (HAProxy :8080) ──edge──▶ api ×2 ──backend──▶ postgres (источник истины)
                                               └────────▶ redis (сессии, AOF)
                              migrate (one-shot) ─backend─▶ postgres
Роль Service Образ Health / readiness Volume Сеть / порт Credentials
LB lb haproxy:3.4.7-alpine активная проверка GET /health/ready каждой реплики — edge, 0.0.0.0:8080 нет
API api ×2 localhost/messenger-api:lab3 /health/live; /health/ready = PostgreSQL + Redis + не draining — edge + backend, порт не публикуется secrets database_url, cache_url
Миграции migrate migrate/migrate:v4.20.1 exit 0 SQL read-only backend secret database_url
БД postgres postgres:18.6-alpine3.24 pg_isready pgdata backend, 127.0.0.1:55432 для make test-go secret postgres_password
Сессии redis redis:8.10.3-alpine3.23 redis-cli ping redisdata (AOF everysec) backend, 127.0.0.1:56379 для make test-go нет
  • Перенесено из lab2: API на Go, PostgreSQL, Bearer-сессии в Redis, Argon2id. Cursor истории не зависит от процесса, поэтому любая реплика обслуживает любой запрос без sticky sessions.
  • X-Instance-Id: hostname контейнера (короткий ID), выставляется middleware на все ответы API. scripts/stop-one.sh находит контейнер с таким hostname по labels compose и останавливает только его.
  • Идемпотентность: таблица message_idempotency, PK (user_id, chat_id, key); метод и путь фиксированы для эндпоинта. В одной транзакции выполняются INSERT ... ON CONFLICT DO NOTHING ключа и INSERT сообщения. Конкурентный дубль ждёт на уникальном индексе; при совпадении sha256(text) возвращается то же сообщение с 201, иначе 409. При 5xx транзакция откатывается, и ключ не фиксируется. Повтор заново проверяет сессию и доступ к чату.
  • Миграции: выполняются отдельным контейнером migrate до старта API (advisory lock golang-migrate); реплики миграций не запускают. Совместимость с работающей версией: допускаются только добавляющие изменения (expand/contract); 000002 лишь добавляет таблицу. Удаление или переименование колонок потребует двух релизов. scripts/rolling-update.sh выполняет migrate до замены реплик.
  • Rolling update (scripts/rolling-update.sh):
    1. сборка нового образа с тем же тегом и новым label BUILD_ID;
    2. $COMPOSE run --rm migrate;
    3. для каждой старой реплики по очереди: stop -t 10 (drain) → rm → $COMPOSE up -d --no-deps --no-recreate api → ожидание healthy новой реплики.
  • Graceful shutdown: по SIGTERM /health/ready сразу отвечает 503, keep-alive отключается, 3 с drain, затем Shutdown с таймаутом 5 с.
Таймаут Значение
PostgreSQL statement_timeout / connect 5 s / 3 s
Readiness ping зависимостей 1 s
HTTP API: ReadHeader / Read / Write / Idle 5 / 15 / 15 / 60 s
HAProxy: connect / server / client / http-request / check 2 / 20 / 30 / 10 / 1 s; maxconn 2000
Остановка: drain + shutdown 3 + 5 = 8 s < stop -t 10, stop_grace_period: 10s

Обнаружение отказа. Период проверок HAProxy: inter 1s, fall 2, rise 2, timeout check 1s; DNS hold valid 1s.

  • При SIGTERM реплика выводится из LB по 503 readiness за ≤ 2 s, до закрытия listener (измерено 2.0 s, evidence/drain.txt).
  • При аварийной остановке отказ соединения сразу уходит на другую реплику (retries 3, option redispatch; повторяется только неудавшееся соединение, отправленный POST не повторяется). Максимальное время исключения backend — inter × fall + timeout check = 3 s.

Соответствие .env.example:

  • SESSION_STORE=redis;
  • DATABASE_URL_FILE, CACHE_URL_FILE — файлы secrets;
  • API_REPLICAS → scale сервиса api;
  • SESSION_TTL_SECONDS, APP_ENV передаются в API;
  • IDEMPOTENCY_TTL_SECONDS не используется: ключи хранятся бессрочно, что покрывает требование «не менее 24 ч».

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS evidence/smoke.txt
Стенд в compose.yaml: ≥2 API, одна точка входа, общие БД и сессии make up, ps 2 реплики api, порт публикует только lb evidence/instances.txt, evidence/limits.txt
Разные реплики с одной сессией, X-Instance-Id 20 × GET /users/me через LB одним токеном по 10 ответов от двух ID; ID = hostname контейнера evidence/instances.txt
Отказ любой одной реплики: ≤ 10 s, подтверждённые сообщения доступны make test-failover для api_1 и api_2 PASS, 0 ошибок, первая запись после hook за 3.3–3.4 s evidence/failover-1.txt, evidence/failover-2.txt
Повтор с тем же Idempotency-Key без дубля, в т. ч. конкурентный и через разные реплики make test, make test-idempotency 20/20 ответов 201 с одним сообщением, обслужили обе реплики evidence/smoke.txt, evidence/idempotency-race.txt
persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; перезапущены lb, api, redis, postgres с теми же ID; volumes сохранены evidence/persistence.txt
Миграции отдельно, без гонки реплик make up migrate exit 0, в логах API миграций нет, версия схемы 2 evidence/migrate.txt
Собственные Go-тесты make test-go 13 PASS evidence/test-go.txt
4: readiness, timeouts, SIGTERM, исключение backend; период и время обнаружения stop реплики ready 503 → LB DOWN за 2.0 s → listener закрыт через 3 s evidence/drain.txt, разделы выше
4: поочерёдная остановка каждой реплики, RPS / ошибки / восстановление make test-failover под фоновым tests/load.py см. таблицу ниже evidence/failover-{1,2}.txt, evidence/failover-load-{1,2}.json
4: общая идемпотентность параллельными запросами с одним ключом make test-idempotency одно сообщение на 20 параллельных запросов evidence/idempotency-race.txt
4: CPU/RAM-лимиты, API без портов, секреты и хранилища только где нужно, нет container_name inspect, ls /run/secrets, getent из lb лимиты у всех сервисов; lb не видит postgres и redis; секреты по ролям evidence/limits.txt
4: rolling update под нагрузкой; миграции однократны и совместимы scripts/rolling-update.sh под фоновым tests/load.py --duration 60 обе реплики заменены новым образом за 21 s, 0 ошибок evidence/rolling.txt, evidence/rolling-load.json

Эксперименты и отказы

  • Профиль: публичный tests/load.py, closed-loop POST сообщений, concurrency 4, 30 s (rolling — 60 s), без автоматических повторов. Отказ запускается через make test-failover примерно на 4-й секунде нагрузки; тест сам повторяет неопределённый POST с тем же ключом и проверяет сохранность и отсутствие дублей. Прогрев отдельно не выделялся; один прогон на сценарий.
  • Лимиты: api 1 CPU / 256 MiB на реплику, postgres 1 CPU / 512 MiB, redis 0.5 CPU / 128 MiB, lb 0.5 CPU / 64 MiB, migrate 0.5 CPU / 64 MiB.
  • Потребление во время нагрузки (stats --no-stream): api 4–5 % CPU и 28–92 MiB, postgres 12 % CPU и 135 MiB, lb 3–5 % CPU и 28–32 MiB, redis < 1 % CPU и 7 MiB.
  • Набор данных после всех прогонов: 294 274 сообщения, 292 пользователя, 84 чата, БД 167 MB (evidence/dataset.txt).
Прогон Успешные RPS (load.py) Ошибки load.py / теста p50 / p95 / p99, ms Восстановление записи (тест) Записей теста за 15 s
stop api_1 290.3 0 / 0 13.1 / 17.6 / 23.9 3.34 s от старта hook (hook ≈ 3.2 s, drain) 131
stop api_2 316.8 0 / 0 12.1 / 16.1 / 22.4 3.37 s от старта hook 132
rolling update 288.5 0 13.2 / 17.0 / 20.1 замена 2 реплик за 21 s —
Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
stop реплики (SIGTERM) вывод из LB до закрытия listener, без ошибок DOWN по 503 за 2.0 s, 0 ошибок под нагрузкой запись не прерывалась / потерь и дублей нет
Rolling update поочерёдная замена без простоя 0 ошибок за 60 s, новый image и revision у обеих реплик — / потерь нет
Restart всего стенда данные и токен сохраняются PASS persistence в пределах бюджета теста 90 s / потерь нет

Ограничения и следующие шаги

  • Потеря host, LB или PostgreSQL не переживается, это SPOF. Отказоустойчивость показана только для процесса API.
  • Порты PostgreSQL и Redis опубликованы только на 127.0.0.1 для make test-go. Redis без пароля доступен только с локальной машины.
  • server-template api 4 при API_REPLICAS > 4 лишние реплики в балансировку не попадут.
  • Нагрузка closed-loop с одного клиента ограничена клиентом, есть coordinated omission, один прогон на сценарий. Это не оценка предельной пропускной способности.
  • Ключи идемпотентности не удаляются, таблица растёт. Для production понадобится фоновая очистка ключей старше 24 ч.