16 KiB
Отчёт — лабораторная 3
- Автор, группа: Спесивцев Даниил БПИ2301
- Целевая оценка 4; выбранный трек 5, если нужен: не заявлен
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: Go 1.27.1 (стандартная библиотека). Для консультации, реализации некоторых фич, написания отчета использовались LLM. Библиотеки и компоненты:
- go-chi/chi v5.3.2 — HTTP-роутинг;
- jackc/pgx v5.11.0 — драйвер PostgreSQL и пул
pgxpool, транзакция идемпотентной отправки; - redis/go-redis v9.23.0 — клиент Redis для общих сессий;
- golang.org/x/crypto v0.58.0 — Argon2id для паролей;
- образ migrate/migrate v4.20.1 — однократные миграции отдельным контейнером;
- образ HAProxy 3.4.7 — балансировщик.
Запуск из чистого clone
Стенд: i5-11400H (12 потоков), 16 GB RAM, Linux 7.1.8, podman 6.1.0 + podman-compose 1.6.0 (evidence/env.txt). Образы: postgres:18.6-alpine3.24, redis:8.10.3-alpine3.23, migrate/migrate:v4.20.1, haproxy:3.4.7-alpine; API из Dockerfile (golang:1.27.1-alpine3.24 → alpine:3.24.1).
Движок выбирается автоматически в Makefile и скриптах: podman + podman-compose, если podman установлен, иначе docker + docker compose. Явно: ENGINE=docker COMPOSE="docker compose". compose.yaml проходит docker compose config --quiet и podman-compose config.
scripts/init-secrets.sh # локальные secrets в ./secrets, вне Git; повторный запуск не перезаписывает
make up # build; postgres, redis → migrate (однократно) → api ×2; lb
until curl -sf http://localhost:8080/health/ready; do sleep 1; done
make check && make test && make test-go
make test-idempotency # один Idempotency-Key, 20 параллельных POST через LB
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
$COMPOSE start api # вернуть остановленную реплику и повторить для другой
scripts/rolling-update.sh # rolling update (под нагрузкой: параллельно python3 tests/load.py --duration 60)
make down # остановка, volumes сохраняются
$COMPOSE down -v # намеренное удаление учебных данных
Число реплик — API_REPLICAS (по умолчанию 2, балансируется до 4: server-template api 4). Публичная точка входа — только lb на :8080. Bootstrap безопасно повторяется: migrate при повторном запуске отвечает no change, init-secrets.sh не трогает существующие файлы.
Архитектура и решения
client → lb (HAProxy :8080) ──edge──▶ api ×2 ──backend──▶ postgres (источник истины)
└────────▶ redis (сессии, AOF)
migrate (one-shot) ─backend─▶ postgres
| Роль | Service | Образ | Health / readiness | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| LB | lb |
haproxy:3.4.7-alpine |
активная проверка GET /health/ready каждой реплики |
— | edge, 0.0.0.0:8080 |
нет |
| API | api ×2 |
localhost/messenger-api:lab3 |
/health/live; /health/ready = PostgreSQL + Redis + не draining |
— | edge + backend, порт не публикуется | secrets database_url, cache_url |
| Миграции | migrate |
migrate/migrate:v4.20.1 |
exit 0 | SQL read-only | backend | secret database_url |
| БД | postgres |
postgres:18.6-alpine3.24 |
pg_isready |
pgdata |
backend, 127.0.0.1:55432 для make test-go |
secret postgres_password |
| Сессии | redis |
redis:8.10.3-alpine3.23 |
redis-cli ping |
redisdata (AOF everysec) |
backend, 127.0.0.1:56379 для make test-go |
нет |
- Перенесено из lab2: API на Go, PostgreSQL, Bearer-сессии в Redis, Argon2id. Cursor истории не зависит от процесса, поэтому любая реплика обслуживает любой запрос без sticky sessions.
- X-Instance-Id: hostname контейнера (короткий ID), выставляется middleware на все ответы API.
scripts/stop-one.shнаходит контейнер с таким hostname по labels compose и останавливает только его. - Идемпотентность: таблица
message_idempotency, PK(user_id, chat_id, key); метод и путь фиксированы для эндпоинта. В одной транзакции выполняютсяINSERT ... ON CONFLICT DO NOTHINGключа иINSERTсообщения. Конкурентный дубль ждёт на уникальном индексе; при совпаденииsha256(text)возвращается то же сообщение с 201, иначе 409. При 5xx транзакция откатывается, и ключ не фиксируется. Повтор заново проверяет сессию и доступ к чату. - Миграции: выполняются отдельным контейнером
migrateдо старта API (advisory lock golang-migrate); реплики миграций не запускают. Совместимость с работающей версией: допускаются только добавляющие изменения (expand/contract);000002лишь добавляет таблицу. Удаление или переименование колонок потребует двух релизов.scripts/rolling-update.shвыполняетmigrateдо замены реплик. - Rolling update (
scripts/rolling-update.sh):- сборка нового образа с тем же тегом и новым label
BUILD_ID; $COMPOSE run --rm migrate;- для каждой старой реплики по очереди:
stop -t 10(drain) →rm→$COMPOSE up -d --no-deps --no-recreate api→ ожиданиеhealthyновой реплики.
- сборка нового образа с тем же тегом и новым label
- Graceful shutdown: по SIGTERM
/health/readyсразу отвечает 503, keep-alive отключается, 3 с drain, затемShutdownс таймаутом 5 с.
| Таймаут | Значение |
|---|---|
PostgreSQL statement_timeout / connect |
5 s / 3 s |
| Readiness ping зависимостей | 1 s |
| HTTP API: ReadHeader / Read / Write / Idle | 5 / 15 / 15 / 60 s |
| HAProxy: connect / server / client / http-request / check | 2 / 20 / 30 / 10 / 1 s; maxconn 2000 |
| Остановка: drain + shutdown | 3 + 5 = 8 s < stop -t 10, stop_grace_period: 10s |
Обнаружение отказа. Период проверок HAProxy: inter 1s, fall 2, rise 2, timeout check 1s; DNS hold valid 1s.
- При SIGTERM реплика выводится из LB по 503 readiness за ≤ 2 s, до закрытия listener (измерено 2.0 s,
evidence/drain.txt). - При аварийной остановке отказ соединения сразу уходит на другую реплику (
retries 3,option redispatch; повторяется только неудавшееся соединение, отправленный POST не повторяется). Максимальное время исключения backend —inter × fall + timeout check= 3 s.
Соответствие .env.example:
SESSION_STORE=redis;DATABASE_URL_FILE,CACHE_URL_FILE— файлы secrets;API_REPLICAS→scaleсервисаapi;SESSION_TTL_SECONDS,APP_ENVпередаются в API;IDEMPOTENCY_TTL_SECONDSне используется: ключи хранятся бессрочно, что покрывает требование «не менее 24 ч».
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS | evidence/smoke.txt |
| Стенд в compose.yaml: ≥2 API, одна точка входа, общие БД и сессии | make up, ps |
2 реплики api, порт публикует только lb |
evidence/instances.txt, evidence/limits.txt |
| Разные реплики с одной сессией, X-Instance-Id | 20 × GET /users/me через LB одним токеном |
по 10 ответов от двух ID; ID = hostname контейнера | evidence/instances.txt |
| Отказ любой одной реплики: ≤ 10 s, подтверждённые сообщения доступны | make test-failover для api_1 и api_2 |
PASS, 0 ошибок, первая запись после hook за 3.3–3.4 s | evidence/failover-1.txt, evidence/failover-2.txt |
| Повтор с тем же Idempotency-Key без дубля, в т. ч. конкурентный и через разные реплики | make test, make test-idempotency |
20/20 ответов 201 с одним сообщением, обслужили обе реплики | evidence/smoke.txt, evidence/idempotency-race.txt |
| persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; перезапущены lb, api, redis, postgres с теми же ID; volumes сохранены | evidence/persistence.txt |
| Миграции отдельно, без гонки реплик | make up |
migrate exit 0, в логах API миграций нет, версия схемы 2 |
evidence/migrate.txt |
| Собственные Go-тесты | make test-go |
13 PASS | evidence/test-go.txt |
| 4: readiness, timeouts, SIGTERM, исключение backend; период и время обнаружения | stop реплики |
ready 503 → LB DOWN за 2.0 s → listener закрыт через 3 s | evidence/drain.txt, разделы выше |
| 4: поочерёдная остановка каждой реплики, RPS / ошибки / восстановление | make test-failover под фоновым tests/load.py |
см. таблицу ниже | evidence/failover-{1,2}.txt, evidence/failover-load-{1,2}.json |
| 4: общая идемпотентность параллельными запросами с одним ключом | make test-idempotency |
одно сообщение на 20 параллельных запросов | evidence/idempotency-race.txt |
| 4: CPU/RAM-лимиты, API без портов, секреты и хранилища только где нужно, нет container_name | inspect, ls /run/secrets, getent из lb |
лимиты у всех сервисов; lb не видит postgres и redis; секреты по ролям | evidence/limits.txt |
| 4: rolling update под нагрузкой; миграции однократны и совместимы | scripts/rolling-update.sh под фоновым tests/load.py --duration 60 |
обе реплики заменены новым образом за 21 s, 0 ошибок | evidence/rolling.txt, evidence/rolling-load.json |
Эксперименты и отказы
- Профиль: публичный
tests/load.py, closed-loop POST сообщений, concurrency 4, 30 s (rolling — 60 s), без автоматических повторов. Отказ запускается черезmake test-failoverпримерно на 4-й секунде нагрузки; тест сам повторяет неопределённый POST с тем же ключом и проверяет сохранность и отсутствие дублей. Прогрев отдельно не выделялся; один прогон на сценарий. - Лимиты: api 1 CPU / 256 MiB на реплику, postgres 1 CPU / 512 MiB, redis 0.5 CPU / 128 MiB, lb 0.5 CPU / 64 MiB, migrate 0.5 CPU / 64 MiB.
- Потребление во время нагрузки (
stats --no-stream): api 4–5 % CPU и 28–92 MiB, postgres 12 % CPU и 135 MiB, lb 3–5 % CPU и 28–32 MiB, redis < 1 % CPU и 7 MiB. - Набор данных после всех прогонов: 294 274 сообщения, 292 пользователя, 84 чата, БД 167 MB (
evidence/dataset.txt).
| Прогон | Успешные RPS (load.py) |
Ошибки load.py / теста |
p50 / p95 / p99, ms | Восстановление записи (тест) | Записей теста за 15 s |
|---|---|---|---|---|---|
stop api_1 |
290.3 | 0 / 0 | 13.1 / 17.6 / 23.9 | 3.34 s от старта hook (hook ≈ 3.2 s, drain) | 131 |
stop api_2 |
316.8 | 0 / 0 | 12.1 / 16.1 / 22.4 | 3.37 s от старта hook | 132 |
| rolling update | 288.5 | 0 | 13.2 / 17.0 / 20.1 | замена 2 реплик за 21 s | — |
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
stop реплики (SIGTERM) |
вывод из LB до закрытия listener, без ошибок | DOWN по 503 за 2.0 s, 0 ошибок под нагрузкой | запись не прерывалась / потерь и дублей нет |
| Rolling update | поочерёдная замена без простоя | 0 ошибок за 60 s, новый image и revision у обеих реплик | — / потерь нет |
| Restart всего стенда | данные и токен сохраняются | PASS persistence | в пределах бюджета теста 90 s / потерь нет |
Ограничения и следующие шаги
- Потеря host, LB или PostgreSQL не переживается, это SPOF. Отказоустойчивость показана только для процесса API.
- Порты PostgreSQL и Redis опубликованы только на
127.0.0.1дляmake test-go. Redis без пароля доступен только с локальной машины. server-template api 4приAPI_REPLICAS> 4 лишние реплики в балансировку не попадут.- Нагрузка closed-loop с одного клиента ограничена клиентом, есть coordinated omission, один прогон на сценарий. Это не оценка предельной пропускной способности.
- Ключи идемпотентности не удаляются, таблица растёт. Для production понадобится фоновая очистка ключей старше 24 ч.