22 KiB
Демонстрация лабораторной 3 на защите
Сценарий повторяет раздел «Сценарий защиты» из README: стенд поднимается с нуля на пустом volume, затем показываются балансировка одной сессии по репликам, идемпотентность, остановка каждой реплики, рестарт всего стенда и эксперименты уровня 4.
Важно: выполняйте команды по порядку в одном окне терминала. Переменные B, TA, TB, ALICE, BOB, CHAT, KEY и функции j, pg, ids живут только в этом окне.
0. Подготовка: чистый clone
Если запущен рабочий стенд, останавливаем его. Volume сохраняется, порт освобождается:
(cd ~/Desktop/вуз/ВНП/lab3/mtusi2026lab3 && docker compose stop)
Скачиваем решение в новую папку:
git clone -b solution/bvt2304-koshelev ssh://git@gitea.privcloud.tech:2222/Iicon18/mtusi2026lab3.git ~/Desktop/lab3-demo
cd ~/Desktop/lab3-demo
Отдельное имя compose-проекта даёт отдельные контейнеры и новый пустой volume:
export COMPOSE_PROJECT_NAME=lab3-demo
cp .env.example .env
Если порт 8080 занят (у меня его держит посторонний контейнер romashka-frontend), меняем APP_PORT в .env, например на 8088. Следующая команда подхватит значение:
B=http://127.0.0.1:$(sed -n 's/^APP_PORT=//p' .env); echo "$B"
Вспомогательные функции: достать поле из JSON, выполнить SQL, показать заголовок X-Instance-Id.
j() { python3 -c 'import sys,json;print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
pg() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; }
ids() { for c in $(docker compose ps -q api); do printf '%s -> %s\n' "$(docker inspect -f '{{.Name}}' $c)" "$(docker exec $c cat /tmp/instance-id)"; done; }
Сказать: «Это свежий clone моей ветки в отдельный compose-проект, база будет пустой.
.envи секреты не хранятся в Git, создаю их локально».
1. Секреты
make secrets
git check-ignore -v secrets/database_url .env
Сказать: «Как в lab2:
scripts/init-secrets.shгенерирует пароли PostgreSQL и Valkey вsecrets/(в.gitignore). В контейнеры они приходят как compose secrets файлами/run/secrets/.... Балансировщику секреты не выдаются вообще — ему они не нужны».
2. Топология и запуск
cat compose.yaml
Сказать:
- «Пять сервисов:
lb(HAProxy) — единственная публичная точка входа;api— приложение,deploy.replicas: 2;migrate— одноразовые миграции;postgres— источник истины;valkey— общий кэш сессий».- «У
apiнетportsи нетcontainer_name: снаружи до реплик не достучаться в обход LB, и сервис можно масштабировать (API_REPLICAS=4)».- «Две сети:
edge(lb ↔ api) иdata(api ↔ postgres/valkey) сinternal: true. БД и кэш недоступны ни с хоста, ни из балансировщика».- «У каждого контейнера лимиты CPU/RAM в
deploy.resources.limits. Версии образов закреплены,latestнигде нет».- «
apiстартует только послеmigrateс кодом 0 — миграции выполняет один процесс, а не гонка реплик».
make up
docker compose ps --all --format 'table {{.Name}}\t{{.Status}}\t{{.Ports}}'
docker compose logs migrate --no-log-prefix | tail -2
Сказать: «Опубликован только порт
lb. Обе репликиhealthy.migrateприменил0001_initи0002_idempotencyи завершился».
3. Конфигурация балансировщика
cat infra/haproxy/haproxy.cfg
Сказать:
- «
server-template api 8 api:8080+resolvers docker: адреса реплик HAProxy берёт из встроенного DNS Docker (127.0.0.11). Поэтому масштабирование и перезапуск реплики с новым IP не требуют перезагрузки LB».- «Активная проверка готовности:
GET /health/readyкаждую секунду (inter 1s), реплика выводится после 2 неудач (fall 2), возвращается после 2 успехов (rise 2). Максимальное время обнаружения ≈ 3 с».- «
balance roundrobin, никакой привязки клиента (sticky) нет».- «
timeout connect 1s,retries 3,option redispatch 1,retry-on conn-failure empty-response: если до реплики не удалось достучаться, запрос повторяется на другой реплике. Для POST это безопасно, потому что сообщение идемпотентно по ключу».- «
http-error— если живых реплик нет, сам LB отвечает JSON-ошибкой в формате API сX-Request-Id».
4. Публичный тест
make check
make test BASE_URL="$B"
Сказать: «Публичный smoke lab3: всё из lab2 плюс обязательный
X-Instance-Idв каждом ответе иIdempotency-Keyпри отправке сообщения — повтор, 409 на другой body, 400 без ключа».
5. Одна сессия — разные реплики
ALICE=$(curl -s -X POST "$B/api/v1/users" -H 'Content-Type: application/json' -d '{"username":"alice","display_name":"Алиса","password":"Alice-demo-pass-1"}' | j id); BOB=$(curl -s -X POST "$B/api/v1/users" -H 'Content-Type: application/json' -d '{"username":"bob","display_name":"Боб","password":"Bob-demo-pass-123"}' | j id); echo "$ALICE $BOB"
Один вход — один токен:
TA=$(curl -s -X POST -u 'alice:Alice-demo-pass-1' "$B/api/v1/auth/sessions" | j token); TB=$(curl -s -X POST -u 'bob:Bob-demo-pass-123' "$B/api/v1/auth/sessions" | j token); echo ok
Шесть запросов одним токеном:
for i in 1 2 3 4 5 6; do curl -s -D - -o /dev/null "$B/api/v1/users/me" -H "Authorization: Bearer $TA" | grep -i '^x-instance-id'; done
Какому контейнеру соответствует каждый id:
ids
Сказать:
- «Запросы чередуются между двумя репликами, а повторного входа нет: сессия хранится в PostgreSQL, кэш общий в Valkey. Ни у одной реплики нет своего локального состояния».
- «
X-Instance-Id— случайный псевдонимapi-xxxxxxxx, генерируется один раз при старте процесса. Hostname и IP не раскрываются. Сама реплика пишет его в/tmp/instance-idсвоего контейнера — так я доказываю, что это разные процессы в разных контейнерах, а не просто разный заголовок».
6. Идемпотентность отправки
CHAT=$(curl -s -X POST "$B/api/v1/chats" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -d "{\"title\":\"Защита ЛР3\",\"member_ids\":[\"$ALICE\",\"$BOB\"]}" | j id); KEY=demo-$(date +%s); echo "$CHAT $KEY"
Один и тот же POST три раза — смотрим id сообщения и реплику:
for i in 1 2 3; do curl -s -i -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -H "Idempotency-Key: $KEY" -d '{"text":"Ровно одно сообщение"}' | grep -iE '^HTTP|^x-instance-id|"id"' ; echo; done
Тот же ключ, другой текст → 409; без ключа → 400:
curl -s -o /dev/null -w '%{http_code}\n' -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -H "Idempotency-Key: $KEY" -d '{"text":"Другой текст"}'; curl -s -o /dev/null -w '%{http_code}\n' -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TA" -d '{"text":"без ключа"}'
Тот же ключ у Боба — независим:
curl -s -X POST "$B/api/v1/chats/$CHAT/messages" -H 'Content-Type: application/json' -H "Authorization: Bearer $TB" -H "Idempotency-Key: $KEY" -d '{"text":"Ровно одно сообщение"}'; echo
pg "SELECT key, user_id, encode(request_hash,'hex') AS hash, message_id, created_at FROM idempotency_keys WHERE chat_id = '$CHAT'"
pg "SELECT count(*) FROM messages WHERE chat_id = '$CHAT'"
Сказать:
- «Три одинаковых POST через разные реплики — один и тот же
201и тот жеid. Сообщений в базе от Алисы одно, плюс одно от Боба: ключ ограничен пользователем и чатом».- «Таблица
idempotency_keys, первичный ключ(user_id, chat_id, key). В ней SHA-256 канонического JSON тела (ключи отсортированы) — поэтому другой текст с тем же ключом даёт 409».- «Запись ключа и сообщения — одна транзакция: сначала
INSERT … ON CONFLICT DO NOTHINGвidempotency_keys, потомINSERTсообщения. Если транзакция упала, нет ни ключа, ни сообщения — клиент может безопасно повторить. Если она закоммичена, повтор получит сохранённый результат».- «Ключ хранится 24 часа (
IDEMPOTENCY_TTL_SECONDS); устаревшая запись удаляется при следующем использовании этого ключа».
Конкурентный повтор через разные реплики — свой тест:
make test-student BASE_URL="$B"
Сказать: «32 потока одновременно (через
threading.Barrier) отправляют один и тот же ключ, 5 раундов. Запросы делятся по репликам 16/16, а сообщение создаётся ровно одно. Как это работает: второйINSERTс тем же первичным ключом ждёт на уникальном индексе, пока первая транзакция не закончится. После её COMMIT он получает конфликт, читает уже закоммиченную строку и возвращает то же сообщение. Гонку решает PostgreSQL, а не проверка "SELECT, потом INSERT"».
7. Отказ одной реплики
cat scripts/stop-one.sh
Сказать: «Тест передаёт
TARGET_INSTANCE_ID— id реплики, которая обслужила его первое сообщение. Скрипт обходит контейнерыapi, читает/tmp/instance-idи делаетdocker stopименно нужного.docker stopшлёт SIGTERM, аrestart: unless-stoppedне поднимает контейнер, остановленный вручную, — реплика остаётся остановленной. БД, LB и volumes не трогаются».
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$B"
tail -1 evidence/stop-one.txt; docker compose ps -a api --format 'table {{.Name}}\t{{.Status}}'
Сказать:
- «Тест 15 секунд пишет сообщения параллельно со скриптом, неудачный POST повторяет с тем же ключом. Результат:
failed_attempts: 0, запись восстановилась за ~3 с (норма ≤ 10 с), остановленная реплика в последних ответах не встречается, дублей и потерь нет».- «Видно, какой контейнер реально остановлен:
Exited (0)— код 0, значит процесс корректно завершился по SIGTERM, а не был убит по таймауту (137)».
Возвращаем реплику:
make restore
Повторяем для второй реплики. Если в stop-one.txt снова та же — сдвигаем round-robin одним запросом и запускаем ещё раз:
curl -s -o /dev/null "$B/health/live"; make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$B"; tail -2 evidence/stop-one.txt
make restore
Сказать: «Тест выбирает жертву по тому, кто ответил на его первое сообщение. Число запросов до этого у теста всегда одинаковое, а round-robin детерминирован — поэтому один лишний запрос меняет, какая реплика будет остановлена».
8. Рестарт всего стенда
cat scripts/restart.sh
docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q)
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL="$B"
docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q)
curl -s "$B/api/v1/chats/$CHAT/messages" -H "Authorization: Bearer $TA" | python3 -m json.tool --no-ensure-ascii | head -20
Сказать: «
StartedAtизменился у всех: api, lb, postgres, valkey. Volumepgdataтот же, поэтому прежний токен Алисы работает без повторного входа, и сообщения на месте».
9. Уровень 4: отказ каждой реплики под нагрузкой
make chaos BASE_URL="$B"
Сказать:
- «Мой генератор
student-tests/chaos_load.py: 8 потоков 25 секунд, каждый по кругу пишет сообщение (неудачу повторяет с тем же ключом) и читает историю. На 5-й секундеscripts/stop-container.shостанавливает реплику. Make делает это по очереди для api-1 и api-2, восстанавливая предыдущую».- «На моём стенде: ~600 успешных RPS, 0 ошибок, p99 ≈ 60 мс, восстановление ≈ 2.5 с. После прогона читается вся история: каждое подтверждённое сообщение есть ровно один раз».
- «Худшая задержка ≈ 1 с: IP остановленного контейнера не отвечает отказом, HAProxy ждёт
timeout connect 1sи повторяет запрос на живой реплике. Через ≤ 2 проверки реплика выводится из ротации, и задержки прекращаются».- «В
docker_stats_midвидно: оставшаяся реплика упирается в свой лимит 0.5 CPU — это предел пропускной способности одной реплики».
10. Уровень 4: rolling update под нагрузкой
cat scripts/rolling-update.sh
python3 student-tests/chaos_load.py --base-url "$B" --action scripts/rolling-update.sh --action-at 5 --duration 45 | python3 -c 'import json,sys; d=json.load(sys.stdin); print({k: d[k] for k in ("requests","errors","successful_rps","latency_ms_success","action_output","integrity")})'
docker compose ps api --format 'table {{.Name}}\t{{.Status}}'
Сказать:
- «Compose сам не умеет поочерёдную замену, поэтому скрипт: собрать новый образ → один раз прогнать миграции → для каждой старой реплики поднять одну новую (
--scale N+1 --no-recreate), дождатьсяhealthy, затем остановить и удалить одну старую. В ротации никогда не меньше N рабочих реплик».- «Ошибок 0, реплики теперь
api-3иapi-4— это новые контейнеры».- «Миграции аддитивные: новая таблица
idempotency_keysне мешает старой версии кода. Разрушающее изменение схемы потребовало бы expand/contract в несколько релизов».
11. Уровень 4: лимиты, изоляция, ответ LB без реплик
for c in $(docker compose ps -q); do docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} mem={{.HostConfig.Memory}}' $c; done
docker compose exec -T lb sh -c 'nc -z -w 2 postgres 5432 && echo reachable || echo "postgres недоступен из lb"'
Останавливаем обе реплики — отвечает сам LB:
docker compose stop api; sleep 3; curl -si "$B/api/v1/users/me"; echo
docker compose up -d --wait api
Сказать: «503 в формате ошибок API с
X-Request-Id, безX-Instance-Id— контракт это разрешает для ошибок, созданных самим LB».
12. Остановка и удаление данных
Обычная остановка, данные в volume остаются:
docker compose down
Намеренное удаление учебных данных демо-стенда (необратимо):
docker compose down -v
unset COMPOSE_PROJECT_NAME
Короткие ответы на вопросы из README
- Чем отказ процесса отличается от отказа узла?
- Отказ процесса — упал или остановлен один контейнер API. Docker-host, сеть, БД и LB живы, другая реплика продолжает работу. Это то, что выдерживает мой стенд.
- Отказ узла — пропадает вся машина: все контейнеры на ней, включая единственные LB и PostgreSQL. На одном Docker-host от этого не защититься: нужны несколько узлов, реплицированная БД, LB вне узла (трек 2 уровня 5, его я не делал).
- Почему
depends_on/healthcheck сами по себе не являются балансировщиком?depends_onуправляет только порядком запуска приup. После старта он ничего не делает.- Healthcheck Docker только помечает контейнер
unhealthy; трафик он не перенаправляет и сам контейнер в Compose не перезапускает. - Распределять запросы, исключать мёртвые бэкенды и повторять запрос на другом умеет только балансировщик — у меня HAProxy с собственными активными проверками.
- Какие POST можно повторять после timeout и что защищает Idempotency-Key?
- После timeout клиент не знает, выполнилась ли запись. Повторять можно только идемпотентные операции. У нас это
POST /chats/{id}/messagesс тем же ключом и тем же телом: если первая попытка закоммичена, сервер вернёт её результат, если нет — выполнит заново. - Ключ защищает от дублей при повторе клиентом, при повторе LB на другой реплике и при одновременных повторах.
- Создание чата, регистрацию, загрузку файла слепо повторять нельзя: ключа у них нет, получится второй объект.
- После timeout клиент не знает, выполнилась ли запись. Повторять можно только идемпотентные операции. У нас это
- Что сломается при увеличении числа API, если сессии хранятся в локальной памяти?
- Токен знает только реплика, где был вход. Round-robin отправит следующий запрос на другую —
401. Пришлось бы включать sticky sessions, а это маскирует проблему. - Logout на одной реплике не отзовёт токен на другой.
- При остановке или перезапуске реплики все её сессии пропадут, пользователям придётся входить заново.
- Аналогично для локальных ключей идемпотентности: повтор через другую реплику создал бы дубль.
- Токен знает только реплика, где был вход. Round-robin отправит следующий запрос на другую —