Evidence from a freshly recreated stand at the current code: the four detection cases with their declared maxima, failover-each for both replicas under k6 at 100 rps (no errors, no balancer retries, the stopped replica never served during its outage), the 20 round same-key race, the limits and isolation check with a run against deliberate violations, and two rolling updates under load: from the level 3 image, where the old replicas without a drain window caused 54 redispatches and 2 response errors that the balancer retried, and between two current builds with all counters at zero. Level 3 runs are refreshed on the new code: smoke, stack view, both failovers with the drain sequence in the replica log, hooks with the longer stop, persistence, stack fault tests and own tests with the shutdown and timeout chain output. The report gains the shutdown order, the check period and worst detection per failure with measurements, the timeout chain, rows 4.1 to 4.4, level 4 rows of the failure table, the k6 role, the new variables and the updated limitations; AGENTS.md lists the commands. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
11 KiB
Что это за репозиторий
Skeleton лабораторной 3 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке solution/bpi2303-kostylev. Skeleton даёт задание (README.md), нормативный контракт (contracts/) и публичные black-box проверки (tests/). Реализация API, Dockerfile, compose-стенд, конфигурация балансировщика, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 3 построено переносом решения лабы 2.
Лаба 3: несколько взаимозаменяемых реплик API за единой точкой входа — HAProxy. Реплики не держат состояния: PostgreSQL остаётся источником истины для пользователей, сессий, чатов и сообщений, Valkey — общий кэш сессий. Каждый ответ API несёт X-Instance-Id обслужившей реплики, отправка сообщения требует Idempotency-Key, а повтор с тем же ключом через любую реплику не создаёт дубль. Остановка одной реплики не прерывает чтение и запись дольше 10 с.
Команды
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, X-Instance-Id в контракте
make validate PYTHON=.venv/bin/python # полная валидация OpenAPI 3.1 (venv с requirements-dev.txt)
make install # uv sync --group dev
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
make student-test # собственные тесты (поднимают одноразовые PostgreSQL и Valkey в Docker)
make secrets # локальные secrets/* и .env из .env.example (не коммитятся)
make up # docker compose up -d --build --wait: postgres, valkey, migrate, api ×API_REPLICAS, lb
make test # публичный smoke через LB (BASE_URL, по умолчанию http://localhost:8080)
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, postgres, valkey с сохранением volumes
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами
make restore # вернуть остановленные реплики и дождаться их в ротации LB
make lb-check # ≥2 X-Instance-Id на одном токене и 20 гонок одного Idempotency-Key
make limits # уровень 4: лимиты, порты, секреты, volumes, сети против политики scripts/limits.py
make detection # уровень 4: время обнаружения SIGTERM/kill/pause/PostgreSQL против заявленного максимума
make failover-each # уровень 4: каждая реплика по очереди под k6 (RATE=100) → evidence/failover-each
make rolling-update [FROM_REV=<коммит>] # уровень 4: замена реплик по одной под k6, migrate один раз
make down # остановка без удаления данных; make reset-data — намеренное удаление volumes
tests/*.py и scripts/*.py — только stdlib, синтаксис Python 3.9 (make check разбирает их системным python3). Проверки сами не поднимают стенд. Хуки scripts/stop-one.sh и scripts/restart.sh запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей.
Архитектура skeleton
lab.json— единственный источник номера лабы (3). От него зависятscripts/check_contract.py(info.version == 1.3.0,X-Instance-Idво всех ответах) иtests/client.py(с lab3 проверяет непустойX-Instance-Idна любом ответе и шлётIdempotency-Keyв каждом POST сообщения).tests/resilience.py --mode failover:TARGET_INSTANCE_ID— реплика, обслужившая первое сообщение; 40GET /users/meодним токеном должны дать ≥2X-Instance-Id; hook возвращается <10 с с кодом 0; первая запись после hook — не позже 10 с от его старта; ≥5 записей после; target отсутствует в последних 5 ответах; история без дублей и байт-в-байт равна подтверждённым ответам. Таймаут клиента 2 с, после ошибки повтор с тем же ключом и текстом.tests/resilience.py --mode persistence: hook ≤90 с, затем/health/readyи/users/meпрежним токеном до 90 с, сверка истории.contracts/infrastructure.json— ролиapi(≥2, без локального состояния),postgres(persistent volume),load_balancer(единственная публичная точка, readiness backend), опциональныйredis_or_valkey.compose.example.yaml— только worksheet ролей.
Ключевые правила контракта (lab3)
X-Instance-IdиX-Request-Id— на каждом ответе API, включая health,204logout,404/405неизвестного маршрута и500.X-Instance-Idодин на реплику (контейнер), стабилен на жизнь процесса и одинаков у всех воркеров gunicorn. Ответы, сгенерированные самим LB, его могут не иметь.POST /api/v1/chats/{chat_id}/messagesтребуетIdempotency-Key(^[A-Za-z0-9._:-]{1,128}$); нет или неверный —400. Область ключа — пользователь + метод + путь + ключ, результат хранится ≥24 ч (IDEMPOTENCY_TTL_SECONDS). Повтор того же JSON — тот же201и тот жеMessage(включая строкуcreated_at), другой JSON —409. Повтор заново проверяет сессию (401) и доступ (404). Сохраняется только201; запись сообщения и ключа — одна транзакция PostgreSQL.- LB и клиент не повторяют прозрачно
POST /usersиPOST /chats. Балансировка без sticky-сессий. - Сохраняются правила lab2:
Basicтолько наPOST /api/v1/auth/sessions, иначеBearer;WWW-Authenticateпо пути;X-User-Idигнорируется; logout204, повтор401; абсолютный TTL сессии. И lab1: формат ошибки{"error":{code,message,request_id}}, посторонний →404, keyset(created_at, id),limit1–100, cursor привязан к чату, время RFC 3339 сZ.
Правила работы с репозиторием
- Не менять и не ослаблять
contracts/,tests/,README.md,COURSE.md, рубрику. Расхождение оформляется вопросом преподавателю. - Код —
src/messenger/, миграции —src/messenger/migrations/NNNN_*.sql, конфигурация LB и нагрузки —infra/, хуки и обвязка стенда —scripts/, собственные тесты —student-tests/, обезличенные доказательства —evidence/. - Без комментариев в коде; отступы — пробелы (
[tool.ruff.format]); Python 3.14 безfrom __future__ import annotationsиTYPE_CHECKING. - Порты реплик API наружу не публикуются: только LB. Нет
container_name,hostnameи общегоINSTANCE_IDу сервисаapi. REPORT.md: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (docker ps -a).- Ветка
solution/bpi2303-kostylev, коммиты на английском, перед каждым —make lint. Никогда не коммитить.env,secrets/, токены, volumes, дампы.
Уровни оценки
Решение заявлено на «5» с треком 1 «Цена масштабирования»; таблица доказательств — в REPORT.md.
- 3 — стенд в
compose.yaml: HAProxy → ≥2 реплики API → общие PostgreSQL и Valkey; разные реплики на одном токене; остановка любой реплики с восстановлением ≤10 с; идемпотентная отправка, включая конкурентный повтор и смену реплики;make test,make test-persistence ACTION_SCRIPT=scripts/restart.sh,make test-failover ACTION_SCRIPT=scripts/stop-one.sh; минимум lab2 сохранён. - 4 — согласованные readiness, таймауты и
SIGTERM, период проверок и время обнаружения; поочерёдная остановка каждой реплики под нагрузкой с RPS, ошибками и временем восстановления; лимиты CPU/RAM, API без опубликованных портов; rolling update под нагрузкой и однократные совместимые миграции. - 5 — трек 1: 1/2/4 реплики при фиксированном бюджете CPU/RAM и серия с ростом ресурсов, saturation point БД/LB/пула, графики и одно подтверждённое улучшение.