diff --git a/REPORT.md b/REPORT.md index c2679005..c0c4dd25 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,264 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO +- Автор, группа: Мусаев Абдул-Хамид Рамзанович, БВТ-2303 +- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявлен - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Использованные источники, библиотеки и помощь ИИ: + - библиотеки и образы: FastAPI 0.143.0, Uvicorn 0.54.0, psycopg 3.3.6, redis-py 8.1.0, argon2-cffi 25.1.0, HAProxy 3.2.26, PostgreSQL 17.11, Redis 7.4.11 (полный список в `requirements.txt`, `compose.yaml`, `infra/haproxy/Dockerfile`); + - источники: документация HAProxy (проверки, resolvers, retry-on, http-error), PostgreSQL (`INSERT ... ON CONFLICT`, READ COMMITTED), Docker Compose, `contracts/README.md`; + - помощь ИИ: ИИ-ассистент использовался во вспомогательных целях. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker с Compose v2 (проверено на Docker 29.3.0, Compose 5.1.0), `make`, `openssl`, `curl` и Python 3.9+ на хосте для тестов. Выбран Compose, Swarm не используется. + +```sh +make up # создаёт .env с паролями, собирает образы, поднимает стенд и ждёт /health/ready + +make check # структура skeleton +make test # публичный smoke +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +make restore # вернуть реплику, остановленную failover-тестом + +make student-test # собственные тесты API +make test-failures # истечение сессии и ключа, отказ Redis и PostgreSQL, откат транзакции +make failover-each # остановка каждой реплики под нагрузкой (SIGTERM) +make failover-hard # то же с SIGKILL и с зависшей репликой +make rolling-update APP_VERSION=2 # поочерёдная замена реплик под нагрузкой +python3 scripts/sigterm_check.py +make explain # синтетическая история и планы запросов + +make down # остановить и удалить контейнеры, данные остаются в volumes +make clean # то же и удалить volumes: намеренное удаление учебных данных +``` + +То же без `make`: + +```sh +./scripts/init-env.sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build +./scripts/wait-ready.sh +``` + +Число реплик задаёт `API_REPLICAS` в `.env`. На работающем стенде реплику можно добавить без перезапуска остальных: `docker compose --env-file .env up -d --no-deps --no-recreate --no-build --scale api=3 api`. Балансировщик рассчитан на 6 реплик. + +`make test-failures` сам останавливает и запускает `redis` и `postgres` и поднимает отдельный API на порту 8081 из `compose.test.yaml`, поэтому запускать его нужно только на учебном стенде. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` + edge data (internal) +клиент ──> lb (HAProxy) ──┬──> api-1 ──┬──> postgres: пользователи, чаты, сообщения, ключи идемпотентности + 127.0.0.1:8080 └──> api-2 ──┴──> redis: сессии с TTL + +migrate: одноразовый контейнер, применяет миграции до старта реплик +``` + +### Роли и сервисы + +| Роль | Сервис compose | Образ | Готовность | Volume | Сеть и порт | Лимиты | Как получает секреты | +| --- | --- | --- | --- | --- | --- | --- | --- | +| load_balancer | `lb` | собирается из `infra/haproxy/Dockerfile` на `haproxy:3.2.26-alpine` | `/lb-health` на внутреннем порту 8404 | нет | `edge`, опубликован только `127.0.0.1:8080` | 0,5 CPU, 128 МБ | не нужны | +| api | `api`, 2 реплики | собирается из `Dockerfile` на `python:3.13.16-slim-bookworm` | HEALTHCHECK → `/health/ready` | нет, состояния не хранит | `edge` и `data`, порт 8080 не опубликован | 1 CPU, 256 МБ на реплику | файлы `/run/secrets/database_url`, `/run/secrets/cache_url` | +| миграции | `migrate` | тот же образ | одноразовый, код выхода 0 | нет | `data` | 0,5 CPU, 128 МБ | файл `/run/secrets/database_url` | +| postgres | `postgres` | `postgres:17.11-alpine` | `pg_isready` | `pgdata` | `data` | 1 CPU, 512 МБ | `POSTGRES_PASSWORD_FILE` | +| redis | `redis` | `redis:7.4.11-alpine` | `redis-cli ping` | `redisdata` | `data` | 0,5 CPU, 128 МБ | `--requirepass` из файла секрета | + +Сеть `data` объявлена `internal`: балансировщик не видит хранилища, а хранилища не имеют выхода наружу. `container_name` не используется, поэтому сервис `api` масштабируется. Секреты описаны как `secrets` с источником из `.env` и попадают в контейнеры файлами, в окружении контейнеров их нет (`evidence/09-containers.txt`). + +Конфигурация HAProxy лежит внутри образа, а не монтируется с хоста: версия балансировщика и его настройки меняются только сборкой, и `haproxy -c` проверяет конфигурацию уже при сборке. + +### Новое и изменённое в этой работе + +| Файл | Что в нём | +| --- | --- | +| `infra/haproxy/haproxy.cfg` | балансировка, проверки готовности, DNS, таймауты, ошибки в формате контракта | +| `infra/haproxy/errors/*.http` | готовые JSON-ответы для запросов, которые не удалось разобрать | +| `migrations/0002_idempotency.sql` | таблица ключей идемпотентности | +| `src/store.py` | `add_message` с ключом | +| `src/main.py` | `X-Instance-Id`, разбор `Idempotency-Key`, разбор тела после проверки токена | +| `compose.yaml`, `compose.test.yaml` | стенд и отдельный API с коротким TTL только для тестов | +| `scripts/stop-one.sh`, `scripts/restart.sh`, `scripts/rolling-update.sh` | отказ реплики, перезапуск стенда, поочерёдная замена | +| `scripts/chaos.py`, `scripts/sigterm_check.py` | нагрузка во время отказов и проверка SIGTERM | + +### Балансировка и обнаружение отказа + +`balance roundrobin`, sticky session нет: любой запрос может уйти на любую реплику. API не хранит локального состояния, поэтому это безопасно. + +Список реплик не задан вручную. `server-template api 1-6 api:8080` с `resolvers docker` берёт адреса из DNS Docker по имени сервиса: новые контейнеры появляются сами, остановленные исчезают. `depends_on` и healthcheck контейнера этого не делают: они влияют только на порядок запуска и статус контейнера, а трафик распределяет балансировщик. + +Проверка активная: `GET /health/ready` раз в секунду на каждую реплику. + +| Настройка | Значение | Зачем | +| --- | --- | --- | +| `inter` / `fall` / `rise` | 1 с / 2 / 2 | две неудачи подряд исключают реплику, две удачи возвращают | +| `timeout check` | 1 с | зависшая реплика считается неудачной проверкой | +| `timeout connect` | 1 с | столько запрос ждёт соединения, потом идёт на другую реплику | +| `retries` + `retry-on conn-failure` + `option redispatch` | 2 | повтор только при отказе соединения, то есть когда запрос не дошёл до приложения; поэтому это безопасно и для POST | +| `option http-server-close` | — | новое соединение с API на каждый запрос: остановленная реплика сразу видна как отказ соединения, нет гонки с закрытием простаивающего соединения | +| `timeout server` | 12 с | больше самого долгого ответа API: 3 с на соединение из пула + 5 с на запрос + 2 с на Redis | +| `timeout client` / `timeout http-request` | 30 с / 10 с | защита от клиента, который не присылает запрос | + +**Максимальное время обнаружения отказа.** Процесс остановлен: соединения отвергаются сразу, отказ виден не позже двух проверок, около 2 с; DNS Docker обычно убирает контейнер раньше. Измерено 0,4–1,3 с. Реплика зависла: соединения открыты, ответов нет, две проверки по 1 с плюс интервал дают около 3 с. Измерено 3,2–3,5 с (в замер входит опрос статистики балансировщика). Возврат реплики — около 2 с после готовности. + +### Согласованность остановки + +1. `docker stop` шлёт SIGTERM процессу PID 1. +2. Uvicorn сразу закрывает слушающий сокет: новые соединения отвергаются, HAProxy отправляет запрос на другую реплику. +3. Начатые запросы завершаются, но не дольше `SHUTDOWN_TIMEOUT` = 8 с. +4. Процесс выходит с кодом 0 раньше, чем `stop_grace_period` = 10 с закончится SIGKILL. + +Отдельной паузы со сбросом готовности перед закрытием сокета нет: отказ соединения обрабатывается повтором на другую реплику, и замеры показали, что этого достаточно. Цена описана в разделе про ограничения. + +### Идемпотентность отправки сообщения + +Ключи хранятся в PostgreSQL, таблица `idempotency_keys`, первичный ключ `(user_id, chat_id, key)` — это область уникальности контракта: пользователь + метод + путь чата + ключ. Значение — `message_id` и время создания. Хранилище общее, поэтому реплики видят одни и те же ключи. + +`add_message` выполняется одной транзакцией: + +1. Проверка членства в чате. Посторонний получает 404, ключ не занимается. +2. `INSERT ... ON CONFLICT (user_id, chat_id, key) DO UPDATE ... WHERE срок вышел RETURNING message_id`. +3. Строка вернулась — ключ занят этой транзакцией: вставляется сообщение, ответ 201. +4. Строки нет — сообщение уже есть: оно читается и сравнивается по тексту. Текст тот же — ответ 201 с исходным сообщением. Другой — 409. + +**Почему одновременные повторы создают ровно одно сообщение.** Уникальный индекс заставляет вторую транзакцию ждать на шаге 2, пока первая не завершится. Если первая зафиксирована, вторая идёт на шаг 4 и читает её результат: в READ COMMITTED каждый запрос видит уже зафиксированные данные. Если первая откатилась, вторая занимает ключ сама. + +**Почему побочный эффект и результат атомарны.** Ключ и сообщение пишутся в одной транзакции, а внешний ключ `message_id` отложен до COMMIT (`DEFERRABLE INITIALLY DEFERRED`), потому что ключ вставляется первым. При сбое не остаётся ни того, ни другого, поэтому транзиентный 5xx не становится окончательным результатом, и запрос можно повторить с тем же ключом. + +Текст сравнивается напрямую, поэтому порядок ключей и пробелы в JSON на результат не влияют. Срок хранения — `IDEMPOTENCY_TTL_SECONDS`, по умолчанию 24 часа; после него тот же ключ снова свободен. Повтор проходит те же проверки сессии и доступа, что и первый запрос. + +`Idempotency-Key` обязателен, формат `[A-Za-z0-9._:-]{1,128}`, иначе 400. Проверка идёт после токена. Посторонний с неверным ключом получит 400, а не 404: существование чата при этом не раскрывается, ответ не зависит от чата. + +### X-Instance-Id + +Каждый ответ API содержит `X-Instance-Id`, значение — `socket.gethostname()`, то есть короткий id контейнера. Оно стабильно на время жизни процесса, по нему `scripts/stop-one.sh` находит контейнер среди контейнеров сервиса `api`. В lab7 нужно заменить на непрозрачный alias. Ответы самого балансировщика этого заголовка не имеют, контракт это допускает. + +### Ответы балансировщика + +Когда готовых реплик нет или соединение оборвалось, HAProxy отвечает сам. Для 500, 502, 503, 504 используется `http-error` с формированием JSON и `X-Request-Id` из `unique-id`. Запросы, которые не удалось разобрать (400, 408, 414, 431), до `http-error` не доходят: у них ещё нет идентификатора, поэтому ответы готовые, из файлов, с постоянным `request_id` вида `lb-400`, который совпадает с заголовком. Формат проверен тестами в `test_balancing.py`. + +### Миграции и поочерёдная замена + +Миграции выполняет один контейнер `migrate` до старта реплик, реплики их не запускают. `pg_advisory_lock` защищает от двух одновременных запусков. + +`scripts/rolling-update.sh`: собрать образ → один раз применить миграции → для каждой старой реплики поднять новую, дождаться `healthy` и двух проверок балансировщика, затем остановить и удалить старую. Число работающих реплик не падает ниже исходного. + +Миграция `0002` только добавляет таблицу, поэтому работающая версия без идемпотентности продолжила бы работать на новой схеме. Совместная работа версии lab2 с этой схемой не проверялась, проверена замена версии lab3 на версию lab3 с другим `APP_VERSION`. Общее правило: миграция должна подходить и старой, и новой версии; удаление или переименование колонок делается отдельным выпуском после замены всех реплик. + +### Что перенесено из lab2 и что изменено + +Перенесены: PostgreSQL и миграции, Argon2id, Basic и Bearer, сессии в Redis с AOF, пул и таймауты, cursor-пагинация со строгой проверкой, исправления по замечаниям к lab1 и lab2. + +Изменено сверх требований lab3 (для большего соответствия контракту): + +- тело запроса разбирается после проверки токена, поэтому сломанный JSON без токена теперь даёт 401, а не 400; +- принимается только UTF-8: раньше тело в UTF-16 проходило; +- UUID в пути и в `member_ids` принимается только в записи 8-4-4-4-12: раньше проходили скобки и `urn:uuid:`; +- нужен `Content-Type: application/json`. + +Поведение при отказе зависимостей изменилось из-за балансировщика: `/health/ready` реплик становится 503, реплики исключаются, и через 2–3 с на все запросы, включая анонимные и `/health/live`, отвечает 503 сам балансировщик. Это осознанно: реплика, которая не может обслужить запрос, не должна получать трафик. + +Контракт и публичные тесты не менялись. Значение `SESSION_STORE` в `.env.example` изменено на `redis`. + +### Соответствие переменных окружения + +| Переменная в `.env` | По умолчанию | Что делает | +| --- | --- | --- | +| `API_REPLICAS` | `2` | число реплик сервиса `api` | +| `IDEMPOTENCY_TTL_SECONDS` | `86400` | срок хранения ключа | +| `APP_HOST`, `APP_PORT` | `0.0.0.0`, `8080` | адрес сервера; в compose заданы жёстко, из `.env` не читаются | +| `APP_ENV`, `LOG_LEVEL`, `SHUTDOWN_TIMEOUT` | `lab`, `info`, `8` | как в lab2 | +| `APP_VERSION` | `dev` | аргумент сборки; задаётся при замене реплик, выводится в лог при старте | +| `SESSION_TTL_SECONDS`, `SESSION_STORE` | `3600`, `redis` | срок сессии; поддерживается только `redis` | +| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | `/run/secrets/...` | пути к строкам подключения; в compose заданы жёстко | +| `DB_POOL_*`, `DB_*_TIMEOUT`, `CACHE_*` | см. `.env.example` | пул и таймауты; 10 соединений × 6 реплик = 60 при `max_connections` = 100 | +| `POSTGRES_PASSWORD`, `REDIS_PASSWORD`, `DATABASE_URL`, `CACHE_URL` | создаёт `init-env.sh` | источник compose-секретов | + +### Семантика порядка сообщений + +`created_at` — `now()` PostgreSQL, часы общие для всех реплик, поэтому разница часов реплик на порядок не влияет. Но это время начала транзакции: две параллельные транзакции могут зафиксироваться не в порядке своих `created_at`, и сообщение может появиться в истории чуть раньше места, которое клиент уже прошёл по cursor. Окно — длительность транзакции вставки. Повторов при обходе нет. Чтение после записи выполняется на любой реплике: ответ 201 приходит после COMMIT (`test_read_after_write_on_any_replica`). ## Доказательства критериев +Стенд: Apple M3 Pro, 11 CPU, 18 ГБ RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0. Лимиты контейнеров указаны в таблице ролей; генератор нагрузки работал на том же компьютере. Файлы получены из чистого clone на пустых volumes, commit `269b449`; `evidence/08-failures.txt` получен следующим коммитом после удаления повторявшихся тестов. + | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/01-up-and-smoke.txt` | +| 3: стенд в compose.yaml, ≥2 реплики, одна точка входа, общие БД и сессии | `make up`, `docker compose ps` | 2 реплики `api`, опубликован только `lb` | `evidence/01-up-and-smoke.txt`, `evidence/09-containers.txt` | +| 3: разные реплики без повторного входа | `curl` 6 раз, `test_balancing.py` | значения `X-Instance-Id` чередуются и совпадают с id контейнеров | `evidence/01-up-and-smoke.txt`, `evidence/02-student-tests.txt` | +| 3: остановка любой реплики, продолжение за ≤10 с | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, 2 прогона | `PASS`, 2 реплики до отказа, контейнер в состоянии `exited`, запись восстановилась за 1,8 с | `evidence/04-failover-public.txt` | +| 3: повтор с тем же ключом без дубля, включая конкурентный и переключение реплики | `test_idempotency.py`, `test_transactions.py`, `scripts/chaos.py` | 8 параллельных запросов на ключ через 2 реплики дают одно сообщение; 20 параллельных дают одну строку в `messages` и в `idempotency_keys` | `evidence/02-student-tests.txt`, `evidence/08-failures.txt` | +| 3: неподтверждённую запись можно повторить | `test_uncertain_write_can_be_repeated_with_same_key`, режим `pause` | 503 при отказе БД, затем 201 с тем же ключом; при зависшей реплике клиент не дождался ответа и повторил, дублей нет | `evidence/08-failures.txt`, `evidence/06-failover-hard.txt` | +| 3: persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `PASS`, у всех контейнеров новое время старта, volumes те же | `evidence/03-persistence.txt` | +| 4: health, таймауты, SIGTERM согласованы, LB исключает недоступную реплику | `haproxy.cfg`, `scripts/sigterm_check.py` | начатые запросы 201, 0 из 20 новых на останавливаемой реплике, выход за 1,43 с с кодом 0; период 1 с, обнаружение до ~3,5 с | `evidence/10-sigterm.txt`, `evidence/05-failover-each.txt`, `evidence/06-failover-hard.txt` | +| 4: поочерёдная остановка каждой реплики, RPS, ошибки, восстановление | `make failover-each` | см. таблицу ниже | `evidence/05-failover-each.txt`, `evidence/failover-each.json` | +| 4: идемпотентность параллельными запросами | `test_parallel_repeat_through_different_replicas` | 10 ключей по 8 запросов, 2 реплики, 10 сообщений | `evidence/02-student-tests.txt` | +| 4: лимиты CPU/RAM, API без публичных портов, нет container_name | `docker inspect`, `docker compose ps`, `grep` | лимиты у всех сервисов, опубликован только `lb`, `container_name` 0 | `evidence/09-containers.txt` | +| 4: rolling update под нагрузкой | `make rolling-update APP_VERSION=2` | 18 344 записи, 0 ошибок, контейнеры и образ заменены | `evidence/07-rolling-update.txt`, `evidence/rolling-update.json` | +| 4: миграции однократно и совместимо | сервис `migrate`, `rolling-update.sh` | применены один раз, повтор ничего не меняет; ограничение совместимости описано выше | `evidence/03-persistence.txt`, `evidence/08-failures.txt` | +| Возможности lab2: истечение сессии, отказ Redis и БД, откат, гонка регистрации, индекс | `make test-failures`, `make explain` | 15 тестов `ok`, Index Scan на странице истории | `evidence/08-failures.txt`, `evidence/11-explain.txt` | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Собственные тесты: 86 тестов API (`make student-test`) и 15 тестов отказов (`make test-failures`). ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Методика `scripts/chaos.py`: 4 клиента в closed loop отправляют сообщения в один чат через балансировщик, неопределённый результат повторяется с тем же ключом и текстом. Таймаут клиента 3 с. На 5-й секунде выполняется воздействие, через 10 с реплика возвращается, затем ещё 2 с нагрузки. В конце вся история сверяется с подтверждёнными сообщениями. Отказ каждой реплики — отдельный раунд, предыдущая к этому моменту восстановлена. + +| Воздействие | Реплика | Длительность, с | Успешных | RPS | Ошибок (коды) | Исключена LB через, с | Самая длинная пауза записи, с | Потери / дубли | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| `docker stop` (SIGTERM) | 1 | 19,65 | 12 992 | 661 | 1 (502) | 0,59 | 1,01 | 0 / 0 | +| `docker stop` (SIGTERM) | 2 | 19,49 | 13 416 | 688 | 0 | 1,32 | 1,00 | 0 / 0 | +| `docker kill` (SIGKILL) | 1 | 18,08 | 12 553 | 694 | 2 (502) | 1,07 | 1,01 | 0 / 0 | +| `docker kill` (SIGKILL) | 2 | 19,69 | 13 654 | 693 | 3 (502) | 0,36 | 1,02 | 0 / 0 | +| `docker pause` (зависание) | 1 | 18,19 | 11 314 | 622 | 4 (таймаут клиента) | 3,16 | 3,08 | 0 / 0 | +| `docker pause` (зависание) | 2 | 18,40 | 9 341 | 508 | 8 (таймаут клиента) | 3,46 | 3,06 | 0 / 0 | +| rolling update, 12,4 с | обе | 22,41 | 18 344 | 819 | 0 | — | 1,01 | 0 / 0 | + +Всего 91 614 подтверждённых записей, 18 неудачных попыток, все закрыты повтором с тем же ключом; подтверждённых потерь и дублей нет. + +Что показывают данные: + +- **Пауза около 1 с при остановке** — это `timeout connect`: пока реплика не исключена, запрос к её пропавшему адресу ждёт секунду и уходит на другую. Ошибки клиент при этом не видит, но задержка есть. +- **502 при SIGTERM и SIGKILL** — соединение оборвалось, когда запрос уже был передан. Такой запрос HAProxy намеренно не повторяет: он мог быть выполнен. Повторяет клиент с тем же ключом. При SIGTERM это случилось один раз на 26 408 записей; точную причину не выяснял, вероятнее всего запрос попал в очередь сокета в момент его закрытия. +- **Зависшая реплика** — самый тяжёлый случай: открытые запросы ждут до таймаута клиента, запись частично останавливается примерно на 3 с. После `docker unpause` зависшие запросы дорабатывают и получают тот же ключ, поэтому дублей нет. Это проверка идемпотентности на настоящем сценарии. +- RPS ограничен и клиентом на Python: это не максимальная производительность стенда. RPS разных строк сравнивать не стоит, размер истории и условия прогрева отличаются. + +Ошибка, найденная при проверке: первая версия `rolling-update.sh` завершалась успешно, но ничего не заменяла. В `sh` нет локальных переменных, цикл внутри функции перезаписывал `$container`, и скрипт останавливал только что поднятую реплику. Нагрузка этого не показала: 0 ошибок выглядели как идеальное обновление. Несовпадение заметил по списку контейнеров, поэтому `chaos.py rolling` теперь завершается с ошибкой, если хоть один контейнер или образ остался прежним. + +Индекс истории (`make explain`, 152 048 сообщений, 10 000 в исследуемом чате, в кэше): + +| Запрос | План | Буферов | Время | +| --- | --- | --- | --- | +| первая страница | Index Scan | 10 | 0,037 мс | +| страница после 5000-го сообщения, keyset | Index Scan | 8 | 0,036 мс | +| та же страница через OFFSET | Bitmap Heap Scan и сортировка | 992 | 2,277 мс | +| keyset без индекса | Parallel Seq Scan и сортировка | 2092 | 4,793 мс | | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| остановка одной реплики | чтение и запись продолжаются | запись шла непрерывно, 0–1 ошибка на раунд | 1,8 с в публичном тесте; потерь нет | +| `docker compose restart` всего стенда | данные и сессия на месте | прежний токен читает прежние сообщения | несколько секунд; потерь нет | +| `docker compose stop redis` | запросы с токеном не выполняются | 503 за 0,015 с, затем 503 от балансировщика; аноним данных не получает | около 2 с после возврата Redis; сессии на месте, сообщение во время отказа не записано | +| `docker compose stop postgres` | запросы к данным не выполняются | 503 за 3,0 с, через 4 с 503 от балансировщика за 0,003 с | около 2 с после возврата; повтор с тем же ключом создаёт одно сообщение | +| TTL сессии и ключа 2 с | сессия истекает, ключ освобождается | через 3 с 401; после срока тот же ключ создаёт новое сообщение | — | +| добавление третьей реплики | балансировщик находит её сам | 9 запросов поровну на 3 реплики | не больше 8 с: проверено через 8 с после запуска | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- **Выдерживается** отказ одной реплики API. **Не выдерживается** отказ `lb`, `postgres`, `redis` или всего хоста: каждый из них один, резервных копий нет. Все контейнеры на одном Docker-хосте, поэтому отказ узла здесь не проверялся и не защищён. Отказ процесса и отказ узла — разные случаи. +- При отказе Redis или PostgreSQL недоступен весь API, включая анонимные запросы через балансировщик. Возврат занимает около 2 с после восстановления зависимости. +- При остановке реплики возможна задержка до 1 с и единичный 502 на запись. Убрать это могла бы пауза перед закрытием сокета со сбросом готовности (drain). Не сделано: цена — более долгая остановка, а клиент и так безопасно повторяет запрос. +- Записи в `idempotency_keys` с истёкшим сроком не удаляются, а перезаписываются при повторном использовании ключа, таблица растёт. Нужна периодическая очистка, в этой работе её нет. +- Сравнение повтора идёт по тексту сообщения. В lab4 появятся `attachment_ids`, сравнение нужно будет расширить. +- После поочерёдной замены номера контейнеров меняются (`api-3`, `api-4`). На работу это не влияет. +- `rolling-update.sh` останавливается при сбое новой реплики, но не откатывает уже заменённые. +- Лимита размера тела запроса нет. +- Нет ограничения числа попыток входа, код 429 не используется. +- Порядок истории при параллельных вставках описан выше. +- `X-Instance-Id` раскрывает короткий id контейнера. Для учебной lab3 допустимо, в lab7 нужен alias. +- Пароли в `.env` лежат открытым текстом на диске разработчика (права 600). Для локального стенда с синтетическими данными это допустимо. +- `make explain` оставляет в БД синтетические чаты; убрать их можно только `make clean`. +- Проверено на одном стенде (macOS, Docker Desktop). На Linux не запускалось. Генератор нагрузки работал на том же компьютере, замеры дают порядок величин, а не предел стенда. diff --git a/evidence/01-up-and-smoke.txt b/evidence/01-up-and-smoke.txt new file mode 100644 index 00000000..d9f1247c --- /dev/null +++ b/evidence/01-up-and-smoke.txt @@ -0,0 +1,89 @@ +# Запуск из чистого clone на пустых volumes, публичный smoke +# дата: 2026-10-30T18:43Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make env +./scripts/init-env.sh +пароли записаны в .env + +$ docker compose --env-file .env config --quiet + +$ docker compose --env-file .env up -d --build + Image mtusi-messenger:lab3 Built + Image mtusi-messenger:lab3 Built + Image mtusi-messenger-lb:lab3 Built + Network mtusi-messenger-lab3_data Creating + Network mtusi-messenger-lab3_data Created + Network mtusi-messenger-lab3_edge Creating + Network mtusi-messenger-lab3_edge Created + Volume mtusi-messenger-lab3_redisdata Creating + Volume mtusi-messenger-lab3_redisdata Created + Volume mtusi-messenger-lab3_pgdata Creating + Volume mtusi-messenger-lab3_pgdata Created + Container mtusi-messenger-lab3-redis-1 Creating + Container mtusi-messenger-lab3-postgres-1 Creating + Container mtusi-messenger-lab3-redis-1 Created + Container mtusi-messenger-lab3-postgres-1 Created + Container mtusi-messenger-lab3-migrate-1 Creating + Container mtusi-messenger-lab3-migrate-1 Created + Container mtusi-messenger-lab3-api-2 Creating + Container mtusi-messenger-lab3-api-1 Creating + Container mtusi-messenger-lab3-api-2 Created + Container mtusi-messenger-lab3-api-1 Created + Container mtusi-messenger-lab3-lb-1 Creating + Container mtusi-messenger-lab3-lb-1 Created + Container mtusi-messenger-lab3-redis-1 Starting + Container mtusi-messenger-lab3-postgres-1 Starting + Container mtusi-messenger-lab3-postgres-1 Started + Container mtusi-messenger-lab3-postgres-1 Waiting + Container mtusi-messenger-lab3-redis-1 Started + Container mtusi-messenger-lab3-postgres-1 Healthy + Container mtusi-messenger-lab3-migrate-1 Starting + Container mtusi-messenger-lab3-migrate-1 Started + Container mtusi-messenger-lab3-migrate-1 Waiting + Container mtusi-messenger-lab3-redis-1 Waiting + Container mtusi-messenger-lab3-redis-1 Healthy + Container mtusi-messenger-lab3-migrate-1 Exited + Container mtusi-messenger-lab3-api-2 Starting + Container mtusi-messenger-lab3-api-2 Started + Container mtusi-messenger-lab3-api-1 Starting + Container mtusi-messenger-lab3-api-1 Started + Container mtusi-messenger-lab3-lb-1 Starting + Container mtusi-messenger-lab3-lb-1 Started + +$ ./scripts/wait-ready.sh +готов: http://localhost:8080 + +$ docker compose --env-file .env ps -a +SERVICE IMAGE STATE STATUS PORTS +api mtusi-messenger:lab3 running Up 4 seconds (healthy) 8080/tcp +api mtusi-messenger:lab3 running Up 4 seconds (healthy) 8080/tcp +lb mtusi-messenger-lb:lab3 running Up 4 seconds (health: starting) 127.0.0.1:8080->8080/tcp +migrate mtusi-messenger:lab3 exited Exited (0) 5 seconds ago +postgres postgres:17.11-alpine running Up 11 seconds (healthy) 5432/tcp +redis redis:7.4.11-alpine running Up 11 seconds (healthy) 6379/tcp + +$ docker compose --env-file .env logs migrate +migrate-1 | применена: 0001_init.sql +migrate-1 | применена: 0002_idempotency.sql + +$ make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +$ make test +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. + +# одна сессия обслуживается разными репликами +$ 6 раз curl /health/live, заголовок X-Instance-Id +x-instance-id: 3a8c5ed61bd5 +x-instance-id: b7c5235a859f +x-instance-id: 3a8c5ed61bd5 +x-instance-id: b7c5235a859f +x-instance-id: 3a8c5ed61bd5 +x-instance-id: b7c5235a859f + +# id контейнеров сервиса api +3a8c5ed61bd5 +b7c5235a859f diff --git a/evidence/02-student-tests.txt b/evidence/02-student-tests.txt new file mode 100644 index 00000000..ca98d69f --- /dev/null +++ b/evidence/02-student-tests.txt @@ -0,0 +1,102 @@ +# Собственные тесты API +# дата: 2026-10-30T18:43Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make student-test +BASE_URL="http://localhost:8080" python3 -m unittest discover -s student-tests -v +test_blank_title (test_access.CreateChatTest.test_blank_title) ... ok +test_creator_must_be_member (test_access.CreateChatTest.test_creator_must_be_member) ... ok +test_duplicate_members (test_access.CreateChatTest.test_duplicate_members) ... ok +test_empty_members (test_access.CreateChatTest.test_empty_members) ... ok +test_failed_create_leaves_no_chat (test_access.CreateChatTest.test_failed_create_leaves_no_chat) ... ok +test_unknown_member (test_access.CreateChatTest.test_unknown_member) ... ok +test_bad_chat_id (test_access.ForeignChatTest.test_bad_chat_id) ... ok +test_chat_is_not_listed_for_outsider (test_access.ForeignChatTest.test_chat_is_not_listed_for_outsider) ... ok +test_foreign_chat_looks_like_missing_chat (test_access.ForeignChatTest.test_foreign_chat_looks_like_missing_chat) ... ok +test_member_id_must_be_canonical_uuid (test_access.ForeignChatTest.test_member_id_must_be_canonical_uuid) ... ok +test_members_can_read_and_write (test_access.ForeignChatTest.test_members_can_read_and_write) ... ok +test_outsider_gets_404_everywhere (test_access.ForeignChatTest.test_outsider_gets_404_everywhere) ... ok +test_outsider_message_is_not_saved (test_access.ForeignChatTest.test_outsider_message_is_not_saved) ... ok +test_basic_is_not_accepted_on_business_endpoints (test_auth.BearerTest.test_basic_is_not_accepted_on_business_endpoints) ... ok +test_garbage_token_is_401_not_500 (test_auth.BearerTest.test_garbage_token_is_401_not_500) ... ok +test_no_token (test_auth.BearerTest.test_no_token) ... ok +test_token_is_checked_before_anything_else (test_auth.BearerTest.test_token_is_checked_before_anything_else) ... ok +test_unknown_tokens (test_auth.BearerTest.test_unknown_tokens) ... ok +test_x_user_id_does_not_change_identity (test_auth.BearerTest.test_x_user_id_does_not_change_identity) ... ok +test_x_user_id_gives_no_access (test_auth.BearerTest.test_x_user_id_gives_no_access) ... ok +test_colon_and_unicode_in_password (test_auth.LoginTest.test_colon_and_unicode_in_password) ... ok +test_garbage_after_basic_is_401_not_500 (test_auth.LoginTest.test_garbage_after_basic_is_401_not_500) ... ok +test_login (test_auth.LoginTest.test_login) ... ok +test_malformed_credentials (test_auth.LoginTest.test_malformed_credentials) ... ok +test_token_is_opaque_and_unique (test_auth.LoginTest.test_token_is_opaque_and_unique) ... ok +test_username_that_cannot_exist (test_auth.LoginTest.test_username_that_cannot_exist) ... ok +test_wrong_password_and_unknown_user_look_the_same (test_auth.LoginTest.test_wrong_password_and_unknown_user_look_the_same) ... ok +test_login_again_after_logout (test_auth.LogoutTest.test_login_again_after_logout) ... ok +test_logout_requires_token (test_auth.LogoutTest.test_logout_requires_token) ... ok +test_logout_revokes_only_current_session (test_auth.LogoutTest.test_logout_revokes_only_current_session) ... ok +test_invalid_http (test_balancing.ErrorsFromBalancerTest.test_invalid_http) ... ok +test_too_large_headers (test_balancing.ErrorsFromBalancerTest.test_too_large_headers) ... ok +test_too_long_uri (test_balancing.ErrorsFromBalancerTest.test_too_long_uri) ... ok +test_every_answer_has_instance_id (test_balancing.ReplicasTest.test_every_answer_has_instance_id) ... ok +test_logout_works_on_all_replicas (test_balancing.ReplicasTest.test_logout_works_on_all_replicas) ... ok +test_no_sticky_cookie (test_balancing.ReplicasTest.test_no_sticky_cookie) ... ok +test_one_session_is_served_by_different_replicas (test_balancing.ReplicasTest.test_one_session_is_served_by_different_replicas) ... ok +test_read_after_write_on_any_replica (test_balancing.ReplicasTest.test_read_after_write_on_any_replica) ... ok +test_session_created_on_one_replica_works_on_all (test_balancing.ReplicasTest.test_session_created_on_one_replica_works_on_all) ... ok +test_100_messages_from_10_clients (test_concurrency.ConcurrencyTest.test_100_messages_from_10_clients) ... ok +test_same_username_registered_once (test_concurrency.ConcurrencyTest.test_same_username_registered_once) ... ok +test_bad_keys (test_idempotency.IdempotencyTest.test_bad_keys) ... ok +test_good_key_alphabet (test_idempotency.IdempotencyTest.test_good_key_alphabet) ... ok +test_invalid_body_does_not_take_key (test_idempotency.IdempotencyTest.test_invalid_body_does_not_take_key) ... ok +test_key_is_required (test_idempotency.IdempotencyTest.test_key_is_required) ... ok +test_key_order_in_json_does_not_matter (test_idempotency.IdempotencyTest.test_key_order_in_json_does_not_matter) ... ok +test_other_text_with_same_key_is_409 (test_idempotency.IdempotencyTest.test_other_text_with_same_key_is_409) ... ok +test_parallel_repeat_through_different_replicas (test_idempotency.IdempotencyTest.test_parallel_repeat_through_different_replicas) ... ok +test_repeat_checks_access_again (test_idempotency.IdempotencyTest.test_repeat_checks_access_again) ... ok +test_repeat_returns_same_message (test_idempotency.IdempotencyTest.test_repeat_returns_same_message) ... ok +test_same_key_for_other_user_and_other_chat (test_idempotency.IdempotencyTest.test_same_key_for_other_user_and_other_chat) ... ok +test_chat_cursor_belongs_to_user (test_pagination.ChatPaginationTest.test_chat_cursor_belongs_to_user) ... ok +test_walk_chat_list (test_pagination.ChatPaginationTest.test_walk_chat_list) ... ok +test_bad_cursor (test_pagination.MessagePaginationTest.test_bad_cursor) ... ok +test_bad_limit (test_pagination.MessagePaginationTest.test_bad_limit) ... ok +test_cursor_format_is_checked (test_pagination.MessagePaginationTest.test_cursor_format_is_checked) ... ok +test_cursor_from_another_chat (test_pagination.MessagePaginationTest.test_cursor_from_another_chat) ... ok +test_default_limit (test_pagination.MessagePaginationTest.test_default_limit) ... ok +test_exact_page_has_no_cursor (test_pagination.MessagePaginationTest.test_exact_page_has_no_cursor) ... ok +test_limit_can_change_between_pages (test_pagination.MessagePaginationTest.test_limit_can_change_between_pages) ... ok +test_new_message_appears_after_last_page (test_pagination.MessagePaginationTest.test_new_message_appears_after_last_page) ... ok +test_no_duplicates_and_order (test_pagination.MessagePaginationTest.test_no_duplicates_and_order) ... ok +test_walk_several_pages (test_pagination.MessagePaginationTest.test_walk_several_pages) ... ok +test_broken_json_without_token_is_401 (test_validation.InvalidJsonTest.test_broken_json_without_token_is_401) ... ok +test_content_type_must_be_json (test_validation.InvalidJsonTest.test_content_type_must_be_json) ... ok +test_deeply_nested_json (test_validation.InvalidJsonTest.test_deeply_nested_json) ... ok +test_extra_field (test_validation.InvalidJsonTest.test_extra_field) ... ok +test_malformed_json (test_validation.InvalidJsonTest.test_malformed_json) ... ok +test_malformed_json_in_message (test_validation.InvalidJsonTest.test_malformed_json_in_message) ... ok +test_missing_field (test_validation.InvalidJsonTest.test_missing_field) ... ok +test_not_an_object (test_validation.InvalidJsonTest.test_not_an_object) ... ok +test_only_utf8_is_accepted (test_validation.InvalidJsonTest.test_only_utf8_is_accepted) ... ok +test_wrong_type (test_validation.InvalidJsonTest.test_wrong_type) ... ok +test_empty_message (test_validation.MessageValidationTest.test_empty_message) ... ok +test_nul_character (test_validation.MessageValidationTest.test_nul_character) ... ok +test_sender_id_is_not_accepted (test_validation.MessageValidationTest.test_sender_id_is_not_accepted) ... ok +test_text_limit (test_validation.MessageValidationTest.test_text_limit) ... ok +test_unicode_is_kept (test_validation.MessageValidationTest.test_unicode_is_kept) ... ok +test_whitespace_message (test_validation.MessageValidationTest.test_whitespace_message) ... ok +test_bad_display_names (test_validation.UserValidationTest.test_bad_display_names) ... ok +test_bad_passwords (test_validation.UserValidationTest.test_bad_passwords) ... ok +test_bad_usernames (test_validation.UserValidationTest.test_bad_usernames) ... ok +test_display_name_length_is_counted_in_code_points (test_validation.UserValidationTest.test_display_name_length_is_counted_in_code_points) ... ok +test_duplicate_username (test_validation.UserValidationTest.test_duplicate_username) ... ok +test_password_is_never_returned (test_validation.UserValidationTest.test_password_is_never_returned) ... ok +test_password_length_limits (test_validation.UserValidationTest.test_password_length_limits) ... ok + +---------------------------------------------------------------------- +Ran 86 tests in 2.969s + +OK + +отправлено 100, подтверждено 100, в истории 100, уникальных id 100 + +10 ключей по 8 параллельных запросов: реплик 2, сообщений в истории 10 + diff --git a/evidence/03-persistence.txt b/evidence/03-persistence.txt new file mode 100644 index 00000000..d4e14816 --- /dev/null +++ b/evidence/03-persistence.txt @@ -0,0 +1,48 @@ +# Сохранность: перезапуск балансировщика, реплик, PostgreSQL и Redis с сохранением volumes +# дата: 2026-10-30T18:43Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +# до перезапуска +/mtusi-messenger-lab3-api-1 StartedAt=2026-10-30T18:43:31.186405878Z +/mtusi-messenger-lab3-api-2 StartedAt=2026-10-30T18:43:31.097777795Z +/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-30T18:43:31.260557462Z +/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-30T18:43:24.360103334Z +/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-30T18:43:24.358376875Z + +$ cat scripts/restart.sh +#!/bin/sh +# Перезапускает балансировщик, все реплики API и оба хранилища. Volumes не трогает. +set -eu +cd "$(dirname "$0")/.." +docker compose --env-file .env restart postgres redis api lb + +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +# после перезапуска: новое время старта у всех контейнеров +/mtusi-messenger-lab3-api-1 StartedAt=2026-10-30T18:43:40.663879758Z +/mtusi-messenger-lab3-api-2 StartedAt=2026-10-30T18:43:40.704967008Z +/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-30T18:43:40.433273008Z +/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-30T18:43:40.567209883Z +/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-30T18:43:40.48552355Z + +$ docker volume ls --filter name=mtusi-messenger-lab3 +DRIVER VOLUME NAME +local mtusi-messenger-lab3_pgdata +local mtusi-messenger-lab3_redisdata + +# повторный запуск миграций +$ docker compose --env-file .env run --rm migrate + Container mtusi-messenger-lab3-postgres-1 Running + Container mtusi-messenger-lab3-postgres-1 Waiting + Container mtusi-messenger-lab3-postgres-1 Healthy + Container mtusi-messenger-lab3-migrate-run-87950778e980 Creating + Container mtusi-messenger-lab3-migrate-run-87950778e980 Created +уже применена: 0001_init.sql +уже применена: 0002_idempotency.sql + +$ psql: SELECT version FROM schema_migrations +0001_init.sql +0002_idempotency.sql diff --git a/evidence/04-failover-public.txt b/evidence/04-failover-public.txt new file mode 100644 index 00000000..ec46f76d --- /dev/null +++ b/evidence/04-failover-public.txt @@ -0,0 +1,85 @@ +# Публичный failover: два прогона подряд с восстановлением реплики между ними +# дата: 2026-10-30T18:43Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +## прогон 1 +# реплики до отказа +NAME STATE STATUS +mtusi-messenger-lab3-api-1 running Up 10 seconds (healthy) +mtusi-messenger-lab3-api-2 running Up 10 seconds (healthy) + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.822} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +# какой контейнер реально остановлен +NAME STATE STATUS +mtusi-messenger-lab3-api-1 running Up 26 seconds (healthy) +mtusi-messenger-lab3-api-2 exited Exited (0) 14 seconds ago + +$ docker compose logs lb | grep 'is DOWN' | tail -2 +lb-1 | Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers lef + +$ make restore +docker compose --env-file .env up -d --no-recreate --no-build api + Container mtusi-messenger-lab3-redis-1 Running + Container mtusi-messenger-lab3-postgres-1 Running + Container mtusi-messenger-lab3-api-1 Running + Container mtusi-messenger-lab3-postgres-1 Waiting + Container mtusi-messenger-lab3-postgres-1 Healthy + Container mtusi-messenger-lab3-migrate-1 Starting + Container mtusi-messenger-lab3-migrate-1 Started + Container mtusi-messenger-lab3-redis-1 Waiting + Container mtusi-messenger-lab3-migrate-1 Waiting + Container mtusi-messenger-lab3-redis-1 Healthy + Container mtusi-messenger-lab3-migrate-1 Exited + Container mtusi-messenger-lab3-api-2 Starting + Container mtusi-messenger-lab3-api-2 Started +BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh +готов: http://localhost:8080 + +## прогон 2 +# реплики до отказа +NAME STATE STATUS +mtusi-messenger-lab3-api-1 running Up 32 seconds (healthy) +mtusi-messenger-lab3-api-2 running Up 4 seconds (healthy) + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.585} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +# какой контейнер реально остановлен +NAME STATE STATUS +mtusi-messenger-lab3-api-1 running Up 47 seconds (healthy) +mtusi-messenger-lab3-api-2 exited Exited (0) 14 seconds ago + +$ docker compose logs lb | grep 'is DOWN' | tail -2 +lb-1 | Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers lef +lb-1 | Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers lef + +$ make restore +docker compose --env-file .env up -d --no-recreate --no-build api + Container mtusi-messenger-lab3-postgres-1 Running + Container mtusi-messenger-lab3-redis-1 Running + Container mtusi-messenger-lab3-api-1 Running + Container mtusi-messenger-lab3-postgres-1 Waiting + Container mtusi-messenger-lab3-postgres-1 Healthy + Container mtusi-messenger-lab3-migrate-1 Starting + Container mtusi-messenger-lab3-migrate-1 Started + Container mtusi-messenger-lab3-redis-1 Waiting + Container mtusi-messenger-lab3-migrate-1 Waiting + Container mtusi-messenger-lab3-redis-1 Healthy + Container mtusi-messenger-lab3-migrate-1 Exited + Container mtusi-messenger-lab3-api-2 Starting + Container mtusi-messenger-lab3-api-2 Started +BASE_URL="http://localhost:8080" ./scripts/wait-ready.sh +готов: http://localhost:8080 + +# реплики в конце +NAME STATE STATUS +mtusi-messenger-lab3-api-1 running Up 53 seconds (healthy) +mtusi-messenger-lab3-api-2 running Up 4 seconds (healthy) diff --git a/evidence/05-failover-each.txt b/evidence/05-failover-each.txt new file mode 100644 index 00000000..e2947446 --- /dev/null +++ b/evidence/05-failover-each.txt @@ -0,0 +1,10 @@ +# Остановка каждой реплики под нагрузкой (SIGTERM), полные данные в failover-each.json +# дата: 2026-10-30T18:44Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make failover-each +BASE_URL="http://localhost:8080" python3 scripts/chaos.py stop --output evidence/failover-each.json +{"seconds": 19.65, "successful_requests": 12992, "failed_attempts": 1, "failed_statuses": [502], "successful_rps": 661.0, "longest_gap_between_successes_s": 1.013, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": 14.65, "instances_seen": 2, "target": "3a8c5ed61bd5", "signal": "SIGTERM", "stop_command_s": 0.48, "excluded_by_lb_after_s": 0.59, "verify": {"confirmed": 12992, "in_history": 12992, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +{"seconds": 19.49, "successful_requests": 13416, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 688.4, "longest_gap_between_successes_s": 1.003, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": 14.488, "instances_seen": 2, "target": "b7c5235a859f", "signal": "SIGTERM", "stop_command_s": 0.5, "excluded_by_lb_after_s": 1.32, "verify": {"confirmed": 13416, "in_history": 13416, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +PASS: подтверждённые сообщения на месте, дублей нет + diff --git a/evidence/06-failover-hard.txt b/evidence/06-failover-hard.txt new file mode 100644 index 00000000..89d79f14 --- /dev/null +++ b/evidence/06-failover-hard.txt @@ -0,0 +1,14 @@ +# SIGKILL и зависшая реплика (docker pause) под нагрузкой, полные данные в failover-kill.json и failover-pause.json +# дата: 2026-10-30T18:45Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make failover-hard +BASE_URL="http://localhost:8080" python3 scripts/chaos.py kill --output evidence/failover-kill.json +{"seconds": 18.08, "successful_requests": 12553, "failed_attempts": 2, "failed_statuses": [502], "successful_rps": 694.1, "longest_gap_between_successes_s": 1.009, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": 13.081, "instances_seen": 2, "target": "3a8c5ed61bd5", "signal": "SIGKILL", "stop_command_s": 0.25, "excluded_by_lb_after_s": 1.07, "verify": {"confirmed": 12553, "in_history": 12553, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +{"seconds": 19.69, "successful_requests": 13654, "failed_attempts": 3, "failed_statuses": [502], "successful_rps": 693.4, "longest_gap_between_successes_s": 1.018, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": 14.688, "instances_seen": 2, "target": "b7c5235a859f", "signal": "SIGKILL", "stop_command_s": 0.25, "excluded_by_lb_after_s": 0.36, "verify": {"confirmed": 13654, "in_history": 13654, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +PASS: подтверждённые сообщения на месте, дублей нет +BASE_URL="http://localhost:8080" python3 scripts/chaos.py pause --output evidence/failover-pause.json +{"seconds": 18.19, "successful_requests": 11314, "failed_attempts": 4, "failed_statuses": [0], "successful_rps": 621.9, "longest_gap_between_successes_s": 3.075, "first_success_after_action_s": 0.004, "last_success_on_target_after_action_s": 13.19, "instances_seen": 2, "target": "3a8c5ed61bd5", "signal": "HANG", "stop_command_s": 0.04, "excluded_by_lb_after_s": 3.16, "verify": {"confirmed": 11314, "in_history": 11314, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +{"seconds": 18.4, "successful_requests": 9341, "failed_attempts": 8, "failed_statuses": [0], "successful_rps": 507.6, "longest_gap_between_successes_s": 3.062, "first_success_after_action_s": 0.0, "last_success_on_target_after_action_s": 13.4, "instances_seen": 2, "target": "b7c5235a859f", "signal": "HANG", "stop_command_s": 0.04, "excluded_by_lb_after_s": 3.46, "verify": {"confirmed": 9341, "in_history": 9341, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +PASS: подтверждённые сообщения на месте, дублей нет + diff --git a/evidence/07-rolling-update.txt b/evidence/07-rolling-update.txt new file mode 100644 index 00000000..edf86c47 --- /dev/null +++ b/evidence/07-rolling-update.txt @@ -0,0 +1,19 @@ +# Поочерёдная замена реплик под нагрузкой, полные данные в rolling-update.json +# дата: 2026-10-30T18:46Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +# образы до замены +/mtusi-messenger-lab3-api-1 sha256:b20937fe39bd43979dd8d82acf328ac5f52 +/mtusi-messenger-lab3-api-2 sha256:b20937fe39bd43979dd8d82acf328ac5f52 + +$ make rolling-update APP_VERSION=2 +BASE_URL="http://localhost:8080" python3 scripts/chaos.py rolling --output evidence/rolling-update.json +{"seconds": 22.41, "successful_requests": 18344, "failed_attempts": 0, "failed_statuses": [], "successful_rps": 818.7, "longest_gap_between_successes_s": 1.007, "first_success_after_action_s": 0.003, "last_success_on_target_after_action_s": null, "instances_seen": 4, "update_seconds": 12.4, "containers_before": {"3a8c5ed61bd5": "sha256:b20937fe39bd", "b7c5235a859f": "sha256:b20937fe39bd"}, "containers_after": {"fb399bd141ea": "sha256:1cfd729d7e32", "69ad5d43951c": "sha256:1cfd729d7e32"}, "app_version": "2", "verify": {"confirmed": 18344, "in_history": 18344, "lost_confirmed": 0, "duplicate_ids": 0, "duplicate_texts": 0, "unconfirmed_but_saved": 0}} +PASS: подтверждённые сообщения на месте, дублей нет + +# образы и версия после замены +/mtusi-messenger-lab3-api-3 sha256:1cfd729d7e3265f364f31481205f1a0b9a4 APP_VERSION=2 +/mtusi-messenger-lab3-api-4 sha256:1cfd729d7e3265f364f31481205f1a0b9a4 APP_VERSION=2 + +$ docker compose logs lb | grep -c "status=5" # ответов 5xx через балансировщик за всё время жизни этого lb +5 diff --git a/evidence/08-failures.txt b/evidence/08-failures.txt new file mode 100644 index 00000000..5fea05f1 --- /dev/null +++ b/evidence/08-failures.txt @@ -0,0 +1,37 @@ +# Тесты отказов: истечение сессии и ключа, остановка Redis и PostgreSQL, откат транзакции, гонки +# дата: 2026-10-30T18:50Z, commit: c8a5137 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make test-failures +BASE_URL="http://localhost:8080" python3 -m unittest discover -s student-tests/failures -v +test_postgres_down (test_dependencies.DependencyDownTest.test_postgres_down) ... ok +test_redis_down (test_dependencies.DependencyDownTest.test_redis_down) ... ok +test_uncertain_write_can_be_repeated_with_same_key (test_dependencies.DependencyDownTest.test_uncertain_write_can_be_repeated_with_same_key) ... ok +test_expires_at_matches_ttl (test_expiry.SessionExpiryTest.test_expires_at_matches_ttl) ... ok +test_idempotency_key_is_free_after_ttl (test_expiry.SessionExpiryTest.test_idempotency_key_is_free_after_ttl) ... ok +test_login_after_expiry (test_expiry.SessionExpiryTest.test_login_after_expiry) ... ok +test_requests_do_not_extend_session (test_expiry.SessionExpiryTest.test_requests_do_not_extend_session) ... ok +test_session_expires (test_expiry.SessionExpiryTest.test_session_expires) ... ok +test_chat_with_unknown_member_is_rolled_back (test_transactions.TransactionTest.test_chat_with_unknown_member_is_rolled_back) ... ok +test_failed_message_leaves_no_key (test_transactions.TransactionTest.test_failed_message_leaves_no_key) ... ok +test_migrations_can_be_repeated (test_transactions.TransactionTest.test_migrations_can_be_repeated) ... ok +test_password_is_stored_as_argon2id_hash (test_transactions.TransactionTest.test_password_is_stored_as_argon2id_hash) ... ok +test_same_key_in_parallel_creates_one_row (test_transactions.TransactionTest.test_same_key_in_parallel_creates_one_row) ... ok +test_username_race_creates_one_row (test_transactions.TransactionTest.test_username_race_creates_one_row) ... ok +test_valid_chat_is_committed_whole (test_transactions.TransactionTest.test_valid_chat_is_committed_whole) ... ok + +---------------------------------------------------------------------- +Ran 15 tests in 63.124s + +OK + +# время ответа при отказе +$ docker compose stop redis; curl /api/v1/users/me с Bearer-токеном +{"error":{"code":"unavailable","message":"Сервис временно недоступен","request_id":"fd1ba9633a1f45b2b32edbe8fabcdfc0"}} +HTTP 503 за 0.014943 с +$ docker compose stop postgres; curl /health/ready +{"error":{"code":"unavailable","message":"Сервис временно недоступен","request_id":"60cb3d48d62f46e08603858885711899"}} +HTTP 503 за 3.005406 с +$ через 4 секунды: реплики исключены, отвечает балансировщик +{"error":{"code":"unavailable","message":"Сервис временно недоступен","request_id":"16ca6124-f073-41f0-be0d-f510ed4c067b"}} +HTTP 503 за 0.003489 с diff --git a/evidence/09-containers.txt b/evidence/09-containers.txt new file mode 100644 index 00000000..a3e6df93 --- /dev/null +++ b/evidence/09-containers.txt @@ -0,0 +1,81 @@ +# Контейнеры: лимиты, порты, пользователи, секреты, масштабирование +# дата: 2026-10-30T18:48Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ docker compose ps --format "table {{.Service}} {{.Ports}}" # опубликован только lb +SERVICE PORTS +api 8080/tcp +api 8080/tcp +lb 127.0.0.1:8080->8080/tcp +postgres 5432/tcp +redis 6379/tcp + +$ grep -c container_name compose.yaml +0 + +# лимиты CPU (в наносекундах на секунду) и памяти (байт) +/mtusi-messenger-lab3-api-3 cpus=1000000000 memory=268435456 +/mtusi-messenger-lab3-api-4 cpus=1000000000 memory=268435456 +/mtusi-messenger-lab3-lb-1 cpus=500000000 memory=134217728 +/mtusi-messenger-lab3-postgres-1 cpus=1000000000 memory=536870912 +/mtusi-messenger-lab3-redis-1 cpus=500000000 memory=134217728 + +# сети: балансировщик не видит хранилища +lb mtusi-messenger-lab3_edge +api mtusi-messenger-lab3_data mtusi-messenger-lab3_edge +postgres mtusi-messenger-lab3_data +redis mtusi-messenger-lab3_data + +$ docker exec fb399bd141ea id +uid=10001(app) gid=10001(app) groups=10001(app) + +$ docker exec ls -l /run/secrets +total 8 +-r--r--r-- 1 root root 70 Oct 30 18:46 cache_url +-r--r--r-- 1 root root 95 Oct 30 18:46 database_url + +$ docker exec env | grep -ci "password\|postgresql://\|redis://" # секретов в окружении нет +0 + +$ docker compose --env-file .env images +CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED +mtusi-messenger-lab3-api-3 mtusi-messenger lab3 linux/arm64 1cfd729d7e32 203MB 18 minutes ago +mtusi-messenger-lab3-api-4 mtusi-messenger lab3 linux/arm64 1cfd729d7e32 203MB 18 minutes ago +mtusi-messenger-lab3-lb-1 mtusi-messenger-lb lab3 linux/arm64 31d9bea36444 38.8MB 6 minutes ago +mtusi-messenger-lab3-migrate-1 sha256 b20937fe39bd43979dd8d82acf328ac5f52c2229fa5711acd76cacb16666703f linux/arm64 b20937fe39bd 203MB 18 minutes ago +mtusi-messenger-lab3-postgres-1 postgres 17.11-alpine linux/arm64/v8 25a89970a832 291MB 6 weeks ago +mtusi-messenger-lab3-redis-1 redis 7.4.11-alpine linux/arm64/v8 ec4f171e9ff0 39.5MB 6 weeks ago + +$ docker exec pip freeze +annotated-doc==0.0.5 +annotated-types==0.8.0 +anyio==4.15.1 +argon2-cffi==25.1.0 +argon2-cffi-bindings==26.1.0 +cffi==2.1.1 +click==8.5.0 +fastapi==0.143.0 +h11==0.16.0 +idna==3.20 +opentelemetry-api==1.45.1 +psycopg==3.3.6 +psycopg-binary==3.3.6 +psycopg-pool==3.3.3 +pycparser==3.1 +pydantic==2.13.5 +pydantic_core==2.46.5 +redis==8.1.0 +starlette==1.7.0 +typing-inspection==0.4.4 +typing_extensions==4.16.0 +uvicorn==0.54.0 + +$ git ls-files | grep -E "^\.env$|secrets" # в Git секретов нет +(пусто) + +# масштабирование до 3 реплик: балансировщик находит новую через DNS +$ docker compose up -d --no-deps --no-recreate --no-build --scale api=3 api +$ 9 раз curl /health/live, число ответов каждой реплики + 3 x-instance-id: 69ad5d43951c + 3 x-instance-id: fb399bd141ea + 3 x-instance-id: fb7499a486c0 diff --git a/evidence/10-sigterm.txt b/evidence/10-sigterm.txt new file mode 100644 index 00000000..365a30c5 --- /dev/null +++ b/evidence/10-sigterm.txt @@ -0,0 +1,12 @@ +# SIGTERM через балансировщик +# дата: 2026-10-30T18:48Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ python3 scripts/sigterm_check.py +$ docker kill --signal=SIGTERM fb399bd141ea +новых запросов после SIGTERM: 20, попало на останавливаемую реплику: 0 +начатые до SIGTERM запросы: ['HTTP/1.1 201 Created'] +из них завершила останавливаемая реплика: 3 +процесс завершился за 1.43 с, код выхода 0 +PASS: остановка корректная и укладывается в 10 секунд + diff --git a/evidence/11-explain.txt b/evidence/11-explain.txt new file mode 100644 index 00000000..887676bc --- /dev/null +++ b/evidence/11-explain.txt @@ -0,0 +1,87 @@ +# Индекс истории: EXPLAIN (ANALYZE, BUFFERS) на 152 048 сообщениях (сид 60 000 плюс записи нагрузочных прогонов), 10 000 в исследуемом чате +# дата: 2026-10-30T18:49Z, commit: 269b449 +# стенд: Apple M3 Pro, 11 CPU, 18 GB RAM, macOS 26.1, Docker 29.3.0, Compose 5.1.0 + +$ make explain +./scripts/explain_history.sh +== Объём данных + messages_total | messages_in_chat | table_size | index_size +----------------+------------------+------------+------------ + 152048 | 10000 | 16 MB | 15 MB +(1 row) + + +== 1. Первая страница (limit 50, запрос берёт 51 строку) + QUERY PLAN +--------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.42..39.54 rows=51 width=79) (actual time=0.010..0.026 rows=51 loops=1) + Buffers: shared hit=10 + -> Index Scan using messages_chat_history_idx on messages (cost=0.42..7708.63 rows=10050 width=79) (actual time=0.009..0.023 rows=51 loops=1) + Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid) + Buffers: shared hit=10 + Planning: + Buffers: shared hit=33 + Planning Time: 0.113 ms + Execution Time: 0.037 ms +(9 rows) + + +== 2. Страница из середины истории: keyset после 5000-го сообщения + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.42..48.43 rows=51 width=79) (actual time=0.006..0.015 rows=51 loops=1) + Buffers: shared hit=8 + -> Index Scan using messages_chat_history_idx on messages (cost=0.42..7585.63 rows=8058 width=79) (actual time=0.006..0.013 rows=51 loops=1) + Index Cond: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 10:29:04.094702+00'::timestamp with time zone, 'c58c75ac-5b55-4d4d-b27e-370b05239644'::uuid))) + Buffers: shared hit=8 + Planning Time: 0.022 ms + Execution Time: 0.036 ms +(7 rows) + + +== 3. Та же страница через OFFSET (так делать не стали) + QUERY PLAN +-------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=3481.50..3481.63 rows=51 width=79) (actual time=2.228..2.232 rows=51 loops=1) + Buffers: shared hit=992 + -> Sort (cost=3469.00..3494.13 rows=10050 width=79) (actual time=1.984..2.116 rows=5051 loops=1) + Sort Key: created_at, id + Sort Method: quicksort Memory: 1713kB + Buffers: shared hit=992 + -> Bitmap Heap Scan on messages (cost=598.31..2800.93 rows=10050 width=79) (actual time=0.339..1.164 rows=10000 loops=1) + Recheck Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid) + Heap Blocks: exact=856 + Buffers: shared hit=986 + -> Bitmap Index Scan on messages_chat_history_idx (cost=0.00..595.79 rows=10050 width=0) (actual time=0.281..0.281 rows=10000 loops=1) + Index Cond: (chat_id = '00000000-0000-4000-8000-000000000100'::uuid) + Buffers: shared hit=130 + Planning Time: 0.028 ms + Execution Time: 2.277 ms +(15 rows) + + +== 4. Запрос из пункта 2 без индекса messages_chat_history_idx (DROP INDEX внутри транзакции с ROLLBACK) + QUERY PLAN +--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=4800.35..4806.21 rows=51 width=79) (actual time=3.835..4.779 rows=51 loops=1) + Buffers: shared hit=2092 + -> Gather Merge (cost=4800.35..5345.45 rows=4740 width=79) (actual time=3.834..4.776 rows=51 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=2092 + -> Sort (cost=3800.34..3812.19 rows=4740 width=79) (actual time=2.952..2.953 rows=39 loops=2) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 31kB + Buffers: shared hit=2092 + Worker 0: Sort Method: top-N heapsort Memory: 31kB + -> Parallel Seq Scan on messages (cost=0.00..3642.20 rows=4740 width=79) (actual time=2.091..2.813 rows=2500 loops=2) + Filter: ((chat_id = '00000000-0000-4000-8000-000000000100'::uuid) AND (ROW(created_at, id) > ROW('2026-10-30 10:29:04.094702+00'::timestamp with time zone, 'c58c75ac-5b55-4d4d-b27e-370b05239644'::uuid))) + Rows Removed by Filter: 73524 + Buffers: shared hit=2077 + Planning: + Buffers: shared hit=4 + Planning Time: 0.042 ms + Execution Time: 4.793 ms +(19 rows) + + diff --git a/evidence/failover-each.json b/evidence/failover-each.json new file mode 100644 index 00000000..95e338be --- /dev/null +++ b/evidence/failover-each.json @@ -0,0 +1,54 @@ +{ + "workload": "4 клиента, closed loop, POST сообщений через балансировщик, повтор с тем же ключом", + "mode": "stop", + "rounds": [ + { + "seconds": 19.65, + "successful_requests": 12992, + "failed_attempts": 1, + "failed_statuses": [ + 502 + ], + "successful_rps": 661.0, + "longest_gap_between_successes_s": 1.013, + "first_success_after_action_s": 0.0, + "last_success_on_target_after_action_s": 14.65, + "instances_seen": 2, + "target": "3a8c5ed61bd5", + "signal": "SIGTERM", + "stop_command_s": 0.48, + "excluded_by_lb_after_s": 0.59, + "verify": { + "confirmed": 12992, + "in_history": 12992, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + }, + { + "seconds": 19.49, + "successful_requests": 13416, + "failed_attempts": 0, + "failed_statuses": [], + "successful_rps": 688.4, + "longest_gap_between_successes_s": 1.003, + "first_success_after_action_s": 0.0, + "last_success_on_target_after_action_s": 14.488, + "instances_seen": 2, + "target": "b7c5235a859f", + "signal": "SIGTERM", + "stop_command_s": 0.5, + "excluded_by_lb_after_s": 1.32, + "verify": { + "confirmed": 13416, + "in_history": 13416, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + } + ] +} diff --git a/evidence/failover-kill.json b/evidence/failover-kill.json new file mode 100644 index 00000000..1f868f17 --- /dev/null +++ b/evidence/failover-kill.json @@ -0,0 +1,56 @@ +{ + "workload": "4 клиента, closed loop, POST сообщений через балансировщик, повтор с тем же ключом", + "mode": "kill", + "rounds": [ + { + "seconds": 18.08, + "successful_requests": 12553, + "failed_attempts": 2, + "failed_statuses": [ + 502 + ], + "successful_rps": 694.1, + "longest_gap_between_successes_s": 1.009, + "first_success_after_action_s": 0.003, + "last_success_on_target_after_action_s": 13.081, + "instances_seen": 2, + "target": "3a8c5ed61bd5", + "signal": "SIGKILL", + "stop_command_s": 0.25, + "excluded_by_lb_after_s": 1.07, + "verify": { + "confirmed": 12553, + "in_history": 12553, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + }, + { + "seconds": 19.69, + "successful_requests": 13654, + "failed_attempts": 3, + "failed_statuses": [ + 502 + ], + "successful_rps": 693.4, + "longest_gap_between_successes_s": 1.018, + "first_success_after_action_s": 0.003, + "last_success_on_target_after_action_s": 14.688, + "instances_seen": 2, + "target": "b7c5235a859f", + "signal": "SIGKILL", + "stop_command_s": 0.25, + "excluded_by_lb_after_s": 0.36, + "verify": { + "confirmed": 13654, + "in_history": 13654, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + } + ] +} diff --git a/evidence/failover-pause.json b/evidence/failover-pause.json new file mode 100644 index 00000000..d082e161 --- /dev/null +++ b/evidence/failover-pause.json @@ -0,0 +1,56 @@ +{ + "workload": "4 клиента, closed loop, POST сообщений через балансировщик, повтор с тем же ключом", + "mode": "pause", + "rounds": [ + { + "seconds": 18.19, + "successful_requests": 11314, + "failed_attempts": 4, + "failed_statuses": [ + 0 + ], + "successful_rps": 621.9, + "longest_gap_between_successes_s": 3.075, + "first_success_after_action_s": 0.004, + "last_success_on_target_after_action_s": 13.19, + "instances_seen": 2, + "target": "3a8c5ed61bd5", + "signal": "HANG", + "stop_command_s": 0.04, + "excluded_by_lb_after_s": 3.16, + "verify": { + "confirmed": 11314, + "in_history": 11314, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + }, + { + "seconds": 18.4, + "successful_requests": 9341, + "failed_attempts": 8, + "failed_statuses": [ + 0 + ], + "successful_rps": 507.6, + "longest_gap_between_successes_s": 3.062, + "first_success_after_action_s": 0.0, + "last_success_on_target_after_action_s": 13.4, + "instances_seen": 2, + "target": "b7c5235a859f", + "signal": "HANG", + "stop_command_s": 0.04, + "excluded_by_lb_after_s": 3.46, + "verify": { + "confirmed": 9341, + "in_history": 9341, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + } + ] +} diff --git a/evidence/rolling-update.json b/evidence/rolling-update.json new file mode 100644 index 00000000..38d3329e --- /dev/null +++ b/evidence/rolling-update.json @@ -0,0 +1,35 @@ +{ + "workload": "4 клиента, closed loop, POST сообщений через балансировщик, повтор с тем же ключом", + "mode": "rolling", + "rounds": [ + { + "seconds": 22.41, + "successful_requests": 18344, + "failed_attempts": 0, + "failed_statuses": [], + "successful_rps": 818.7, + "longest_gap_between_successes_s": 1.007, + "first_success_after_action_s": 0.003, + "last_success_on_target_after_action_s": null, + "instances_seen": 4, + "update_seconds": 12.4, + "containers_before": { + "3a8c5ed61bd5": "sha256:b20937fe39bd", + "b7c5235a859f": "sha256:b20937fe39bd" + }, + "containers_after": { + "fb399bd141ea": "sha256:1cfd729d7e32", + "69ad5d43951c": "sha256:1cfd729d7e32" + }, + "app_version": "2", + "verify": { + "confirmed": 18344, + "in_history": 18344, + "lost_confirmed": 0, + "duplicate_ids": 0, + "duplicate_texts": 0, + "unconfirmed_but_saved": 0 + } + } + ] +}