Для локальных Python-проверок требуется установить зависимости из `requirements-dev.txt`, если они ещё не установлены.
После failover-теста восстановить реплики:
После failover-тестов восстановить реплики:
```bash
docker compose start api-1 api-2
@@ -99,10 +102,10 @@ Nginx :8080
+---- API-1 :8080
|
+---- API-2 :8080
|
+---- PostgreSQL
|
+---- Redis
|
+---- PostgreSQL
|
+---- Redis
```
Nginx является единой публичной точкой входа. API-реплики не публикуют порты на хосте и доступны через внутреннюю сеть Compose.
@@ -115,16 +118,73 @@ PostgreSQL хранит постоянные данные приложения
Каждая реплика возвращает заголовок `X-Instance-Id`, позволяющий определить обработавший запрос экземпляр.
Для отправки сообщений используется обязательный `Idempotency-Key`. Повторная отправка с тем же ключом не должна создавать второе сообщение. Согласованность между репликами обеспечивается общим PostgreSQL и транзакционным механизмом идемпотентности.
Для отправки сообщений используется обязательный `Idempotency-Key`. Повторная отправка с тем же ключом не должна создавать второе сообщение. Согласованность между репликами обеспечивается общим PostgreSQL, транзакциями и механизмом advisory locks.
Миграции выполняются отдельным контейнером, что исключает одновременный запуск Alembic несколькими API-репликами.
В Nginx настроены два backend-сервера, таймауты подключения и обработки запросов, а также повторная попытка при отдельных ошибках upstream.
В Nginx настроены два backend-сервера, динамическое разрешение DNS-имён контейнеров через Docker DNS, таймауты подключения и обработки запросов, а также повторная попытка при отдельных ошибках upstream.
Из лабораторной 2 перенесены основная реализация API, PostgreSQL, миграции, авторизация и работа с сообщениями. В лабораторной 3 добавлены балансировка, две API-реплики, идентификация экземпляров и общая идемпотентность.
Файл `.env.example` является шаблоном задания. Фактическая конфигурация контейнеров задаётся в `compose.yaml`; подключения к PostgreSQL и Redis передаются через файлы секретов.
### Проверки работоспособности и готовности
В приложении реализованы два endpoint:
-`GET /health/live` — проверяет работоспособность процесса API.
-`GET /health/ready` — проверяет доступность PostgreSQL и Redis.
При недоступности необходимой зависимости `/health/ready` возвращает HTTP 503.
Для API также настроен Docker HEALTHCHECK, обращающийся к `/health/ready`.
Это позволяет различать работающий процесс и экземпляр, готовый обслуживать запросы.
### Таймауты и завершение работы
Для подключения к PostgreSQL и Redis заданы ограничения времени ожидания. В Nginx настроены таймауты подключения, чтения и отправки запросов.
Для API установлен `stop_grace_period: 15s`.
При получении SIGTERM сервер Uvicorn завершает приложение штатно. В обработчике lifespan закрываются клиент Redis и пул соединений SQLAlchemy.
При ручной остановке `api-1` в логах наблюдались сообщения об успешном завершении приложения и серверного процесса.
### Ограничения ресурсов
Для каждой API-реплики заданы ограничения:
- CPU: 1
- RAM: 512 MiB
Проверка через `docker inspect` подтвердила:
-`NanoCpus = 1000000000`
-`Memory = 536870912`
-`StopTimeout = 15`
Ограничения применяются к каждой реплике отдельно. При изменении количества реплик суммарный ресурсный бюджет также изменяется, если не корректировать лимиты.
Для исследования цены масштабирования на оценку 5 потребуется зафиксировать общий бюджет CPU/RAM для сравниваемых конфигураций.
### Секреты и сетевой доступ
API запускается от непривилегированного пользователя `appuser`с UID 10001. PostgreSQL использует пользователя `postgres`с UID 999.
API, PostgreSQL и Redis не публикуют порты на хосте. Внешний порт `8080` опубликован только у Nginx.
Секреты хранятся в локальном каталоге `secrets/`, исключённом из Git.
Скрипт `bootstrap.sh` устанавливает права:
-`700` для каталога `secrets/`
-`644` для файлов секретов
Каталог недоступен другим обычным пользователям хоста. При этом файлы с правами `644` после монтирования в контейнер доступны для чтения согласно правам файловой системы.
Это ограничение выбранной схемы Docker Compose с файловыми bind mounts. Для более строгой изоляции секретов необходим другой способ их предоставления контейнерам.
## Доказательства критериев
| Критерий | Команда или сценарий | Наблюдаемый результат | Доказательство |
@@ -134,17 +194,23 @@ PostgreSQL хранит постоянные данные приложения
| Две API-реплики | `docker compose ps -a` | Обе реплики healthy | `evidence/compose-status.txt` |
| Общая сессия | `make test-failover` | Сессия сохраняется после отказа реплики | `evidence/failover.txt` |
| Отказ одной реплики | `make test-failover ACTION_SCRIPT=./scripts/stop-one.sh` | 55 успешных записей, 4 неудачные попытки, первое восстановление за 1,327 с | `evidence/failover.txt` |
| Сохранность данных | `make test-persistence ACTION_SCRIPT=./scripts/restart.sh` | PASS, подтверждённые данные и сессия сохранились | `evidence/persistence.txt` |
| Отказ реплики на оценку 3 | `make test-failover ACTION_SCRIPT=./scripts/stop-one.sh` | 55 успешных записей, 4 неудачные попытки, восстановление за 1,327 с | `evidence/failover.txt` |
| Конкурентная идемпотентность | `python3 tests/test_concurrent_idempotency.py` | 20 запросов, 1 уникальный ID, 1 сообщение в истории | `evidence/idempotency.txt` |
| Запросы через разные реплики | Конкурентный тест | Обнаружены `api-1` и `api-2` | `evidence/idempotency.txt` |
| Остановка каждой реплики | Ручная последовательная проверка | При остановке одной реплики оставшаяся продолжала отвечать HTTP 200 | Результаты ручной проверки |
На этапе оценки 3 выполнены функциональные проверки отказоустойчивости, сохранности данных и идемпотентности.
### Отказ API-реплики
### Оценка 3 — отказ API-реплики
Команда:
@@ -163,7 +229,7 @@ make test-failover ACTION_SCRIPT=./scripts/stop-one.sh
Дополнительно вручную проверена остановка каждой реплики с восстановлением предыдущей. В обоих случаях оставшаяся реплика продолжала обслуживать запросы через Nginx.
### Сохранность данных
### Оценка 3 — сохранность данных
Команда:
@@ -171,9 +237,11 @@ make test-failover ACTION_SCRIPT=./scripts/stop-one.sh
make test-persistence ACTION_SCRIPT=./scripts/restart.sh
```
Результат: PASS. После перезапуска PostgreSQL, Redis и API подтверждённые данные и существующая сессия остались доступными.
Результат: PASS.
### Конкурентная идемпотентность
После перезапуска PostgreSQL, Redis и API подтверждённые данные и существующая сессия остались доступными.
Таким образом, конкурентные запросы с одинаковым ключом не создали дублирующих сообщений.
### Дальнейшие измерения
### Оценка 4 — базовая нагрузка
Для оценки 4 планируется собрать RPS, количество ошибок, время восстановления, задержки и потребление ресурсов при последовательной остановке каждой реплики и поочерёдном обновлении контейнеров.
Команда:
Для оценки 5 выбран трек исследования цены масштабирования. Планируется сравнить 1, 2 и 4 API-реплики при фиксированном общем бюджете CPU/RAM, затем повторить эксперимент с увеличением ресурсов.
Реализована устойчивость к остановке одной API-реплики при сохранении доступности второй.
| Показатель | Значение |
| --- | ---: |
| Продолжительность | 30,038 с |
| Успешные запросы | 5982 |
| Ошибки | 0 |
| Пропускная способность | 199,148 RPS |
| p50 | 33,537 мс |
| p95 | 86,622 мс |
| p99 | 201,671 мс |
PostgreSQL, Redis и Nginx представлены одиночными экземплярами и остаются едиными точками отказа. Отказ этих компонентов не покрывается механизмом переключения API-реплик.
Полученные значения используются как базовый ориентир для сравнения с экспериментами при остановке реплик.
Проверка повторного запуска выполнена на существующих Docker volumes. Полностью независимый запуск из чистого клона пока не проверялся.
### Оценка 4 — последовательная остановка реплик под нагрузкой
Время 1,327 с характеризует восстановление, наблюдаемое тестом, а не отдельноеизмерение времени обнаружения отказа балансировщиком.
Для проверки устойчивости выполнялись отдельныенагрузочные испытания с последовательной остановкой `api-1` и `api-2`.
Втекущем локальном варианте файловые секреты имеют права чтения, допускающие доступ других локальных пользователей. Для следующего этапа необходимо ограничить доступ к ним без нарушения работы непривилегированных контейнеров.
Вкаждом эксперименте нагрузка создавалась восемью параллельными клиентами. Примерно через 10 секунд после начала испытания останавливалась одна из реплик.
Количественные эксперименты с производительностью, rolling update и масштабированием будут проведены при выполнении критериев оценок 4 и 5.
После завершения испытания реплика восстанавливалась перед следующим экспериментом.
В обоих сценариях остановки приложение продолжило обслуживать запросы через оставшуюся реплику.
Ошибок в этих двух нагрузочных прогонах не зафиксировано. Пропускная способность была ниже базовой, а задержки увеличились.
При интерпретации результатов необходимо учитывать различную длительность базового и отказных испытаний, а также возможные колебания производительности тестового окружения.
### Оценка 4 — проверка восстановления после отказа
Отдельно выполнен сценарий проверки отказоустойчивости с остановкой каждой реплики.
Команда:
```bash
make test-failover ACTION_SCRIPT=./scripts/stop-one.sh
```
Для проверки `api-2` использовалась настройка `TARGET_INSTANCE_ID`.
Результаты:
| Остановленная реплика | Наблюдаемых реплик до отказа | Успешные записи | Неудачные попытки | Первое восстановление | Итог |
| --- | ---: | ---: | ---: | ---: | --- |
| `api-1` | 2 | 65 | 3 | 1,311 с | PASS |
| `api-2` | 2 | 81 | 2 | 1,339 с | PASS |
Доказательства:
-`evidence/failover-grade4-api1.txt`
-`evidence/failover-grade4-second.txt`
Оба испытания завершились успешно.
Время восстановления характеризует момент первого успешного запроса, наблюдаемый тестовым клиентом. Оно не является отдельным измерением времени обнаружения отказа балансировщиком.
Наличие нескольких неудачных попыток показывает, что переключение не было абсолютно бесшовным.
### Оценка 4 — конкурентная идемпотентность при отказе
Тест создаёт 20 конкурентных запросов с одинаковым `Idempotency-Key` и инициирует остановку `api-1`.
После завершения конкурентных запросов выполняется повторная отправка с тем же ключом и проверяется история сообщений.
Результаты:
- Конкурентных запросов: 20
- Успешных запросов: 20
- Неудачных запросов: 0
- Наблюдаемые реплики: `api-1`, `api-2`
- Уникальных ID успешных ответов: 1
- Сообщений с проверяемым текстом в истории: 1
- Повторная отправка вернула тот же ID
- Итог: PASS
Доказательство:
`evidence/failover-concurrent-idempotency.txt`
Эксперимент подтвердил, что при конкурентных запросах и инициированной остановке одной реплики не появились дублирующие сообщения.
Ограничение эксперимента: все 20 запросов завершились успешно. Сам факт одновременного запуска запросов и остановки контейнера не доказывает, что конкретный запрос был прерван непосредственно во время записи в PostgreSQL.
### Оценка 4 — rolling replacement
Для проверки обновления без полной остановки сервиса выполнялось последовательное пересоздание API-реплик под постоянной нагрузкой.
Во время его выполнения поочерёдно запускались команды:
```bash
docker compose up -d --no-deps --force-recreate api-1
docker compose up -d --no-deps --force-recreate api-2
```
Между пересозданиями проверялись готовность API и ответы через Nginx. При проверке наблюдались ответы от обеих реплик.
Nginx, PostgreSQL и Redis во время пересоздания API не перезапускались.
Результаты:
| Показатель | Значение |
| --- | ---: |
| Продолжительность | 90,037 с |
| Успешные запросы | 16927 |
| Ошибки | 1 |
| Доля ошибок | Около 0,0059 % |
| Пропускная способность | 188,0 RPS |
| p50 | 33,878 мс |
| p95 | 99,116 мс |
| p99 | 199,301 мс |
Доказательство:
`evidence/load-rolling.json`
Во время последовательного пересоздания реплик сервис в целом оставался доступным, однако зарегистрирована одна ошибка.
Поэтому результат нельзя характеризовать как обновление с гарантированным отсутствием ошибок. Эксперимент подтверждает возможность поочерёдного обновления при сохранении обслуживания большинства запросов.
### Оценка 4 — проверка ограничений и завершения
Проверка Docker показала, что на каждую API-реплику действуют ограничения 1 CPU и 512 MiB RAM.
При ручной остановке `api-1` контейнер завершился с кодом 0. В логах Uvicorn наблюдалось штатное завершение приложения.
После восстановления реплика снова получила статус `healthy`.
Проверка опубликованных портов подтвердила, что на хосте доступен только Nginx на порту 8080.
API-реплики, PostgreSQL и Redis доступны через внутреннюю сеть Docker Compose.
### Проверка изолированного окружения
На этапе оценки 3 дополнительно проводились проверки с отдельным именем проекта Docker Compose и чистыми Docker volumes.
Функциональные проверки, сохранность данных, отказоустойчивость и конкурентная идемпотентность в таком окружении завершились успешно.
Это подтверждает воспроизводимость запуска на новом наборе volumes в использованной локальной среде.
Полностью независимый запуск на другом компьютере из нового клона репозитория отдельно не подтверждён.
## Ограничения
PostgreSQL, Redis и Nginx представлены одиночными экземплярами и остаются едиными точками отказа.
При недоступности PostgreSQL или Redis API может потерять готовность к обслуживанию запросов. Репликация и автоматическое переключение этих компонентов не реализованы.
Nginx способен перенаправлять запросы на доступную API-реплику, но отдельные запросы во время отказа или обновления всё равно могут завершиться ошибкой.
Нагрузочный генератор `tests/load.py` создаёт фиксированное число конкурентных клиентов и измеряет успешную пропускную способность и задержки. Он не обеспечивает точное поддержание заданного входящего RPS.
Поэтому полученные значения характеризуют пропускную способность в выбранном режиме нагрузки, а не максимальную производительность системы при произвольном входящем потоке.
В нагрузочных результатах отсутствует детальная посекундная разбивка ошибок и задержек. Время восстановления измеряется отдельно тестом отказоустойчивости.
Секреты хранятся вне Git, но файловая схема Docker Compose с правами `644` не обеспечивает строгой изоляции содержимого от всех процессов, имеющих доступ к смонтированным файлам.
Испытания проведены в одном локальном окружении. Результаты зависят от характеристик компьютера, Docker, нагрузки и состояния базы данных.
## Итоги оценки 4
Выполнены следующие проверки:
- Две API-реплики за балансировщиком Nginx.
- Общие PostgreSQL и Redis.
- Общая авторизация и идемпотентность между репликами.
- Проверки `/health/live` и `/health/ready`.
- Таймауты подключения и обработки запросов.
- Корректное завершение приложения при SIGTERM.
- Ограничения CPU и RAM.
- Отсутствие прямой публикации внутренних сервисов.
- Однократное выполнение миграций отдельным контейнером.
- Остановка каждой API-реплики под нагрузкой.
- Проверка времени восстановления после отказа.
- Конкурентная идемпотентность при инициированном отказе.
- Поочерёдное пересоздание реплик под нагрузкой.
- Хранение секретов вне Git.
Базовая пропускная способность в проведённом испытании составила 199,148 успешного запроса в секунду.
При остановке одной реплики оставшаяся продолжала обслуживать запросы. В отдельных failover-проверках первое успешное восстановление наблюдалось через 1,311 и 1,339 секунды.
При rolling replacement зарегистрирована одна ошибка на 16928 попыток.
Таким образом, реализована и экспериментально проверена устойчивость к отказу одной API-реплики. Полная безошибочность переключения и отсутствие единых точек отказа для всей инфраструктуры не заявляются.
## Следующий этап — оценка 5
Выбран трек «Цена масштабирования».
Планируется исследовать зависимость производительности приложения от количества API-реплик при фиксированном суммарном бюджете CPU и RAM.
Для этого необходимо:
1. Подготовить конфигурации с 1, 2 и 4 API-репликами.
2. Зафиксировать общий ресурсный бюджет для сравниваемых конфигураций.
3. Провести повторяемые нагрузочные испытания.
4. Измерить RPS, задержки и количество ошибок.
5. Определить, при каком количестве реплик рост производительности замедляется или прекращается.
6. Построить график зависимости пропускной способности от числа реплик.
7. Проанализировать влияние общих PostgreSQL и Redis на масштабирование.
8. Предложить и проверить оптимизацию на основании результатов измерений.
Эксперименты оценки 5 будут оформлены отдельно после завершения и фиксации оценки 4.
check(len(matches)==1,"duplicate messages found in history")
check(matches[0]["id"]==message_id,"history message ID differs")
print("PASS: concurrent idempotency preserved during api-1 failover")
if__name__=="__main__":
run(main)
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.