ЛР 3 — БПИ2301 — Дугина — на 4 #101

Closed
aleksandra_dugina wants to merge 2 commits from aleksandra_dugina/mtusi2026lab3:solution/BPI2301-Dugina into main
First-time contributor

Лабораторная 3

Автор / группа: Дугина Александра, БПИ2301.
Целевая оценка (3/4/5): 4.
Трек 5, если заявлен: не заявлен; исследовательские требования на 5 не выполнялись.

Что реализовано и что перенесено

Из собственной лабораторной №2 перенесён работающий FastAPI-мессенджер: регистрация и Argon2id, Basic → Bearer, серверные сессии, logout, создание чатов с проверкой membership, отправка/история сообщений, keyset-пагинация и контрактные ошибки.

Для лабораторной №3 добавлены:

  • Две независимые API-реплики одного масштабируемого Compose-service за HAProxy, round robin без sticky sessions. Публичен только LB; прямых host-портов API и container_name нет. Все ответы API содержат X-Instance-Id и X-Request-Id.
  • Общие PostgreSQL-сессии и Redis-кэш профилей. Срок действия/отзыв сессии проверяются в PostgreSQL; Redis использует persistent volume и AOF, при его отказе доступен fallback.
  • Обязательный Idempotency-Key: общая PostgreSQL-транзакция и уникальный ключ (chat_id, sender_id, key), атомарная фиксация сообщения и результата. Повтор — тот же Message и HTTP 201, другое содержимое — 409; права и сессия проверяются заново. Ключи сохраняются дольше 24 часов.
  • Отдельный one-shot мигратор до старта API, журнал версий и advisory lock. Постоянные volumes PostgreSQL/Redis, перезапуск без очистки данных и действующих сессий.
  • /health/live, /health/ready, активные проверки HAProxy, динамическое обновление backend через Docker DNS, connection/read timeouts и graceful SIGTERM/shutdown.
  • CPU/RAM-лимиты, закреплённые версии образов, локальная генерация секретов вне Git, совместимость с ARM64 Docker Desktop.
  • Скрипты точной остановки выбранной по X-Instance-Id реплики, восстановления, persistence и последовательной замены контейнеров под нагрузкой.
  • Исправлены замечания ревью: docker stop --timeout 6; блокирующие SQL/Redis/Argon2 вынесены из event loop через синхронный login и run_in_threadpool, включая lifecycle пула. Транзакции и пул сохранены; regression ASGI test после исправления — 7 OK.

Команды запуска из чистого clone

Требуются Docker Desktop / Compose v2, Python 3.11+ и make. Из корня этого репозитория:

python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
scripts/up.sh
export BASE_URL="http://localhost:$(sed -n 's/^PUBLIC_PORT=//p' .env)"
make check
make validate PYTHON=.venv/bin/python
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
scripts/restore.sh
python3 scripts/wait-ready.py

Bootstrap автоматически создаёт игнорируемые локальные секреты и .env; при первом запуске выбирает свободный порт. В испытаниях LB доступен на http://localhost:8080, Swagger — /docs. Данные соседних проектов не используются. Безопасная остановка — scripts/compose.sh stop, без удаления volumes.

Результаты проверок и ссылка на REPORT.md

Полный отчёт и методика.
Доказательства после исправлений.

Проверка Результат Фактический вывод
make check PASS check.txt
make validate PYTHON=.venv/bin/python PASS validate.txt
make test PASS smoke.txt
make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS persistence.txt
make test-failover ACTION_SCRIPT=scripts/stop-one.sh PASS failover-public.txt

Конкурентная идемпотентность: 24 запроса через обе реплики, одно сообщение, одна копия в истории. Также проверены конфликт содержимого, независимые user/chat scope, доступ, отзыв сессии и повтор записи старше 24 часов: idempotency.json.

Эксперимент после исправлений, 4 writers Восстановление Successful RPS Ошибки Потери подтверждённых сообщений
Отказ первой реплики 2,327 с 159,853 52 0
Отказ второй после восстановления первой 1,792 с 181,418 43 0
Rolling update Последовательная замена двух контейнеров 234,740 275 0

Фактические остановленные контейнеры, распределение запросов, RPS/errors/latency и проверка всех подтверждений: failover-replica-1.json, failover-replica-2.json.

Rolling: 1 602 успешных запроса начаты во время замены, максимальный промежуток между успешными завершениями — 0,998 с. Рабочая survivor-реплика сохранялась; заменялись контейнеры тем же исправленным образом: rolling-update.json. HAProxy, PostgreSQL и Redis не перезапускались при failover/rolling: infrastructure-isolation.txt.

Отдельно проверены реальная смена IP backend, readiness при отказе PostgreSQL, fallback при отказе Redis, migration rerun без повторного применения, Swagger и итоговые healthy-контейнеры. Исходные результаты и sampled CPU/RAM доступны в evidence/; версии конфигурации и даты новых запусков — metadata.json.

Ограничения / известные ошибки

Один Docker-host; PostgreSQL и LB — одиночные компоненты, отказ узла/диска не покрывается. Во время обнаружения отказа/замены возможны краткие ошибки, они учтены; неопределённый POST повторяется клиентом с исходным ключом. Rolling не обеспечивает автоматический rollback и требует совместимой схемы; additive-миграция проверена, несовместимые изменения требуют expand/contract или окна обслуживания. Нет GC ключей идемпотентности. HTTP используется только локально с синтетическими данными. Closed-loop Python-нагрузки не доказывают предельную производительность; улучшение latency после thread-pool исправления не заявляется.

Источники и использование ИИ

Использованы задание/контракт/публичные проверки этого репозитория, собственная лабораторная №2 и библиотеки из requirements.txt. Codex/ИИ помог с переносом, реализацией инфраструктуры и идемпотентности, исправлениями ревью, автоматическими испытаниями и документацией. Все приведённые результаты получены фактическими запусками.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: **Дугина Александра, БПИ2301**. Целевая оценка (3/4/5): **4**. Трек 5, если заявлен: **не заявлен; исследовательские требования на 5 не выполнялись**. ### Что реализовано и что перенесено Из собственной лабораторной №2 перенесён работающий FastAPI-мессенджер: регистрация и Argon2id, Basic → Bearer, серверные сессии, logout, создание чатов с проверкой membership, отправка/история сообщений, keyset-пагинация и контрактные ошибки. Для лабораторной №3 добавлены: - Две независимые API-реплики одного масштабируемого Compose-service за HAProxy, round robin без sticky sessions. Публичен только LB; прямых host-портов API и `container_name` нет. Все ответы API содержат `X-Instance-Id` и `X-Request-Id`. - Общие PostgreSQL-сессии и Redis-кэш профилей. Срок действия/отзыв сессии проверяются в PostgreSQL; Redis использует persistent volume и AOF, при его отказе доступен fallback. - Обязательный `Idempotency-Key`: общая PostgreSQL-транзакция и уникальный ключ `(chat_id, sender_id, key)`, атомарная фиксация сообщения и результата. Повтор — тот же Message и HTTP 201, другое содержимое — 409; права и сессия проверяются заново. Ключи сохраняются дольше 24 часов. - Отдельный one-shot мигратор до старта API, журнал версий и advisory lock. Постоянные volumes PostgreSQL/Redis, перезапуск без очистки данных и действующих сессий. - `/health/live`, `/health/ready`, активные проверки HAProxy, динамическое обновление backend через Docker DNS, connection/read timeouts и graceful SIGTERM/shutdown. - CPU/RAM-лимиты, закреплённые версии образов, локальная генерация секретов вне Git, совместимость с ARM64 Docker Desktop. - Скрипты точной остановки выбранной по `X-Instance-Id` реплики, восстановления, persistence и последовательной замены контейнеров под нагрузкой. - Исправлены замечания ревью: `docker stop --timeout 6`; блокирующие SQL/Redis/Argon2 вынесены из event loop через синхронный login и `run_in_threadpool`, включая lifecycle пула. Транзакции и пул сохранены; regression ASGI test после исправления — 7 OK. ### Команды запуска из чистого clone Требуются Docker Desktop / Compose v2, Python 3.11+ и make. Из корня этого репозитория: ```sh python3 -m venv .venv .venv/bin/pip install -r requirements-dev.txt scripts/up.sh export BASE_URL="http://localhost:$(sed -n 's/^PUBLIC_PORT=//p' .env)" make check make validate PYTHON=.venv/bin/python make test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh scripts/restore.sh python3 scripts/wait-ready.py ``` Bootstrap автоматически создаёт игнорируемые локальные секреты и `.env`; при первом запуске выбирает свободный порт. В испытаниях LB доступен на `http://localhost:8080`, Swagger — `/docs`. Данные соседних проектов не используются. Безопасная остановка — `scripts/compose.sh stop`, без удаления volumes. ### Результаты проверок и ссылка на REPORT.md [Полный отчёт и методика](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/REPORT.md). [Доказательства после исправлений](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106). | Проверка | Результат | Фактический вывод | |---|---|---| | `make check` | PASS | [check.txt](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/check.txt) | | `make validate PYTHON=.venv/bin/python` | PASS | [validate.txt](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/validate.txt) | | `make test` | PASS | [smoke.txt](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/smoke.txt) | | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS | [persistence.txt](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/persistence.txt) | | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS | [failover-public.txt](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/failover-public.txt) | Конкурентная идемпотентность: **24 запроса через обе реплики, одно сообщение**, одна копия в истории. Также проверены конфликт содержимого, независимые user/chat scope, доступ, отзыв сессии и повтор записи старше 24 часов: [idempotency.json](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/idempotency.json). | Эксперимент после исправлений, 4 writers | Восстановление | Successful RPS | Ошибки | Потери подтверждённых сообщений | |---|---:|---:|---:|---:| | Отказ первой реплики | **2,327 с** | 159,853 | 52 | **0** | | Отказ второй после восстановления первой | **1,792 с** | 181,418 | 43 | **0** | | Rolling update | Последовательная замена двух контейнеров | 234,740 | 275 | **0** | Фактические остановленные контейнеры, распределение запросов, RPS/errors/latency и проверка всех подтверждений: [failover-replica-1.json](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/failover-replica-1.json), [failover-replica-2.json](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/failover-replica-2.json). Rolling: **1 602 успешных запроса начаты во время замены**, максимальный промежуток между успешными завершениями — 0,998 с. Рабочая survivor-реплика сохранялась; заменялись контейнеры тем же исправленным образом: [rolling-update.json](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/rolling-update.json). HAProxy, PostgreSQL и Redis не перезапускались при failover/rolling: [infrastructure-isolation.txt](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/infrastructure-isolation.txt). Отдельно проверены реальная смена IP backend, readiness при отказе PostgreSQL, fallback при отказе Redis, migration rerun без повторного применения, Swagger и итоговые healthy-контейнеры. Исходные результаты и sampled CPU/RAM доступны в [evidence/](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence); версии конфигурации и даты новых запусков — [metadata.json](https://gitea.privcloud.tech/aleksandra_dugina/mtusi2026lab3/src/commit/7088791d5c9ee07048f7100a84dd83e770a8eaa1/evidence/fixes-20261106/metadata.json). ### Ограничения / известные ошибки Один Docker-host; PostgreSQL и LB — одиночные компоненты, отказ узла/диска не покрывается. Во время обнаружения отказа/замены возможны краткие ошибки, они учтены; неопределённый POST повторяется клиентом с исходным ключом. Rolling не обеспечивает автоматический rollback и требует совместимой схемы; additive-миграция проверена, несовместимые изменения требуют expand/contract или окна обслуживания. Нет GC ключей идемпотентности. HTTP используется только локально с синтетическими данными. Closed-loop Python-нагрузки не доказывают предельную производительность; улучшение latency после thread-pool исправления не заявляется. ### Источники и использование ИИ Использованы задание/контракт/публичные проверки этого репозитория, собственная лабораторная №2 и библиотеки из `requirements.txt`. Codex/ИИ помог с переносом, реализацией инфраструктуры и идемпотентности, исправлениями ревью, автоматическими испытаниями и документацией. Все приведённые результаты получены фактическими запусками. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
aleksandra_dugina added 1 commit 2026-11-06 01:52:21 +03:00
aleksandra_dugina added 1 commit 2026-11-06 02:01:24 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:22 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#101