ЛР 3 — БВТ2302 — Вотчицева — на 4 #54

Closed
Tutuxa wants to merge 1 commits from Tutuxa/mtusi2026lab3:solution/bvt2302-Votchitseva into main
First-time contributor

Отчёт — лабораторная 3

  • Автор, группа: Вотчицева Вероника, БВТ2302
  • Целевая оценка; выбранный трек 5, если нужен: 4 (трек 5 не заявлялся)
  • Commit/PR: ТУТ_ССЫЛКА_НА_PR
  • Использованные источники, библиотеки и помощь ИИ:
    • Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL.
    • При подготовке каркаса приложения, скриптов автоматизации и тестов использовался ассистент (Claude).

Запуск из чистого clone

Prerequisites: Docker Desktop с плагином Compose V2 (с поддержкой флага --wait), Python 3.9+ для запуска проверочных скриптов.

# 1. Подготовка окружения
Copy-Item .env.example .env
docker compose config --quiet

# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, 2 API и HAProxy)
docker compose up -d --build --wait --wait-timeout 120

# 3. Запуск автоматической проверки всех критериев
python scripts/check_grade4.py

Остановка и удаление данных:

  • Безопасная остановка с сохранением данных: docker compose down
  • Намеренное удаление учебных данных (volumes): docker compose down -v

Публичный адрес API: http://localhost:8080. Проверка готовности: /health/ready.

Архитектура и решения

Веб-трафик поступает на HAProxy (единственная публичная точка входа), который распределяет запросы по двум независимым репликам API (api1 и api2) по алгоритму round-robin. Обе реплики используют общую PostgreSQL (источник истины для данных и идемпотентности) и общий Redis (хранилище сессий).

Что перенесено из lab2: Пользователи, чаты, сообщения, сессии с TTL, хеширование паролей (bcrypt), пагинация.
Что изменено и добавлено:

  1. Горизонтальное масштабирование: Запущены две реплики API за HAProxy. Прямые порты API наружу не проброшены.
  2. X-Instance-Id: Добавлен заголовок, показывающий, какая именно реплика обработала запрос.
  3. Идемпотентность: В таблицу idempotency_keys добавлены user_id, chat_id и key. Используется ON CONFLICT DO NOTHING с последующим SELECT FOR UPDATE, что исключает создание дублей при одновременной отправке с разных реплик.
  4. Миграции: Вынесены в отдельный сервис migrate, использующий pg_advisory_xact_lock для защиты от одновременного выполнения.
  5. Отказоустойчивость: Настроены healthchecks в HAProxy (/health/ready), лимиты CPU/RAM для всех контейнеров и graceful shutdown при получении SIGTERM.

Соответствие .env.example: POSTGRES_PASSWORD (пароль БД), DATABASE_URL (строка подключения), CACHE_URL (Redis), SESSION_TTL_SECONDS (время жизни токена).

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python tests/smoke.py PASS: lab3 public API scenario evidence/smoke.txt
Остальные пункты уровня 3 (2 реплики, LB) python student-tests/run.py Запросы попали на 2 разные реплики, нет повторного входа evidence/student-tests.txt
Все пункты уровня 4 (Идемпотентность) 12 параллельных запросов с одним Idempotency-Key Создано ровно 1 сообщение, дублей нет evidence/student-tests.txt
Все пункты уровня 4 (Отказ реплик) python scripts/check_grade4.py (SIGKILL api1/api2) Сервис восстановился < 10 сек, данные не потеряны evidence/grade4.json
Persistence (сохранность) python tests/resilience.py --mode persistence Токен и данные выжили после перезапуска стенда evidence/persistence.txt
Rolling Update (поочередная замена) python scripts/check_grade4.py Замена контейнеров без прерывания трафика evidence/grade4.json

Эксперименты и отказы

Испытания проводились скриптом check_grade4.py на локальной машине (Linux/Windows, Docker). Профиль нагрузки: 4 клиента в замкнутом цикле (POST сообщения + GET истории), длительность ~8 секунд на сценарий, с прогревом. Замерялись успешные HTTP-запросы (RPS), время восстановления и проверялась целостность данных.

Воздействие Что ожидали Что наблюдали Время восстановления / потеря данных
SIGKILL api1 Падение одной реплики, перевод трафика на api2 ~190 RPS, 2 ошибки за время детекта, HAProxy убрал api1 из пула 0.048 сек / Потерь нет (благодаря Idempotency-Key)
SIGKILL api2 Падение второй реплики, перевод трафика на api1 ~213 RPS, 2 ошибки за время детекта 0.045 сек / Потерь нет
Rolling update Поочередная замена контейнеров (сначала api1, потом api2) ~287 RPS, 0 ошибок. Трафик ни разу не прервался 2.470 сек (время замены) / Потерь нет

Ограничения и следующие шаги

  • Выдерживаемые отказы: Стенд успешно справляется с отказом одного процесса API (контейнера). HAProxy перекидывает трафик на живую реплику.
  • Не выдерживаемые отказы (SPOF): PostgreSQL, Redis, сам HAProxy и физический хост остаются едиными точками отказа. Если упадёт БД, сервис вернёт 503.
  • Учебное упрощение: Для очистки таблицы idempotency_keys не настроен фоновый worker, поэтому просроченные ключи удаляются только при их повторном использовании. При огромном потоке уникальных запросов таблица будет расти.
  • Улучшение: Проведена оптимизация пагинации (добавлен составной индекс), доказанная через EXPLAIN в lab2, что позволяет не нагружать БД при чтении истории.
# Отчёт — лабораторная 3 - **Автор, группа:** Вотчицева Вероника, БВТ2302 - **Целевая оценка; выбранный трек 5, если нужен:** 4 (трек 5 не заявлялся) - **Commit/PR:** ТУТ_ССЫЛКА_НА_PR - **Использованные источники, библиотеки и помощь ИИ:** - Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL. - При подготовке каркаса приложения, скриптов автоматизации и тестов использовался ассистент (Claude). ## Запуск из чистого clone **Prerequisites:** Docker Desktop с плагином Compose V2 (с поддержкой флага `--wait`), Python 3.9+ для запуска проверочных скриптов. ```powershell # 1. Подготовка окружения Copy-Item .env.example .env docker compose config --quiet # 2. Запуск стенда (сборка, миграции, запуск БД, Redis, 2 API и HAProxy) docker compose up -d --build --wait --wait-timeout 120 # 3. Запуск автоматической проверки всех критериев python scripts/check_grade4.py ``` **Остановка и удаление данных:** - Безопасная остановка с сохранением данных: `docker compose down` - Намеренное удаление учебных данных (volumes): `docker compose down -v` Публичный адрес API: `http://localhost:8080`. Проверка готовности: `/health/ready`. ## Архитектура и решения Веб-трафик поступает на HAProxy (единственная публичная точка входа), который распределяет запросы по двум независимым репликам API (`api1` и `api2`) по алгоритму round-robin. Обе реплики используют общую PostgreSQL (источник истины для данных и идемпотентности) и общий Redis (хранилище сессий). **Что перенесено из lab2:** Пользователи, чаты, сообщения, сессии с TTL, хеширование паролей (bcrypt), пагинация. **Что изменено и добавлено:** 1. **Горизонтальное масштабирование:** Запущены две реплики API за HAProxy. Прямые порты API наружу не проброшены. 2. **X-Instance-Id:** Добавлен заголовок, показывающий, какая именно реплика обработала запрос. 3. **Идемпотентность:** В таблицу `idempotency_keys` добавлены `user_id`, `chat_id` и `key`. Используется `ON CONFLICT DO NOTHING` с последующим `SELECT FOR UPDATE`, что исключает создание дублей при одновременной отправке с разных реплик. 4. **Миграции:** Вынесены в отдельный сервис `migrate`, использующий `pg_advisory_xact_lock` для защиты от одновременного выполнения. 5. **Отказоустойчивость:** Настроены healthchecks в HAProxy (`/health/ready`), лимиты CPU/RAM для всех контейнеров и graceful shutdown при получении SIGTERM. Соответствие `.env.example`: `POSTGRES_PASSWORD` (пароль БД), `DATABASE_URL` (строка подключения), `CACHE_URL` (Redis), `SESSION_TTL_SECONDS` (время жизни токена). ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke | `python tests/smoke.py` | `PASS: lab3 public API scenario` | evidence/smoke.txt | | Остальные пункты уровня 3 (2 реплики, LB) | `python student-tests/run.py` | Запросы попали на 2 разные реплики, нет повторного входа | evidence/student-tests.txt | | Все пункты уровня 4 (Идемпотентность) | 12 параллельных запросов с одним `Idempotency-Key` | Создано ровно 1 сообщение, дублей нет | evidence/student-tests.txt | | Все пункты уровня 4 (Отказ реплик) | `python scripts/check_grade4.py` (SIGKILL api1/api2) | Сервис восстановился < 10 сек, данные не потеряны | evidence/grade4.json | | Persistence (сохранность) | `python tests/resilience.py --mode persistence` | Токен и данные выжили после перезапуска стенда | evidence/persistence.txt | | Rolling Update (поочередная замена) | `python scripts/check_grade4.py` | Замена контейнеров без прерывания трафика | evidence/grade4.json | ## Эксперименты и отказы Испытания проводились скриптом `check_grade4.py` на локальной машине (Linux/Windows, Docker). Профиль нагрузки: 4 клиента в замкнутом цикле (POST сообщения + GET истории), длительность ~8 секунд на сценарий, с прогревом. Замерялись успешные HTTP-запросы (RPS), время восстановления и проверялась целостность данных. | Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | `SIGKILL` api1 | Падение одной реплики, перевод трафика на api2 | ~190 RPS, 2 ошибки за время детекта, HAProxy убрал api1 из пула | 0.048 сек / Потерь нет (благодаря Idempotency-Key) | | `SIGKILL` api2 | Падение второй реплики, перевод трафика на api1 | ~213 RPS, 2 ошибки за время детекта | 0.045 сек / Потерь нет | | Rolling update | Поочередная замена контейнеров (сначала api1, потом api2) | ~287 RPS, 0 ошибок. Трафик ни разу не прервался | 2.470 сек (время замены) / Потерь нет | ## Ограничения и следующие шаги - **Выдерживаемые отказы:** Стенд успешно справляется с отказом одного процесса API (контейнера). HAProxy перекидывает трафик на живую реплику. - **Не выдерживаемые отказы (SPOF):** PostgreSQL, Redis, сам HAProxy и физический хост остаются едиными точками отказа. Если упадёт БД, сервис вернёт 503. - **Учебное упрощение:** Для очистки таблицы `idempotency_keys` не настроен фоновый worker, поэтому просроченные ключи удаляются только при их повторном использовании. При огромном потоке уникальных запросов таблица будет расти. - **Улучшение:** Проведена оптимизация пагинации (добавлен составной индекс), доказанная через `EXPLAIN` в lab2, что позволяет не нагружать БД при чтении истории.
Tutuxa added 1 commit 2026-10-26 23:48:41 +03:00
Owner

Остались следующие замечания:

  1. FAIL исходного запуска persistence/failover. scripts/restart.sh:1 и scripts/stop-one.sh:1 сохранены с режимом 100644. Публичные тесты завершаются сообщением action script must exist and be executable, вместо выполнения action. Через внешние обёртки с запуском sh оба сценария прошли. Нужно сохранить executable bit в Git.
  2. Ослаблен публичный клиент: tests/client.py:105. Client(timeout=2) фактически получает 5 секунд вместо исходных 2. Это меняет проверки отказов. Новые прогоны выполнены оригинальным клиентом преподавателя; изменение следует убрать.
  3. Небольшой FAIL валидации: src/main.py:355. Для участника существующего чата GET /api/v1/chats/{id}/messages?cursor= возвращает 200, хотя пустой cursor должен давать 400. Проверка if cursor пропускает пустую строку.
Остались следующие замечания: 1. FAIL исходного запуска persistence/failover. [scripts/restart.sh:1](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/scripts/restart.sh#L1) и [scripts/stop-one.sh:1](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/scripts/stop-one.sh#L1) сохранены с режимом 100644. Публичные тесты завершаются сообщением action script must exist and be executable, вместо выполнения action. Через внешние обёртки с запуском sh оба сценария прошли. Нужно сохранить executable bit в Git. 2. Ослаблен публичный клиент: [tests/client.py:105](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/tests/client.py#L105). Client(timeout=2) фактически получает 5 секунд вместо исходных 2. Это меняет проверки отказов. Новые прогоны выполнены оригинальным клиентом преподавателя; изменение следует убрать. 3. Небольшой FAIL валидации: [src/main.py:355](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/src/main.py#L355). Для участника существующего чата GET /api/v1/chats/{id}/messages?cursor= возвращает 200, хотя пустой cursor должен давать 400. Проверка if cursor пропускает пустую строку.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 15:59:52 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#54