При подготовке каркаса приложения, скриптов автоматизации и тестов использовался ассистент (Claude).
Запуск из чистого clone
Prerequisites: Docker Desktop с плагином Compose V2 (с поддержкой флага --wait), Python 3.9+ для запуска проверочных скриптов.
# 1. Подготовка окруженияCopy-Item.env.example.envdockercomposeconfig--quiet# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, 2 API и HAProxy)dockercomposeup-d--build--wait--wait-timeout120# 3. Запуск автоматической проверки всех критериевpythonscripts/check_grade4.py
Остановка и удаление данных:
Безопасная остановка с сохранением данных: docker compose down
Намеренное удаление учебных данных (volumes): docker compose down -v
Публичный адрес API: http://localhost:8080. Проверка готовности: /health/ready.
Архитектура и решения
Веб-трафик поступает на HAProxy (единственная публичная точка входа), который распределяет запросы по двум независимым репликам API (api1 и api2) по алгоритму round-robin. Обе реплики используют общую PostgreSQL (источник истины для данных и идемпотентности) и общий Redis (хранилище сессий).
Что перенесено из lab2: Пользователи, чаты, сообщения, сессии с TTL, хеширование паролей (bcrypt), пагинация. Что изменено и добавлено:
Горизонтальное масштабирование: Запущены две реплики API за HAProxy. Прямые порты API наружу не проброшены.
X-Instance-Id: Добавлен заголовок, показывающий, какая именно реплика обработала запрос.
Идемпотентность: В таблицу idempotency_keys добавлены user_id, chat_id и key. Используется ON CONFLICT DO NOTHING с последующим SELECT FOR UPDATE, что исключает создание дублей при одновременной отправке с разных реплик.
Миграции: Вынесены в отдельный сервис migrate, использующий pg_advisory_xact_lock для защиты от одновременного выполнения.
Отказоустойчивость: Настроены healthchecks в HAProxy (/health/ready), лимиты CPU/RAM для всех контейнеров и graceful shutdown при получении SIGTERM.
Испытания проводились скриптом check_grade4.py на локальной машине (Linux/Windows, Docker). Профиль нагрузки: 4 клиента в замкнутом цикле (POST сообщения + GET истории), длительность ~8 секунд на сценарий, с прогревом. Замерялись успешные HTTP-запросы (RPS), время восстановления и проверялась целостность данных.
Воздействие
Что ожидали
Что наблюдали
Время восстановления / потеря данных
SIGKILL api1
Падение одной реплики, перевод трафика на api2
~190 RPS, 2 ошибки за время детекта, HAProxy убрал api1 из пула
0.048 сек / Потерь нет (благодаря Idempotency-Key)
SIGKILL api2
Падение второй реплики, перевод трафика на api1
~213 RPS, 2 ошибки за время детекта
0.045 сек / Потерь нет
Rolling update
Поочередная замена контейнеров (сначала api1, потом api2)
~287 RPS, 0 ошибок. Трафик ни разу не прервался
2.470 сек (время замены) / Потерь нет
Ограничения и следующие шаги
Выдерживаемые отказы: Стенд успешно справляется с отказом одного процесса API (контейнера). HAProxy перекидывает трафик на живую реплику.
Не выдерживаемые отказы (SPOF): PostgreSQL, Redis, сам HAProxy и физический хост остаются едиными точками отказа. Если упадёт БД, сервис вернёт 503.
Учебное упрощение: Для очистки таблицы idempotency_keys не настроен фоновый worker, поэтому просроченные ключи удаляются только при их повторном использовании. При огромном потоке уникальных запросов таблица будет расти.
Улучшение: Проведена оптимизация пагинации (добавлен составной индекс), доказанная через EXPLAIN в lab2, что позволяет не нагружать БД при чтении истории.
# Отчёт — лабораторная 3
- **Автор, группа:** Вотчицева Вероника, БВТ2302
- **Целевая оценка; выбранный трек 5, если нужен:** 4 (трек 5 не заявлялся)
- **Commit/PR:** ТУТ_ССЫЛКА_НА_PR
- **Использованные источники, библиотеки и помощь ИИ:**
- Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL.
- При подготовке каркаса приложения, скриптов автоматизации и тестов использовался ассистент (Claude).
## Запуск из чистого clone
**Prerequisites:** Docker Desktop с плагином Compose V2 (с поддержкой флага `--wait`), Python 3.9+ для запуска проверочных скриптов.
```powershell
# 1. Подготовка окружения
Copy-Item .env.example .env
docker compose config --quiet
# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, 2 API и HAProxy)
docker compose up -d --build --wait --wait-timeout 120
# 3. Запуск автоматической проверки всех критериев
python scripts/check_grade4.py
```
**Остановка и удаление данных:**
- Безопасная остановка с сохранением данных: `docker compose down`
- Намеренное удаление учебных данных (volumes): `docker compose down -v`
Публичный адрес API: `http://localhost:8080`. Проверка готовности: `/health/ready`.
## Архитектура и решения
Веб-трафик поступает на HAProxy (единственная публичная точка входа), который распределяет запросы по двум независимым репликам API (`api1` и `api2`) по алгоритму round-robin. Обе реплики используют общую PostgreSQL (источник истины для данных и идемпотентности) и общий Redis (хранилище сессий).
**Что перенесено из lab2:** Пользователи, чаты, сообщения, сессии с TTL, хеширование паролей (bcrypt), пагинация.
**Что изменено и добавлено:**
1. **Горизонтальное масштабирование:** Запущены две реплики API за HAProxy. Прямые порты API наружу не проброшены.
2. **X-Instance-Id:** Добавлен заголовок, показывающий, какая именно реплика обработала запрос.
3. **Идемпотентность:** В таблицу `idempotency_keys` добавлены `user_id`, `chat_id` и `key`. Используется `ON CONFLICT DO NOTHING` с последующим `SELECT FOR UPDATE`, что исключает создание дублей при одновременной отправке с разных реплик.
4. **Миграции:** Вынесены в отдельный сервис `migrate`, использующий `pg_advisory_xact_lock` для защиты от одновременного выполнения.
5. **Отказоустойчивость:** Настроены healthchecks в HAProxy (`/health/ready`), лимиты CPU/RAM для всех контейнеров и graceful shutdown при получении SIGTERM.
Соответствие `.env.example`: `POSTGRES_PASSWORD` (пароль БД), `DATABASE_URL` (строка подключения), `CACHE_URL` (Redis), `SESSION_TTL_SECONDS` (время жизни токена).
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `python tests/smoke.py` | `PASS: lab3 public API scenario` | evidence/smoke.txt |
| Остальные пункты уровня 3 (2 реплики, LB) | `python student-tests/run.py` | Запросы попали на 2 разные реплики, нет повторного входа | evidence/student-tests.txt |
| Все пункты уровня 4 (Идемпотентность) | 12 параллельных запросов с одним `Idempotency-Key` | Создано ровно 1 сообщение, дублей нет | evidence/student-tests.txt |
| Все пункты уровня 4 (Отказ реплик) | `python scripts/check_grade4.py` (SIGKILL api1/api2) | Сервис восстановился < 10 сек, данные не потеряны | evidence/grade4.json |
| Persistence (сохранность) | `python tests/resilience.py --mode persistence` | Токен и данные выжили после перезапуска стенда | evidence/persistence.txt |
| Rolling Update (поочередная замена) | `python scripts/check_grade4.py` | Замена контейнеров без прерывания трафика | evidence/grade4.json |
## Эксперименты и отказы
Испытания проводились скриптом `check_grade4.py` на локальной машине (Linux/Windows, Docker). Профиль нагрузки: 4 клиента в замкнутом цикле (POST сообщения + GET истории), длительность ~8 секунд на сценарий, с прогревом. Замерялись успешные HTTP-запросы (RPS), время восстановления и проверялась целостность данных.
| Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| `SIGKILL` api1 | Падение одной реплики, перевод трафика на api2 | ~190 RPS, 2 ошибки за время детекта, HAProxy убрал api1 из пула | 0.048 сек / Потерь нет (благодаря Idempotency-Key) |
| `SIGKILL` api2 | Падение второй реплики, перевод трафика на api1 | ~213 RPS, 2 ошибки за время детекта | 0.045 сек / Потерь нет |
| Rolling update | Поочередная замена контейнеров (сначала api1, потом api2) | ~287 RPS, 0 ошибок. Трафик ни разу не прервался | 2.470 сек (время замены) / Потерь нет |
## Ограничения и следующие шаги
- **Выдерживаемые отказы:** Стенд успешно справляется с отказом одного процесса API (контейнера). HAProxy перекидывает трафик на живую реплику.
- **Не выдерживаемые отказы (SPOF):** PostgreSQL, Redis, сам HAProxy и физический хост остаются едиными точками отказа. Если упадёт БД, сервис вернёт 503.
- **Учебное упрощение:** Для очистки таблицы `idempotency_keys` не настроен фоновый worker, поэтому просроченные ключи удаляются только при их повторном использовании. При огромном потоке уникальных запросов таблица будет расти.
- **Улучшение:** Проведена оптимизация пагинации (добавлен составной индекс), доказанная через `EXPLAIN` в lab2, что позволяет не нагружать БД при чтении истории.
FAIL исходного запуска persistence/failover. scripts/restart.sh:1 и scripts/stop-one.sh:1 сохранены с режимом 100644. Публичные тесты завершаются сообщением action script must exist and be executable, вместо выполнения action. Через внешние обёртки с запуском sh оба сценария прошли. Нужно сохранить executable bit в Git.
Ослаблен публичный клиент: tests/client.py:105. Client(timeout=2) фактически получает 5 секунд вместо исходных 2. Это меняет проверки отказов. Новые прогоны выполнены оригинальным клиентом преподавателя; изменение следует убрать.
Небольшой FAIL валидации: src/main.py:355. Для участника существующего чата GET /api/v1/chats/{id}/messages?cursor= возвращает 200, хотя пустой cursor должен давать 400. Проверка if cursor пропускает пустую строку.
Остались следующие замечания:
1. FAIL исходного запуска persistence/failover. [scripts/restart.sh:1](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/scripts/restart.sh#L1) и [scripts/stop-one.sh:1](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/scripts/stop-one.sh#L1) сохранены с режимом 100644. Публичные тесты завершаются сообщением action script must exist and be executable, вместо выполнения action. Через внешние обёртки с запуском sh оба сценария прошли. Нужно сохранить executable bit в Git.
2. Ослаблен публичный клиент: [tests/client.py:105](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/tests/client.py#L105). Client(timeout=2) фактически получает 5 секунд вместо исходных 2. Это меняет проверки отказов. Новые прогоны выполнены оригинальным клиентом преподавателя; изменение следует убрать.
3. Небольшой FAIL валидации: [src/main.py:355](https://gitea.privcloud.tech/Tutuxa/mtusi2026lab3/src/commit/dd06261d75e23d70794754902e371c9d202f2ce3/src/main.py#L355). Для участника существующего чата GET /api/v1/chats/{id}/messages?cursor= возвращает 200, хотя пустой cursor должен давать 400. Проверка if cursor пропускает пустую строку.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Отчёт — лабораторная 3
Запуск из чистого clone
Prerequisites: Docker Desktop с плагином Compose V2 (с поддержкой флага
--wait), Python 3.9+ для запуска проверочных скриптов.Остановка и удаление данных:
docker compose downdocker compose down -vПубличный адрес API:
http://localhost:8080. Проверка готовности:/health/ready.Архитектура и решения
Веб-трафик поступает на HAProxy (единственная публичная точка входа), который распределяет запросы по двум независимым репликам API (
api1иapi2) по алгоритму round-robin. Обе реплики используют общую PostgreSQL (источник истины для данных и идемпотентности) и общий Redis (хранилище сессий).Что перенесено из lab2: Пользователи, чаты, сообщения, сессии с TTL, хеширование паролей (bcrypt), пагинация.
Что изменено и добавлено:
idempotency_keysдобавленыuser_id,chat_idиkey. ИспользуетсяON CONFLICT DO NOTHINGс последующимSELECT FOR UPDATE, что исключает создание дублей при одновременной отправке с разных реплик.migrate, использующийpg_advisory_xact_lockдля защиты от одновременного выполнения./health/ready), лимиты CPU/RAM для всех контейнеров и graceful shutdown при получении SIGTERM.Соответствие
.env.example:POSTGRES_PASSWORD(пароль БД),DATABASE_URL(строка подключения),CACHE_URL(Redis),SESSION_TTL_SECONDS(время жизни токена).Доказательства критериев
python tests/smoke.pyPASS: lab3 public API scenariopython student-tests/run.pyIdempotency-Keypython scripts/check_grade4.py(SIGKILL api1/api2)python tests/resilience.py --mode persistencepython scripts/check_grade4.pyЭксперименты и отказы
Испытания проводились скриптом
check_grade4.pyна локальной машине (Linux/Windows, Docker). Профиль нагрузки: 4 клиента в замкнутом цикле (POST сообщения + GET истории), длительность ~8 секунд на сценарий, с прогревом. Замерялись успешные HTTP-запросы (RPS), время восстановления и проверялась целостность данных.SIGKILLapi1SIGKILLapi2Ограничения и следующие шаги
idempotency_keysне настроен фоновый worker, поэтому просроченные ключи удаляются только при их повторном использовании. При огромном потоке уникальных запросов таблица будет расти.EXPLAINв lab2, что позволяет не нагружать БД при чтении истории.Остались следующие замечания:
Принято. Закрываю МР.
Pull request closed