Files
2026-10-24 00:43:12 +03:00

95 lines
11 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 3
- Автор, группа: Ромашко Владимир, БВТ2301
- Целевая оценка; выбранный трек: **5**, трек 1 "Цена масштабирования"
- Commit/PR: уровень 4 — `1d85938`, трек 1 — `3417e22`; исправление readiness — после публикации
- Источники: контракт задания, документация Docker Compose / nginx / PostgreSQL. Библиотеки — `requirements.txt`; графики — matplotlib. Использован Codex
## Запуск из чистого clone
Нужны Docker Desktop/Engine с Compose v2 (проверено: Engine 28.5.1, Compose 2.40.0) и Python 3.10+ на хосте. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, nginx 1.28.0.
```powershell
Copy-Item .env.example .env
# Задать POSTGRES_PASSWORD в .env (не коммитить)
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 120
python -X utf8 scripts/verify_lab3.py
python -X utf8 scripts/verify_readiness.py
docker compose exec -T api python -m unittest discover -s student-tests -v
```
Миграции — отдельный сервис до API; `--wait` ждёт готовности. Адрес: `http://localhost:8080`. Во время `verify_lab3.py` не трогать контейнеры вручную. На Linux: `cp`, `python3`, `chmod +x scripts/restart.sh scripts/stop-one.sh`.
Остановка: `docker compose down`. Удаление учебных данных: `docker compose down -v`.
Повтор исследования (отдельный проект/БД `track1`, перезапись `evidence/track1/`):
```powershell
docker build -t mtusi2026lab3-api:track1-baseline .
python scripts/scaling_suite.py saturation
python scripts/scaling_suite.py scaling
python scripts/scaling_suite.py improvement
python -m pip install matplotlib==3.10.7
python scripts/plot_scaling.py
docker compose -p mtusi2026lab3-track1 -f compose.yaml -f infra/scaling.compose.yaml down
```
Для удаления данных исследования добавить `-v` к последней команде.
## Архитектура и решения
Клиент → nginx → 2 API → общие PostgreSQL и Redis. Из lab2: auth, сообщения, миграции, Redis-сессии и кэш. В lab3: балансировка без sticky, `X-Instance-Id`, идемпотентность, healthchecks, сценарии отказов. В треке 1 код приложения не менялся.
PostgreSQL — источник истины. Сообщение, версия истории и ключ идемпотентности — одна транзакция с блокировкой строки чата. Повтор ключа → то же сообщение; другое тело → 409. Сессии/кэш общие; Redis — AOF. Миграция 003; смешанное обновление lab2→lab3 не поддерживается.
Healthcheck API: 2 с / timeout 2 с / 2 неудачи / start 5 с. Скрипт `infra/readiness.sh` при nginx получает все IPv4-адреса API и проверяет `/health/ready` (timeout 1 с на реплику, пауза между циклами 2 с). В upstream включаются только готовые API; при изменении списка выполняется reload. Для двух API обнаружение занимает до ~5 с с учётом DNS и проверок; текущие запросы завершаются при graceful reload. Когда готовых API нет, nginx возвращает 502. Docker-статус сам по себе маршрутизацией не управляет. Nginx: connect 1 с, read 6 с; пассивное исключение остаётся дополнительной защитой. SIGTERM: до 5 с, Compose ждёт 10 с. Таймауты БД: connect/pool/lock 2 с, statement 3 с; Redis 1 с.
Лимиты: API 1 CPU/512 MiB каждая, PostgreSQL 1/512, nginx 0,5/128, Redis 0,5/256. Наружу только nginx; `container_name` нет. В `.env` — БД, TTL, лимиты запросов; `APP_PORT` — порт nginx. Хосты PostgreSQL/Redis задаёт Compose.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Стенд ≥2 API, общий PostgreSQL/Redis, один вход | `docker compose up ... --wait` | 2 healthy API, наружу только nginx | [containers](evidence/final-containers.json), [compose.yaml](compose.yaml) |
| Общая сессия, разные X-Instance-Id | smoke через nginx | один пользователь на двух API | [smoke](evidence/final-smoke.txt) |
| Идемпотентность через разные API | конкурентные повторы в `verify_lab3.py` | 24 запроса / 8 одновременно → 1 сообщение; конфликт тела → 409 | [idempotency](evidence/idempotency.json) |
| Контракт, smoke, persistence | `verify_lab3.py`: check, smoke, restart | PASS; перезапущены API, nginx, PostgreSQL, Redis | [check](evidence/check.txt), [persistence](evidence/persistence.txt), [restart](evidence/restart.txt), [idempotency-restart](evidence/idempotency-restart.json) |
| Отказ любой API, восстановление ≤10 с | поочерёдный stop | обе проверки PASS, 117/118 записей без ошибок | [failover-1](evidence/public-failover-1.txt), [failover-2](evidence/public-failover-2.txt) |
| Health/DNS/timeouts/SIGTERM | stop и замена под нагрузкой | недоступные API исключены | [nginx](evidence/nginx-check.txt), [failover-1](evidence/failover-1.json), [failover-2](evidence/failover-2.json) |
| Живая, но неготовая API | `python -X utf8 scripts/verify_readiness.py` | При неверном REDIS_URL: live=200, ready=503; 24 регистрации идут здоровой API. После восстановления используются обе; без готовых API — 502 | [readiness](evidence/readiness.json) |
| Лимиты CPU/RAM, порты | inspect после запуска | лимиты есть, API без портов наружу | [containers](evidence/final-containers.json) |
| Rolling update, отдельные миграции | `verify_lab3.py` rolling; unittest | обе API заменены без потерь; 15 тестов OK | [rolling](evidence/rolling-load.json), [unit-tests](evidence/unit-tests.txt) |
| Трек 1: scaling / saturation / improvement | `scaling_suite.py` ×3 | 30 прогонов; см. ниже | [summary.csv](evidence/track1/summary.csv), [track1/](evidence/track1/) |
## Эксперименты и отказы
Проверка отказов после исправления: 24.10.2026. Docker Desktop Linux x86_64, VM 8 CPU / 7,76 GiB RAM. Отказы: 2 клиента, POST+GET+пауза 20 мс, прогрев 3 с, нагрузка ≥20 с, 1 прогон на воздействие.
| Воздействие | Успешных HTTP/с | Ошибки | p50 / p95 / p99, мс | Восстановление / потеря данных |
| --- | ---: | ---: | --- | --- |
| Stop API `ac72a6939d0d` | 53,79 | 0 | 22,01 / 64,40 / 78,39 | чтение 2,393 с, запись 2,369 с; потерь нет |
| Stop API `2891905bd75d` | 53,76 | 0 | 22,09 / 60,96 / 72,63 | чтение 2,505 с, запись 2,522 с; потерь нет |
| Поочерёдная замена API | 50,63 | 0 | 23,70 / 66,04 / 84,77 | запросов не теряли; потерь данных нет |
Время восстановления включает Docker CLI. Замена: 29,611 с; макс. пауза между успешными R/W: 0,195 / 0,182 с. Сырые сводки: [grade4-summary.json](evidence/grade4-summary.json).
**Трек 1.** Измерения ниже относятся к коммиту 3417e22 до исправления readiness; код приложения не изменён. Гипотеза: доп. API помогают до насыщения общей БД; при фиксированном бюджете дробление CPU может ухудшить результат. Профиль: 1 пользователь/чат, 100 стартовых сообщений, POST 64 символа + уникальный ключ. Сравнение: 8 клиентов без пауз, прогрев 3 с + 15 с, 3 повтора с чередованием порядка; БД очищается перед прогоном.
Фиксированный бюджет API: 2 CPU / 1024 MiB на 1/2/4 реплики. Растущий: по 1 CPU / 512 MiB на реплику. Остальные сервисы — как в стенде. Генератор отдельно: 2 CPU / 512 MiB. В 18 прогонах сравнения ошибок и потерь нет.
| Серия | Медиана сообщ./с (1 / 2 / 4 API) | Медиана p95, мс (1 / 2 / 4 API) |
| --- | --- | --- |
| Фиксированный бюджет | 65,62 / 83,97 / 75,25 | 228,1 / 218,5 / 304,7 |
| Растущий бюджет | 54,61 / 93,18 / 112,69 | 295,0 / 208,0 / 206,6 |
[scaling.png](evidence/track1/scaling.png). Полные p50/p95/p99, ошибки, CPU/RAM, ожидания БД: [summary.csv](evidence/track1/summary.csv); рядом JSON метрик и `*-resources.json`.
Насыщение: 4 API, 1/4/8/16/32/64 клиентов. Предел ~120 сообщ./с при 4–8 клиентах; при 64 — 90 сообщ./с и 43 ошибки. При 8 клиентах 88,3% активных соединений ждут lock; API ~2,34/4 CPU, БД 0,44/1, nginx 0,10/0,5. Узкое место — блокировка строки чата: [db-timeouts.txt](evidence/track1/db-timeouts.txt), [saturation.png](evidence/track1/saturation.png).
Улучшение: 2×(1 CPU/512 MiB) вместо 4×(0,5 CPU/256 MiB) при том же бюджете. 3 парных прогона по 45 с (+3 с прогрева): медиана p95 **441,7 → 290,3 мс (−34,3%)**, RPS **48,18 → 69,46 (+44,2%)**, без ошибок. [improvement.png](evidence/track1/improvement.png). В основном Compose уже 2 API; код не менялся.
## Ограничения и следующие шаги
Выдерживается отказ одной API. nginx, PostgreSQL, Redis и узел — SPOF. Ключи идемпотентности не чистятся. Исследование короткое, один активный чат, общая Docker VM. Подтверждён выигрыш распределения ресурсов в этом профиле. Много независимых чатов — не проверено.