Files
mtusi2026lab3/REPORT.md
T
romashkoandCursor 3417e22ba0 Grade 5
Co-authored-by: Cursor <cursoragent@cursor.com>
2026-10-23 17:50:43 +03:00

93 lines
9.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 3
- Автор, группа: Ромашко Владимир, БВТ2301
- Целевая оценка; выбранный трек: **5**, трек 1 "Цена масштабирования"
- Commit/PR: база уровня 4 — `1d85938`; коммит/PR трека 1 — после публикации
- Источники: контракт задания, документация Docker Compose / nginx / PostgreSQL. Библиотеки — `requirements.txt`; графики — matplotlib. Использован Codex
## Запуск из чистого clone
Нужны Docker Desktop/Engine с Compose v2 (проверено: Engine 28.5.1, Compose 2.40.0) и Python 3.10+ на хосте. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, nginx 1.28.0.
```powershell
Copy-Item .env.example .env
# Задать POSTGRES_PASSWORD в .env (не коммитить)
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 120
python -X utf8 scripts/verify_lab3.py
docker compose exec -T api python -m unittest discover -s student-tests -v
```
Миграции — отдельный сервис до API; `--wait` ждёт готовности. Адрес: `http://localhost:8080`. Во время `verify_lab3.py` не трогать контейнеры вручную. На Linux: `cp`, `python3`, `chmod +x scripts/restart.sh scripts/stop-one.sh`.
Остановка: `docker compose down`. Удаление учебных данных: `docker compose down -v`.
Повтор исследования (отдельный проект/БД `track1`, перезапись `evidence/track1/`):
```powershell
docker build -t mtusi2026lab3-api:track1-baseline .
python scripts/scaling_suite.py saturation
python scripts/scaling_suite.py scaling
python scripts/scaling_suite.py improvement
python -m pip install matplotlib==3.10.7
python scripts/plot_scaling.py
docker compose -p mtusi2026lab3-track1 -f compose.yaml -f infra/scaling.compose.yaml down
```
Для удаления данных исследования добавить `-v` к последней команде.
## Архитектура и решения
Клиент → nginx → 2 API → общие PostgreSQL и Redis. Из lab2: auth, сообщения, миграции, Redis-сессии и кэш. В lab3: балансировка без sticky, `X-Instance-Id`, идемпотентность, healthchecks, сценарии отказов. В треке 1 код приложения не менялся.
PostgreSQL — источник истины. Сообщение, версия истории и ключ идемпотентности — одна транзакция с блокировкой строки чата. Повтор ключа → то же сообщение; другое тело → 409. Сессии/кэш общие; Redis — AOF. Миграция 003; смешанное обновление lab2→lab3 не поддерживается.
Healthcheck API: 2 с / timeout 2 с / 2 неудачи / start 5 с. Nginx: connect 1 с, read 6 с, `max_fails=1`, exclude 2 с; DNS 2 с. SIGTERM: до 5 с, Compose ждёт 10 с. Таймауты БД: connect/pool/lock 2 с, statement 3 с; Redis 1 с.
Лимиты: API 1 CPU/512 MiB каждая, PostgreSQL 1/512, nginx 0,5/128, Redis 0,5/256. Наружу только nginx; `container_name` нет. В `.env` — БД, TTL, лимиты запросов; `APP_PORT` — порт nginx. Хосты PostgreSQL/Redis задаёт Compose.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Стенд ≥2 API, общий PostgreSQL/Redis, один вход | `docker compose up ... --wait` | 2 healthy API, наружу только nginx | [containers](evidence/final-containers.json), [compose.yaml](compose.yaml) |
| Общая сессия, разные X-Instance-Id | smoke через nginx | один пользователь на двух API | [smoke](evidence/final-smoke.txt) |
| Идемпотентность через разные API | конкурентные повторы в `verify_lab3.py` | 24 запроса / 8 одновременно → 1 сообщение; конфликт тела → 409 | [idempotency](evidence/idempotency.json) |
| Контракт, smoke, persistence | `verify_lab3.py`: check, smoke, restart | PASS; перезапущены API, nginx, PostgreSQL, Redis | [check](evidence/check.txt), [persistence](evidence/persistence.txt), [restart](evidence/restart.txt), [idempotency-restart](evidence/idempotency-restart.json) |
| Отказ любой API, восстановление ≤10 с | поочерёдный stop | обе проверки PASS, по 124 записи без ошибок | [failover-1](evidence/public-failover-1.txt), [failover-2](evidence/public-failover-2.txt) |
| Health/DNS/timeouts/SIGTERM | stop и замена под нагрузкой | недоступные API исключены | [nginx](evidence/nginx-check.txt), [failover-1](evidence/failover-1.json), [failover-2](evidence/failover-2.json) |
| Лимиты CPU/RAM, порты | inspect после запуска | лимиты есть, API без портов наружу | [containers](evidence/final-containers.json) |
| Rolling update, отдельные миграции | `verify_lab3.py` rolling; unittest | обе API заменены без потерь; 15 тестов OK | [rolling](evidence/rolling-load.json), [unit-tests](evidence/unit-tests.txt) |
| Трек 1: scaling / saturation / improvement | `scaling_suite.py` ×3 | 30 прогонов; см. ниже | [summary.csv](evidence/track1/summary.csv), [track1/](evidence/track1/) |
## Эксперименты и отказы
Дата: 23.10.2026. Docker Desktop Linux x86_64, VM 8 CPU / 7,76 GiB RAM. Отказы: 2 клиента, POST+GET+пауза 20 мс, прогрев 3 с, нагрузка ≥20 с, 1 прогон на воздействие.
| Воздействие | Успешных HTTP/с | Ошибки | p50 / p95 / p99, мс | Восстановление / потеря данных |
| --- | ---: | ---: | --- | --- |
| Stop API `6fc32ef53bc9` | 61,90 | 0 | 18,00 / 52,71 / 71,25 | чтение 2,466 с, запись 2,458 с; потерь нет |
| Stop API `a6ee3d7e3779` | 65,84 | 0 | 16,38 / 48,29 / 70,66 | чтение 2,409 с, запись 2,397 с; потерь нет |
| Поочерёдная замена API | 62,91 | 0 | 16,51 / 48,68 / 75,14 | запросов не теряли; потерь данных нет |
Время восстановления включает Docker CLI. Замена: 29,127 с; макс. пауза между успешными R/W: 0,216 / 0,231 с. Сырые сводки: [grade4-summary.json](evidence/grade4-summary.json).
**Трек 1.** Гипотеза: доп. API помогают до насыщения общей БД; при фиксированном бюджете дробление CPU может ухудшить результат. Профиль: 1 пользователь/чат, 100 стартовых сообщений, POST 64 символа + уникальный ключ. Сравнение: 8 клиентов без пауз, прогрев 3 с + 15 с, 3 повтора с чередованием порядка; БД очищается перед прогоном.
Фиксированный бюджет API: 2 CPU / 1024 MiB на 1/2/4 реплики. Растущий: по 1 CPU / 512 MiB на реплику. Остальные сервисы — как в стенде. Генератор отдельно: 2 CPU / 512 MiB. В 18 прогонах сравнения ошибок и потерь нет.
| Серия | Медиана сообщ./с (1 / 2 / 4 API) | Медиана p95, мс (1 / 2 / 4 API) |
| --- | --- | --- |
| Фиксированный бюджет | 65,62 / 83,97 / 75,25 | 228,1 / 218,5 / 304,7 |
| Растущий бюджет | 54,61 / 93,18 / 112,69 | 295,0 / 208,0 / 206,6 |
[scaling.png](evidence/track1/scaling.png). Полные p50/p95/p99, ошибки, CPU/RAM, ожидания БД: [summary.csv](evidence/track1/summary.csv); рядом JSON метрик и `*-resources.json`.
Насыщение: 4 API, 1/4/8/16/32/64 клиентов. Предел ~120 сообщ./с при 4–8 клиентах; при 64 — 90 сообщ./с и 43 ошибки. При 8 клиентах 88,3% активных соединений ждут lock; API ~2,34/4 CPU, БД 0,44/1, nginx 0,10/0,5. Узкое место — блокировка строки чата: [db-timeouts.txt](evidence/track1/db-timeouts.txt), [saturation.png](evidence/track1/saturation.png).
Улучшение: 2×(1 CPU/512 MiB) вместо 4×(0,5 CPU/256 MiB) при том же бюджете. 3 парных прогона по 45 с (+3 с прогрева): медиана p95 **441,7 → 290,3 мс (−34,3%)**, RPS **48,18 → 69,46 (+44,2%)**, без ошибок. [improvement.png](evidence/track1/improvement.png). В основном Compose уже 2 API; код не менялся.
## Ограничения и следующие шаги
Выдерживается отказ одной API. nginx, PostgreSQL, Redis и узел — SPOF. Ключи идемпотентности не чистятся. Исследование короткое, один активный чат, общая Docker VM. Подтверждён выигрыш распределения ресурсов в этом профиле. Много независимых чатов — не проверено.