forked from mtusi2026/mtusi2026lab3
75 lines
8.8 KiB
Markdown
75 lines
8.8 KiB
Markdown
# Отчёт — лабораторная 3
|
||
|
||
- Автор, группа: Синюк Максим Павлович БПИ2301
|
||
- Целевая оценка; выбранный трек 5, если нужен: 5, трек 1 "Цена масштабирования"
|
||
- Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/166
|
||
- Использованные источники, библиотеки и помощь ИИ: перенос базы lab2, python, fastapi, uvicorn, pydantic, pytest, sqlalchemy, argon2-cffi, redis
|
||
|
||
## Запуск из чистого clone
|
||
|
||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||
|
||
git clone -b "solution/БПИ2301-Синюк" https://gitea.privcloud.tech/Atelier77/mtusi2026lab3
|
||
docker compose build
|
||
docker compose up -d
|
||
docker ps
|
||
docker compose down
|
||
|
||
## Архитектура и решения
|
||
|
||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||
|
||
Из lab2 перенесены описание классов для работы с таблицами БД через ORM - src/api/repositories/
|
||
модели ORM таблиц для PostgreSQL - src/models/
|
||
валидация - src/pydantic_valid/
|
||
student_tests/
|
||
Добавлен Nginx для LB, работающий по имени сервиса api c 2 репликами, где каждая реплика обладает своим X-INSTANCE_ID в headers.
|
||
Idempotent-Key, генерируемый при отправке запросов обеспечивает сохранность состояния системы в использовании метода send_message.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | make test | PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. | results/make_test.log |
|
||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||
| Пользовательские тесты | `python -m pytest student_tests/ -v` | 20 passed in 10.50s | `results/student_tests.log` |
|
||
| Проверка контрактов | python scripts/check_contract.py | PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. | `results/check_contract.log` |
|
||
| Валидация openapi | python scripts/check_contract.py | PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. | `results/validate_openapi.log` |
|
||
| Нагрузочный тест | `python tests/load.py --duration 30 --concurrency 10| "successful_rps": 134.009, "error_ratio": 0.0 | `results/load.log` |
|
||
| Проверка нагрузки | python tests/load.py | Latency percentiles cover successes only. | `results/test_load.log` |
|
||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||
| Последовательно остановите API-реплику, соберите RPS, ошибки, идемпотентность при параллельных запросах с одним ключом | chmod +x scripts/failover.sh --> git bash: ./scripts/failover_test.sh | Отправка 5 параллельных запросов с ключом: failover-test-key-48cc8fb4cd7a46b282292636122fa0c8
|
||
Полученные статусы: [201, 201, 201, 201, 201]
|
||
Полученные ID сообщений: ['41646804-dfd6-43bf-b839-983c1244c8ee', '41646804-dfd6-43bf-b839-983c1244c8ee', '41646804-dfd6-43bf-b839-983c1244c8ee', '41646804-dfd6-43bf-b839-983c1244c8ee', '41646804-dfd6-43bf-b839-983c1244c8ee']
|
||
PASS: Идемпотентность работает! Создано ровно 1 сообщение (ID: 41646804-dfd6-43bf-b839-983c1244c8ee) | results/failover_metrics.json |
|
||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||
| Проверка обработки status 503 при перегрузке сервера вместо выдачи общего 500 для retry запросов| `python scripts/check_503_retry_after.py --n 64` | PASS: 503 unavailable + Retry-After correct, retries are safe, no dublicates | `results/check_overloaded_handler_503.log` |
|
||
|
||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||
|
||
## Эксперименты и отказы
|
||
|
||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||
1. Использование Keepalive у Nginx приведёт к росту RPS, так как TCP-handshake сократится и будет меньше занимать ресурсов.
|
||
2.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| TODO | TODO | TODO | TODO |
|
||
| Cравнение 1/2/4 API-реплик при фиксированном суммарном CPU/RAM при возрастающих concurrency(нагрузке) | В определённой точке увеличение реплик не будет давать прироста RPS и снижения latency(p95, p99) | в `results/scaling/raw.json` находится результат измерений | "error_ratio":0.0, потерь нет, "requested_duration_seconds": 30.0 |
|
||
| Сравнение на диаграммах влияния роста реплик при остальных неизменных, влияние роста суммарного CPU при остальынх равных переменных, влияние keepalive и ситуация, когда суммарный пул при росте реплик replicas × (pool_size + max_overflow) оказывается больше, чем ёмкости самой БД и когда мы намеренно сужаем пул | рост RPS при добавление Keepalive; рост реплик перестанет увеличивать RPS | | conc | starved RPS | normal RPS | Δ |
|
||
|---|---|---|---|
|
||
| 10 | 87.5 | 95.0 | normal +8.5% |
|
||
| 15 | 98.5 | 103.5 | normal +5.1% |
|
||
| 32 | 99.5 | 89.0 | starved +11.8% |
|
||
| 64 | 104.5 | 76.5 | starved +36.6% | Разница проявилась при нагрузке c=32 и c=64 | потерь нет ни в одном из случаев |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||
Исчерпание пула соединений PostgreSQL: sqlalchemy.exc.TimeoutError → 503 unavailable + Retry-After: 1. Блокировка идемпотентности снимается, безопасный повтор с тем же ключом даёт 201.
|
||
Недоступность Redis: Graceful degradation: идемпотентность и кэш сессий не работают, но запросы проходят напрямую в PostgreSQL. Функциональность сохраняется.
|
||
PostgreSQL — единственная БД, не реплицирована.
|
||
Сессии и идемпотентность хранятся в Redis. Отказ Redis --> потеря идемпотентности
|
||
Nginx - единая точка входа, не реплицирована
|
||
Сетевой разрыв между API и PostgreSQL - 503 unavailable + Retry-After: 5 |