forked from mtusi2026/mtusi2026lab3
lab3 update
This commit is contained in:
@@ -1,18 +1,50 @@
|
||||
## Лабораторная 3
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Долда Кирилл / БПИ2301
|
||||
Целевая оценка (3/4/5): 5
|
||||
Трек 5, если заявлен: 1
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
**Что реализовано и что перенесено:**
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Реализован стенд с двумя API-репликами (`app1`, `app2`) за балансировщиком Nginx, общими PostgreSQL и Redis.
|
||||
|
||||
**Команды запуска из чистого clone:**
|
||||
|
||||
cp .env.example .env
|
||||
docker compose up -d --build
|
||||
docker compose exec -w /app app1 alembic upgrade head
|
||||
|
||||
**Результаты проверок и ссылка на REPORT.md:**
|
||||
|
||||
make test — PASS: lab3 public API scenario.
|
||||
|
||||
make test-lab3 — PASS (3/3): идемпотентность (тот же id), идемпотентность (409), общая сессия (≥2 разных x-instance-id).
|
||||
|
||||
make test-security — PASS (3/3): неверный пароль → 401, logout → 401, expiry → 401.
|
||||
|
||||
make test-dependencies — PASS (2/2): БД → 503, Redis → 500 с Error.
|
||||
|
||||
make failover / make failover-app2 — все 20 запросов 200, ни одного 502 (failover ≤ 0.5 сек, меньше 10 сек).
|
||||
|
||||
make rolling-load + make rolling-update — все 200, без простоя.
|
||||
|
||||
Трек 1: RPS ~250–260 при 1/2/4 репликах; saturation point на 4 репликах (~260 RPS); 6 реплик → 257 (спад).
|
||||
|
||||
**Ограничения / известные ошибки:**
|
||||
|
||||
synchronous_commit=off — для демонстрации (риск потери 10–20 мс данных при жёстком падении хоста).
|
||||
|
||||
RPS ~250–260 — предел для текущего стенда
|
||||
|
||||
tests/load.py — погрешность в измерениях (RPS может немного изменяться).
|
||||
|
||||
**Источники и использование ИИ:**
|
||||
|
||||
FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary, pytest, nginx:alpine, postgres:16-alpine, redis:7-alpine.
|
||||
|
||||
- [ x ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ x ] Контракт и публичные тесты не ослаблены.
|
||||
- [ x ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ x ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ x ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ x ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
@@ -4,7 +4,7 @@ CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover
|
||||
.PHONY: help check validate test load test-persistence
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@@ -25,6 +25,76 @@ test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
explain-10k:
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM messages WHERE chat_id = '22222222-2222-2222-2222-222222222222' ORDER BY created_at, id LIMIT 50 OFFSET 0;"
|
||||
|
||||
explain-composite:
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM messages WHERE chat_id = '66666666-6666-4666-8666-666666666666' ORDER BY created_at, id LIMIT 50 OFFSET 0;" | tee evidence/explain_composite.txt
|
||||
|
||||
explain-simple:
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "DROP INDEX IF EXISTS ix_messages_chat_created_id;"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "CREATE INDEX ix_messages_chat_only ON messages (chat_id); ANALYZE messages;"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM messages WHERE chat_id = '66666666-6666-4666-8666-666666666666' ORDER BY created_at, id LIMIT 50 OFFSET 0;" | tee evidence/explain_simple.txt
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "DROP INDEX ix_messages_chat_only;"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "CREATE INDEX ix_messages_chat_created_id ON messages (chat_id, created_at, id);"
|
||||
|
||||
backup-restore:
|
||||
@echo "Делаем бекап pg_dump"
|
||||
time docker exec -it mtusi_messenger_db pg_dump -U messenger -d messenger_db > evidence/backup.sql
|
||||
@echo "Создаем новую базу messenger_restore"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d postgres -c "DROP DATABASE IF EXISTS messenger_restore;"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d postgres -c "CREATE DATABASE messenger_restore;"
|
||||
@echo "Копируем бекап в контейнер и восстанавливаем"
|
||||
docker cp evidence/backup.sql mtusi_messenger_db:/tmp/
|
||||
time docker exec -it mtusi_messenger_db psql -U messenger -d messenger_restore -f /tmp/backup.sql > /dev/null
|
||||
@echo "В основной базе messenger_db:"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -t -c "SELECT count(*) FROM messages;"
|
||||
@echo "В восстановленной базе messenger_restore:"
|
||||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_restore -t -c "SELECT count(*) FROM messages;"
|
||||
|
||||
test-race:
|
||||
@echo "Запускаем два одновременных запроса на регистрацию"
|
||||
@RACE_USER="race_$$(date +%s)"; \
|
||||
curl -s -o /dev/null -w "Запрос 1: %{http_code}\n" -X POST http://localhost:8080/api/v1/users -H "Content-Type: application/json" -d "{\"username\": \"$$RACE_USER\", \"display_name\": \"Race\", \"password\": \"secret1234567\"}" & \
|
||||
curl -s -o /dev/null -w "Запрос 2: %{http_code}\n" -X POST http://localhost:8080/api/v1/users -H "Content-Type: application/json" -d "{\"username\": \"$$RACE_USER\", \"display_name\": \"Race\", \"password\": \"secret1234567\"}" & \
|
||||
wait
|
||||
|
||||
test-redis:
|
||||
@echo "Ставим Redis на паузу"
|
||||
docker pause mtusi_messenger_redis
|
||||
@echo "Запрос"
|
||||
time curl -s -w "\nHTTP Статус: %{http_code}\n" http://localhost:8080/api/v1/users/me -H "Authorization: Bearer test_token"
|
||||
@echo "Снимаем паузу"
|
||||
docker unpause mtusi_messenger_redis
|
||||
|
||||
test-health-db:
|
||||
@echo "Останавливаем БД"
|
||||
docker compose stop db
|
||||
@echo "Проверяем health ready"
|
||||
curl -s -o /dev/null -w "HTTP Статус: %{http_code}\n" http://localhost:8080/health/ready
|
||||
docker compose start db
|
||||
|
||||
test-health-redis:
|
||||
@echo "Останавливаем"
|
||||
docker compose stop redis
|
||||
@echo "Проверяем health ожидая 503 "
|
||||
curl -s -o /dev/null -w "HTTP Статус: %{http_code}\n" http://localhost:8080/health/ready
|
||||
docker compose start redis
|
||||
|
||||
test-dependencies:
|
||||
$(PYTHON) -m pytest tests/test_resilience.py -v
|
||||
|
||||
failover:
|
||||
./scripts/failover-test.sh app1
|
||||
|
||||
failover-app2:
|
||||
./scripts/failover-test.sh app2
|
||||
|
||||
rolling-load:
|
||||
./scripts/rolling-load.sh
|
||||
|
||||
rolling-update:
|
||||
./scripts/rolling-update.sh
|
||||
|
||||
test-lab3:
|
||||
$(PYTHON) -m pytest tests/test_lab3.py -v
|
||||
@@ -1,37 +1,97 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Автор, группа: Долда Кирилл, БПИ2301
|
||||
- Целевая оценка; на 5, Трек 1 (Цена масштабирования)
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требования: Docker Desktop, Python 3.13 для локальных тестов.
|
||||
|
||||
Версии runtime/образов:
|
||||
python:3.13-slim
|
||||
postgres:16-alpine
|
||||
redis:7-alpine
|
||||
nginx:alpine
|
||||
|
||||
Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4
|
||||
|
||||
Создание локальных secrets/.env:
|
||||
cp .env.example .env
|
||||
|
||||
Сборка и запуск:
|
||||
docker compose up -d --build
|
||||
|
||||
Миграции (однократно, до запуска трафика):
|
||||
docker compose exec -w /app app1 alembic upgrade head
|
||||
|
||||
Тесты:
|
||||
|
||||
make check - offline-проверка структуры и синтаксиса
|
||||
make test - публичный smoke-тест контракта API
|
||||
make test-lab3 - собственные тесты лабы 3 (идемпотентность + общая сессия)
|
||||
make test-dependencies - тесты отказов зависимостей (БД -> 503, Redis -> 500)
|
||||
make failover - остановка app1 -> проверка, что сервис жив (app2)
|
||||
make failover-app2 - остановка app2 -> проверка, что сервис жив (app1)
|
||||
make rolling-load - нагрузка во время rolling update (в одном терминале)
|
||||
make rolling-update - поочерёдное обновление реплик (в другом терминале)
|
||||
make load - нагрузочный тест для Трека 1 (RPS, p50/p95/p99)
|
||||
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Схема процессов/хранилищ:
|
||||
Клиент -> Nginx (LB) -> API * 2 (app1, app2) -> PostgreSQL (источник истины) + Redis (сессии).
|
||||
|
||||
Источник истины: PostgreSQL. Пользователи, чаты, участники, сообщения.
|
||||
|
||||
Сессии: Redis. Токен secrets.token_urlsafe(32) с TTL. Персистентность Redis через --appendonly yes.
|
||||
|
||||
Транзакционные границы: Создание сообщения с Idempotency-Key: SET NX в Redis, застолбить ключ -> commit в БД, создать сообщение в postgre -> SET результата в Redis сохраняем.
|
||||
|
||||
Что перенесено из lab2: PostgreSQL, Redis для сессий, миграции, Bearer-токены.
|
||||
|
||||
Что изменено: Добавлены реплики app1/app2, Nginx (LB), X-Instance-Id, Idempotency-Key, лимиты CPU/RAM, failover-тесты, rolling update, least_conn в Nginx.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
|----------------------------|------------------------|---------------------------------------------------------------------------------------------------------|--------------------------------|
|
||||
| Публичный smoke | make test | PASS: lab3 public API scenario | |
|
||||
| Собственные тесты | make test-lab3 | PASS (3/3): идемпотентность (тот же id), идемпотентность (409), общая сессия (≥2 разных x-instance-id) | evidence/test-lab3.txt |
|
||||
| Тесты отказов зависимостей | make test-dependencies | PASS (2/2): БД -> 503, Redis -> 500 с Error | evidence/test-dependencies.txt |
|
||||
| Failover app1 | make failover | Все 20 запросов 200, ни одного 502 | evidence/failover-app1.txt |
|
||||
| Failover app2 | make failover-app2 | Все 20 запросов 200, ни одного 502 | evidence/failover-app2.txt |
|
||||
| Rolling load | make rolling-load | Все 200, X-Instance-Id меняется | evidence/rolling-load.txt |
|
||||
| Rolling update | make rolling-update | Без простоя | evidence/rolling-update.txt |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Гипотеза (Трек 1):
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
При фиксированных суммарных ресурсах (2 CPU / 1 GB) рост числа реплик API даст прирост RPS, но упрётся в saturation point.
|
||||
|
||||
Методика: make load (POST /messages, 30 сек, 4 пользователя).
|
||||
|
||||
Конфигурации: 1, 2, 4, 6 реплик при суммарных 2 CPU / 1 GB. Замеряли RPS и p99.
|
||||
|
||||
Так же проводили замеры с 1 CPU / 512M. Результаты всех замеров зафиксированы в папке evidence.
|
||||
|
||||
| Реплик | RPS (среднее) | p99 (мс) |
|
||||
| 1 | ~250 | 23 |
|
||||
| 2 | ~255 | 31 |
|
||||
| 4 | ~260 | 26 |
|
||||
| 6 | 257 | - |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Что выдерживается: Отказ процесса (реплики), rolling update, общая сессия, идемпотентность, миграции однократно.
|
||||
|
||||
Подтверждённое улучшение: p99 снижен с 48.7 до 12.9 мс (CPU 0.5 → 1.0) — улучшение задержки. RPS не вырос — saturation point в общем ресурсе.
|
||||
|
||||
При фиксированных суммарных ресурсах 2 CPU и 1 GB и распределении их на 1, 2 и 4 реплики RPS составил 250, 255 и 260, что указывает на достижение saturation point именно на 4 репликах.
|
||||
При изначально меньших ресурсах - 0.5 CPU и 512 MB на реплику, сатурация наступала уже на 1 реплике, так как увеличение числа реплик не раскрывало потенциал из-за максимальной нагрузки на каждую из них.
|
||||
В качестве подтверждённого улучшения в этом сценарии доказано, что увеличение CPU на реплику с 0.5 до 1.0 подняло RPS с 234 до 254 и снизило p99 с 24 до 17 мс по результатам make load (4 пользователя отправляют в течении 30 секунд запросы на создание сообщений).
|
||||
Для полноценного эксперимента за пределами условий задания на 1, 2, 4 реплики был проведён замер на 6 репликах, который показал 257 RPS, подтвердив saturation point на 4 репликах и последующее снижение.
|
||||
Также доказано, что увеличение CPU с 1 до 2 на реплику, при втором тесте, даёт прирост скорости ответа p99 на 7–10% при распределении реплик, но не увеличивает RPS.
|
||||
@@ -1,2 +1,13 @@
|
||||
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
|
||||
openapi-spec-validator==0.7.2
|
||||
pytest==8.3.4
|
||||
fastapi==0.115.0
|
||||
uvicorn[standard]==0.52.4
|
||||
pydantic==2.13.5
|
||||
asyncpg==0.31.0
|
||||
sqlalchemy[asyncio]==2.1.0
|
||||
redis==6.2.0
|
||||
passlib==1.7.4
|
||||
bcrypt==4.1.2
|
||||
alembic==1.14.0
|
||||
psycopg2-binary
|
||||
|
||||
Reference in New Issue
Block a user