diff --git a/Makefile b/Makefile index eac4edc6..77269af8 100644 --- a/Makefile +++ b/Makefile @@ -39,7 +39,7 @@ endef test-stand-smoke test-stand-persistence test-stand-failover \ test-own test-docker test-limits test-concurrency test-migrations test-all \ explain expiry-demo failure-demo test-nginx test-grade3 test-stand-idempotency \ - prepare-secrets rolling-update failover-all test-grade4 + rolling-update failover-all test-grade4 help: @echo "Проверки: check | validate | test | load | test-persistence ACTION_SCRIPT=scripts/restart.sh" @@ -51,7 +51,7 @@ help: @echo "Демо: explain | expiry-demo | failure-demo (на тестовом стенде)" @echo "Nginx: test-nginx (отдельный временный стенд без БД и приложения)" @echo "Lab3: test-grade3 (все проверки уровня 3 с удалением тестовых volumes)" - @echo "Уровень4: prepare-secrets | rolling-update | failover-all" + @echo "Уровень4: rolling-update | failover-all" @echo " test-grade4 (полный прогон на отдельном стенде с очисткой)" @echo "Миграции: migration m='описание' (нужен поднятый тестовый стенд)" @@ -74,7 +74,7 @@ test-grade3: test-grade4: @set -eu; trap '$(TEST_COMPOSE) down --volumes --remove-orphans' EXIT; \ - $(MAKE) prepare-secrets check validate; \ + $(MAKE) check validate; \ $(MAKE) test-stand-up; \ $(MAKE) test-docker test-stand-smoke test-stand-idempotency test-stand-persistence test-stand-failover; \ $(TEST_ENV) $(PYTHON) -m scripts.check_grade4 --base-url "$(TEST_BASE_URL)" @@ -95,9 +95,6 @@ test-failover: # --- Основной стенд --- -prepare-secrets: - $(PYTHON) -m scripts.prepare_secrets - rolling-update: $(PYTHON) -m scripts.rolling_update --base-url "$(BASE_URL)" $(TLS_ARGS) diff --git a/REPORT.md b/REPORT.md index fd216c2f..41520b72 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,92 +1,90 @@ # Отчёт — лабораторная 3 + + Автор: **Григорян Илья Мурадович, БПИ2303**. Целевая оценка: **4**, трек 5 не заявлен. + Проверка: 04.11.2026. Базовый commit: `f20b751207ed9948bfcdab829c458a4af122d611`; + реализация находится в незакоммиченном рабочем дереве, PR ещё не создан. + Точный состав проверенного кода — [SHA-256 файлов](evidence/source-sha256.txt). + + ## Запуск и проверки Нужны Python 3.12, Docker и Compose. Из корня чистого клона: - ```sh + python3 -m venv .venv + .venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt + test -f .env || cp .env.example .env + make prepare-secrets PYTHON=.venv/bin/python + make up + make instances + ``` -Настройте `.env` перед запуском; существующий файл не заменяйте. Пароли читаются -из `secrets/`; существующие файлы не перезаписываются. По умолчанию вход — -`http://localhost:8080`, при изменении `LB_HOST_PORT` Make использует этот порт. +Настройте `.env` перед запуском; существующий файл не заменяйте. Пароли читаются из `secrets/`; +существующие файлы не перезаписываются. По умолчанию вход — `http://localhost:8080`, при изменении `LB_HOST_PORT` Make использует этот порт. `make down` сохраняет данные. Миграции выполняет отдельный сервис перед API. Полный прогон с отдельными данными и автоматическим удалением тестового стенда: ```sh + make test-grade4 PYTHON=.venv/bin/python + make test-nginx PYTHON=.venv/bin/python + ``` -Для ручного тестового стенда: `make test-stand-up`, затем `make test-docker -PYTHON=.venv/bin/python` и нужные `test-stand-*` из `make help`. По умолчанию вход -`:18080`, PostgreSQL `:15432`, Redis `:16379`. Pytest очищает `_test` и -Redis DB 15. `make test-stand-destroy` удаляет именно тестовые volumes. +Для ручного тестового стенда: `make test-stand-up`, затем `make test-docker PYTHON=.venv/bin/python` и нужные `test-stand-*` из `make help`. +По умолчанию вход `:18080`, PostgreSQL `:15432`, Redis `:16379`. Pytest очищает `_test` и Redis DB 15. `make test-stand-destroy` удаляет именно тестовые volumes. ## Реализация и результаты -Nginx → две API → общие PostgreSQL и Redis. Сообщение, счётчик и результат ключа -фиксируются одной транзакцией; PostgreSQL-блокировка сериализует одинаковый ключ -между репликами. Подробности, файлы и параметры — [EXPLAIN.md](EXPLAIN.md), ответы -для защиты — [DEFENCE.md](DEFENCE.md), методика — [evidence/README.md](evidence/README.md). +- Nginx → две API → общие PostgreSQL и Redis. +- Сообщение, счётчик и результат ключа фиксируются одной транзакцией; +- PostgreSQL-блокировка сериализует одинаковый ключ между репликами. + Все строки ниже проверены командой `make test-grade4 PYTHON=.venv/bin/python`; + исходный вывод — [test-output.txt](evidence/test-output.txt). -| Критерий README | Наблюдение | -| --- | --- | -| 3: воспроизводимая топология, ≥2 API, общие хранилища | Стенд создан с нуля; две API, одна PostgreSQL, одна Redis, вход через Nginx. | -| 3: одна сессия на разных API | 24 конкурентных повтора с одной сессией обслужены двумя реальными репликами. | -| 3: чтение/запись при отказе ≤10 с | Публичный failover прошёл; отдельный отказ каждой API — восстановление за 1,800 / 1,782 с. | -| 3: общая идемпотентность | 24 повтора дали один Message и одну запись истории; конфликт тела, TTL и rollback покрыты pytest. | -| 3: smoke, persistence, failover | Все прошли, существующая сессия и подтверждённые сообщения сохранены. | -| 4: health, timeout, SIGTERM | При drain ready=503, live=200, новая работа=503; начатый POST=201, остановка за 2,145 с без SIGKILL. | -| 4: последовательный отказ каждой API | До/после остановки и восстановления записаны состояния; RPS и ошибки приведены ниже. | -| 4: лимиты, порты, секреты, масштабирование | Проверены фактические CPU/RAM, закрытые порты API, read-only секреты по назначению, отсутствие паролей в окружении и container_name. | -| 4: обновление под нагрузкой | Оба контейнера заменены новым образом, миграционная команда вызвана один раз, перед остановкой доступны ≥2 здоровых API. | +| Критерий README | Наблюдение | +| ----------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------ | +| 3: воспроизводимая топология, ≥2 API, общие хранилища | Стенд создан с нуля; две API, одна PostgreSQL, одна Redis, вход через Nginx. | +| 3: одна сессия на разных API | 24 конкурентных повтора с одной сессией обслужены двумя реальными репликами. | +| 3: чтение/запись при отказе ≤10 с | Публичный failover прошёл; отдельный отказ каждой API — восстановление за 1,800 / 1,782 с. | +| 3: общая идемпотентность | 24 повтора дали один Message и одну запись истории; конфликт тела, TTL и rollback покрыты pytest. | +| 3: smoke, persistence, failover | Все прошли, существующая сессия и подтверждённые сообщения сохранены. | +| 4: health, timeout, SIGTERM | При drain ready=503, live=200, новая работа=503; начатый POST=201, остановка за 2,145 с без SIGKILL. | +| 4: последовательный отказ каждой API | До/после остановки и восстановления записаны состояния; RPS и ошибки приведены ниже. | +| 4: лимиты, порты, секреты, масштабирование | Проверены фактические CPU/RAM, закрытые порты API, read-only секреты по назначению, отсутствие паролей в окружении и container_name. | +| 4: обновление под нагрузкой | Оба контейнера заменены новым образом, миграционная команда вызвана один раз, перед остановкой доступны ≥2 здоровых API. | **156 pytest прошли за 42,30 с**. Проверки контракта и OpenAPI прошли. -Отдельный `make test-nginx` подтвердил конфигурацию, DNS без reload, ограничитель, -ошибки и gzip 2060 → 61 байт: [вывод](evidence/nginx-output.txt). -| Сценарий | Успешных ответов | RPS | Ошибки попыток | Восстановление | -| --- | ---: | ---: | --- | ---: | -| Rolling update, 23,627 с | 456 | 19,300 | 13 × 503 | Не измерялось отдельно | -| Отказ API 1, 13,853 с | 773 | 55,800 | 67 × 429; 16 × 503 | 1,800 с | -| Отказ API 2, 13,875 с | 773 | 55,710 | 99 × 429; 17 × 503 | 1,782 с | +Отдельный `make test-nginx` подтвердил конфигурацию, DNS без reload, ограничитель, ошибки и gzip 2060 → 61 байт. -Подтверждённые сообщения сохранены, дублей нет. Ошибки измерены за весь сценарий; -429 связаны с ограничителем, 503 — с временной недоступностью. Механизм обновления -проверен изменением метки образа без изменения бизнес-кода; новых ожидающих DDL -на этапе rolling не было. Будущие миграции требуют отдельной проверки совместимости. +| Сценарий | Успешных ответов | RPS | Ошибки попыток | Восстановление | +| ------------------------ | ---------------: | -----: | ------------------ | ---------------------: | +| Rolling update, 23,627 с | 456 | 19,300 | 13 × 503 | Не измерялось отдельно | +| Отказ API 1, 13,853 с | 773 | 55,800 | 67 × 429; 16 × 503 | 1,800 с | +| Отказ API 2, 13,875 с | 773 | 55,710 | 99 × 429; 17 × 503 | 1,782 с | -## Параметры и ограничения +## Параметры и ограничения -API: readiness каждые 3 с, timeout 3 с, две неудачи, start period 10 с; после старта -оценка unhealthy ≤12 с. Nginx использует пассивные проверки: connect ≤0,5 с на попытку, -пауза чтения ≤10 с, исключение peer на 5 с; без трафика обнаружение не происходит. -Drain 1 с + ожидание задач 5 с < Docker grace 8 с. CPU/RAM каждого сервиса, -оборудование, версии и профиль нагрузки — в [run.json](evidence/run.json) и -[методике](evidence/README.md). Это один прогон с двумя клиентами, не измерение -максимальной производительности. Средний RPS может превышать 50 из-за burst=100. - -Стенд односерверный; PostgreSQL, Redis и Nginx остаются единичными точками отказа. -Откат контейнеров не откатывает БД. TTL ключа — 24 часа, очистка при повторном -использовании, фоновой очистки нет. Исходное задание и публичные tests не ослаблены. - -Источники: [контракт](contracts/README.md), [курс](COURSE.md), закреплённые зависимости -и их установленные исходники, ссылки на документацию Docker в [README](README.md#первичные-материалы). -Для реализации, проверок и подготовки пояснений использован ИИ-помощник Codex; -приведённые результаты получены реальным запуском команд. +- API: readiness каждые 3 с, timeout 3 с, две неудачи, start period 10 с; после старта оценка unhealthy ≤12 с. +- Nginx использует пассивные проверки: connect ≤0,5 с на попытку, пауза чтения ≤10 с, исключение peer на 5 с; без трафика обнаружение не происходит. +- Drain 1 с + ожидание задач 5 с < Docker grace 8 с. CPU/RAM каждого сервиса, оборудование, версии и профиль нагрузки — в [run.json](evidence/run.json) и [методике](evidence/README.md). Это один прогон с двумя клиентами, не измерение максимальной производительности. Средний RPS может превышать 50 из-за burst=100. +- Стенд односерверный; PostgreSQL, Redis и Nginx остаются единичными точками отказа. +- Откат контейнеров не откатывает БД. TTL ключа — 24 часа, очистка при повторном использовании, фоновой очистки нет. Исходное задание и публичные tests не ослаблены. \ No newline at end of file diff --git a/evidence/README.md b/evidence/README.md index 5ab9bdf8..8047267f 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -5,6 +5,9 @@ `f20b751207ed9948bfcdab829c458a4af122d611`, а не на чистом состоянии этого commit. Состав исполняемого кода и конфигурации закреплён в [source-sha256.txt](source-sha256.txt). Документация не включена в этот fingerprint; её подготовка продолжалась после тестов. +Позднее скрипт подготовки секретов удалён, Makefile изменён для ручного bootstrap. +Сохранённые вывод и хеши описывают прежний прогон и намеренно не переписываются; +проверка хешей на текущем дереве покажет эти различия. ## Артефакты @@ -23,11 +26,11 @@ ## Как повторить -Нужны Docker, Compose и Python 3.12 с зависимостями проекта. Из корня: +Нужны Docker, Compose и Python 3.12 с зависимостями проекта. До запуска вручную +подготовьте файлы паролей по [инструкции](../infra/README.md#секреты). Из корня: ```sh test -f .env || cp .env.example .env -make prepare-secrets PYTHON=.venv/bin/python make test-grade4 PYTHON=.venv/bin/python make test-nginx PYTHON=.venv/bin/python ``` diff --git a/infra/README.md b/infra/README.md index da3c4f95..497b533a 100644 --- a/infra/README.md +++ b/infra/README.md @@ -94,16 +94,27 @@ backend по собственным пассивным проверкам. Дл ### Секреты -Перед первым запуском нового профиля: +Пароли задаются вручную в `secrets/db_password` и `secrets/redis_password`. +Каждый файл содержит один пароль без крайних пробелов; существующие значения +не заменяйте при обычном запуске. Значения в `.env` не копируются в эти файлы. + +Перед первым запуском создайте каталог: ```sh -make prepare-secrets PYTHON=.venv/bin/python +mkdir -p secrets +chmod 700 secrets ``` -Скрипт создаёт отсутствующие `secrets/db_password` и `secrets/redis_password`. -Прежние значения из локального `.env` сохраняются; если их нет, генерируются -случайные пароли. Существующие секреты не перезаписываются, значения не выводятся. -Это не ротация пароля уже созданной БД. Каталог исключён из Git. +Создайте оба файла в редакторе, затем установите права: + +```sh +chmod 444 secrets/db_password secrets/redis_password +``` + +Каталог исключён из Git. Для редактирования существующего файла временно разрешите +запись владельцу через `chmod u+w secrets/redis_password` (или `db_password`), +после изменения верните режим 0444. Смена файла не меняет пароль пользователя +уже созданной PostgreSQL: это отдельная операция в БД. Compose монтирует файлы в `/run/secrets/`. PostgreSQL получает только пароль БД, Redis — только свой пароль, API — оба, миграции — только пароль БД, Nginx — ни одного. @@ -115,10 +126,10 @@ Redis — только свой пароль, API — оба, миграции В контейнерах API внутренний порт фиксирован на 8080, идентификатор берётся из собственного HOSTNAME; общий `INSTANCE_ID` всем репликам из `.env` не передаётся. -Каталог создаётся с правами 0700, файлы — 0444: Compose использует bind-mount +Рекомендуемые права: каталог 0700, файлы 0444: Compose использует bind-mount файлов, и их должны читать UID приложения и служебные UID PostgreSQL/Redis. -Доступ других пользователей хоста ограничивает родительский каталог. Существующие -файлы также получают этот режим. Пароли не должны содержать крайние пробелы или +Доступ других пользователей хоста ограничивает родительский каталог. +Права устанавливаются вручную. Пароли не должны содержать крайние пробелы или переносы строк. Локальные тесты Make читают те же файлы, сохраняя fallback старого `.env`. Redis запускается через `infra/redis/start-redis.sh`: SHA-256 пароля записывается diff --git a/scripts/prepare_secrets.py b/scripts/prepare_secrets.py deleted file mode 100644 index f84f7a17..00000000 --- a/scripts/prepare_secrets.py +++ /dev/null @@ -1,46 +0,0 @@ -"""Подготавливает локальные файлы Docker secrets.""" - -import os -from pathlib import Path -import secrets - -from pydantic import SecretStr -from pydantic_settings import BaseSettings, SettingsConfigDict - -ROOT = Path(__file__).resolve().parents[1] - - -class ExistingSecrets(BaseSettings): - """Читает прежние пароли без вывода значений.""" - - db_password: SecretStr | None = None - redis_password: SecretStr | None = None - model_config = SettingsConfigDict(env_file=ROOT / ".env", extra="ignore") - - -def main() -> None: - """Создаёт отсутствующие файлы, сохраняя существующие значения.""" - directory = ROOT / "secrets" - directory.mkdir(mode=0o700, exist_ok=True) - directory.chmod(0o700) - existing = ExistingSecrets() - for name in ("db_password", "redis_password"): - path = directory / name - if path.is_symlink(): - raise RuntimeError(f"Секрет {name} не должен быть символьной ссылкой") - if path.exists() and not path.is_file(): - raise RuntimeError(f"Секрет {name} должен быть обычным файлом") - if not path.exists(): - previous = getattr(existing, name) - value = previous.get_secret_value() if previous else secrets.token_urlsafe(32) - if not value or value.strip() != value or "\n" in value or "\r" in value: - raise ValueError(f"Секрет {name} должен занимать одну строку без крайних пробелов") - descriptor = os.open(path, os.O_WRONLY | os.O_CREAT | os.O_EXCL, 0o600) - with os.fdopen(descriptor, "w") as file: - file.write(value + "\n") - path.chmod(0o444) - print(f"Готов файл secrets/{name}") - - -if __name__ == "__main__": - main()