forked from mtusi2026/mtusi2026lab3
small fix in report.md and makefile
This commit is contained in:
@@ -39,7 +39,7 @@ endef
|
||||
test-stand-smoke test-stand-persistence test-stand-failover \
|
||||
test-own test-docker test-limits test-concurrency test-migrations test-all \
|
||||
explain expiry-demo failure-demo test-nginx test-grade3 test-stand-idempotency \
|
||||
prepare-secrets rolling-update failover-all test-grade4
|
||||
rolling-update failover-all test-grade4
|
||||
|
||||
help:
|
||||
@echo "Проверки: check | validate | test | load | test-persistence ACTION_SCRIPT=scripts/restart.sh"
|
||||
@@ -51,7 +51,7 @@ help:
|
||||
@echo "Демо: explain | expiry-demo | failure-demo (на тестовом стенде)"
|
||||
@echo "Nginx: test-nginx (отдельный временный стенд без БД и приложения)"
|
||||
@echo "Lab3: test-grade3 (все проверки уровня 3 с удалением тестовых volumes)"
|
||||
@echo "Уровень4: prepare-secrets | rolling-update | failover-all"
|
||||
@echo "Уровень4: rolling-update | failover-all"
|
||||
@echo " test-grade4 (полный прогон на отдельном стенде с очисткой)"
|
||||
@echo "Миграции: migration m='описание' (нужен поднятый тестовый стенд)"
|
||||
|
||||
@@ -74,7 +74,7 @@ test-grade3:
|
||||
|
||||
test-grade4:
|
||||
@set -eu; trap '$(TEST_COMPOSE) down --volumes --remove-orphans' EXIT; \
|
||||
$(MAKE) prepare-secrets check validate; \
|
||||
$(MAKE) check validate; \
|
||||
$(MAKE) test-stand-up; \
|
||||
$(MAKE) test-docker test-stand-smoke test-stand-idempotency test-stand-persistence test-stand-failover; \
|
||||
$(TEST_ENV) $(PYTHON) -m scripts.check_grade4 --base-url "$(TEST_BASE_URL)"
|
||||
@@ -95,9 +95,6 @@ test-failover:
|
||||
|
||||
# --- Основной стенд ---
|
||||
|
||||
prepare-secrets:
|
||||
$(PYTHON) -m scripts.prepare_secrets
|
||||
|
||||
rolling-update:
|
||||
$(PYTHON) -m scripts.rolling_update --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
|
||||
@@ -1,92 +1,90 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
|
||||
|
||||
Автор: **Григорян Илья Мурадович, БПИ2303**. Целевая оценка: **4**, трек 5 не заявлен.
|
||||
|
||||
Проверка: 04.11.2026. Базовый commit: `f20b751207ed9948bfcdab829c458a4af122d611`;
|
||||
|
||||
реализация находится в незакоммиченном рабочем дереве, PR ещё не создан.
|
||||
|
||||
Точный состав проверенного кода — [SHA-256 файлов](evidence/source-sha256.txt).
|
||||
|
||||
|
||||
|
||||
## Запуск и проверки
|
||||
|
||||
Нужны Python 3.12, Docker и Compose. Из корня чистого клона:
|
||||
|
||||
```sh
|
||||
|
||||
python3 -m venv .venv
|
||||
|
||||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||||
|
||||
test -f .env || cp .env.example .env
|
||||
|
||||
make prepare-secrets PYTHON=.venv/bin/python
|
||||
|
||||
make up
|
||||
|
||||
make instances
|
||||
|
||||
```
|
||||
|
||||
Настройте `.env` перед запуском; существующий файл не заменяйте. Пароли читаются
|
||||
из `secrets/`; существующие файлы не перезаписываются. По умолчанию вход —
|
||||
`http://localhost:8080`, при изменении `LB_HOST_PORT` Make использует этот порт.
|
||||
Настройте `.env` перед запуском; существующий файл не заменяйте. Пароли читаются из `secrets/`;
|
||||
существующие файлы не перезаписываются. По умолчанию вход — `http://localhost:8080`, при изменении `LB_HOST_PORT` Make использует этот порт.
|
||||
`make down` сохраняет данные. Миграции выполняет отдельный сервис перед API.
|
||||
|
||||
Полный прогон с отдельными данными и автоматическим удалением тестового стенда:
|
||||
|
||||
```sh
|
||||
|
||||
make test-grade4 PYTHON=.venv/bin/python
|
||||
|
||||
make test-nginx PYTHON=.venv/bin/python
|
||||
|
||||
```
|
||||
|
||||
Для ручного тестового стенда: `make test-stand-up`, затем `make test-docker
|
||||
PYTHON=.venv/bin/python` и нужные `test-stand-*` из `make help`. По умолчанию вход
|
||||
`:18080`, PostgreSQL `:15432`, Redis `:16379`. Pytest очищает `<DB_NAME>_test` и
|
||||
Redis DB 15. `make test-stand-destroy` удаляет именно тестовые volumes.
|
||||
Для ручного тестового стенда: `make test-stand-up`, затем `make test-docker PYTHON=.venv/bin/python` и нужные `test-stand-*` из `make help`.
|
||||
По умолчанию вход `:18080`, PostgreSQL `:15432`, Redis `:16379`. Pytest очищает `<DB_NAME>_test` и Redis DB 15. `make test-stand-destroy` удаляет именно тестовые volumes.
|
||||
|
||||
## Реализация и результаты
|
||||
|
||||
Nginx → две API → общие PostgreSQL и Redis. Сообщение, счётчик и результат ключа
|
||||
фиксируются одной транзакцией; PostgreSQL-блокировка сериализует одинаковый ключ
|
||||
между репликами. Подробности, файлы и параметры — [EXPLAIN.md](EXPLAIN.md), ответы
|
||||
для защиты — [DEFENCE.md](DEFENCE.md), методика — [evidence/README.md](evidence/README.md).
|
||||
- Nginx → две API → общие PostgreSQL и Redis.
|
||||
- Сообщение, счётчик и результат ключа фиксируются одной транзакцией;
|
||||
- PostgreSQL-блокировка сериализует одинаковый ключ между репликами.
|
||||
|
||||
|
||||
Все строки ниже проверены командой `make test-grade4 PYTHON=.venv/bin/python`;
|
||||
|
||||
исходный вывод — [test-output.txt](evidence/test-output.txt).
|
||||
|
||||
| Критерий README | Наблюдение |
|
||||
| --- | --- |
|
||||
| 3: воспроизводимая топология, ≥2 API, общие хранилища | Стенд создан с нуля; две API, одна PostgreSQL, одна Redis, вход через Nginx. |
|
||||
| 3: одна сессия на разных API | 24 конкурентных повтора с одной сессией обслужены двумя реальными репликами. |
|
||||
| 3: чтение/запись при отказе ≤10 с | Публичный failover прошёл; отдельный отказ каждой API — восстановление за 1,800 / 1,782 с. |
|
||||
| 3: общая идемпотентность | 24 повтора дали один Message и одну запись истории; конфликт тела, TTL и rollback покрыты pytest. |
|
||||
| 3: smoke, persistence, failover | Все прошли, существующая сессия и подтверждённые сообщения сохранены. |
|
||||
| 4: health, timeout, SIGTERM | При drain ready=503, live=200, новая работа=503; начатый POST=201, остановка за 2,145 с без SIGKILL. |
|
||||
| 4: последовательный отказ каждой API | До/после остановки и восстановления записаны состояния; RPS и ошибки приведены ниже. |
|
||||
| 4: лимиты, порты, секреты, масштабирование | Проверены фактические CPU/RAM, закрытые порты API, read-only секреты по назначению, отсутствие паролей в окружении и container_name. |
|
||||
| 4: обновление под нагрузкой | Оба контейнера заменены новым образом, миграционная команда вызвана один раз, перед остановкой доступны ≥2 здоровых API. |
|
||||
| Критерий README | Наблюдение |
|
||||
| ----------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------ |
|
||||
| 3: воспроизводимая топология, ≥2 API, общие хранилища | Стенд создан с нуля; две API, одна PostgreSQL, одна Redis, вход через Nginx. |
|
||||
| 3: одна сессия на разных API | 24 конкурентных повтора с одной сессией обслужены двумя реальными репликами. |
|
||||
| 3: чтение/запись при отказе ≤10 с | Публичный failover прошёл; отдельный отказ каждой API — восстановление за 1,800 / 1,782 с. |
|
||||
| 3: общая идемпотентность | 24 повтора дали один Message и одну запись истории; конфликт тела, TTL и rollback покрыты pytest. |
|
||||
| 3: smoke, persistence, failover | Все прошли, существующая сессия и подтверждённые сообщения сохранены. |
|
||||
| 4: health, timeout, SIGTERM | При drain ready=503, live=200, новая работа=503; начатый POST=201, остановка за 2,145 с без SIGKILL. |
|
||||
| 4: последовательный отказ каждой API | До/после остановки и восстановления записаны состояния; RPS и ошибки приведены ниже. |
|
||||
| 4: лимиты, порты, секреты, масштабирование | Проверены фактические CPU/RAM, закрытые порты API, read-only секреты по назначению, отсутствие паролей в окружении и container_name. |
|
||||
| 4: обновление под нагрузкой | Оба контейнера заменены новым образом, миграционная команда вызвана один раз, перед остановкой доступны ≥2 здоровых API. |
|
||||
|
||||
**156 pytest прошли за 42,30 с**. Проверки контракта и OpenAPI прошли.
|
||||
Отдельный `make test-nginx` подтвердил конфигурацию, DNS без reload, ограничитель,
|
||||
ошибки и gzip 2060 → 61 байт: [вывод](evidence/nginx-output.txt).
|
||||
|
||||
| Сценарий | Успешных ответов | RPS | Ошибки попыток | Восстановление |
|
||||
| --- | ---: | ---: | --- | ---: |
|
||||
| Rolling update, 23,627 с | 456 | 19,300 | 13 × 503 | Не измерялось отдельно |
|
||||
| Отказ API 1, 13,853 с | 773 | 55,800 | 67 × 429; 16 × 503 | 1,800 с |
|
||||
| Отказ API 2, 13,875 с | 773 | 55,710 | 99 × 429; 17 × 503 | 1,782 с |
|
||||
Отдельный `make test-nginx` подтвердил конфигурацию, DNS без reload, ограничитель, ошибки и gzip 2060 → 61 байт.
|
||||
|
||||
Подтверждённые сообщения сохранены, дублей нет. Ошибки измерены за весь сценарий;
|
||||
429 связаны с ограничителем, 503 — с временной недоступностью. Механизм обновления
|
||||
проверен изменением метки образа без изменения бизнес-кода; новых ожидающих DDL
|
||||
на этапе rolling не было. Будущие миграции требуют отдельной проверки совместимости.
|
||||
| Сценарий | Успешных ответов | RPS | Ошибки попыток | Восстановление |
|
||||
| ------------------------ | ---------------: | -----: | ------------------ | ---------------------: |
|
||||
| Rolling update, 23,627 с | 456 | 19,300 | 13 × 503 | Не измерялось отдельно |
|
||||
| Отказ API 1, 13,853 с | 773 | 55,800 | 67 × 429; 16 × 503 | 1,800 с |
|
||||
| Отказ API 2, 13,875 с | 773 | 55,710 | 99 × 429; 17 × 503 | 1,782 с |
|
||||
|
||||
## Параметры и ограничения
|
||||
## Параметры и ограничения
|
||||
|
||||
API: readiness каждые 3 с, timeout 3 с, две неудачи, start period 10 с; после старта
|
||||
оценка unhealthy ≤12 с. Nginx использует пассивные проверки: connect ≤0,5 с на попытку,
|
||||
пауза чтения ≤10 с, исключение peer на 5 с; без трафика обнаружение не происходит.
|
||||
Drain 1 с + ожидание задач 5 с < Docker grace 8 с. CPU/RAM каждого сервиса,
|
||||
оборудование, версии и профиль нагрузки — в [run.json](evidence/run.json) и
|
||||
[методике](evidence/README.md). Это один прогон с двумя клиентами, не измерение
|
||||
максимальной производительности. Средний RPS может превышать 50 из-за burst=100.
|
||||
|
||||
Стенд односерверный; PostgreSQL, Redis и Nginx остаются единичными точками отказа.
|
||||
Откат контейнеров не откатывает БД. TTL ключа — 24 часа, очистка при повторном
|
||||
использовании, фоновой очистки нет. Исходное задание и публичные tests не ослаблены.
|
||||
|
||||
Источники: [контракт](contracts/README.md), [курс](COURSE.md), закреплённые зависимости
|
||||
и их установленные исходники, ссылки на документацию Docker в [README](README.md#первичные-материалы).
|
||||
Для реализации, проверок и подготовки пояснений использован ИИ-помощник Codex;
|
||||
приведённые результаты получены реальным запуском команд.
|
||||
- API: readiness каждые 3 с, timeout 3 с, две неудачи, start period 10 с; после старта оценка unhealthy ≤12 с.
|
||||
- Nginx использует пассивные проверки: connect ≤0,5 с на попытку, пауза чтения ≤10 с, исключение peer на 5 с; без трафика обнаружение не происходит.
|
||||
- Drain 1 с + ожидание задач 5 с < Docker grace 8 с. CPU/RAM каждого сервиса, оборудование, версии и профиль нагрузки — в [run.json](evidence/run.json) и [методике](evidence/README.md). Это один прогон с двумя клиентами, не измерение максимальной производительности. Средний RPS может превышать 50 из-за burst=100.
|
||||
- Стенд односерверный; PostgreSQL, Redis и Nginx остаются единичными точками отказа.
|
||||
- Откат контейнеров не откатывает БД. TTL ключа — 24 часа, очистка при повторном использовании, фоновой очистки нет. Исходное задание и публичные tests не ослаблены.
|
||||
+5
-2
@@ -5,6 +5,9 @@
|
||||
`f20b751207ed9948bfcdab829c458a4af122d611`, а не на чистом состоянии этого commit.
|
||||
Состав исполняемого кода и конфигурации закреплён в [source-sha256.txt](source-sha256.txt).
|
||||
Документация не включена в этот fingerprint; её подготовка продолжалась после тестов.
|
||||
Позднее скрипт подготовки секретов удалён, Makefile изменён для ручного bootstrap.
|
||||
Сохранённые вывод и хеши описывают прежний прогон и намеренно не переписываются;
|
||||
проверка хешей на текущем дереве покажет эти различия.
|
||||
|
||||
## Артефакты
|
||||
|
||||
@@ -23,11 +26,11 @@
|
||||
|
||||
## Как повторить
|
||||
|
||||
Нужны Docker, Compose и Python 3.12 с зависимостями проекта. Из корня:
|
||||
Нужны Docker, Compose и Python 3.12 с зависимостями проекта. До запуска вручную
|
||||
подготовьте файлы паролей по [инструкции](../infra/README.md#секреты). Из корня:
|
||||
|
||||
```sh
|
||||
test -f .env || cp .env.example .env
|
||||
make prepare-secrets PYTHON=.venv/bin/python
|
||||
make test-grade4 PYTHON=.venv/bin/python
|
||||
make test-nginx PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
+20
-9
@@ -94,16 +94,27 @@ backend по собственным пассивным проверкам. Дл
|
||||
|
||||
### Секреты
|
||||
|
||||
Перед первым запуском нового профиля:
|
||||
Пароли задаются вручную в `secrets/db_password` и `secrets/redis_password`.
|
||||
Каждый файл содержит один пароль без крайних пробелов; существующие значения
|
||||
не заменяйте при обычном запуске. Значения в `.env` не копируются в эти файлы.
|
||||
|
||||
Перед первым запуском создайте каталог:
|
||||
|
||||
```sh
|
||||
make prepare-secrets PYTHON=.venv/bin/python
|
||||
mkdir -p secrets
|
||||
chmod 700 secrets
|
||||
```
|
||||
|
||||
Скрипт создаёт отсутствующие `secrets/db_password` и `secrets/redis_password`.
|
||||
Прежние значения из локального `.env` сохраняются; если их нет, генерируются
|
||||
случайные пароли. Существующие секреты не перезаписываются, значения не выводятся.
|
||||
Это не ротация пароля уже созданной БД. Каталог исключён из Git.
|
||||
Создайте оба файла в редакторе, затем установите права:
|
||||
|
||||
```sh
|
||||
chmod 444 secrets/db_password secrets/redis_password
|
||||
```
|
||||
|
||||
Каталог исключён из Git. Для редактирования существующего файла временно разрешите
|
||||
запись владельцу через `chmod u+w secrets/redis_password` (или `db_password`),
|
||||
после изменения верните режим 0444. Смена файла не меняет пароль пользователя
|
||||
уже созданной PostgreSQL: это отдельная операция в БД.
|
||||
|
||||
Compose монтирует файлы в `/run/secrets/`. PostgreSQL получает только пароль БД,
|
||||
Redis — только свой пароль, API — оба, миграции — только пароль БД, Nginx — ни одного.
|
||||
@@ -115,10 +126,10 @@ Redis — только свой пароль, API — оба, миграции
|
||||
В контейнерах API внутренний порт фиксирован на 8080, идентификатор берётся из
|
||||
собственного HOSTNAME; общий `INSTANCE_ID` всем репликам из `.env` не передаётся.
|
||||
|
||||
Каталог создаётся с правами 0700, файлы — 0444: Compose использует bind-mount
|
||||
Рекомендуемые права: каталог 0700, файлы 0444: Compose использует bind-mount
|
||||
файлов, и их должны читать UID приложения и служебные UID PostgreSQL/Redis.
|
||||
Доступ других пользователей хоста ограничивает родительский каталог. Существующие
|
||||
файлы также получают этот режим. Пароли не должны содержать крайние пробелы или
|
||||
Доступ других пользователей хоста ограничивает родительский каталог.
|
||||
Права устанавливаются вручную. Пароли не должны содержать крайние пробелы или
|
||||
переносы строк. Локальные тесты Make читают те же файлы, сохраняя fallback старого `.env`.
|
||||
|
||||
Redis запускается через `infra/redis/start-redis.sh`: SHA-256 пароля записывается
|
||||
|
||||
@@ -1,46 +0,0 @@
|
||||
"""Подготавливает локальные файлы Docker secrets."""
|
||||
|
||||
import os
|
||||
from pathlib import Path
|
||||
import secrets
|
||||
|
||||
from pydantic import SecretStr
|
||||
from pydantic_settings import BaseSettings, SettingsConfigDict
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
class ExistingSecrets(BaseSettings):
|
||||
"""Читает прежние пароли без вывода значений."""
|
||||
|
||||
db_password: SecretStr | None = None
|
||||
redis_password: SecretStr | None = None
|
||||
model_config = SettingsConfigDict(env_file=ROOT / ".env", extra="ignore")
|
||||
|
||||
|
||||
def main() -> None:
|
||||
"""Создаёт отсутствующие файлы, сохраняя существующие значения."""
|
||||
directory = ROOT / "secrets"
|
||||
directory.mkdir(mode=0o700, exist_ok=True)
|
||||
directory.chmod(0o700)
|
||||
existing = ExistingSecrets()
|
||||
for name in ("db_password", "redis_password"):
|
||||
path = directory / name
|
||||
if path.is_symlink():
|
||||
raise RuntimeError(f"Секрет {name} не должен быть символьной ссылкой")
|
||||
if path.exists() and not path.is_file():
|
||||
raise RuntimeError(f"Секрет {name} должен быть обычным файлом")
|
||||
if not path.exists():
|
||||
previous = getattr(existing, name)
|
||||
value = previous.get_secret_value() if previous else secrets.token_urlsafe(32)
|
||||
if not value or value.strip() != value or "\n" in value or "\r" in value:
|
||||
raise ValueError(f"Секрет {name} должен занимать одну строку без крайних пробелов")
|
||||
descriptor = os.open(path, os.O_WRONLY | os.O_CREAT | os.O_EXCL, 0o600)
|
||||
with os.fdopen(descriptor, "w") as file:
|
||||
file.write(value + "\n")
|
||||
path.chmod(0o444)
|
||||
print(f"Готов файл secrets/{name}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user