small fix in report.md and makefile

This commit is contained in:
2026-11-04 19:00:49 +03:00
parent 5c191c3bc5
commit 01879f699a
5 changed files with 77 additions and 114 deletions
+3 -6
View File
@@ -39,7 +39,7 @@ endef
test-stand-smoke test-stand-persistence test-stand-failover \
test-own test-docker test-limits test-concurrency test-migrations test-all \
explain expiry-demo failure-demo test-nginx test-grade3 test-stand-idempotency \
prepare-secrets rolling-update failover-all test-grade4
rolling-update failover-all test-grade4
help:
@echo "Проверки: check | validate | test | load | test-persistence ACTION_SCRIPT=scripts/restart.sh"
@@ -51,7 +51,7 @@ help:
@echo "Демо: explain | expiry-demo | failure-demo (на тестовом стенде)"
@echo "Nginx: test-nginx (отдельный временный стенд без БД и приложения)"
@echo "Lab3: test-grade3 (все проверки уровня 3 с удалением тестовых volumes)"
@echo "Уровень4: prepare-secrets | rolling-update | failover-all"
@echo "Уровень4: rolling-update | failover-all"
@echo " test-grade4 (полный прогон на отдельном стенде с очисткой)"
@echo "Миграции: migration m='описание' (нужен поднятый тестовый стенд)"
@@ -74,7 +74,7 @@ test-grade3:
test-grade4:
@set -eu; trap '$(TEST_COMPOSE) down --volumes --remove-orphans' EXIT; \
$(MAKE) prepare-secrets check validate; \
$(MAKE) check validate; \
$(MAKE) test-stand-up; \
$(MAKE) test-docker test-stand-smoke test-stand-idempotency test-stand-persistence test-stand-failover; \
$(TEST_ENV) $(PYTHON) -m scripts.check_grade4 --base-url "$(TEST_BASE_URL)"
@@ -95,9 +95,6 @@ test-failover:
# --- Основной стенд ---
prepare-secrets:
$(PYTHON) -m scripts.prepare_secrets
rolling-update:
$(PYTHON) -m scripts.rolling_update --base-url "$(BASE_URL)" $(TLS_ARGS)
+49 -51
View File
@@ -1,92 +1,90 @@
# Отчёт — лабораторная 3
Автор: **Григорян Илья Мурадович, БПИ2303**. Целевая оценка: **4**, трек 5 не заявлен.
Проверка: 04.11.2026. Базовый commit: `f20b751207ed9948bfcdab829c458a4af122d611`;
реализация находится в незакоммиченном рабочем дереве, PR ещё не создан.
Точный состав проверенного кода — [SHA-256 файлов](evidence/source-sha256.txt).
## Запуск и проверки
Нужны Python 3.12, Docker и Compose. Из корня чистого клона:
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
test -f .env || cp .env.example .env
make prepare-secrets PYTHON=.venv/bin/python
make up
make instances
```
Настройте `.env` перед запуском; существующий файл не заменяйте. Пароли читаются
из `secrets/`; существующие файлы не перезаписываются. По умолчанию вход —
`http://localhost:8080`, при изменении `LB_HOST_PORT` Make использует этот порт.
Настройте `.env` перед запуском; существующий файл не заменяйте. Пароли читаются из `secrets/`;
существующие файлы не перезаписываются. По умолчанию вход — `http://localhost:8080`, при изменении `LB_HOST_PORT` Make использует этот порт.
`make down` сохраняет данные. Миграции выполняет отдельный сервис перед API.
Полный прогон с отдельными данными и автоматическим удалением тестового стенда:
```sh
make test-grade4 PYTHON=.venv/bin/python
make test-nginx PYTHON=.venv/bin/python
```
Для ручного тестового стенда: `make test-stand-up`, затем `make test-docker
PYTHON=.venv/bin/python` и нужные `test-stand-*` из `make help`. По умолчанию вход
`:18080`, PostgreSQL `:15432`, Redis `:16379`. Pytest очищает `<DB_NAME>_test` и
Redis DB 15. `make test-stand-destroy` удаляет именно тестовые volumes.
Для ручного тестового стенда: `make test-stand-up`, затем `make test-docker PYTHON=.venv/bin/python` и нужные `test-stand-*` из `make help`.
По умолчанию вход `:18080`, PostgreSQL `:15432`, Redis `:16379`. Pytest очищает `<DB_NAME>_test` и Redis DB 15. `make test-stand-destroy` удаляет именно тестовые volumes.
## Реализация и результаты
Nginx → две API → общие PostgreSQL и Redis. Сообщение, счётчик и результат ключа
фиксируются одной транзакцией; PostgreSQL-блокировка сериализует одинаковый ключ
между репликами. Подробности, файлы и параметры — [EXPLAIN.md](EXPLAIN.md), ответы
для защиты — [DEFENCE.md](DEFENCE.md), методика — [evidence/README.md](evidence/README.md).
- Nginx → две API → общие PostgreSQL и Redis.
- Сообщение, счётчик и результат ключа фиксируются одной транзакцией;
- PostgreSQL-блокировка сериализует одинаковый ключ между репликами.
Все строки ниже проверены командой `make test-grade4 PYTHON=.venv/bin/python`;
исходный вывод — [test-output.txt](evidence/test-output.txt).
| Критерий README | Наблюдение |
| --- | --- |
| 3: воспроизводимая топология, ≥2 API, общие хранилища | Стенд создан с нуля; две API, одна PostgreSQL, одна Redis, вход через Nginx. |
| 3: одна сессия на разных API | 24 конкурентных повтора с одной сессией обслужены двумя реальными репликами. |
| 3: чтение/запись при отказе ≤10 с | Публичный failover прошёл; отдельный отказ каждой API — восстановление за 1,800 / 1,782 с. |
| 3: общая идемпотентность | 24 повтора дали один Message и одну запись истории; конфликт тела, TTL и rollback покрыты pytest. |
| 3: smoke, persistence, failover | Все прошли, существующая сессия и подтверждённые сообщения сохранены. |
| 4: health, timeout, SIGTERM | При drain ready=503, live=200, новая работа=503; начатый POST=201, остановка за 2,145 с без SIGKILL. |
| 4: последовательный отказ каждой API | До/после остановки и восстановления записаны состояния; RPS и ошибки приведены ниже. |
| 4: лимиты, порты, секреты, масштабирование | Проверены фактические CPU/RAM, закрытые порты API, read-only секреты по назначению, отсутствие паролей в окружении и container_name. |
| 4: обновление под нагрузкой | Оба контейнера заменены новым образом, миграционная команда вызвана один раз, перед остановкой доступны ≥2 здоровых API. |
| Критерий README | Наблюдение |
| ----------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------ |
| 3: воспроизводимая топология, ≥2 API, общие хранилища | Стенд создан с нуля; две API, одна PostgreSQL, одна Redis, вход через Nginx. |
| 3: одна сессия на разных API | 24 конкурентных повтора с одной сессией обслужены двумя реальными репликами. |
| 3: чтение/запись при отказе ≤10 с | Публичный failover прошёл; отдельный отказ каждой API — восстановление за 1,800 / 1,782 с. |
| 3: общая идемпотентность | 24 повтора дали один Message и одну запись истории; конфликт тела, TTL и rollback покрыты pytest. |
| 3: smoke, persistence, failover | Все прошли, существующая сессия и подтверждённые сообщения сохранены. |
| 4: health, timeout, SIGTERM | При drain ready=503, live=200, новая работа=503; начатый POST=201, остановка за 2,145 с без SIGKILL. |
| 4: последовательный отказ каждой API | До/после остановки и восстановления записаны состояния; RPS и ошибки приведены ниже. |
| 4: лимиты, порты, секреты, масштабирование | Проверены фактические CPU/RAM, закрытые порты API, read-only секреты по назначению, отсутствие паролей в окружении и container_name. |
| 4: обновление под нагрузкой | Оба контейнера заменены новым образом, миграционная команда вызвана один раз, перед остановкой доступны ≥2 здоровых API. |
**156 pytest прошли за 42,30 с**. Проверки контракта и OpenAPI прошли.
Отдельный `make test-nginx` подтвердил конфигурацию, DNS без reload, ограничитель,
ошибки и gzip 2060 → 61 байт: [вывод](evidence/nginx-output.txt).
| Сценарий | Успешных ответов | RPS | Ошибки попыток | Восстановление |
| --- | ---: | ---: | --- | ---: |
| Rolling update, 23,627 с | 456 | 19,300 | 13 × 503 | Не измерялось отдельно |
| Отказ API 1, 13,853 с | 773 | 55,800 | 67 × 429; 16 × 503 | 1,800 с |
| Отказ API 2, 13,875 с | 773 | 55,710 | 99 × 429; 17 × 503 | 1,782 с |
Отдельный `make test-nginx` подтвердил конфигурацию, DNS без reload, ограничитель, ошибки и gzip 2060 → 61 байт.
Подтверждённые сообщения сохранены, дублей нет. Ошибки измерены за весь сценарий;
429 связаны с ограничителем, 503 — с временной недоступностью. Механизм обновления
проверен изменением метки образа без изменения бизнес-кода; новых ожидающих DDL
на этапе rolling не было. Будущие миграции требуют отдельной проверки совместимости.
| Сценарий | Успешных ответов | RPS | Ошибки попыток | Восстановление |
| ------------------------ | ---------------: | -----: | ------------------ | ---------------------: |
| Rolling update, 23,627 с | 456 | 19,300 | 13 × 503 | Не измерялось отдельно |
| Отказ API 1, 13,853 с | 773 | 55,800 | 67 × 429; 16 × 503 | 1,800 с |
| Отказ API 2, 13,875 с | 773 | 55,710 | 99 × 429; 17 × 503 | 1,782 с |
## Параметры и ограничения
## Параметры и ограничения
API: readiness каждые 3 с, timeout 3 с, две неудачи, start period 10 с; после старта
оценка unhealthy ≤12 с. Nginx использует пассивные проверки: connect ≤0,5 с на попытку,
пауза чтения ≤10 с, исключение peer на 5 с; без трафика обнаружение не происходит.
Drain 1 с + ожидание задач 5 с < Docker grace 8 с. CPU/RAM каждого сервиса,
оборудование, версии и профиль нагрузки — в [run.json](evidence/run.json) и
[методике](evidence/README.md). Это один прогон с двумя клиентами, не измерение
максимальной производительности. Средний RPS может превышать 50 из-за burst=100.
Стенд односерверный; PostgreSQL, Redis и Nginx остаются единичными точками отказа.
Откат контейнеров не откатывает БД. TTL ключа — 24 часа, очистка при повторном
использовании, фоновой очистки нет. Исходное задание и публичные tests не ослаблены.
Источники: [контракт](contracts/README.md), [курс](COURSE.md), закреплённые зависимости
и их установленные исходники, ссылки на документацию Docker в [README](README.md#первичные-материалы).
Для реализации, проверок и подготовки пояснений использован ИИ-помощник Codex;
приведённые результаты получены реальным запуском команд.
- API: readiness каждые 3 с, timeout 3 с, две неудачи, start period 10 с; после старта оценка unhealthy ≤12 с.
- Nginx использует пассивные проверки: connect ≤0,5 с на попытку, пауза чтения ≤10 с, исключение peer на 5 с; без трафика обнаружение не происходит.
- Drain 1 с + ожидание задач 5 с < Docker grace 8 с. CPU/RAM каждого сервиса, оборудование, версии и профиль нагрузки — в [run.json](evidence/run.json) и [методике](evidence/README.md). Это один прогон с двумя клиентами, не измерение максимальной производительности. Средний RPS может превышать 50 из-за burst=100.
- Стенд односерверный; PostgreSQL, Redis и Nginx остаются единичными точками отказа.
- Откат контейнеров не откатывает БД. TTL ключа — 24 часа, очистка при повторном использовании, фоновой очистки нет. Исходное задание и публичные tests не ослаблены.
+5 -2
View File
@@ -5,6 +5,9 @@
`f20b751207ed9948bfcdab829c458a4af122d611`, а не на чистом состоянии этого commit.
Состав исполняемого кода и конфигурации закреплён в [source-sha256.txt](source-sha256.txt).
Документация не включена в этот fingerprint; её подготовка продолжалась после тестов.
Позднее скрипт подготовки секретов удалён, Makefile изменён для ручного bootstrap.
Сохранённые вывод и хеши описывают прежний прогон и намеренно не переписываются;
проверка хешей на текущем дереве покажет эти различия.
## Артефакты
@@ -23,11 +26,11 @@
## Как повторить
Нужны Docker, Compose и Python 3.12 с зависимостями проекта. Из корня:
Нужны Docker, Compose и Python 3.12 с зависимостями проекта. До запуска вручную
подготовьте файлы паролей по [инструкции](../infra/README.md#секреты). Из корня:
```sh
test -f .env || cp .env.example .env
make prepare-secrets PYTHON=.venv/bin/python
make test-grade4 PYTHON=.venv/bin/python
make test-nginx PYTHON=.venv/bin/python
```
+20 -9
View File
@@ -94,16 +94,27 @@ backend по собственным пассивным проверкам. Дл
### Секреты
Перед первым запуском нового профиля:
Пароли задаются вручную в `secrets/db_password` и `secrets/redis_password`.
Каждый файл содержит один пароль без крайних пробелов; существующие значения
не заменяйте при обычном запуске. Значения в `.env` не копируются в эти файлы.
Перед первым запуском создайте каталог:
```sh
make prepare-secrets PYTHON=.venv/bin/python
mkdir -p secrets
chmod 700 secrets
```
Скрипт создаёт отсутствующие `secrets/db_password` и `secrets/redis_password`.
Прежние значения из локального `.env` сохраняются; если их нет, генерируются
случайные пароли. Существующие секреты не перезаписываются, значения не выводятся.
Это не ротация пароля уже созданной БД. Каталог исключён из Git.
Создайте оба файла в редакторе, затем установите права:
```sh
chmod 444 secrets/db_password secrets/redis_password
```
Каталог исключён из Git. Для редактирования существующего файла временно разрешите
запись владельцу через `chmod u+w secrets/redis_password` (или `db_password`),
после изменения верните режим 0444. Смена файла не меняет пароль пользователя
уже созданной PostgreSQL: это отдельная операция в БД.
Compose монтирует файлы в `/run/secrets/`. PostgreSQL получает только пароль БД,
Redis — только свой пароль, API — оба, миграции — только пароль БД, Nginx — ни одного.
@@ -115,10 +126,10 @@ Redis — только свой пароль, API — оба, миграции
В контейнерах API внутренний порт фиксирован на 8080, идентификатор берётся из
собственного HOSTNAME; общий `INSTANCE_ID` всем репликам из `.env` не передаётся.
Каталог создаётся с правами 0700, файлы — 0444: Compose использует bind-mount
Рекомендуемые права: каталог 0700, файлы 0444: Compose использует bind-mount
файлов, и их должны читать UID приложения и служебные UID PostgreSQL/Redis.
Доступ других пользователей хоста ограничивает родительский каталог. Существующие
файлы также получают этот режим. Пароли не должны содержать крайние пробелы или
Доступ других пользователей хоста ограничивает родительский каталог.
Права устанавливаются вручную. Пароли не должны содержать крайние пробелы или
переносы строк. Локальные тесты Make читают те же файлы, сохраняя fallback старого `.env`.
Redis запускается через `infra/redis/start-redis.sh`: SHA-256 пароля записывается
-46
View File
@@ -1,46 +0,0 @@
"""Подготавливает локальные файлы Docker secrets."""
import os
from pathlib import Path
import secrets
from pydantic import SecretStr
from pydantic_settings import BaseSettings, SettingsConfigDict
ROOT = Path(__file__).resolve().parents[1]
class ExistingSecrets(BaseSettings):
"""Читает прежние пароли без вывода значений."""
db_password: SecretStr | None = None
redis_password: SecretStr | None = None
model_config = SettingsConfigDict(env_file=ROOT / ".env", extra="ignore")
def main() -> None:
"""Создаёт отсутствующие файлы, сохраняя существующие значения."""
directory = ROOT / "secrets"
directory.mkdir(mode=0o700, exist_ok=True)
directory.chmod(0o700)
existing = ExistingSecrets()
for name in ("db_password", "redis_password"):
path = directory / name
if path.is_symlink():
raise RuntimeError(f"Секрет {name} не должен быть символьной ссылкой")
if path.exists() and not path.is_file():
raise RuntimeError(f"Секрет {name} должен быть обычным файлом")
if not path.exists():
previous = getattr(existing, name)
value = previous.get_secret_value() if previous else secrets.token_urlsafe(32)
if not value or value.strip() != value or "\n" in value or "\r" in value:
raise ValueError(f"Секрет {name} должен занимать одну строку без крайних пробелов")
descriptor = os.open(path, os.O_WRONLY | os.O_CREAT | os.O_EXCL, 0o600)
with os.fdopen(descriptor, "w") as file:
file.write(value + "\n")
path.chmod(0o444)
print(f"Готов файл secrets/{name}")
if __name__ == "__main__":
main()