diff --git a/REPORT.md b/REPORT.md index 884e2b83..d27a979b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,10 +2,8 @@ - Автор: Ляхонов Сергей, группа БВТ2301. - Целевая оценка: **5**, трек 2 — «План запроса и восстановление». -- Дата проверок: 9 октября 2026 года. - Ветка: `solution/BVT2301-lyakhonov`. - Репозиторий: https://gitea.privcloud.tech/lyakhonov/mtusi2026lab2 -- PR пока не открыт; адрес будет добавлен после публикации ветки и создания PR. - Перенос основы: `6e19f1d`; уровень 3: `6fba941`; уровень 4: `64f2a5b`; уровень 5: `358ef4a`; итоговое уточнение аутентификации: `509161e`. - Использование ИИ: Codex помог написать и проверить приложение, инфраструктуру, собственные тесты и исследовательские сценарии, разобрать измерения и оформить этот отчёт. Исходной основой была моя принятая лабораторная 1. Публичные проверки и обязательный контракт преподавателя не изменялись. @@ -17,11 +15,11 @@ Runtime приложения: Python 3.11.10, образ `python:3.11.10-slim-bookworm`; PostgreSQL `postgres:16.6-alpine`; Redis `redis:7.4.1-alpine`. Основные библиотеки: FastAPI 0.115.0, Uvicorn 0.32.0, Pydantic 2.9.2, psycopg 3.2.3, psycopg-pool 3.2.4, argon2-cffi 23.1.0, redis-py 5.2.0. Все фактические зависимости образа закреплены в `requirements.lock.txt`; Dockerfile устанавливает именно этот файл. `requirements.txt` перечисляет прямые зависимости. Linux lock содержит uvloop: для Windows основной путь запуска — Docker, не установка Linux lock в системный Python. -| Сервис | CPU | RAM | Том | Порты и готовность | -| --- | --- | --- | --- | --- | -| `api` | 1 CPU | 512 MiB | нет данных на диске | localhost:8080; `/health/ready` проверяет PostgreSQL | -| `db` | 1 CPU | 512 MiB | `postgres_data` | только сеть Compose; `pg_isready` | -| `redis` | 0,5 CPU | 128 MiB | `redis_data` | только сеть Compose; `redis-cli ping` | +| Сервис | CPU | RAM | Том | Порты и готовность | +| ------- | ------- | ------- | ------------------- | ---------------------------------------------------- | +| `api` | 1 CPU | 512 MiB | нет данных на диске | localhost:8080; `/health/ready` проверяет PostgreSQL | +| `db` | 1 CPU | 512 MiB | `postgres_data` | только сеть Compose; `pg_isready` | +| `redis` | 0,5 CPU | 128 MiB | `redis_data` | только сеть Compose; `redis-cli ping` | У Redis отдельно установлен `maxmemory=64mb`, политика `allkeys-lru`. Его том не является источником сохранности: RDB/AOF отключены, потому что в нём только восстанавливаемый кэш профилей. Все сессии сохраняются в PostgreSQL. @@ -51,16 +49,16 @@ docker compose exec -T api python -m src.migrate ### Соответствие конфигурации -| Настройка | Реальное использование | -| --- | --- | -| `SESSION_TTL_SECONDS` | Compose передаёт в API, по умолчанию 3600; абсолютное expiry рассчитывается PostgreSQL | -| `DATABASE_URL_FILE` | Чтение секрета URL через `src/config.py` | -| `DATABASE_URL` | Альтернативное прямое значение для самостоятельного запуска; секрет предпочтительнее | -| `CACHE_URL` / `CACHE_URL_FILE` | В Compose задан внутренний `redis://redis:6379/0`; конфигурация также поддерживает файл | -| `PROFILE_CACHE_TTL_SECONDS` | TTL профиля, в Compose 60 секунд | -| `SESSION_STORE` из примера | Выбор альтернативного backend не реализован: источник сессий всегда PostgreSQL | -| `APP_HOST`, `APP_PORT` | Поддерживаются самостоятельной точкой входа `src/main.py`; Docker запускает Uvicorn явно на 0.0.0.0:8080 | -| `APP_ENV` | Информационная подсказка заготовки, на поведение реализации не влияет | +| Настройка | Реальное использование | +| ------------------------------ | -------------------------------------------------------------------------------------------------------- | +| `SESSION_TTL_SECONDS` | Compose передаёт в API, по умолчанию 3600; абсолютное expiry рассчитывается PostgreSQL | +| `DATABASE_URL_FILE` | Чтение секрета URL через `src/config.py` | +| `DATABASE_URL` | Альтернативное прямое значение для самостоятельного запуска; секрет предпочтительнее | +| `CACHE_URL` / `CACHE_URL_FILE` | В Compose задан внутренний `redis://redis:6379/0`; конфигурация также поддерживает файл | +| `PROFILE_CACHE_TTL_SECONDS` | TTL профиля, в Compose 60 секунд | +| `SESSION_STORE` из примера | Выбор альтернативного backend не реализован: источник сессий всегда PostgreSQL | +| `APP_HOST`, `APP_PORT` | Поддерживаются самостоятельной точкой входа `src/main.py`; Docker запускает Uvicorn явно на 0.0.0.0:8080 | +| `APP_ENV` | Информационная подсказка заготовки, на поведение реализации не влияет | ### Проверки и остановка @@ -173,23 +171,23 @@ LIMIT $4; ## Доказательства критериев -| Критерий | Команда/проверка | Наблюдение | Доказательство | -| --- | --- | --- | --- | -| Структура и обязательный контракт | `python scripts/check_contract.py` | PASS; публичные tests/ и contracts/ не менялись | `evidence/final_checks.json` | -| Полная OpenAPI 3.1 / JSON Schema | `python scripts/validate_openapi.py` | PASS в одноразовом контейнере | `evidence/openapi_validation.txt` | -| Публичный сценарий lab2 | `python tests/smoke.py` | PASS: регистрация, Basic/Bearer, чат, сообщения, курсор, доступ, logout | `evidence/level3.json`, `evidence/final_checks.json` | -| PostgreSQL, FK, уникальность и атомарный чат | миграция + test_level4.py | 1×201, 7×409; неизвестный участник не оставляет чат | `migrations/001_initial.sql`, `evidence/level4.json` | -| Полный рестарт, прежний токен и данные | `python tests/resilience.py --mode persistence --action-script scripts/restart.cmd` | PASS; изменились StartedAt db/redis/api, том PostgreSQL прежний | `evidence/final_checks.json` | -| Повтор миграций | `docker compose exec -T api python -m src.migrate` | одна версия 001_initial.sql, повтор без изменений | `evidence/level3.json` | -| Воспроизводимая сборка | чистый локальный clone, новые секреты и тома, отдельный порт 8083 | сборка + smoke + собственные тесты PASS | `evidence/clean_clone.json` | -| Конкурентная запись и отрицательные сценарии | `python student-tests/test_lab2.py` | 100 уникальных сообщений от 10 клиентов, полный обход, чужой/битый cursor → 400 | `evidence/final_checks.json` | -| Непривилегированный процесс и SIGTERM | docker stop --timeout 10, проверка exit code и закрытого порта | appuser; exit 0; остановка за 0.729 с | `evidence/lifecycle.json` | -| Реальный Redis, TTL и обход при отказе | `python student-tests/test_level4.py` | профиль присутствует, TTL 59 с; при остановке Redis авторизованный запрос проходит | `evidence/level4.json` | -| Пул, параметры, timeout и отказ БД | тот же тест | live=200; ready и защищённый запрос=503; после запуска БД прежняя сессия работает | `src/storage.py`, `evidence/level4.json` | -| Expiry, logout, неверный пароль | отдельный API TTL=2 + публичный smoke | после 2,2 с — 401; logout — 401; неверный пароль — 401 | `evidence/level4.json`, `evidence/final_checks.json` | -| Индекс истории на ≥10 000 | `python student-tests/explain_level4.py` | messages_history_idx; Execution Time 0,080 мс | `evidence/explain_10000.json` | -| Трек 2: ≥100 000, ≥2 индекса, стоимость записи | `python scripts/research.py` | 100 000 сообщений, 13 чатов, 3 индекса, SQL-планы и latency | `evidence/research.json` | -| Трек 2: backup → новое хранилище → сверка | та же команда | 100 000 сообщений совпали по количеству и общей контрольной сумме; 39 выборочных строк равны | `evidence/recovery.json` | +| Критерий | Команда/проверка | Наблюдение | Доказательство | +| ---------------------------------------------- | ----------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------- | ---------------------------------------------------- | +| Структура и обязательный контракт | `python scripts/check_contract.py` | PASS; публичные tests/ и contracts/ не менялись | `evidence/final_checks.json` | +| Полная OpenAPI 3.1 / JSON Schema | `python scripts/validate_openapi.py` | PASS в одноразовом контейнере | `evidence/openapi_validation.txt` | +| Публичный сценарий lab2 | `python tests/smoke.py` | PASS: регистрация, Basic/Bearer, чат, сообщения, курсор, доступ, logout | `evidence/level3.json`, `evidence/final_checks.json` | +| PostgreSQL, FK, уникальность и атомарный чат | миграция + test_level4.py | 1×201, 7×409; неизвестный участник не оставляет чат | `migrations/001_initial.sql`, `evidence/level4.json` | +| Полный рестарт, прежний токен и данные | `python tests/resilience.py --mode persistence --action-script scripts/restart.cmd` | PASS; изменились StartedAt db/redis/api, том PostgreSQL прежний | `evidence/final_checks.json` | +| Повтор миграций | `docker compose exec -T api python -m src.migrate` | одна версия 001_initial.sql, повтор без изменений | `evidence/level3.json` | +| Воспроизводимая сборка | чистый локальный clone, новые секреты и тома, отдельный порт 8083 | сборка + smoke + собственные тесты PASS | `evidence/clean_clone.json` | +| Конкурентная запись и отрицательные сценарии | `python student-tests/test_lab2.py` | 100 уникальных сообщений от 10 клиентов, полный обход, чужой/битый cursor → 400 | `evidence/final_checks.json` | +| Непривилегированный процесс и SIGTERM | docker stop --timeout 10, проверка exit code и закрытого порта | appuser; exit 0; остановка за 0.729 с | `evidence/lifecycle.json` | +| Реальный Redis, TTL и обход при отказе | `python student-tests/test_level4.py` | профиль присутствует, TTL 59 с; при остановке Redis авторизованный запрос проходит | `evidence/level4.json` | +| Пул, параметры, timeout и отказ БД | тот же тест | live=200; ready и защищённый запрос=503; после запуска БД прежняя сессия работает | `src/storage.py`, `evidence/level4.json` | +| Expiry, logout, неверный пароль | отдельный API TTL=2 + публичный smoke | после 2,2 с — 401; logout — 401; неверный пароль — 401 | `evidence/level4.json`, `evidence/final_checks.json` | +| Индекс истории на ≥10 000 | `python student-tests/explain_level4.py` | messages_history_idx; Execution Time 0,080 мс | `evidence/explain_10000.json` | +| Трек 2: ≥100 000, ≥2 индекса, стоимость записи | `python scripts/research.py` | 100 000 сообщений, 13 чатов, 3 индекса, SQL-планы и latency | `evidence/research.json` | +| Трек 2: backup → новое хранилище → сверка | та же команда | 100 000 сообщений совпали по количеству и общей контрольной сумме; 39 выборочных строк равны | `evidence/recovery.json` | Имена контейнеров, UUID и названия томов в evidence относятся к конкретному запуску; они не нужны для запуска нового клона. Токены, пароли и бинарные дампы в Git не включены. Чистый clone проверялся на коммите 509161e; последующее заполнение отчёта не изменяет runtime. @@ -215,11 +213,11 @@ LIMIT $4; Большой чат (70 000 сообщений), граница на 90% истории; latency в мс, throughput — успешные SQL-запросы/с. Стоимость записи — медиана трёх транзакций по 1 000 строк с COMMIT: -| Индекс | p50, мс | p95, мс | p99, мс | SQL-запросов/с | Размер, MiB | Запись, строк/с | -| --- | --- | --- | --- | --- | --- | --- | -| chat_only | 6.727 | 8.431 | 9.563 | 144 | 0.70 | 19896 | -| composite | 0.377 | 0.587 | 0.657 | 2453 | 5.95 | 19496 | -| covering | 0.552 | 1.057 | 1.521 | 1060 | 23.44 | 18088 | +| Индекс | p50, мс | p95, мс | p99, мс | SQL-запросов/с | Размер, MiB | Запись, строк/с | +| --------- | ------- | ------- | ------- | -------------- | ----------- | --------------- | +| chat_only | 6.727 | 8.431 | 9.563 | 144 | 0.70 | 19896 | +| composite | 0.377 | 0.587 | 0.657 | 2453 | 5.95 | 19496 | +| covering | 0.552 | 1.057 | 1.521 | 1060 | 23.44 | 18088 | При chat_only планировщик выбрал Seq Scan + top-N Sort: 93 001 строка отфильтрована, 2 811 shared hit blocks. Составной индекс дал Index Scan без Sort: 51 строка и 6 shared hit blocks. Покрывающий дал Index Only Scan, Heap Fetches=0 и 5 shared hit blocks. Уменьшение heap-доступов само по себе не гарантировало меньшую клиентскую задержку. @@ -245,16 +243,16 @@ MD5 здесь — техническая сверка синтетически ## Отказы и границы решения -| Воздействие | Ожидание | Наблюдение | Восстановление / потеря | -| --- | --- | --- | --- | -| Рестарт API, PostgreSQL, Redis | прежний токен и подтверждённые данные сохраняются | публичный persistence PASS, StartedAt всех трёх изменился | данные не потеряны, expiry не продлён | -| Остановка Redis | чтение профиля через PostgreSQL | запрос с Bearer прошёл, анонимный получил 401 | кэш заполняется заново; данные и сессии сохранены | -| Остановка PostgreSQL | ограниченный 503; live остаётся 200 | два ошибочных запроса заняли суммарно 6,05 с | после старта БД прежняя сессия работает | -| Expiry при TTL=2 | токен становится недействительным | после 2,2 с получен 401 | нужен новый вход | -| Logout | немедленный отзыв | прежний токен получает 401 | нужен новый вход | -| Ошибка участника при создании чата | полный rollback | количество чатов не увеличилось | неполный чат не создан | -| SIGTERM | завершение ≤10 с, новые запросы не принимаются | exit 0, 0.729 с, порт перестал отвечать | данные в PostgreSQL сохранены | -| Восстановление логического дампа | совпадение снимка в новом хранилище | полная сверка PASS | 0 потерь относительно снимка, restore 0.814 с | +| Воздействие | Ожидание | Наблюдение | Восстановление / потеря | +| ---------------------------------- | ------------------------------------------------- | --------------------------------------------------------- | ------------------------------------------------- | +| Рестарт API, PostgreSQL, Redis | прежний токен и подтверждённые данные сохраняются | публичный persistence PASS, StartedAt всех трёх изменился | данные не потеряны, expiry не продлён | +| Остановка Redis | чтение профиля через PostgreSQL | запрос с Bearer прошёл, анонимный получил 401 | кэш заполняется заново; данные и сессии сохранены | +| Остановка PostgreSQL | ограниченный 503; live остаётся 200 | два ошибочных запроса заняли суммарно 6,05 с | после старта БД прежняя сессия работает | +| Expiry при TTL=2 | токен становится недействительным | после 2,2 с получен 401 | нужен новый вход | +| Logout | немедленный отзыв | прежний токен получает 401 | нужен новый вход | +| Ошибка участника при создании чата | полный rollback | количество чатов не увеличилось | неполный чат не создан | +| SIGTERM | завершение ≤10 с, новые запросы не принимаются | exit 0, 0.729 с, порт перестал отвечать | данные в PostgreSQL сохранены | +| Восстановление логического дампа | совпадение снимка в новом хранилище | полная сверка PASS | 0 потерь относительно снимка, restore 0.814 с | Время 8,617 с в level4.json включает команду остановки Redis и запрос, поэтому это не задержка одного fallback-запроса. Для отказа БД зафиксировано суммарное время двух запросов, а не production SLA восстановления. Публичный тест ждёт готовности в своём бюджете; более строгий RTO после полной аварии host не исследован.