From a4e0828f36d390034311c6d8e9fd99acefe3431e Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 3 Oct 2026 00:52:50 +0300 Subject: [PATCH] =?UTF-8?q?*=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8=D0=BB?= =?UTF-8?q?=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 65 ++++++++++++++++++++++++------------------------------- 1 file changed, 28 insertions(+), 37 deletions(-) diff --git a/REPORT.md b/REPORT.md index feb392b9..4aec7481 100644 --- a/REPORT.md +++ b/REPORT.md @@ -14,22 +14,9 @@ Версии runtime/образов: - Python: 3.12 (образ `python:3.12-slim`) - FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0 -- PostgreSQL 18.6 (на хосте), Redis 7.4.1-alpine (в Compose) +- PostgreSQL 18.6-alpine (в Compose), Redis 7.4.1-alpine (в Compose) - Docker Desktop (Windows) -### Подготовка PostgreSQL - -1. Установить PostgreSQL 18.6, открыть pgAdmin, подключиться к серверу `localhost:5432` под пользователем `postgres`. -2. Создать БД `high_load_messenger`, owner `postgres`. -3. В Query Tool создать роль приложения: - ```sql - CREATE ROLE messenger WITH LOGIN PASSWORD 'messenger'; - GRANT ALL PRIVILEGES ON DATABASE high_load_messenger TO messenger; - GRANT ALL ON SCHEMA public TO messenger; - ``` -4. Разрешить подключения из docker-сети: в `postgresql.conf` — `listen_addresses = '*'`, в `pg_hba.conf` — строка для `172.16.0.0/12`/`host.docker.internal`. Перезапустить службу PostgreSQL. -5. Схему таблиц автоматически создаёт приложение на старте (`init_schema()`). - ### Запуск стека 1. Клонировать репозиторий и переключиться на ветку решения: @@ -37,7 +24,7 @@ git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git git checkout solution/BVT2303-Vasyukova ``` -2. Создать `.env` из шаблона и при необходимости поправить `DATABASE_URL`: +2. Создать `.env` из шаблона: ``` copy .env.example .env ``` @@ -69,13 +56,13 @@ | `make test-track2` | `python student-tests/test_track2.py --base-url http://localhost:8080` | Примечание про 2 action-скрипта: -`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` не исполняет `.sh` на Windows). +`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` и не исполняет `.sh` на Windows). ### Остановка и удаление учебных данных -docker compose stop # данные Redis и PostgreSQL (источник истины) сохраняются -docker compose down # volumes Redis сохраняются -docker compose down -v # ТОЛЬКО если осознанно стираем данные Redis +docker compose stop # данные PostgreSQL и Redis сохраняются (volumes) +docker compose down # volumes сохраняются +docker compose down -v # ТОЛЬКО если осознанно стираем данные БД и Redis ## Архитектура и решения @@ -86,6 +73,8 @@ HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postg ↘ Redis 7.4.1 (redis:6379) ``` +Все три сервиса — в одной compose-сети `mtuci2026lab2_default`. PostgreSQL и Redis доступны только по внутренним именам `postgres` и `redis`; наружу опубликован лишь порт API `127.0.0.1:8080` (Redis имеет `127.0.0.1:6379` только для отладки, БД порт не публикует). + Источник истины: - PostgreSQL — пользователи, чаты, членство, сообщения. - Redis — серверные сессии (TTL, инвалидация через logout). @@ -96,7 +85,7 @@ HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postg - Политика expiry: TTL задаёт сам Redis, продления нет. Инвалидация: `DEL sess:` при `DELETE /auth/sessions/current`. - Источник истины для сессий — Redis. Если Redis недоступен, `/health/ready` → 503, бизнес-запросы не обслуживаются молча как анонимные. -Схема БД (подробнее - `src/app/storage/db.py`, константа `SCHEMA_SQL`): +Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`): ``` users(id UUID PK, username TEXT UNIQUE, display_name TEXT, password_hash TEXT, created_at TIMESTAMPTZ) chats(id UUID PK, title TEXT, created_at TIMESTAMPTZ) @@ -122,7 +111,7 @@ Keyset-пагинация (уровень 4): Аутентификация (lab1 → lab2): - Регистрация `POST /api/v1/users` требует поле `password` (12–128 code points). Пароль хешируется стандартным `hashlib.scrypt` с уникальной солью на пользователя, формат хранения `scrypt$N$r$p$salt$dk`. Проверка через `hmac.compare_digest`. - `POST /api/v1/auth/sessions` принимает только Basic `Authorization: Basic `, без JSON body. Неверные креды → 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. -- Успешный вход → 201 `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в таблице `sessions` с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). +- Успешный вход → 201 `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в Redis с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600). - Защищённые endpoint принимают только `Authorization: Bearer `. Истёкший/отозванный/неизвестный токен → 401 с `WWW-Authenticate: Bearer realm="messenger"`. - `DELETE /api/v1/auth/sessions/current` → отзыв текущей сессии. 204, повтор → 401. - `X-User-Id` (lab1) с lab2 игнорируется и доступа не даёт: смоук проверяет, что с валидным Bearer и чужим `X-User-Id: ` возвращается владелец токена (Alice), а не Eve. @@ -136,7 +125,7 @@ Keyset-пагинация (уровень 4): Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`): ``` mtuci2026lab2/ -├── compose.yaml * # API + Redis, PostgreSQL на хосте +├── compose.yaml * # API + PostgreSQL + Redis ├── Dockerfile ├── Makefile * ├── README.md, COURSE.md, ... # скелет без изменений @@ -158,7 +147,7 @@ mtuci2026lab2/ │ ├── sessions.py * # Redis-сессии, RuntimeError │ └── memory.py # референс lab1, не используется ├── scripts/ -│ ├── restart.sh * # Linux/CI: перезапуск API и Redis через compose +│ ├── restart.sh * # Linux/CI: перезапуск API, PostgreSQL и Redis через compose │ └── restart.bat * # Windows-эквивалент для локального прогона ├── student-tests/ │ ├── run_all.py @@ -175,13 +164,14 @@ mtuci2026lab2/ Что изменено: - `requirements.txt`: добавлены `psycopg[binary]`, `psycopg_pool`, `redis`. - `.env.example`: добавлены `REDIS_URL`, `SESSION_STORE`. +- `compose.yaml`: добавлены сервисы `postgres` и `redis`; `api` зависит от обоих через `depends_on: condition: service_healthy`. - `storage/db.py`: `connection()` берёт соединение из пула; `init_schema()` идемпотентен. - `src/app/storage/postgres.py` — реализует тот же интерфейс, что `MemoryStorage`, плюс делегаты сессий и `list_messages_page`. - `storage/sessions.py`: новый файл, хранилище сессий — Redis или PostgreSQL. - `api/messages.py`: keyset-пагинация вынесена в SQL. - `api/health.py`: readiness проверяет PostgreSQL и Redis. - `main.py`: `init_pool`/`close_pool`, обработчики 503. -- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API и Redis. +- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API, PostgreSQL и Redis. - `student-tests/test_lab2_level4.py`: тесты уровня 4. - `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5). - `Makefile`: цель `test-track2`. @@ -189,8 +179,8 @@ mtuci2026lab2/ Соответствие `.env.example` реальной конфигурации: - `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. - `APP_ENV` — пишется в стартовый лог `event=startup app_env=...`, в остальном на логику не влияет. -- `SESSION_TTL_SECONDS` — TTL серверных сессий в таблице `sessions`, по умолчанию 3600. -- `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `host.docker.internal` (PostgreSQL на хосте); пароль — в локальном `.env`, в `.env.example` — placeholder. +- `SESSION_TTL_SECONDS` — TTL серверных сессий в Redis (или в таблице `sessions` при `SESSION_STORE=postgres`), по умолчанию 3600. +- `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `postgresql://user:password@postgres:5432/high_load_messenger`. - `REDIS_URL` — адрес Redis в compose-сети (`redis://redis:6379/0`), не секрет. - `SESSION_STORE` — `redis` (уровень 4) или `postgres` (fallback). - `CACHE_URL_FILE` — резервная переменная из скелета, не используется. @@ -204,15 +194,15 @@ mtuci2026lab2/ | Публичный smoke | `python tests/smoke.py --base-url http://localhost:8080` | `PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.` | evidence/lab2/lab2_checks.txt | **3** | | Собственные тесты lab1 | `python student-tests/run_all.py --base-url http://localhost:8080` | `PASS: all student tests (level 4) passed` | evidence/lab2/lab2_checks.txt | **3** | | Dockerfile собирает приложение, слушает 0.0.0.0:8080 | `docker compose --env-file .env up -d --build` | `/health/ready` → `{"status":"ok"}` | evidence/lab2/lab2_checks.txt | **3** | -| PostgreSQL как источник истины | `init_schema()`; таблицы в pgAdmin | `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | +| PostgreSQL как источник истины | `init_schema()`; таблицы в psql (`docker exec mtuci-postgres psql ...`) | `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** | | PK/FK, уникальность username, миграции с нуля | `SCHEMA_SQL` в `db.py`; прогон на пустой БД | таблицы создаются идемпотентно, повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | **3** | | Составная операция создания чата атомарна | `create_chat`: INSERT chats + INSERT chat_members в одной транзакции | при ошибке INSERT в `chat_members` чат не появляется | src/app/storage/postgres.py | **3** | | Basic только на `POST /auth/sessions` | смоук: Basic на `/users/me` → 401; `X-User-Id` игнорируется | `PASS: lab2 public API scenario` | evidence/lab2/lab2_checks.txt | **3** | | Срок жизни сессии и отзыв | `DELETE /auth/sessions/current` → 204; повтор → 401 | 204, затем 401 | evidence/lab2/lab2_checks.txt | **3** | | X-User-Id не даёт доступ | `GET /users/me` с `Authorization: Bearer Alice` и `X-User-Id: ` | возвращает Alice | evidence/lab2/lab2_checks.txt | **3** | | Пароли хешируются password KDF | `hashlib.scrypt`, формат `scrypt$N$r$p$salt$dk` | plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | **3** | -| Persistence: данные и сессия переживают рестарт API и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | -| Hook реально перезапустил API и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** | +| Persistence: данные и сессия переживают рестарт API, PostgreSQL и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** | +| Hook реально перезапустил API, PostgreSQL и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось у всех трёх контейнеров, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** | | Secrets/volumes не попадают в Git | `.dockerignore`, `.env` локально | `DATABASE_URL`/`REDIS_URL` в `.env.example` — плейсхолдеры | .env.example | **3** | | Redis реально используется для сессий с TTL | `docker exec mtuci-redis redis-cli KEYS "sess:*"`, `TTL sess:` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** | | Redis persistence, выдерживающее рестарт | `docker exec mtuci-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** | @@ -223,7 +213,7 @@ mtuci2026lab2/ | Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `test_short_ttl_expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** | | Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | | Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | -| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | +| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py`; `docker compose stop postgres` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | | Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 250 002 сообщения, распределение 151818/54545/…/1 | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** | | Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** | @@ -235,12 +225,13 @@ mtuci2026lab2/ Hardware и версии: - Windows 11, Docker Desktop (WSL2 backend), без лимитов CPU/RAM на контейнер; - Образ `mtuci-messenger:lab2` на `python:3.12-slim`; -- PostgreSQL 18.6 на хосте +- PostgreSQL 18.6-alpine в Compose (том `mtuci2026lab2_postgres-data`); - Redis 7.4.1-alpine в Compose. | Воздействие | Что ожидаем | Что наблюдали | Восстановление / потери | | --- | --- | --- | --- | -| `docker compose restart api redis` (`scripts/restart.bat`) | API и Redis перезапускаются, PostgreSQL и volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился | downtime ≈ 2–3 с; потери 0 | +| `docker compose restart api postgres redis` (`scripts/restart.bat`) | API, PostgreSQL и Redis перезапускаются, volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился у всех 3-х | downtime ≈ 3–5 с; потери 0 | +| `docker compose stop postgres`, затем запрос | 503 `unavailable` (обработчик `psycopg.OperationalError`), БД-операции не идут | 503 `unavailable` на `/health/ready` и бизнес-запросах; после `start postgres` — 200 | downtime ≈ 3 с; потери 0 (том сохранён) | | `docker compose stop redis`, затем запрос `/health/ready` | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; после `start redis` — 200 | downtime ≈ 3 с; потери сессий 0 (AOF) | | Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | | SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | @@ -255,7 +246,7 @@ Hardware и версии: 1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`); 2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~151818) и маленьком (~1) чате для трёх вариантов индексов; 3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы); -4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine`, сверяет COUNT, распределение по чатам и 100 случайных сообщений; +4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine` (в той же compose-сети), сверяет COUNT, распределение по чатам и 100 случайных сообщений; 5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore. Запуск: `python student-tests/test_track2.py --base-url http://localhost:8080` (эквивалент: `make test-track2`). @@ -332,7 +323,7 @@ e320b42f-e328-446b-a748-b27425281864|1 Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу. ### Ограничения эксперимента -- Один Docker-host, локальный PostgreSQL на хосте и одноразовый restore-контейнер; переносить абсолютные числа на другое железо нельзя. +- Один Docker-host: PostgreSQL и API живут рядом в одной compose-сети, restore-контейнер — одноразовый; переносить абсолютные числа на другое железо нельзя. - EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее. - Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи). @@ -341,16 +332,16 @@ e320b42f-e328-446b-a748-b27425281864|1 ## Ограничения и следующие шаги Что выдерживает реализация: -- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF). +- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF), оба сервиса — в одной compose-сети, наружу выведен только API. - Регистрацию (scrypt), Basic → Bearer, TTL, отзыв, повторный вход. -- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API и Redis без удаления volumes. +- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API, PostgreSQL и Redis без удаления volumes. - Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции); идемпотентную миграцию. - Keyset-пагинацию в SQL с индексом `idx_messages_chat_created`. - Контрактные ответы, `X-Request-Id`, `WWW-Authenticate`, 503 при недоступности Redis/PostgreSQL. - Конкурентную регистрацию одинакового username без дублей. Учебные упрощения: -- PostgreSQL запущен на хосте (не в Compose); в коде это только DSN, перенос в Compose не требует правок. +- PostgreSQL запущен в Compose (том `mtuci2026lab2_postgres-data`) и общается с API по внутреннему имени `postgres`, порт наружу не вынесен. - `storage/memory.py` оставлен как референс lab1 и в приложении не используется. - `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`.