Files
mtusi2026lab2/REPORT.md
T
vasyukova a4e0828f36
Skeleton contracts / contracts (pull_request) Canceled after 0s
* обновила отчет
2026-10-03 00:52:50 +03:00

351 lines
32 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 2
- Автор, группа: Васюкова Наталья, БВТ2303
- Целевая оценка: 5
- Commit/PR: solution/BVT2303-Vasyukova
- Использованные источники, библиотеки и помощь ИИ:
- Контракт: contracts/openapi.json, contracts/README.md
- Инструкции: README.md, COURSE.md, CONTRIBUTING.md
- Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, pydantic (из fastapi)
- ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
## Запуск из чистого clone
Версии runtime/образов:
- Python: 3.12 (образ `python:3.12-slim`)
- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0
- PostgreSQL 18.6-alpine (в Compose), Redis 7.4.1-alpine (в Compose)
- Docker Desktop (Windows)
### Запуск стека
1. Клонировать репозиторий и переключиться на ветку решения:
```
git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git
git checkout solution/BVT2303-Vasyukova
```
2. Создать `.env` из шаблона:
```
copy .env.example .env
```
3. Собрать и поднять:
```
docker compose --env-file .env up -d --build
```
4. Проверить готовность:
```
curl.exe -s http://localhost:8080/health/ready
```
Ожидается: `{"status":"ok"}`.
Альтернативный локальный запуск без Docker:
python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload
(в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`)
### Проверки
`make` в среде автора недоступен (Windows без GNU Make), поэтому использованы эквивалентные прямые вызовы скриптов. Для Linux/CI рядом указаны команды `make`.
| Makefile-команда | Прямой вызов |
| --- | --- |
| `make check` | `python scripts/check_contract.py` |
| `make validate` | `python scripts/validate_openapi.py` |
| `make test` | `python tests/smoke.py --base-url http://localhost:8080` |
| `make test-student` | `python student-tests/run_all.py --base-url http://localhost:8080` |
| `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` |
| `make test-track2` | `python student-tests/test_track2.py --base-url http://localhost:8080` |
Примечание про 2 action-скрипта:
`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` и не исполняет `.sh` на Windows).
### Остановка и удаление учебных данных
docker compose stop # данные PostgreSQL и Redis сохраняются (volumes)
docker compose down # volumes сохраняются
docker compose down -v # ТОЛЬКО если осознанно стираем данные БД и Redis
## Архитектура и решения
Схема процессов и хранилищ:
```
HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postgres:5432)
↘ Redis 7.4.1 (redis:6379)
```
Все три сервиса — в одной compose-сети `mtuci2026lab2_default`. PostgreSQL и Redis доступны только по внутренним именам `postgres` и `redis`; наружу опубликован лишь порт API `127.0.0.1:8080` (Redis имеет `127.0.0.1:6379` только для отладки, БД порт не публикует).
Источник истины:
- PostgreSQL — пользователи, чаты, членство, сообщения.
- Redis — серверные сессии (TTL, инвалидация через logout).
Роль Redis на уровне 4:
- Хранилище серверных сессий с TTL (`SETEX sess:<token> SESSION_TTL_SECONDS ...`).
- Persistence: AOF `appendonly yes`, `appendfsync everysec`, RDB `save 60 1` — сессии переживают рестарт Redis.
- Политика expiry: TTL задаёт сам Redis, продления нет. Инвалидация: `DEL sess:<token>` при `DELETE /auth/sessions/current`.
- Источник истины для сессий — Redis. Если Redis недоступен, `/health/ready` → 503, бизнес-запросы не обслуживаются молча как анонимные.
Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`):
```
users(id UUID PK, username TEXT UNIQUE, display_name TEXT, password_hash TEXT, created_at TIMESTAMPTZ)
chats(id UUID PK, title TEXT, created_at TIMESTAMPTZ)
chat_members(chat_id FK→chats, user_id FK→users, PK(chat_id,user_id))
messages(id UUID PK, chat_id FK→chats, sender_id FK→users, text TEXT, created_at TIMESTAMPTZ)
+ INDEX idx_messages_chat_created(chat_id, created_at, id)
sessions(token TEXT PK, user_id FK→users, expires_at TIMESTAMPTZ) -- fallback SESSION_STORE=postgres
```
Применяется идемпотентно через `init_schema()` на старте. Все временные метки — `TIMESTAMPTZ`.
Транзакционные границы:
- `create_user` — SELECT-проверка username и INSERT в одной транзакции; при гонке `UniqueViolation` ловится и превращается в 409.
- `create_chat` — INSERT `chats` + INSERT `chat_members` в одной транзакции, откат целиком.
- `add_message` — один INSERT, отдельная транзакция.
- Создание/отзыв сессии — одна операция.
Пул соединений и таймауты (уровень 4):
- `psycopg_pool.ConnectionPool(min_size=2, max_size=10, timeout=5.0)`, `statement_timeout=5000 ms` через `options`. Пул инициализируется в `lifespan` и закрывается на shutdown.
Keyset-пагинация (уровень 4):
- `list_messages_page(chat_id, limit, after)`: `WHERE chat_id = %s AND (created_at, id) > (%s, %s) ORDER BY created_at, id LIMIT %s`. Берётся `limit + 1`, чтобы определить наличие следующей страницы. Полного scan всей истории на страницу нет.
Аутентификация (lab1 → lab2):
- Регистрация `POST /api/v1/users` требует поле `password` (12–128 code points). Пароль хешируется стандартным `hashlib.scrypt` с уникальной солью на пользователя, формат хранения `scrypt$N$r$p$salt$dk`. Проверка через `hmac.compare_digest`.
- `POST /api/v1/auth/sessions` принимает только Basic `Authorization: Basic <base64(username:password)>`, без JSON body. Неверные креды → 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`.
- Успешный вход → 201 `{token, token_type="Bearer", expires_at, user}`. Токен — `secrets.token_urlsafe(32)`, хранится серверной сессией в Redis с TTL из `SESSION_TTL_SECONDS` (по умолчанию 3600).
- Защищённые endpoint принимают только `Authorization: Bearer <token>`. Истёкший/отозванный/неизвестный токен → 401 с `WWW-Authenticate: Bearer realm="messenger"`.
- `DELETE /api/v1/auth/sessions/current` → отзыв текущей сессии. 204, повтор → 401.
- `X-User-Id` (lab1) с lab2 игнорируется и доступа не даёт: смоук проверяет, что с валидным Bearer и чужим `X-User-Id: <eve>` возвращается владелец токена (Alice), а не Eve.
- Согласно `contracts/README.md`, Basic на бизнес-endpoint → 401.
Обработка недоступности зависимостей:
- `psycopg.OperationalError` → 503 `{"error":{"code":"unavailable",...}}` (обработчик в `main.py`).
- Redis-ошибки в `sessions.py` обёрнуты в `RuntimeError("redis_unavailable: ...")`, `main.py` превращает в 503 `unavailable`.
- `/health/ready` пингует PostgreSQL и, в режиме `redis`, Redis; при ошибке исключение вылетает наверх и превращается в 503 с телом `Error`.
Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`):
```
mtuci2026lab2/
├── compose.yaml * # API + PostgreSQL + Redis
├── Dockerfile
├── Makefile *
├── README.md, COURSE.md, ... # скелет без изменений
├── requirements.txt * # + psycopg_pool, redis
├── .env.example * # + REDIS_URL, SESSION_STORE
├── src/app/ # исходники приложения
│ ├── main.py * # точка входа uvicorn, init_pool/close_pool, 503-обработчики
│ ├── api/
│ │ ├── health.py * # readiness пингует PostgreSQL + Redis
│ │ ├── auth.py # Авторизация
│ │ ├── security.py
│ │ ├── users.py
│ │ ├── chats.py
│ │ └── messages.py * # keyset-пагинация в SQL
│ ├── models/schemas.py # Pydantic-схемы
│ └── storage/
│ ├── db.py * # ConnectionPool, SCHEMA_SQL, statement_timeout
│ ├── postgres.py * # PostgresStorage, делегаты сессий, list_messages_page
│ ├── sessions.py * # Redis-сессии, RuntimeError
│ └── memory.py # референс lab1, не используется
├── scripts/
│ ├── restart.sh * # Linux/CI: перезапуск API, PostgreSQL и Redis через compose
│ └── restart.bat * # Windows-эквивалент для локального прогона
├── student-tests/
│ ├── run_all.py
│ ├── test_negative.py
│ ├── test_concurrency.py
│ ├── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down
│ ├── track2_seed.sql ** # сидирование >=100 000 сообщений
│ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO
└── tests/ # публичные проверки, без изменений
```
Что перенесено из lab1 без изменений: FastAPI-роутеры, Pydantic-схемы, middleware `X-Request-Id`, структурное логирование, обработчик SIGTERM, формат ошибок, Dockerfile (multi-stage, non-root, healthcheck), `.dockerignore`, `student-tests/test_negative.py`, `student-tests/test_concurrency.py`.
Что изменено:
- `requirements.txt`: добавлены `psycopg[binary]`, `psycopg_pool`, `redis`.
- `.env.example`: добавлены `REDIS_URL`, `SESSION_STORE`.
- `compose.yaml`: добавлены сервисы `postgres` и `redis`; `api` зависит от обоих через `depends_on: condition: service_healthy`.
- `storage/db.py`: `connection()` берёт соединение из пула; `init_schema()` идемпотентен.
- `src/app/storage/postgres.py` — реализует тот же интерфейс, что `MemoryStorage`, плюс делегаты сессий и `list_messages_page`.
- `storage/sessions.py`: новый файл, хранилище сессий — Redis или PostgreSQL.
- `api/messages.py`: keyset-пагинация вынесена в SQL.
- `api/health.py`: readiness проверяет PostgreSQL и Redis.
- `main.py`: `init_pool`/`close_pool`, обработчики 503.
- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API, PostgreSQL и Redis.
- `student-tests/test_lab2_level4.py`: тесты уровня 4.
- `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5).
- `Makefile`: цель `test-track2`.
Соответствие `.env.example` реальной конфигурации:
- `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile.
- `APP_ENV` — пишется в стартовый лог `event=startup app_env=...`, в остальном на логику не влияет.
- `SESSION_TTL_SECONDS` — TTL серверных сессий в Redis (или в таблице `sessions` при `SESSION_STORE=postgres`), по умолчанию 3600.
- `DATABASE_URL` — строка подключения к PostgreSQL. В Docker используется `postgresql://user:password@postgres:5432/high_load_messenger`.
- `REDIS_URL` — адрес Redis в compose-сети (`redis://redis:6379/0`), не секрет.
- `SESSION_STORE` — `redis` (уровень 4) или `postgres` (fallback).
- `CACHE_URL_FILE` — резервная переменная из скелета, не используется.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | Уровень |
| --- | --- | --- | --- | --- |
| OpenAPI 3.1 и JSON Schema | `python scripts/validate_openapi.py` | `PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.` | evidence/lab2/lab2_checks.txt | **3** |
| Структура и локальные ссылки | `python scripts/check_contract.py` | `PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.` | evidence/lab2/lab2_checks.txt | **3** |
| Публичный smoke | `python tests/smoke.py --base-url http://localhost:8080` | `PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.` | evidence/lab2/lab2_checks.txt | **3** |
| Собственные тесты lab1 | `python student-tests/run_all.py --base-url http://localhost:8080` | `PASS: all student tests (level 4) passed` | evidence/lab2/lab2_checks.txt | **3** |
| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | `docker compose --env-file .env up -d --build` | `/health/ready` → `{"status":"ok"}` | evidence/lab2/lab2_checks.txt | **3** |
| PostgreSQL как источник истины | `init_schema()`; таблицы в psql (`docker exec mtuci-postgres psql ...`) | `users`, `chats`, `chat_members`, `messages`, `sessions` присутствуют | evidence/lab2/lab2_checks.txt | **3** |
| PK/FK, уникальность username, миграции с нуля | `SCHEMA_SQL` в `db.py`; прогон на пустой БД | таблицы создаются идемпотентно, повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | **3** |
| Составная операция создания чата атомарна | `create_chat`: INSERT chats + INSERT chat_members в одной транзакции | при ошибке INSERT в `chat_members` чат не появляется | src/app/storage/postgres.py | **3** |
| Basic только на `POST /auth/sessions` | смоук: Basic на `/users/me` → 401; `X-User-Id` игнорируется | `PASS: lab2 public API scenario` | evidence/lab2/lab2_checks.txt | **3** |
| Срок жизни сессии и отзыв | `DELETE /auth/sessions/current` → 204; повтор → 401 | 204, затем 401 | evidence/lab2/lab2_checks.txt | **3** |
| X-User-Id не даёт доступ | `GET /users/me` с `Authorization: Bearer Alice` и `X-User-Id: <eve>` | возвращает Alice | evidence/lab2/lab2_checks.txt | **3** |
| Пароли хешируются password KDF | `hashlib.scrypt`, формат `scrypt$N$r$p$salt$dk` | plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | **3** |
| Persistence: данные и сессия переживают рестарт API, PostgreSQL и Redis | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | `PASS: persistence preserved confirmed data and existing session.` | evidence/lab2/lab2_persistence.txt | **3** |
| Hook реально перезапустил API, PostgreSQL и Redis | `docker inspect -f "{{.State.StartedAt}}"` до/после | время старта изменилось у всех трёх контейнеров, данные сохранены | evidence/lab2/lab2_persistence.txt | **3** |
| Secrets/volumes не попадают в Git | `.dockerignore`, `.env` локально | `DATABASE_URL`/`REDIS_URL` в `.env.example` — плейсхолдеры | .env.example | **3** |
| Redis реально используется для сессий с TTL | `docker exec mtuci-redis redis-cli KEYS "sess:*"`, `TTL sess:<token>` | ключи `sess:*`, TTL ≈ `SESSION_TTL_SECONDS` | evidence/lab2/lab2_level4.txt | **4** |
| Redis persistence, выдерживающее рестарт | `docker exec mtuci-redis redis-cli INFO persistence`; рестарт Redis | `aof_enabled:1`; сессии живы после рестарта | evidence/lab2/lab2_level4.txt | **4** |
| Параметризованные запросы, ограниченный пул, таймауты | `psycopg_pool.ConnectionPool(2..10, timeout=5)`, `statement_timeout=5000` | нет `psycopg.connect()` на запрос | src/app/storage/db.py | **4** |
| Гонка регистрации одинакового username | `python student-tests/test_lab2_level4.py` (блок `test_concurrent_registration`) | ровно одна 201, остальные 409 | evidence/lab2/lab2_level4.txt | **4** |
| Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях | тот же скрипт, `test_explain` | `Index Scan using idx_messages_chat_created` | evidence/lab2/lab2_level4.txt | **4** |
| Keyset-пагинация без полного scan на страницу | `list_messages_page` в `postgres.py` | `WHERE (created_at, id) > (…, …)` + `LIMIT` | src/app/storage/postgres.py | **4** |
| Автопроверка expiry при коротком TTL | `SESSION_TTL_SECONDS=5`, `test_short_ttl_expiry` | до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | **4** |
| Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** |
| Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** |
| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py`; `docker compose stop postgres` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** |
| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 250 002 сообщения, распределение 151818/54545/…/1 | evidence/lab2_track2_explain.md | **5** |
| Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** |
| Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** |
| Трек 5. Трек 2: backup → restore → сверка | тот же скрипт (шаг 4) | COUNT, распределение по чатам и 100 случайных сообщений совпадают | evidence/lab2_track2_restore.txt | **5** |
| Трек 5. Трек 2: границы потери данных (RPO) | тот же скрипт (шаг 5) | сообщение, записанное после старта дампа, в restore отсутствует | evidence/lab2_track2_rpo.txt | **5** |
## Эксперименты и отказы
Hardware и версии:
- Windows 11, Docker Desktop (WSL2 backend), без лимитов CPU/RAM на контейнер;
- Образ `mtuci-messenger:lab2` на `python:3.12-slim`;
- PostgreSQL 18.6-alpine в Compose (том `mtuci2026lab2_postgres-data`);
- Redis 7.4.1-alpine в Compose.
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потери |
| --- | --- | --- | --- |
| `docker compose restart api postgres redis` (`scripts/restart.bat`) | API, PostgreSQL и Redis перезапускаются, volumes не трогаются; прежний Bearer читает прежние данные | `PASS: persistence preserved confirmed data and existing session`; `event=startup` в логах, `StartedAt` изменился у всех 3-х | downtime ≈ 3–5 с; потери 0 |
| `docker compose stop postgres`, затем запрос | 503 `unavailable` (обработчик `psycopg.OperationalError`), БД-операции не идут | 503 `unavailable` на `/health/ready` и бизнес-запросах; после `start postgres` — 200 | downtime ≈ 3 с; потери 0 (том сохранён) |
| `docker compose stop redis`, затем запрос `/health/ready` | 503 `unavailable`, анонимный доступ не открывается | `PASS: readiness 503 без Redis`; после `start redis` — 200 | downtime ≈ 3 с; потери сессий 0 (AOF) |
| Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — |
| SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — |
Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. Для Трека 2 использован отдельный эксперимент (см. ниже).
## Трек 5. Трек 2. План запроса и восстановление
**Гипотеза.** Индекс `(chat_id, created_at, id)` должен ускорять keyset-запрос истории и убирать сортировку; наивный `(chat_id)` потребует сортировки; без индекса — полный скан. Ускорение чтения достигается ценой более медленной записи и роста размера индекса. `pg_dump` даёт снапшот на момент старта, поэтому часть свежих сообщений в restore не попадёт (RPO > 0).
**Методика.** Скрипт `student-tests/test_track2.py` (шаги):
1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`);
2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~151818) и маленьком (~1) чате для трёх вариантов индексов;
3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы);
4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine` (в той же compose-сети), сверяет COUNT, распределение по чатам и 100 случайных сообщений;
5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore.
Запуск: `python student-tests/test_track2.py --base-url http://localhost:8080` (эквивалент: `make test-track2`).
**Результаты.**
### Seed
Вывод в терминале:
```
=== 1. seed ===
messages before: 250002
messages after: 280002
распределение по чатам:
362231ce-de25-4394-a32c-9dcddc4fabe0|151818
ec18fd9c-e539-4e4b-952e-fd754abfe99e|54545
a34e5dda-6ed1-470a-af37-5a584046c9de|18182
651afbb8-cd22-4cb3-a5e5-48934e4e0dbb|10000
01e06e06-cbbe-49c8-bfea-a73ffee16976|9091
6e81610f-f06c-43fe-b4ad-cd4edc6611c2|1818
8d877077-ec2d-40d6-b229-37f6d60feb46|909
e73a9ae4-e6b4-4daf-a55d-4d4723f59ecd|909
19cf6e6f-bc28-40ae-afdc-0cf10ed5b252|909
9e5c725a-1107-4b68-b610-8b6afa50394a|909
a34f608d-d771-413b-88d4-5a8d6babfdaf|909
61004e52-701f-4f72-ab45-62c0a1ab97ec|1
6cbb6de0-b918-435c-89e2-66e944ed7774|1
e320b42f-e328-446b-a748-b27425281864|1
```
### План запроса
- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате execution time ~12.9 мс, прочитано 3210 буферов.
- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате execution time ~11.7 мс, 3210 буферов.
- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате execution time ~0.2 мс, 54 буфера.
- На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: полный индекс даёт execution time ~0.1 мс и 4 буфера; `(chat_id)` — ~0.1 мс и 10 буферов. Индекс важен там, где строк много.
### Стоимость записи (10 000 INSERT)
Вывод в терминале:
```
=== 3. Стоимость записи: 10 000 INSERT на каждом варианте ===
no_index insert=1.085s idx=6896 kB total=24 MB
chat_only insert=0.992s idx=8880 kB total=27 MB
full insert=0.977s idx=19 MB total=38 MB
```
Пояснения к столбцам:
| Вариант | INSERT, сек | Индекс | Таблица+индексы |
Выводы:
Индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint.
### Backup/restore
Вывод в терминале:
```
=== 4. backup -> restore -> сверка ===
dump size = 7.42 MiB, time = 1.70s
pg_restore exit=0, time = 1.62s
OK: COUNT, распределение по чатам и 100 случайных сообщений совпадают
RTO (pg_restore) = 1.62s, dump = 7.42 MiB
```
Комментарий:
- `pg_dump -Fc`: размер 7.42 MiB (`dump_size_bytes=7783813`), время 1.70 с (`dump_time_s`).
- `pg_restore` в новый контейнер: 1.62 с (`restore_time_s`) — это RTO.
- Сверка: COUNT(*) — `count_original=280002` и `count_restored=280002` совпадают; распределение по чатам — `dist_match=true`; 100 случайных сообщений (id + text) — `random100_match=true` — совпадают.
Полные значения сохранены в `evidence/lab2_track2_restore.txt`.
### RPO
Вывод:
```
=== 5. RPO: запись во время pg_dump ===
OK: сообщение 33458232 записано после старта дампа и в restore отсутствует
```
Комментарий:
Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу.
### Ограничения эксперимента
- Один Docker-host: PostgreSQL и API живут рядом в одной compose-сети, restore-контейнер — одноразовый; переносить абсолютные числа на другое железо нельзя.
- EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее.
- Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи).
Полный отчет — в `evidence/lab2_track2_explain.md`. Метрики и результаты — в `evidence/lab2_track2_write_cost.json`, `lab2_track2_restore.txt`, `lab2_track2_rpo.txt`.
## Ограничения и следующие шаги
Что выдерживает реализация:
- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF), оба сервиса — в одной compose-сети, наружу выведен только API.
- Регистрацию (scrypt), Basic → Bearer, TTL, отзыв, повторный вход.
- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API, PostgreSQL и Redis без удаления volumes.
- Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции); идемпотентную миграцию.
- Keyset-пагинацию в SQL с индексом `idx_messages_chat_created`.
- Контрактные ответы, `X-Request-Id`, `WWW-Authenticate`, 503 при недоступности Redis/PostgreSQL.
- Конкурентную регистрацию одинакового username без дублей.
Учебные упрощения:
- PostgreSQL запущен в Compose (том `mtuci2026lab2_postgres-data`) и общается с API по внутреннему имени `postgres`, порт наружу не вынесен.
- `storage/memory.py` оставлен как референс lab1 и в приложении не используется.
- `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`.
Что не входит в уровень 5:
- Горизонтальное масштабирование, балансировщик, HA (lab3+).
- Вложения и S3 (lab4+), фоновая обработка (lab5+), OTel/Grafana (lab6+), TLS/mTLS/OpenBao/Argon2id (lab7).