36 KiB
Отчёт — лабораторная 2
- Автор, группа: Васюкова Наталья, БВТ2303
- Целевая оценка: 5
- Commit/PR: solution/BVT2303-Vasyukova
- Использованные источники, библиотеки и помощь ИИ:
- Контракт: contracts/openapi.json, contracts/README.md
- Инструкции: README.md, COURSE.md, CONTRIBUTING.md
- Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, pydantic (из fastapi)
- ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
Запуск из чистого clone
Версии runtime/образов:
- Python: 3.12 (образ
python:3.12-slim) - FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0
- PostgreSQL 18.6-alpine (в Compose), Redis 7.4.1-alpine (в Compose)
- Docker Desktop (Windows)
Запуск стека
- Клонировать репозиторий и переключиться на ветку решения:
git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab2.git git checkout solution/BVT2303-Vasyukova - Создать
.envиз шаблона:copy .env.example .env - Собрать и поднять:
docker compose --env-file .env up -d --build - Проверить готовность:
Ожидается:
curl.exe -s http://localhost:8080/health/ready{"status":"ok"}.
Альтернативный локальный запуск без Docker:
python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload
(в .env при этом DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger)
Проверки
make в среде автора недоступен (Windows без GNU Make), поэтому использованы эквивалентные прямые вызовы скриптов. Для Linux/CI рядом указаны команды make.
| Makefile-команда | Прямой вызов |
|---|---|
make check |
python scripts/check_contract.py |
make validate |
python scripts/validate_openapi.py |
make test |
python tests/smoke.py --base-url http://localhost:8080 |
make test-student |
python student-tests/run_all.py --base-url http://localhost:8080 |
make test-persistence ACTION_SCRIPT=scripts/restart.sh |
python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080 |
make test-track2 |
python student-tests/test_track2.py --base-url http://localhost:8080 |
Примечание про 2 action-скрипта:
scripts/restart.sh — обязательный артефакт для Linux/CI; scripts/restart.bat — Windows-эквивалент (tests/resilience.py запускает action-script напрямую через subprocess.Popen и не исполняет .sh на Windows).
Проверки уровня 4 с остановкой зависимостей и TTL
Тесты уровня 4 разделены на два запуска: тяжёлые (гонка регистрации, EXPLAIN, недоступность Redis, недоступность PostgreSQL) выполняются при длинном TTL; expiry — при коротком TTL. Это сделано потому, что тест недоступности Redis использует заранее полученную рабочую сессию, и при SESSION_TTL_SECONDS=5 она истекает быстрее, чем тест успевает остановить Redis.
Первый запуск (в .env SESSION_TTL_SECONDS=3600) — все тяжёлые тесты, включая Redis/Postgres down:
python student-tests/test_lab2_level4.py --base-url http://localhost:8080 --skip-expiry
Второй запуск (в .env SESSION_TTL_SECONDS=5) — только expiry:
python student-tests/test_lab2_level4.py --base-url http://localhost:8080 --only-expiry
Наблюдения:
- гонка регистрации: из 8 одновременных POST один username — ровно одна 201 и семь 409, остальные ошибки (timeout/500/bad schema) проваливают тест; в БД ровно одна строка
usersс этим username; - EXPLAIN на 550 008 сообщениях:
Index Scan using idx_messages_chat_created, безSort, Execution Time ~0.06 мс; - недоступность Redis: с действующим токеном
/health/ready→ 503 и запрос с этим токеном → 503; после восстановления Redis прежняя сессия снова работает (AOF); - недоступность PostgreSQL:
/health/ready→ 503, запрос с действующим токеном → 503 в пределах таймаута, анонимный запрос не получает доступ; после восстановления БД прежняя сессия работает, ранее записанное сообщение сохранено; восстановление БД выполняется вfinally, чтобы не оставить стенд остановленным при падении теста; - expiry (TTL=5): токен валиден до истечения, после TTL — 401, повторный вход работает.
Остановка и удаление учебных данных
docker compose stop # данные PostgreSQL и Redis сохраняются (volumes) docker compose down # volumes сохраняются docker compose down -v # ТОЛЬКО если осознанно стираем данные БД и Redis
Архитектура и решения
Схема процессов и хранилищ:
HTTP-клиент → FastAPI (uvicorn, 0.0.0.0:8080) → PostgreSQL 18.6 (postgres:5432)
↘ Redis 7.4.1 (redis:6379)
Все три сервиса — в одной compose-сети mtuci2026lab2_default. PostgreSQL и Redis доступны только по внутренним именам postgres и redis; наружу опубликован лишь порт API 127.0.0.1:8080 (Redis имеет 127.0.0.1:6379 только для отладки, БД порт не публикует).
Источник истины:
- PostgreSQL — пользователи, чаты, членство, сообщения.
- Redis — серверные сессии (TTL, инвалидация через logout).
Роль Redis на уровне 4:
- Хранилище серверных сессий с TTL (
SETEX sess:<token> SESSION_TTL_SECONDS ...). - Persistence: AOF
appendonly yes,appendfsync everysec, RDBsave 60 1— сессии переживают рестарт Redis. - Политика expiry: TTL задаёт сам Redis, продления нет. Инвалидация:
DEL sess:<token>приDELETE /auth/sessions/current. - Источник истины для сессий — Redis. Если Redis недоступен,
/health/ready→ 503, бизнес-запросы не обслуживаются молча как анонимные.
Схема БД (подробнее — src/app/storage/db.py, константа SCHEMA_SQL):
users(id UUID PK, username TEXT UNIQUE, display_name TEXT, password_hash TEXT, created_at TIMESTAMPTZ)
chats(id UUID PK, title TEXT, created_at TIMESTAMPTZ)
chat_members(chat_id FK→chats, user_id FK→users, PK(chat_id,user_id))
messages(id UUID PK, chat_id FK→chats, sender_id FK→users, text TEXT, created_at TIMESTAMPTZ)
+ INDEX idx_messages_chat_created(chat_id, created_at, id)
sessions(token TEXT PK, user_id FK→users, expires_at TIMESTAMPTZ) -- fallback SESSION_STORE=postgres
Применяется идемпотентно через init_schema() на старте. Все временные метки — TIMESTAMPTZ.
Транзакционные границы:
create_user— SELECT-проверка username и INSERT в одной транзакции; при гонкеUniqueViolationловится и превращается в 409.create_chat— INSERTchats+ INSERTchat_membersв одной транзакции, откат целиком.add_message— один INSERT, отдельная транзакция.- Создание/отзыв сессии — одна операция.
Пул соединений и таймауты (уровень 4):
psycopg_pool.ConnectionPool(min_size=2, max_size=10, timeout=5.0),statement_timeout=5000 msчерезoptions. Пул инициализируется вlifespanи закрывается на shutdown.
Keyset-пагинация (уровень 4):
list_messages_page(chat_id, limit, after):WHERE chat_id = %s AND (created_at, id) > (%s, %s) ORDER BY created_at, id LIMIT %s. Берётсяlimit + 1, чтобы определить наличие следующей страницы. Полного scan всей истории на страницу нет.
Аутентификация (lab1 → lab2):
- Регистрация
POST /api/v1/usersтребует полеpassword(12–128 code points). Пароль хешируется стандартнымhashlib.scryptс уникальной солью на пользователя, формат храненияscrypt$N$r$p$salt$dk. Проверка черезhmac.compare_digest. POST /api/v1/auth/sessionsпринимает только BasicAuthorization: Basic <base64(username:password)>, без JSON body. Неверные креды → 401 сWWW-Authenticate: Basic realm="messenger", charset="UTF-8".- Успешный вход → 201
{token, token_type="Bearer", expires_at, user}. Токен —secrets.token_urlsafe(32), хранится серверной сессией в Redis с TTL изSESSION_TTL_SECONDS(по умолчанию 3600). - Защищённые endpoint принимают только
Authorization: Bearer <token>. Истёкший/отозванный/неизвестный токен → 401 сWWW-Authenticate: Bearer realm="messenger". DELETE /api/v1/auth/sessions/current→ отзыв текущей сессии. 204, повтор → 401.X-User-Id(lab1) с lab2 игнорируется и доступа не даёт: смоук проверяет, что с валидным Bearer и чужимX-User-Id: <eve>возвращается владелец токена (Alice), а не Eve.- Согласно
contracts/README.md, Basic на бизнес-endpoint → 401.
Обработка недоступности зависимостей:
psycopg.OperationalError→ 503{"error":{"code":"unavailable",...}}(обработчик вmain.py).- Redis-ошибки в
sessions.pyобёрнуты вRuntimeError("redis_unavailable: ..."),main.pyпревращает в 503unavailable. /health/readyпингует PostgreSQL и, в режимеredis, Redis; при ошибке исключение вылетает наверх и превращается в 503 с теломError.
Дерево проекта (изменения относительно lab1 отмечены *; трек 2 отмечен **):
mtuci2026lab2/
├── compose.yaml * # API + PostgreSQL + Redis
├── Dockerfile
├── Makefile *
├── README.md, COURSE.md, ... # скелет без изменений
├── requirements.txt * # + psycopg_pool, redis
├── .env.example * # + REDIS_URL, SESSION_STORE
├── src/app/ # исходники приложения
│ ├── main.py * # точка входа uvicorn, init_pool/close_pool, 503-обработчики
│ ├── api/
│ │ ├── health.py * # readiness пингует PostgreSQL + Redis
│ │ ├── auth.py # Авторизация
│ │ ├── security.py
│ │ ├── users.py
│ │ ├── chats.py
│ │ └── messages.py * # keyset-пагинация в SQL
│ ├── models/schemas.py # Pydantic-схемы
│ └── storage/
│ ├── db.py * # ConnectionPool, SCHEMA_SQL, statement_timeout
│ ├── postgres.py * # PostgresStorage, делегаты сессий, list_messages_page
│ ├── sessions.py * # Redis-сессии, RuntimeError
│ └── memory.py # референс lab1, не используется
├── scripts/
│ ├── restart.sh * # Linux/CI: перезапуск API, PostgreSQL и Redis через compose
│ └── restart.bat * # Windows-эквивалент для локального прогона
├── student-tests/
│ ├── run_all.py
│ ├── test_negative.py
│ ├── test_concurrency.py
│ ├── test_lab2_level4.py * # гонка регистрации (реальные HTTP-коды + строка в БД), EXPLAIN, недоступность Redis (с действующим токеном), недоступность PostgreSQL (с восстановлением в finally), expiry; режимы --skip-expiry / --only-expiry
│ ├── track2_seed.sql ** # сидирование >=100 000 сообщений
│ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO
└── tests/ # публичные проверки, без изменений
Что перенесено из lab1 без изменений: FastAPI-роутеры, Pydantic-схемы, middleware X-Request-Id, структурное логирование, обработчик SIGTERM, формат ошибок, Dockerfile (multi-stage, non-root, healthcheck), .dockerignore, student-tests/test_negative.py, student-tests/test_concurrency.py.
Что изменено:
requirements.txt: добавленыpsycopg[binary],psycopg_pool,redis..env.example: добавленыREDIS_URL,SESSION_STORE.compose.yaml: добавлены сервисыpostgresиredis;apiзависит от обоих черезdepends_on: condition: service_healthy.storage/db.py:connection()берёт соединение из пула;init_schema()идемпотентен.src/app/storage/postgres.py— реализует тот же интерфейс, чтоMemoryStorage, плюс делегаты сессий иlist_messages_page.storage/sessions.py: новый файл, хранилище сессий — Redis или PostgreSQL.api/messages.py: keyset-пагинация вынесена в SQL.api/health.py: readiness проверяет PostgreSQL и Redis.main.py:init_pool/close_pool, обработчики 503.scripts/restart.sh,scripts/restart.bat: перезапускают API, PostgreSQL и Redis.student-tests/test_lab2_level4.py: тесты уровня 4; добавлены режимы--skip-expiryи--only-expiry.student-tests/track2_seed.sql,student-tests/test_track2.py: трек 2 (уровень 5).Makefile: цельtest-track2.
Соответствие .env.example реальной конфигурации:
APP_HOST,APP_PORT— используются uvicorn/CMD в Dockerfile.APP_ENV— пишется в стартовый логevent=startup app_env=..., в остальном на логику не влияет.SESSION_TTL_SECONDS— TTL серверных сессий в Redis (или в таблицеsessionsприSESSION_STORE=postgres), по умолчанию 3600. Для теста expiry временно ставится 5 и возвращается обратно.DATABASE_URL— строка подключения к PostgreSQL. В Docker используетсяpostgresql://user:password@postgres:5432/high_load_messenger.REDIS_URL— адрес Redis в compose-сети (redis://redis:6379/0), не секрет.SESSION_STORE—redis(уровень 4) илиpostgres(fallback).CACHE_URL_FILE— резервная переменная из скелета, не используется.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | Уровень |
|---|---|---|---|---|
| OpenAPI 3.1 и JSON Schema | python scripts/validate_openapi.py |
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. |
evidence/lab2/lab2_checks.txt | 3 |
| Структура и локальные ссылки | python scripts/check_contract.py |
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. |
evidence/lab2/lab2_checks.txt | 3 |
| Публичный smoke | python tests/smoke.py --base-url http://localhost:8080 |
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. |
evidence/lab2/lab2_checks.txt | 3 |
| Собственные тесты lab1 | python student-tests/run_all.py --base-url http://localhost:8080 |
PASS: all student tests (level 4) passed |
evidence/lab2/lab2_checks.txt | 3 |
| Dockerfile собирает приложение, слушает 0.0.0.0:8080 | docker compose --env-file .env up -d --build |
/health/ready → {"status":"ok"} |
evidence/lab2/lab2_checks.txt | 3 |
| PostgreSQL как источник истины | init_schema(); таблицы в psql (docker exec mtuci-postgres psql ...) |
users, chats, chat_members, messages, sessions присутствуют |
evidence/lab2/lab2_checks.txt | 3 |
| PK/FK, уникальность username, миграции с нуля | SCHEMA_SQL в db.py; прогон на пустой БД |
таблицы создаются идемпотентно, повторный запуск не дублирует | evidence/lab2/lab2_checks.txt | 3 |
| Составная операция создания чата атомарна | create_chat: INSERT chats + INSERT chat_members в одной транзакции |
при ошибке INSERT в chat_members чат не появляется |
src/app/storage/postgres.py | 3 |
Basic только на POST /auth/sessions |
смоук: Basic на /users/me → 401; X-User-Id игнорируется |
PASS: lab2 public API scenario |
evidence/lab2/lab2_checks.txt | 3 |
| Срок жизни сессии и отзыв | DELETE /auth/sessions/current → 204; повтор → 401 |
204, затем 401 | evidence/lab2/lab2_checks.txt | 3 |
| X-User-Id не даёт доступ | GET /users/me с Authorization: Bearer Alice и X-User-Id: <eve> |
возвращает Alice | evidence/lab2/lab2_checks.txt | 3 |
| Пароли хешируются password KDF | hashlib.scrypt, формат scrypt$N$r$p$salt$dk |
plaintext/hash в ответах API не фигурируют | src/app/storage/postgres.py | 3 |
| Persistence: данные и сессия переживают рестарт API, PostgreSQL и Redis | python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080 |
PASS: persistence preserved confirmed data and existing session. |
evidence/lab2/lab2_persistence.txt | 3 |
| Hook реально перезапустил API, PostgreSQL и Redis | docker inspect -f "{{.State.StartedAt}}" до/после |
время старта изменилось у всех трёх контейнеров, данные сохранены | evidence/lab2/lab2_persistence.txt | 3 |
| Secrets/volumes не попадают в Git | .dockerignore, .env локально |
DATABASE_URL/REDIS_URL в .env.example — плейсхолдеры |
.env.example | 3 |
| Redis реально используется для сессий с TTL | docker exec mtuci-redis redis-cli KEYS "sess:*", TTL sess:<token> |
ключи sess:*, TTL ≈ SESSION_TTL_SECONDS |
evidence/lab2/lab2_level4.txt | 4 |
| Redis persistence, выдерживающее рестарт | docker exec mtuci-redis redis-cli INFO persistence; рестарт Redis |
aof_enabled:1; сессии живы после рестарта |
evidence/lab2/lab2_level4.txt | 4 |
| Параметризованные запросы, ограниченный пул, таймауты | psycopg_pool.ConnectionPool(2..10, timeout=5), statement_timeout=5000 |
нет psycopg.connect() на запрос |
src/app/storage/db.py | 4 |
| Гонка регистрации одинакового username | python student-tests/test_lab2_level4.py --skip-expiry (блок test_concurrent_registration) |
ровно одна 201, остальные 409; остальные ошибки проваливают тест; в БД ровно одна строка users |
evidence/lab2/lab2_level4.txt | 4 |
| Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях | тот же скрипт, test_explain |
Index Scan using idx_messages_chat_created |
evidence/lab2/lab2_level4.txt | 4 |
| Keyset-пагинация без полного scan на страницу | list_messages_page в postgres.py |
WHERE (created_at, id) > (…, …) + LIMIT |
src/app/storage/postgres.py | 4 |
| Автопроверка expiry при коротком TTL | SESSION_TTL_SECONDS=5, python student-tests/test_lab2_level4.py --only-expiry |
до TTL — 200, после — 401; повторный вход работает | evidence/lab2/lab2_level4.txt | 4 |
| Logout и неверный пароль | DELETE /auth/sessions/current; неверный Basic |
204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | 3 |
| Недоступность Redis не даёт анонимный доступ | test_redis_unavailable (stop redis → ready 503; запрос с действующим токеном → 503; после старта токен снова работает) |
/health/ready → 503 unavailable, действующий Bearer получает 503, после восстановления прежняя сессия работает |
evidence/lab2/lab2_level4.txt | 4 |
| Недоступность PostgreSQL → 503 | test_postgres_unavailable (stop postgres → ready 503; действующий токен → 503 в пределах таймаута; аноним — 401/503; после start postgres прежний токен и запись сохранены) |
503 unavailable, восстановление в finally, данные сохранены |
evidence/lab2/lab2_level4.txt | 4 |
| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | python student-tests/test_track2.py (шаг 1) |
250 002 сообщения, распределение 151818/54545/…/1 | evidence/lab2_track2_explain.md | 5 |
| Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), EXPLAIN (ANALYZE, BUFFERS) |
без индекса — Seq Scan + Sort; (chat_id) — Bitmap + Sort; (chat_id, created_at, id) — Index Scan без Sort |
evidence/lab2_track2_explain.md | 5 |
| Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. lab2_track2_write_cost.json |
evidence/lab2_track2_write_cost.json | 5 |
| Трек 5. Трек 2: backup → restore → сверка | тот же скрипт (шаг 4) | COUNT, распределение по чатам и 100 случайных сообщений совпадают | evidence/lab2_track2_restore.txt | 5 |
| Трек 5. Трек 2: границы потери данных (RPO) | тот же скрипт (шаг 5) | сообщение, записанное после старта дампа, в restore отсутствует | evidence/lab2_track2_rpo.txt | 5 |
Эксперименты и отказы
Hardware и версии:
- Windows 11, Docker Desktop (WSL2 backend), без лимитов CPU/RAM на контейнер;
- Образ
mtuci-messenger:lab2наpython:3.12-slim; - PostgreSQL 18.6-alpine в Compose (том
mtuci2026lab2_postgres-data); - Redis 7.4.1-alpine в Compose.
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потери |
|---|---|---|---|
docker compose restart api postgres redis (scripts/restart.bat) |
API, PostgreSQL и Redis перезапускаются, volumes не трогаются; прежний Bearer читает прежние данные | PASS: persistence preserved confirmed data and existing session; event=startup в логах, StartedAt изменился у всех 3-х |
downtime ≈ 3–5 с; потери 0 |
docker compose stop postgres, затем запрос |
503 unavailable (обработчик psycopg.OperationalError), БД-операции не идут |
503 unavailable на /health/ready и бизнес-запросах; после start postgres — 200, данные и сессия сохранены |
downtime ≈ 3 с; потери 0 (том сохранён) |
docker compose stop redis, затем запрос |
503 unavailable, анонимный доступ не открывается |
PASS: readiness 503 без Redis; с действующим токеном 503, после start redis прежняя сессия снова работает |
downtime ≈ 3 с; потери сессий 0 (AOF) |
Повторный init_schema() |
Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — |
SIGTERM (docker stop -t 10) |
завершение ≤ 10 с | как в lab1: <1 с, event=shutdown_complete |
— |
Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. Для Трека 2 использован отдельный эксперимент (см. ниже).
Трек 5. Трек 2. План запроса и восстановление
Гипотеза. Индекс (chat_id, created_at, id) должен ускорять keyset-запрос истории и убирать сортировку; наивный (chat_id) потребует сортировки; без индекса — полный скан. Ускорение чтения достигается ценой более медленной записи и роста размера индекса. pg_dump даёт снапшот на момент старта, поэтому часть свежих сообщений в restore не попадёт (RPO > 0).
Методика. Скрипт student-tests/test_track2.py (шаги):
- сидирует ≥100 000 сообщений с неравномерными чатами (
track2_seed.sql); - снимает
EXPLAIN (ANALYZE, BUFFERS)на большом (~151818) и маленьком (~1) чате для трёх вариантов индексов; - замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы);
- делает
pg_dump -Fc, восстанавливает в отдельный контейнерpostgres:18-alpine(в той же compose-сети), сверяет COUNT, распределение по чатам и 100 случайных сообщений; - пишет сообщение через API после старта
pg_dumpи проверяет, что его нет в restore.
Запуск: python student-tests/test_track2.py --base-url http://localhost:8080 (эквивалент: make test-track2).
Результаты.
Seed
Вывод в терминале:
=== 1. seed ===
messages before: 250002
messages after: 280002
распределение по чатам:
362231ce-de25-4394-a32c-9dcddc4fabe0|151818
ec18fd9c-e539-4e4b-952e-fd754abfe99e|54545
a34e5dda-6ed1-470a-af37-5a584046c9de|18182
651afbb8-cd22-4cb3-a5e5-48934e4e0dbb|10000
01e06e06-cbbe-49c8-bfea-a73ffee16976|9091
6e81610f-f06c-43fe-b4ad-cd4edc6611c2|1818
8d877077-ec2d-40d6-b229-37f6d60feb46|909
e73a9ae4-e6b4-4daf-a55d-4d4723f59ecd|909
19cf6e6f-bc28-40ae-afdc-0cf10ed5b252|909
9e5c725a-1107-4b68-b610-8b6afa50394a|909
a34f608d-d771-413b-88d4-5a8d6babfdaf|909
61004e52-701f-4f72-ab45-62c0a1ab97ec|1
6cbb6de0-b918-435c-89e2-66e944ed7774|1
e320b42f-e328-446b-a748-b27425281864|1
План запроса
- Без индекса —
Parallel Seq Scan+Sort(top-N heapsort), на большом чате execution time ~12.9 мс, прочитано 3210 буферов. (chat_id)—Bitmap Index Scan+Sort; на большом чате execution time ~11.7 мс, 3210 буферов.(chat_id, created_at, id)—Index ScanбезSort; на большом чате execution time ~0.2 мс, 54 буфера.- На маленьком чате разница между
(chat_id)и полным индексом в пределах десятых долей мс: полный индекс даёт execution time ~0.1 мс и 4 буфера;(chat_id)— ~0.1 мс и 10 буферов. Индекс важен там, где строк много.
Дополнительный прогон test_explain на 550 008 сообщениях подтверждает выбор индекса: Index Scan using idx_messages_chat_created, без Sort, Execution Time ~0.06 мс.
Стоимость записи (10 000 INSERT)
Вывод в терминале:
=== 3. Стоимость записи: 10 000 INSERT на каждом варианте ===
no_index insert=1.085s idx=6896 kB total=24 MB
chat_only insert=0.992s idx=8880 kB total=27 MB
full insert=0.977s idx=19 MB total=38 MB
Пояснения к столбцам:
| Вариант | INSERT, сек | Индекс | Таблица+индексы |
Выводы:
Индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint.
Backup/restore
Вывод в терминале:
=== 4. backup -> restore -> сверка ===
dump size = 7.42 MiB, time = 1.70s
pg_restore exit=0, time = 1.62s
OK: COUNT, распределение по чатам и 100 случайных сообщений совпадают
RTO (pg_restore) = 1.62s, dump = 7.42 MiB
Комментарий:
pg_dump -Fc: размер 7.42 MiB (dump_size_bytes=7783813), время 1.70 с (dump_time_s).pg_restoreв новый контейнер: 1.62 с (restore_time_s) — это RTO.- Сверка: COUNT(*) —
count_original=280002иcount_restored=280002совпадают; распределение по чатам —dist_match=true; 100 случайных сообщений (id + text) —random100_match=true— совпадают.
Полные значения сохранены в evidence/lab2_track2_restore.txt.
RPO
Вывод:
=== 5. RPO: запись во время pg_dump ===
OK: сообщение 33458232 записано после старта дампа и в restore отсутствует
Комментарий:
Сообщение, отправленное через API после старта pg_dump, в restore отсутствует. pg_dump даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу.
Ограничения эксперимента
- Один Docker-host: PostgreSQL и API живут рядом в одной compose-сети, restore-контейнер — одноразовый; переносить абсолютные числа на другое железо нельзя.
- EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее.
- Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи).
Полный отчет — в evidence/lab2_track2_explain.md. Метрики и результаты — в evidence/lab2_track2_write_cost.json, lab2_track2_restore.txt, lab2_track2_rpo.txt.
Ограничения и следующие шаги
Что выдерживает реализация:
- Штатную работу API с PostgreSQL (источник истины) и Redis (сессии с TTL и AOF), оба сервиса — в одной compose-сети, наружу выведен только API.
- Регистрацию (scrypt), Basic → Bearer, TTL, отзыв, повторный вход.
- Сохранение пользователей, чатов, членства, сообщений и действующих сессий при рестарте API, PostgreSQL и Redis без удаления volumes.
- Атомарность создания чата (INSERT chats + INSERT chat_members в одной транзакции); идемпотентную миграцию.
- Keyset-пагинацию в SQL с индексом
idx_messages_chat_created. - Контрактные ответы,
X-Request-Id,WWW-Authenticate, 503 при недоступности Redis/PostgreSQL. - Конкурентную регистрацию одинакового username без дублей; тест проверяет фактические HTTP-коды и наличие одной строки в БД.
- Остановку Redis и PostgreSQL: 503 на readiness и на запросы с действующим токеном, без анонимного доступа; восстановление зависимостей в
finally, прежние данные и сессии сохранены.
Учебные упрощения:
- PostgreSQL запущен в Compose (том
mtuci2026lab2_postgres-data) и общается с API по внутреннему имениpostgres, порт наружу не вынесен. storage/memory.pyоставлен как референс lab1 и в приложении не используется.SESSION_STORE=postgres— fallback, оставлен для сравнения; в рабочем режиме —redis.
Что не входит в уровень 5:
- Горизонтальное масштабирование, балансировщик, HA (lab3+).
- Вложения и S3 (lab4+), фоновая обработка (lab5+), OTel/Grafana (lab6+), TLS/mTLS/OpenBao/Argon2id (lab7).