forked from mtusi2026/mtusi2026lab2
121 lines
6.6 KiB
Markdown
121 lines
6.6 KiB
Markdown
# Отчёт — лабораторная 2
|
||
|
||
- Автор, группа: Долда Кирилл, БПИ2301
|
||
- Целевая оценка: 5
|
||
- Commit/PR: TODO после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Docker Desktop + Python 3.13
|
||
|
||
Версии runtime/образов:
|
||
python:3.13-slim
|
||
postgres:16-alpine
|
||
redis:7-alpine
|
||
|
||
Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4
|
||
|
||
Сборка и запуск
|
||
docker compose up -d --build
|
||
|
||
Создание структры Alembic
|
||
docker exec -it mtusi_messenger_app alembic init alembic
|
||
|
||
Создаем файл миграции
|
||
docker exec -it -u root -w /app mtusi_messenger_app alembic revision --autogenerate -m "create tables"
|
||
|
||
Команда применения миграций Alembic
|
||
docker exec -it -w /app mtusi_messenger_app alembic upgrade head
|
||
|
||
Проверяем таблицы в БД
|
||
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "\dt"
|
||
|
||
Файл миграции для теста в 10к сообщений
|
||
docker exec -it -w /app mtusi_messenger_app alembic revision -m "seed explain test 10k"
|
||
|
||
Применяем миграцию
|
||
docker exec -it -w /app mtusi_messenger_app alembic upgrade head
|
||
|
||
Тестируем на 10к
|
||
make explain-10k
|
||
|
||
Создаем файл миграции для проверки EXPLAIN, Index (100к сообщений с разбиением на 3 таблицы 80к/10к/10к)
|
||
docker exec -it -w /app mtusi_messenger_app alembic revision -m "seed load test data"
|
||
|
||
Применяем миграцию
|
||
docker exec -it -w /app mtusi_messenger_app alembic upgrade head
|
||
|
||
Тестируем на составном индексе (сортировка по дате создания и айди, при поиске сообщений)
|
||
make explain-composite
|
||
|
||
Тестируем на обычном индексе (обычная сортировка чатов, без внутренней сортировки)
|
||
make explain-simple
|
||
|
||
Результаты выполнения в папке evidence
|
||
|
||
## Тесты
|
||
|
||
make test
|
||
pytest tests/test_security.py -v
|
||
make explain-10k
|
||
make explain-composite
|
||
make explain-simple
|
||
make backup-restore
|
||
|
||
## Безопасная остановка
|
||
|
||
Данные сохраняются в томах
|
||
|
||
docker compose down
|
||
|
||
Намеренное удаление контейнеров и томов
|
||
|
||
docker compose down -v
|
||
|
||
|
||
## Архитектура и решения
|
||
|
||
Схема: клиент -> FastApi -> PostgreSQL + Redis с сессиями TTL
|
||
Источник истины: PostgreSQL. Внешние ключи с ondelete="CASCADE", уникальность username
|
||
Транзакционные границы: создание чата выполняется атомарно flush + commit
|
||
Сессии: Redis, токен secrets.token_urlsafe(32) с TTL.
|
||
Инвалидация при логауте — удаление из Redis. Персистентность Redis через --appendonly yes.
|
||
Что изменено: X-User-Id убран, теперь Bearer, хранилище переведено на PostgreSQL, добавлены миграции, хеширование bcrypt, Redis для сессий, собственные тесты безопасности.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
|----------------------------------|----------------------------------------------|----------------------------| --- |
|
||
| Публичный smoke | make test | PASS: lab2 public API scenario |
|
||
| Проверка структуры | make check | PASS: offline skeleton structure, local refs and Python syntax; |
|
||
| TTL, logout, неправильный пароль | pytest tests/test_security.py -v | PASS 3/3 |
|
||
| EXPLAIN на 10 000 сообщений | make explain-10k | ~0.22 мс | evidence/explain_10k.txt |
|
||
| Сравнение двух индексов | make explain-composite / make explain-simple | 0.3ms / 8.2 ms |
|
||
| Бекап, восстановление | make backup-restore | pg_dump -> messenger_restore -> 200 008 записей в обеих базах | evidence/backup.sql |
|
||
|
||
|
||
## Эксперименты и отказы
|
||
|
||
При выборке 50 сообщений из чата с 10 000 сообщений PostgreSQL использует Index Scan по индексу ix_messages_chat_created_id, время выполнения составляет 0.22 мс.
|
||
|
||
Составной индекс выполнил поиск - за 0.3 мс без сортировки, а простой индекс - за 8.2 мс с полной сортировкой 80 000 строк, что доказывает преимущество составного индекса
|
||
|
||
Гипотеза:
|
||
|
||
Составной индекс (chat_id, created_at, id) быстрее простого (chat_id), потому что избавляет от сортировки.
|
||
|
||
Методика: Замер с составным индексом на 80к -> удаление составного, создание простого -> замер -> возврат обратно
|
||
Бэкап через pg_dump -> заливка в новую БД messenger_restore -> сверка количества.
|
||
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| Тип индекса | Время | Buffers | Сортировка |
|
||
| Составной | 0.308 мс | shared hit=1 read=3 | Без сортировки |
|
||
| Простой | 8.200 мс | shared hit=1063 read=72 | Производилась |
|
||
|
||
Вывод: Составной индекс быстрее в 27 раз.
|
||
|
||
Ограничения:
|
||
|
||
На синтетических данных разница между индексами видна только на большом чате 80к, на малых 10к нивелируется. |