forked from mtusi2026/mtusi2026lab2
129 lines
11 KiB
Markdown
129 lines
11 KiB
Markdown
# Отчёт — лабораторная 2
|
||
|
||
- Автор, группа: Бондаренко Мария Максимовна, БПИ2302
|
||
- Целевая оценка: 4
|
||
|
||
## Команды запуска и тестов
|
||
|
||
1. Создание локального окружения и секретов (.env):
|
||
cp .env.example .env
|
||
|
||
2. Сборка и запуск сервисов:
|
||
docker compose --env-file .env up -d --build
|
||
|
||
3. Ожидание готовности:
|
||
Приложение будет доступно после того, как все контейнеры перейдут в состояние healthy.
|
||
|
||
4. Запуск публичных тестов:
|
||
Базовый smoke-тест (проверка соответствия OpenAPI)
|
||
python3 tests/smoke.py --base-url http://localhost:8080
|
||
Тест сохранности данных при перезапуске stack
|
||
python3 tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080
|
||
|
||
5. Остановка и очистка:
|
||
Безопасная остановка без удаления данных:
|
||
docker compose down
|
||
Полный сброс тестовых данных (удаление volumes):
|
||
docker compose down --volumes
|
||
|
||
|
||
## Архитектура и решения
|
||
|
||
Схема процессов и хранилищ
|
||
+-----------------------+
|
||
| FastAPI Application |
|
||
| (Container) |
|
||
+-----------+-----------+
|
||
|
|
||
+-------------------------+-------------------------+
|
||
| |
|
||
v v
|
||
+-------------------+ +-------------------+
|
||
| PostgreSQL | | Redis |
|
||
| (Container) | | (Container) |
|
||
| - Users | | - Sessions |
|
||
| - Chats | | (Key: |
|
||
| - Chat Members | | session:<token> |
|
||
| - Messages | | TTL: 3600s) |
|
||
+-------------------+ +-------------------+
|
||
|
||
## Источник истины и роль Redis
|
||
|
||
PostgreSQL -- реляционный источник истины для пользователей, структуры чатов, членства и текстов сообщений
|
||
Redis 7 -- хранилище оперативных сессий с авто-истечением по TTL. Сессии хранятся по ключу session:<token> со значением user_id. Для обеспечения сохранности сессий при перезапуске сервисов в compose.yaml включена RDB-персистентность (redis-server --save 60 1) и подключен persistent volume redisdata.
|
||
|
||
## Транзакционные границы и безопасность
|
||
|
||
Атомарность: Создание чатов и привязка участников выполняются в единой SQL-транзакции (conn.commit() при успехе, conn.rollback() при ошибке). Для предотвращения гонки при регистрации одинакового username используется обработка исключения psycopg2.errors.UniqueViolation с откатом транзакции (rollback).
|
||
Хеширование паролей: Использован KDF bcrypt с генерацией соли для предотвращения утечки незашифрованных паролей
|
||
Безопасные запросы: Все SQL-запросы параметризованы (используются кортежи %s), что исключает возможность SQL-инъекций
|
||
Миграции: Файл migrations/init.sql монтируется в /docker-entrypoint-initdb.d/init.sql контейнера PostgreSQL для чистой инициализации структуры БД при старте. Дополнительно init_db() в Python обеспечивает идемпотентный fallback. Таблица sessions была удалена из PostgreSQL, так как на оценку 4 источником истины для сессий является Redis
|
||
|
||
## Оптимизация пагинации сообщений
|
||
|
||
В запросе GET /api/v1/chats/{chat_id}/messages реализован курсорный подход на уровне SQL:
|
||
SELECT id, chat_id, sender_id, text, created_at FROM messages
|
||
WHERE chat_id = %s AND (created_at, id) > (%s, %s)
|
||
ORDER BY created_at ASC, id ASC LIMIT %s;
|
||
Пагинация опирается на составной индекс idx_messages_chat_pagination (chat_id, created_at, id), исключая необходимость полного сканирования таблицы
|
||
|
||
### Доказательство эффективности индекса (EXPLAIN ANALYZE)
|
||
Для проверки пагинации было сгенерировано 10 000 сообщений. Запрос второй страницы (с курсором) показывает, что используется Index Scan, база читает ровно 50 строк (LIMIT) и не тратит время на полную сортировку таблицы.
|
||
|
||
Проверка:
|
||
docker compose exec postgres psql -U postgres -d messenger
|
||
|
||
INSERT INTO users (id, username, display_name, password_hash, created_at)
|
||
VALUES ('11111111-1111-1111-1111-111111111111', 'testuser', 'Test', 'hash', NOW());
|
||
|
||
INSERT INTO chats (id, title, created_at)
|
||
VALUES ('22222222-2222-2222-2222-222222222222', 'Test Chat', NOW());
|
||
|
||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||
SELECT
|
||
gen_random_uuid(),
|
||
'22222222-2222-2222-2222-222222222222',
|
||
'11111111-1111-1111-1111-111111111111',
|
||
'Message ' || i,
|
||
NOW() + (i || ' seconds')::interval
|
||
FROM generate_series(1, 10000) AS i;
|
||
|
||
SET enable_bitmapscan = off;
|
||
|
||
Вывод в консоли:
|
||
Limit (cost=0.28..16.34 rows=3 width=572) (actual time=0.018..0.025 rows=50 loops=1)
|
||
Buffers: shared hit=3
|
||
-> Index Scan using idx_messages_chat_pagination on messages (cost=0.28..16.34 rows=3 width=572) (actual time=0.017..0.022 rows=50 loops=1)
|
||
Index Cond: ((chat_id = '22222222-2222-2222-2222-222222222222'::uuid) AND (ROW(created_at, id) > ROW('2026-11-05 13:00:00+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))
|
||
Buffers: shared hit=3
|
||
Planning:
|
||
Buffers: shared hit=22
|
||
Planning Time: 0.272 ms
|
||
Execution Time: 0.085 ms
|
||
(9 rows)
|
||
|
||
Вывод: время выполнения составило 0.085 мс, прочитано всего 3 страницы буферов, что доказывает отсутствие полного сканирования таблицы
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | python3 tests/smoke.py --base-url http://localhost:8080 | PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. | Логи терминала |
|
||
| Сохранение данных | python3 tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080 (Для сред Linux/Mac предусмотрен эквивалентный скрипт scripts/restart.sh) | PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. | scripts/restart.bat / restart.sh |
|
||
| Использование Redis для сессий | Проверка ключей через docker compose exec redis redis-cli keys "session:*" | Ключи сессий присутствуют в Redis с корректным TTL | app.py, compose.yaml |
|
||
| Изоляция чужих чатов | tests/smoke.py (запрос GET /api/v1/chats/{id} чужим пользователем) | Возвращается статус 404 not_found без раскрытия факта существования | app.py (get_chat) |
|
||
| Обработка ошибок валидации | Запрос с некорректными полями / незаполненными строками | Возвращается 400 invalid_request с заголовком X-Request-Id | app.py (validation_exception_handler) |
|
||
| Обработка недоступности Redis | Остановка контейнера redis (docker compose stop redis) | /health/ready возвращает 503, бизнес-эндпоинты не пускают анонимов | app.py (health_ready, get_current_user_from_token) |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| docker compose restart (в рамках test-persistence) | Сохранение пользователей, сообщений в Postgres и сессий в Redis. | Все запросы со старым Bearer-токеном продолжают успешно работать. | 0 сек потери данных, восстановление ~4-5 сек (время старта контейнеров) |
|
||
| Неверный пароль при входе | 401 Unauthorized с заголовком WWW-Authenticate: Basic ... | Возвращен 401 и корректный challenge header | Мгновенно (0 сек) |
|
||
| Отключение контейнера Redis | Приложение определяет падение зависимости на /health/ready и блокирует доступ с ошибкой 503 | GET /health/ready вернул 503 Database or Redis unavailable | Восстановление происходит автоматически при старте Redis |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
В текущей реализации соединение с PostgreSQL создается на каждый запрос (psycopg2.connect), а не через пул соединений. Для production следует использовать psycopg2.pool или ORM
|
||
Redis настроен с базовым RDB-снапшотом (раз в 60 секунд). При аппаратном сбое возможна потеря сессий, созданных за последнюю минуту |