145 lines
9.4 KiB
Markdown
145 lines
9.4 KiB
Markdown
# Отчёт — Лабораторная 2 (PostgreSQL, сессии и Redis/Valkey)
|
||
|
||
- **Автор, группа:** Захарова Ксения Алексеевна, БВТ2302
|
||
- **Целевая оценка:** 5 (выбран Трек 2: План запроса и восстановление)
|
||
- **Commit/PR:** TODO после публикации
|
||
- **Использованные источники, библиотеки и помощь ИИ:**
|
||
- Официальная документация PostgreSQL (EXPLAIN, pg_dump).
|
||
- Документация Redis/Valkey (TTL, AOF).
|
||
- Стандартная библиотека Python 3.12, библиотеки `psycopg2`, `bcrypt`, `redis`.
|
||
## 1. Запуск из чистого clone
|
||
|
||
### 1.1. Требования
|
||
|
||
- Docker Desktop (с плагином Docker Compose).
|
||
- Python 3.9+ (только для запуска клиентских тестов, например, `tests/smoke.py`).
|
||
- Свободные порты: `8080` (API), `5432` (PostgreSQL), `6379` (Redis).
|
||
|
||
### 1.2. Инструкция по развертыванию
|
||
|
||
Все зависимости (БД, кэш, API) поднимаются из этого репозитория через Docker Compose. Наличие установленной локально БД не требуется.
|
||
|
||
```bash
|
||
git clone <URL_вашего_форка> mtusi-messenger-lab2
|
||
cd mtusi-messenger-lab2
|
||
cp .env.example .env
|
||
docker compose --env-file .env up -d --build
|
||
for i in $(seq 1 30); do
|
||
curl -fsS http://localhost:8080/health/ready && break
|
||
sleep 1
|
||
done
|
||
make test
|
||
```
|
||
|
||
### 1.3. Остановка и удаление данных
|
||
|
||
Безопасная остановка с сохранением данных:
|
||
|
||
```bash
|
||
docker compose down
|
||
```
|
||
|
||
Удаление volumes с БД и Redis:
|
||
|
||
```bash
|
||
docker compose down -v
|
||
```
|
||
|
||
---
|
||
|
||
## 2. Архитектура и решения
|
||
|
||
### 2.1. Схема процессов и хранилищ
|
||
|
||
- **API (Python 3.12):** стандартная библиотека `http.server`, `ThreadingHTTPServer`, пул `psycopg2.pool.ThreadedConnectionPool` до 20 соединений.
|
||
- **PostgreSQL 16 (источник истины):** таблицы `users`, `chats`, `chat_members`, `messages`; транзакции `BEGIN/COMMIT/ROLLBACK`.
|
||
- **Redis/Valkey 7 (сессии):** ключи `session:<token>` с TTL по умолчанию 3600 секунд; включено персистентное хранение.
|
||
|
||
### 2.2. Переход от Lab 1
|
||
|
||
- Удален `X-User-Id`; бизнес-запросы требуют `Authorization: Bearer <token>`.
|
||
- Добавлен `POST /api/v1/auth/sessions` с Basic Auth (`username:password` в Base64).
|
||
- Пароли хэшируются `bcrypt` с солью.
|
||
- Добавлена миграция `migrations/001_init.sql`, автоматически применяемая при инициализации PostgreSQL.
|
||
|
||
### 2.3. Переменные окружения
|
||
|
||
- `DB_HOST`, `DB_USER`, `DB_PASSWORD`, `DB_NAME` — подключение к PostgreSQL.
|
||
- `REDIS_HOST` — хост Redis.
|
||
- `SESSION_TTL_SECONDS` — TTL сессии.
|
||
|
||
---
|
||
|
||
## 3. Доказательства критериев
|
||
|
||
Все результаты сохранены в `evidence/` без токенов и персональных данных.
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| :--- | :--- | :--- | :--- |
|
||
| Публичный smoke | `make test` | `PASS: lab2 public API scenario` | `evidence/smoke.txt` |
|
||
| Persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | После рестарта БД и Redis токен успешно используется | `evidence/01_persistence.txt` |
|
||
| Транзакционность создания чата | Негативный тест | При ошибке в `member_ids` выполняется `ROLLBACK` | `tests/test_extra.py` |
|
||
| Гонка регистрации | Два одновременных POST `/users` | Один `201 Created`, второй `409 Conflict` | `tests/test_extra.py` |
|
||
| Redis TTL | `valkey-cli keys "*"` / `ttl` | `session:*` существует, TTL уменьшается | `evidence/02_redis_ttl.txt` |
|
||
| План запроса | `EXPLAIN (ANALYZE, BUFFERS)` | `Index Scan` 0.093 ms вместо `Seq Scan` 29.7 ms | `evidence/03_explain_track2.txt` |
|
||
| Отказ Redis | `docker compose stop redis` | `500 Internal Error`, анонимный доступ не разрешается | `evidence/05_failure_analysis.txt` |
|
||
| **Трек 2: Backup/Restore** | `pg_dump` → `down -v` → `psql -f` | 100 000 строк до и после | `evidence/04_track2_backup.txt` |
|
||
|
||
---
|
||
|
||
## 4. Эксперименты и отказы
|
||
|
||
### 4.1. Исследование плана запроса и стоимости индекса
|
||
|
||
- **Гипотеза:** отсутствие индекса `(chat_id, created_at, id)` при росте истории сообщений приводит к деградации пагинации из-за полного сканирования таблицы.
|
||
- **Методика:** сгенерировано 100 000 сообщений через `generate_series`; использован `EXPLAIN (ANALYZE, BUFFERS)`.
|
||
- **С индексом:** `Index Scan`, **0.093 мс**, 5 страниц.
|
||
- **Без индекса:** `Seq Scan + Sort`, **29.751 мс**, 1241 страница.
|
||
- **Вывод:** индекс ускоряет пагинацию примерно в **320 раз**.
|
||
|
||
### 4.2. Резервное копирование и восстановление
|
||
|
||
- **Гипотеза:** после удаления Docker Volume данные теряются без резервной копии, но `pg_dump` позволяет восстановить исходное состояние.
|
||
- **Методика:** `pg_dump` → `docker compose down -v` → чистый контейнер → восстановление через `psql`.
|
||
- Строк до сноса: **100 000**.
|
||
- Строк после восстановления: **100 000**.
|
||
- **RTO:** ~5 секунд.
|
||
- **Потеря данных:** 0 сообщений; дамп создавался на остановленной или стабильной системе.
|
||
|
||
### 4.3. Анализ отказа Redis
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление |
|
||
| :--- | :--- | :--- | :--- |
|
||
| `docker compose stop redis` | API не пропускает запросы без валидной сессии | `500 Internal Error`, сессии недоступны | `docker compose start redis` → система восстановилась, потери данных нет |
|
||
|
||
---
|
||
|
||
## 5. Ограничения и следующие шаги
|
||
|
||
### 5.1. Какие отказы выдерживает система
|
||
|
||
- Перезапуск API, БД и Redis с сохранением именованных volumes — данные и сессии не теряются.
|
||
- Падение Redis — API не допускает пользователей без проверки токена.
|
||
- Нарушение уникальности `username` — `409 Conflict`.
|
||
- Ошибка транзакции создания чата — `ROLLBACK`, состояние остается консистентным.
|
||
|
||
### 5.2. Ограничения и учебные упрощения
|
||
|
||
- Docker Compose работает на одном Docker host и не обеспечивает отказоустойчивость при его потере.
|
||
- Пул соединений ограничен 20 соединениями.
|
||
- Трафик между API и БД не шифруется; TLS/mTLS планируется добавить позднее.
|
||
|
||
### 5.3. Ответы на вопросы на защите
|
||
|
||
1. **Что подтверждает COMMIT?**
|
||
`COMMIT` подтверждает успешное завершение транзакции. При `synchronous_commit = on` данные подтверждаются через WAL согласно настройкам PostgreSQL.
|
||
|
||
2. **Где хранятся сессии и что происходит после restart Redis?**
|
||
Сессии хранятся в Redis. Благодаря volume и включенному персистентному сохранению они восстанавливаются после рестарта контейнера. При `FLUSHALL` сессии исчезнут, и пользователи получат `401 Unauthorized`.
|
||
|
||
3. **Чем аутентификация отличается от доступа?**
|
||
Аутентификация определяет, кто пользователь — например, проверяет Bearer-токен. Авторизация определяет, какие ресурсы ему доступны — например, состоит ли он в `chat_members`. Валидный токен не дает права читать чужой чат.
|
||
|
||
4. **Почему hash пароля и checksum разные?**
|
||
`bcrypt` предназначен для безопасного хранения паролей: он медленный и использует соль. `SHA-256` — быстрый детерминированный checksum/hash для проверки целостности, поэтому для хранения паролей он не подходит.
|