Files
mtusi2026lab2/REPORT.md
T
xenia01 491ff37b2e
Skeleton contracts / contracts (pull_request) Canceled after 0s
lab2: PostgreSQL, Redis sessions, Track 2 (Explain, Backup) and report
2026-10-19 20:54:45 +03:00

145 lines
9.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — Лабораторная 2 (PostgreSQL, сессии и Redis/Valkey)
- **Автор, группа:** Захарова Ксения Алексеевна, БВТ2302
- **Целевая оценка:** 5 (выбран Трек 2: План запроса и восстановление)
- **Commit/PR:** TODO после публикации
- **Использованные источники, библиотеки и помощь ИИ:**
- Официальная документация PostgreSQL (EXPLAIN, pg_dump).
- Документация Redis/Valkey (TTL, AOF).
- Стандартная библиотека Python 3.12, библиотеки `psycopg2`, `bcrypt`, `redis`.
## 1. Запуск из чистого clone
### 1.1. Требования
- Docker Desktop (с плагином Docker Compose).
- Python 3.9+ (только для запуска клиентских тестов, например, `tests/smoke.py`).
- Свободные порты: `8080` (API), `5432` (PostgreSQL), `6379` (Redis).
### 1.2. Инструкция по развертыванию
Все зависимости (БД, кэш, API) поднимаются из этого репозитория через Docker Compose. Наличие установленной локально БД не требуется.
```bash
git clone <URL_вашего_форка> mtusi-messenger-lab2
cd mtusi-messenger-lab2
cp .env.example .env
docker compose --env-file .env up -d --build
for i in $(seq 1 30); do
curl -fsS http://localhost:8080/health/ready && break
sleep 1
done
make test
```
### 1.3. Остановка и удаление данных
Безопасная остановка с сохранением данных:
```bash
docker compose down
```
Удаление volumes с БД и Redis:
```bash
docker compose down -v
```
---
## 2. Архитектура и решения
### 2.1. Схема процессов и хранилищ
- **API (Python 3.12):** стандартная библиотека `http.server`, `ThreadingHTTPServer`, пул `psycopg2.pool.ThreadedConnectionPool` до 20 соединений.
- **PostgreSQL 16 (источник истины):** таблицы `users`, `chats`, `chat_members`, `messages`; транзакции `BEGIN/COMMIT/ROLLBACK`.
- **Redis/Valkey 7 (сессии):** ключи `session:<token>` с TTL по умолчанию 3600 секунд; включено персистентное хранение.
### 2.2. Переход от Lab 1
- Удален `X-User-Id`; бизнес-запросы требуют `Authorization: Bearer <token>`.
- Добавлен `POST /api/v1/auth/sessions` с Basic Auth (`username:password` в Base64).
- Пароли хэшируются `bcrypt` с солью.
- Добавлена миграция `migrations/001_init.sql`, автоматически применяемая при инициализации PostgreSQL.
### 2.3. Переменные окружения
- `DB_HOST`, `DB_USER`, `DB_PASSWORD`, `DB_NAME` — подключение к PostgreSQL.
- `REDIS_HOST` — хост Redis.
- `SESSION_TTL_SECONDS` — TTL сессии.
---
## 3. Доказательства критериев
Все результаты сохранены в `evidence/` без токенов и персональных данных.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| :--- | :--- | :--- | :--- |
| Публичный smoke | `make test` | `PASS: lab2 public API scenario` | `evidence/smoke.txt` |
| Persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | После рестарта БД и Redis токен успешно используется | `evidence/01_persistence.txt` |
| Транзакционность создания чата | Негативный тест | При ошибке в `member_ids` выполняется `ROLLBACK` | `tests/test_extra.py` |
| Гонка регистрации | Два одновременных POST `/users` | Один `201 Created`, второй `409 Conflict` | `tests/test_extra.py` |
| Redis TTL | `valkey-cli keys "*"` / `ttl` | `session:*` существует, TTL уменьшается | `evidence/02_redis_ttl.txt` |
| План запроса | `EXPLAIN (ANALYZE, BUFFERS)` | `Index Scan` 0.093 ms вместо `Seq Scan` 29.7 ms | `evidence/03_explain_track2.txt` |
| Отказ Redis | `docker compose stop redis` | `500 Internal Error`, анонимный доступ не разрешается | `evidence/05_failure_analysis.txt` |
| **Трек 2: Backup/Restore** | `pg_dump` → `down -v` → `psql -f` | 100 000 строк до и после | `evidence/04_track2_backup.txt` |
---
## 4. Эксперименты и отказы
### 4.1. Исследование плана запроса и стоимости индекса
- **Гипотеза:** отсутствие индекса `(chat_id, created_at, id)` при росте истории сообщений приводит к деградации пагинации из-за полного сканирования таблицы.
- **Методика:** сгенерировано 100 000 сообщений через `generate_series`; использован `EXPLAIN (ANALYZE, BUFFERS)`.
- **С индексом:** `Index Scan`, **0.093 мс**, 5 страниц.
- **Без индекса:** `Seq Scan + Sort`, **29.751 мс**, 1241 страница.
- **Вывод:** индекс ускоряет пагинацию примерно в **320 раз**.
### 4.2. Резервное копирование и восстановление
- **Гипотеза:** после удаления Docker Volume данные теряются без резервной копии, но `pg_dump` позволяет восстановить исходное состояние.
- **Методика:** `pg_dump` → `docker compose down -v` → чистый контейнер → восстановление через `psql`.
- Строк до сноса: **100 000**.
- Строк после восстановления: **100 000**.
- **RTO:** ~5 секунд.
- **Потеря данных:** 0 сообщений; дамп создавался на остановленной или стабильной системе.
### 4.3. Анализ отказа Redis
| Воздействие | Что ожидаем | Что наблюдали | Восстановление |
| :--- | :--- | :--- | :--- |
| `docker compose stop redis` | API не пропускает запросы без валидной сессии | `500 Internal Error`, сессии недоступны | `docker compose start redis` → система восстановилась, потери данных нет |
---
## 5. Ограничения и следующие шаги
### 5.1. Какие отказы выдерживает система
- Перезапуск API, БД и Redis с сохранением именованных volumes — данные и сессии не теряются.
- Падение Redis — API не допускает пользователей без проверки токена.
- Нарушение уникальности `username` — `409 Conflict`.
- Ошибка транзакции создания чата — `ROLLBACK`, состояние остается консистентным.
### 5.2. Ограничения и учебные упрощения
- Docker Compose работает на одном Docker host и не обеспечивает отказоустойчивость при его потере.
- Пул соединений ограничен 20 соединениями.
- Трафик между API и БД не шифруется; TLS/mTLS планируется добавить позднее.
### 5.3. Ответы на вопросы на защите
1. **Что подтверждает COMMIT?**
`COMMIT` подтверждает успешное завершение транзакции. При `synchronous_commit = on` данные подтверждаются через WAL согласно настройкам PostgreSQL.
2. **Где хранятся сессии и что происходит после restart Redis?**
Сессии хранятся в Redis. Благодаря volume и включенному персистентному сохранению они восстанавливаются после рестарта контейнера. При `FLUSHALL` сессии исчезнут, и пользователи получат `401 Unauthorized`.
3. **Чем аутентификация отличается от доступа?**
Аутентификация определяет, кто пользователь — например, проверяет Bearer-токен. Авторизация определяет, какие ресурсы ему доступны — например, состоит ли он в `chat_members`. Валидный токен не дает права читать чужой чат.
4. **Почему hash пароля и checksum разные?**
`bcrypt` предназначен для безопасного хранения паролей: он медленный и использует соль. `SHA-256` — быстрый детерминированный checksum/hash для проверки целостности, поэтому для хранения паролей он не подходит.