# Отчёт — Лабораторная 2 (PostgreSQL, сессии и Redis/Valkey) - **Автор, группа:** Захарова Ксения Алексеевна, БВТ2302 - **Целевая оценка:** 5 (выбран Трек 2: План запроса и восстановление) - **Commit/PR:** TODO после публикации - **Использованные источники, библиотеки и помощь ИИ:** - Официальная документация PostgreSQL (EXPLAIN, pg_dump). - Документация Redis/Valkey (TTL, AOF). - Стандартная библиотека Python 3.12, библиотеки `psycopg2`, `bcrypt`, `redis`. ## 1. Запуск из чистого clone ### 1.1. Требования - Docker Desktop (с плагином Docker Compose). - Python 3.9+ (только для запуска клиентских тестов, например, `tests/smoke.py`). - Свободные порты: `8080` (API), `5432` (PostgreSQL), `6379` (Redis). ### 1.2. Инструкция по развертыванию Все зависимости (БД, кэш, API) поднимаются из этого репозитория через Docker Compose. Наличие установленной локально БД не требуется. ```bash git clone mtusi-messenger-lab2 cd mtusi-messenger-lab2 cp .env.example .env docker compose --env-file .env up -d --build for i in $(seq 1 30); do curl -fsS http://localhost:8080/health/ready && break sleep 1 done make test ``` ### 1.3. Остановка и удаление данных Безопасная остановка с сохранением данных: ```bash docker compose down ``` Удаление volumes с БД и Redis: ```bash docker compose down -v ``` --- ## 2. Архитектура и решения ### 2.1. Схема процессов и хранилищ - **API (Python 3.12):** стандартная библиотека `http.server`, `ThreadingHTTPServer`, пул `psycopg2.pool.ThreadedConnectionPool` до 20 соединений. - **PostgreSQL 16 (источник истины):** таблицы `users`, `chats`, `chat_members`, `messages`; транзакции `BEGIN/COMMIT/ROLLBACK`. - **Redis/Valkey 7 (сессии):** ключи `session:` с TTL по умолчанию 3600 секунд; включено персистентное хранение. ### 2.2. Переход от Lab 1 - Удален `X-User-Id`; бизнес-запросы требуют `Authorization: Bearer `. - Добавлен `POST /api/v1/auth/sessions` с Basic Auth (`username:password` в Base64). - Пароли хэшируются `bcrypt` с солью. - Добавлена миграция `migrations/001_init.sql`, автоматически применяемая при инициализации PostgreSQL. ### 2.3. Переменные окружения - `DB_HOST`, `DB_USER`, `DB_PASSWORD`, `DB_NAME` — подключение к PostgreSQL. - `REDIS_HOST` — хост Redis. - `SESSION_TTL_SECONDS` — TTL сессии. --- ## 3. Доказательства критериев Все результаты сохранены в `evidence/` без токенов и персональных данных. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | :--- | :--- | :--- | :--- | | Публичный smoke | `make test` | `PASS: lab2 public API scenario` | `evidence/smoke.txt` | | Persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | После рестарта БД и Redis токен успешно используется | `evidence/01_persistence.txt` | | Транзакционность создания чата | Негативный тест | При ошибке в `member_ids` выполняется `ROLLBACK` | `tests/test_extra.py` | | Гонка регистрации | Два одновременных POST `/users` | Один `201 Created`, второй `409 Conflict` | `tests/test_extra.py` | | Redis TTL | `valkey-cli keys "*"` / `ttl` | `session:*` существует, TTL уменьшается | `evidence/02_redis_ttl.txt` | | План запроса | `EXPLAIN (ANALYZE, BUFFERS)` | `Index Scan` 0.093 ms вместо `Seq Scan` 29.7 ms | `evidence/03_explain_track2.txt` | | Отказ Redis | `docker compose stop redis` | `500 Internal Error`, анонимный доступ не разрешается | `evidence/05_failure_analysis.txt` | | **Трек 2: Backup/Restore** | `pg_dump` → `down -v` → `psql -f` | 100 000 строк до и после | `evidence/04_track2_backup.txt` | --- ## 4. Эксперименты и отказы ### 4.1. Исследование плана запроса и стоимости индекса - **Гипотеза:** отсутствие индекса `(chat_id, created_at, id)` при росте истории сообщений приводит к деградации пагинации из-за полного сканирования таблицы. - **Методика:** сгенерировано 100 000 сообщений через `generate_series`; использован `EXPLAIN (ANALYZE, BUFFERS)`. - **С индексом:** `Index Scan`, **0.093 мс**, 5 страниц. - **Без индекса:** `Seq Scan + Sort`, **29.751 мс**, 1241 страница. - **Вывод:** индекс ускоряет пагинацию примерно в **320 раз**. ### 4.2. Резервное копирование и восстановление - **Гипотеза:** после удаления Docker Volume данные теряются без резервной копии, но `pg_dump` позволяет восстановить исходное состояние. - **Методика:** `pg_dump` → `docker compose down -v` → чистый контейнер → восстановление через `psql`. - Строк до сноса: **100 000**. - Строк после восстановления: **100 000**. - **RTO:** ~5 секунд. - **Потеря данных:** 0 сообщений; дамп создавался на остановленной или стабильной системе. ### 4.3. Анализ отказа Redis | Воздействие | Что ожидаем | Что наблюдали | Восстановление | | :--- | :--- | :--- | :--- | | `docker compose stop redis` | API не пропускает запросы без валидной сессии | `500 Internal Error`, сессии недоступны | `docker compose start redis` → система восстановилась, потери данных нет | --- ## 5. Ограничения и следующие шаги ### 5.1. Какие отказы выдерживает система - Перезапуск API, БД и Redis с сохранением именованных volumes — данные и сессии не теряются. - Падение Redis — API не допускает пользователей без проверки токена. - Нарушение уникальности `username` — `409 Conflict`. - Ошибка транзакции создания чата — `ROLLBACK`, состояние остается консистентным. ### 5.2. Ограничения и учебные упрощения - Docker Compose работает на одном Docker host и не обеспечивает отказоустойчивость при его потере. - Пул соединений ограничен 20 соединениями. - Трафик между API и БД не шифруется; TLS/mTLS планируется добавить позднее. ### 5.3. Ответы на вопросы на защите 1. **Что подтверждает COMMIT?** `COMMIT` подтверждает успешное завершение транзакции. При `synchronous_commit = on` данные подтверждаются через WAL согласно настройкам PostgreSQL. 2. **Где хранятся сессии и что происходит после restart Redis?** Сессии хранятся в Redis. Благодаря volume и включенному персистентному сохранению они восстанавливаются после рестарта контейнера. При `FLUSHALL` сессии исчезнут, и пользователи получат `401 Unauthorized`. 3. **Чем аутентификация отличается от доступа?** Аутентификация определяет, кто пользователь — например, проверяет Bearer-токен. Авторизация определяет, какие ресурсы ему доступны — например, состоит ли он в `chat_members`. Валидный токен не дает права читать чужой чат. 4. **Почему hash пароля и checksum разные?** `bcrypt` предназначен для безопасного хранения паролей: он медленный и использует соль. `SHA-256` — быстрый детерминированный checksum/hash для проверки целостности, поэтому для хранения паролей он не подходит.