18 KiB
Отчёт — лабораторная работа № 2
Автор: Дугина Александра, БПИ2301
Дисциплина: Высоконагруженные приложения
Целевая оценка: 5; трек: 2 — планы запросов и восстановление данных
Запуск
Требуются Docker Desktop / Docker Compose с поддержкой up --wait и Python 3.9+ для публичных проверок. Приложение использует Python 3.11.16, PostgreSQL 16.8 и Redis 7.4. API доступен на 127.0.0.1:8080.
Создать локально secrets/postgres_password и secrets/database_url. Первый файл содержит пароль пользователя messenger, второй — строку подключения postgresql://messenger:<PASSWORD>@postgres:5432/messenger с тем же паролем. Файлы исключены из Git и Docker build context. Не публиковать их содержимое.
docker compose up -d --build --wait
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make check
make validate PYTHON=.venv/bin/python
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
Миграция db/migrations/001_initial.sql автоматически применяется при инициализации пустого PostgreSQL volume. На существующем volume init-скрипты автоматически не повторяются; повторное применение текущей миграции вручную безопасно:
docker compose exec -T postgres psql -v ON_ERROR_STOP=1 -U messenger -d messenger < db/migrations/001_initial.sql
Остановка с сохранением данных: docker compose stop. Hook scripts/restart.sh перезапускает PostgreSQL, Redis и API, ждёт готовности сервисов и сохраняет именованные volumes.
Схема, транзакции и аутентификация
PostgreSQL — источник истины. Таблицы: users, chats, chat_members, messages, sessions. UUID — первичные ключи; username и хеш токена уникальны; членство имеет составной PK (chat_id, user_id). Внешние ключи исключают ссылки на отсутствующие сущности. Ограничения проверяют username и непустые поля. Индексы: история (chat_id, created_at, id), членство по user_id, expiry сессий. Отдельный индекс chat_id исследуется в эксперименте; приложению достаточно составного индекса.
Создание чата и всех участников выполняется в одной транзакции; ошибка вставки участника откатывает также чат. Отдельный тест принудительно вызывает ошибку после записи первого участника и проверяет отсутствие обеих записей. Регистрация опирается на UNIQUE username; гонка десяти запросов даёт один 201 и девять 409. Создание сообщения проверяет членство внутри INSERT. Успешный ответ формируется после выхода из контекста соединения и COMMIT.
SQL-запросы параметризованы; PostgreSQL pool: 1–10 соединений, ожидание 5 с, connect timeout 5 с, statement timeout 5 с. Потеря PostgreSQL обрабатывается HTTP 503, включая защищённые запросы и readiness. Эти ограничения не обеспечивают автоматический failover.
История использует keyset-пагинацию по (created_at, id), запрашивает limit + 1 строк. Для последующих страниц условие курсора включается отдельной формой SQL без nullable OR: это позволяет использовать range scan даже при generic prepared plan. Значения курсора остаются параметрами. В финальном тесте после 80 000 сообщений generic plan использует Index Cond по chat_id и курсору: 51 строка, 5 буферов, 0,054 мс. План сохранён в evidence/pagination_plan.txt.
Пароли хешируются Argon2id (time_cost=3, memory_cost=65536 KiB, parallelism=4). Basic применяется к созданию сессии; бизнес-запросы требуют Bearer. В PostgreSQL хранится SHA-256 случайного opaque токена, срок действия и признак отзыва. Неверный пароль, отозванный, просроченный, не-ASCII и синтаксически неверный токен дают 401. X-User-Id полномочий не предоставляет.
Redis кеширует профиль по хешу токена, TTL ограничен оставшимся временем сессии. Перед каждым обращением к кешу проверяются expiry и отзыв в PostgreSQL. Cache hit позволяет пропустить отдельное чтение профиля из users, но не проверку сессии. Logout сначала отзывает сессию в БД, затем удаляет кеш; недоступность Redis не отменяет отзыв. Профили через API не изменяются. После рестарта/потери кеша он заполняется повторно из PostgreSQL. Redis использует AOF и volume, однако сохранность сессий обеспечивается PostgreSQL. Проверка отказа подтверждает наличие ключа с TTL, чтение и запись через БД без Redis, logout и отклонение старого токена после возврата кеша.
Проверки и соответствие критериям
Результаты финального аудита от 30.10.2026 сохранены в evidence/audit_results.json; там указаны команды, коды завершения и вывод. Публичные тесты и требования преподавателя не изменялись. Проверки добавляют синтетические записи, не удаляют существующие данные.
| Уровень | Требования и доказательства |
|---|---|
| 3 | PostgreSQL, PK/FK/UNIQUE, миграция с нуля и повторно; атомарное создание чата; KDF/Basic/Bearer/expiry/logout; smoke и persistence с прежней сессией; volumes и secrets исключены из Git |
| 4 | Redis с TTL и fallback; ограниченный pool и таймауты; параметризованный SQL; гонка username и реальный rollback; EXPLAIN на ≥100 тыс. сообщений; автоматические проверки TTL, logout, неверных credentials, отказов Redis и БД |
| 5, трек 2 | Неравномерные размеры чатов ≥100 тыс. сообщений; сравнение составного и одиночного индексов, измерение записи; backup и восстановление в новый volume, сверка количеств и выбранных сообщений; обсуждение ограничений и RPO/RTO |
Дополнительные проверки:
python3 scripts/check_auth.py
python3 scripts/check_advanced.py
python3 scripts/check_messenger.py
python3 scripts/check_redis_failure.py
python3 scripts/check_db_failure.py
python3 scripts/check_migrations.py
docker compose exec -T api python < scripts/check_transactions.py
# Отдельный API с TTL=2 с; основной API не перенастраивается:
docker compose -f compose.yaml -f compose.ttl.yaml up -d --build --wait api-ttl
python3 scripts/check_ttl.py
docker compose -f compose.yaml -f compose.ttl.yaml stop api-ttl
Сценарии отказов останавливают соответствующий сервис и восстанавливают его в finally. Запускать последовательно на локальном учебном стенде. scripts/check_messenger.py проверяет функциональность; сохранность после рестарта доказывает именно tests/resilience.py, а не название последнего шага messenger-теста.
Нагрузка HTTP
Сохранённый результат make load: 10 942 успешных запросов, 0 ошибок, 364,483 RPS, p50 10,341 мс, p95 16,404 мс, p99 21,772 мс. Источник: evidence/load_results.txt. Продолжительность 30 с (фактически 30,021), concurrency=4, closed-loop POST сообщений без автоматических повторов. Перцентили относятся только к успешным ответам.
Это ранее сохранённое измерение локального Docker Desktop стенда (MacBook Pro, Apple M1); после исправлений финального аудита нагрузка повторно не запускалась. Нет серии повторов, CPU/RAM и точного commit измерения. Closed-loop имеет coordinated omission и накладные расходы клиента, поэтому результат не является универсальным пределом производительности.
Планы чтения и стоимость записи
Гипотеза: составной индекс (chat_id, created_at, id) позволяет получить упорядоченную ограниченную страницу без сортировки и чтения всей истории. Генератор scripts/generate_100k.sql добавляет 90 000 и 10 000 сообщений двум существующим чатам; требует минимум два чата и при повторном запуске добавляет ещё данные. Сохранённый evidence/index_benchmark.txt подтверждает размеры крупнейших чатов 90 005 и 10 005 сообщений, плюс другие чаты. Поэтому порог ≥100 000 подтверждён независимо от общего счётчика.
Методика: на локальной БД выполнить ANALYZE, сравнить планы первой страницы с составным индексом и без него при наличии индекса только по chat_id. scripts/benchmark_indexes.sql показывает, что добавление одиночного индекса при сохранении составного не меняет выбор оптимизатора; scripts/compare_indexes.sql временно убирает составной индекс внутри откатываемой транзакции. Эксперименты блокируют таблицу при DDL, поэтому выполнять на учебном стенде без параллельной нагрузки.
docker compose exec -T postgres psql -v ON_ERROR_STOP=1 -U messenger -d messenger < scripts/benchmark_indexes.sql
docker compose exec -T postgres psql -v ON_ERROR_STOP=1 -U messenger -d messenger < scripts/compare_indexes.sql
docker compose exec -T postgres psql -v ON_ERROR_STOP=1 -U messenger -d messenger < scripts/benchmark_writes.sql
docker compose exec -T postgres psql -v ON_ERROR_STOP=1 -U messenger -d messenger < scripts/explain_pagination.sql
| Условие | План | Execution Time | Буферы |
|---|---|---|---|
| Составной индекс | Index Scan | 0,048 мс | 1 hit + 4 read |
| Только одиночный вторичный индекс | Parallel Seq Scan + Sort | 13,525 мс | 182 hit + 1475 read |
Источник: evidence/index_comparison.txt. Выигрыш одного измерения около 282 раз; выбор seq scan при наличии одиночного индекса относится к данной селективности. evidence/index_sizes.txt: составной индекс 8552 kB, одиночный 912 kB, PK 4608 kB. Это размеры в момент прежнего измерения, они изменяются при новых записях.
Гипотеза записи: поддержка вторичных индексов увеличивает стоимость INSERT. Сохранённый evidence/write_benchmark.txt: 10 000 вставок без двух вторичных индексов 88,932 мс, с ними 107,873 мс (+21,3%). PK и проверки FK остаются в обеих конфигурациях; вставки выполняются в транзакциях с ROLLBACK. Для воспроизведения конфигурации с двумя вторичными индексами скрипт временно создаёт также idx_messages_chat_id_only внутри откатываемой транзакции. Результаты SQL INSERT нельзя напрямую сравнивать с HTTP RPS. Порядок прогонов и прогрев кеша не контролировались, статистической серии нет.
Повтор SQL-экспериментов при финальном аудите сохранён отдельно: evidence/index_benchmark_audit.txt, evidence/index_comparison_audit.txt, evidence/write_benchmark_audit.txt. Сравнение чтения: 0,048 мс с составным индексом и 14,977 мс без него; запись 10 000 сообщений: 111,483 мс без вторичных индексов и 117,756 мс с ними (+5,6%). Различие с прежним +21,3% показывает изменчивость единичных измерений; оба прогона сохранены, результаты не усредняются. DDL и тестовые вставки откатились.
Backup → restore в отдельное хранилище
Повторяемая проверка: python3 scripts/check_backup_restore.py. Выполнять без параллельных писателей. Скрипт создаёт custom backup через pg_dump, запускает новый PostgreSQL 16.8 в контейнере с уникальным именем и отдельным новым volume, восстанавливает через pg_restore --exit-on-error. Контейнер не имеет сети (--network none) и опубликованных портов. После проверки он останавливается, volume и backup сохраняются; рабочая БД и старые volumes не перезаписываются. Backup содержит данные и хеши паролей, хранится только локально в игнорируемом backups/ с правами 0600.
Результат аудита: 122 616 сообщений, совпали количества во всех пяти таблицах и UUID/MD5 текста пяти выбранных сообщений; исходная сводка до/после dump также совпала. pg_restore занял 0,437 с. Имена отдельного контейнера и volume, счётчики и обе выборки хешей сохранены в evidence/backup_restore.json. MD5 здесь используется для выборочной проверки текста, не для паролей или авторизации. Старые original_samples.txt / restored_samples.txt совпадают, но сами по себе не подтверждают прежнее время восстановления и общий счётчик; прежние неподтверждённые значения из отчёта исключены.
Измерено время команды восстановления, а не полный RTO: не включены запуск БД, ожидание готовности, переподключение API и сквозная проверка. RPO ручного snapshot определяется временем между backup и отказом; более поздние записи отсутствуют. Не реализованы регулярные backup, WAL/PITR, репликация и failover. Сверка количеств и пяти образцов не доказывает побайтовую идентичность всей БД.
Ограничения и помощь ИИ
Доказательства соответствуют локальному стенду и перечисленным сценариям; smoke сам по себе не выставляет оценку. Полный RTO, длительная нагрузка и статистическая серия не измерены. Сессии проверяются в PostgreSQL на каждом запросе, поэтому Redis не снимает всю нагрузку аутентификации. Проверки сохраняют синтетические данные; число записей после новых запусков растёт.
Использованы README, контракт и публичные проверки преподавателя. ChatGPT помогал с кодом, SQL-экспериментами, аудитом и отчётом. Запуски и ограничения перечислены явно; сохранённые показатели нагрузки не выдаются за новый прогон.