From e8ce10fdd81cc483525981eedc9ce7733a377e9b Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 2 Oct 2026 15:24:11 +0300 Subject: [PATCH] =?UTF-8?q?=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8=D0=BB?= =?UTF-8?q?=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 84 ++++++++++++++++++++++++++++++++++++++++++++----------- 1 file changed, 67 insertions(+), 17 deletions(-) diff --git a/REPORT.md b/REPORT.md index 635a9d30..ff7c2cfb 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,7 +1,7 @@ # Отчёт — лабораторная 2 - Автор, группа: Васюкова Наталья, БВТ2303 -- Целевая оценка: 4 +- Целевая оценка: 5 - Commit/PR: solution/BVT2303-Vasyukova - Использованные источники, библиотеки и помощь ИИ: - Контракт: contracts/openapi.json, contracts/README.md @@ -50,7 +50,8 @@ curl.exe -s http://localhost:8080/health/ready ``` Ожидается: `{"status":"ok"}`. -Альтернативный локальный запуск без Docker: + +Альтернативный локальный запуск без Docker: python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload (в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`) @@ -65,6 +66,7 @@ | `make test` | `python tests/smoke.py --base-url http://localhost:8080` | | `make test-student` | `python student-tests/run_all.py --base-url http://localhost:8080` | | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | +| `make test-track2` | `python student-tests/test_track2.py --base-url http://localhost:8080` | Примечание про 2 action-скрипта: `scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` не исполняет `.sh` на Windows). @@ -74,7 +76,6 @@ docker compose stop # данные Redis и PostgreSQL (источник истины) сохраняются docker compose down # volumes Redis сохраняются docker compose down -v # ТОЛЬКО если осознанно стираем данные Redis -``` ## Архитектура и решения @@ -132,12 +133,12 @@ Keyset-пагинация (уровень 4): - Redis-ошибки в `sessions.py` обёрнуты в `RuntimeError("redis_unavailable: ...")`, `main.py` превращает в 503 `unavailable`. - `/health/ready` пингует PostgreSQL и, в режиме `redis`, Redis; при ошибке исключение вылетает наверх и превращается в 503 с телом `Error`. -Дерево проекта (изменения относительно lab1 отмечены `*`): +Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`): ``` mtusi2026lab2/ ├── compose.yaml * # API + Redis, PostgreSQL на хосте ├── Dockerfile -├── Makefile +├── Makefile * ├── README.md, COURSE.md, ... # скелет без изменений ├── requirements.txt * # + psycopg_pool, redis ├── .env.example * # + REDIS_URL, SESSION_STORE @@ -145,8 +146,8 @@ mtusi2026lab2/ │ ├── main.py * # точка входа uvicorn, init_pool/close_pool, 503-обработчики │ ├── api/ │ │ ├── health.py * # readiness пингует PostgreSQL + Redis -│ │ ├── auth.py # Авторизация -│ │ ├── security.py +│ │ ├── auth.py # Авторизация +│ │ ├── security.py │ │ ├── users.py │ │ ├── chats.py │ │ └── messages.py * # keyset-пагинация в SQL @@ -163,7 +164,9 @@ mtusi2026lab2/ │ ├── run_all.py │ ├── test_negative.py │ ├── test_concurrency.py -│ └── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down +│ ├── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down +│ ├── track2_seed.sql ** # сидирование >=100 000 сообщений +│ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO └── tests/ # публичные проверки, без изменений ``` @@ -180,6 +183,8 @@ mtusi2026lab2/ - `main.py`: `init_pool`/`close_pool`, обработчики 503. - `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API и Redis. - `student-tests/test_lab2_level4.py`: тесты уровня 4. +- `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5). +- `Makefile`: цель `test-track2`. Соответствие `.env.example` реальной конфигурации: - `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile. @@ -219,7 +224,11 @@ mtusi2026lab2/ | Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** | | Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** | | Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** | -| Выбранный трек 5 | не заявлен | — | — | — | +| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 160 001 сообщение, распределение 61818/54545/18182/…/1 | evidence/lab2_track2_explain.md | **5** | +| Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** | +| Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** | +| Трек 5. Трек 2: backup → restore → сверка | тот же скрипт (шаг 4) | COUNT, распределение по чатам и 100 случайных сообщений совпадают | evidence/lab2_track2_restore.txt | **5** | +| Трек 5. Трек 2: границы потери данных (RPO) | тот же скрипт (шаг 5) | сообщение, записанное после старта дампа, в restore отсутствует | evidence/lab2_track2_rpo.txt | **5** | ## Эксперименты и отказы @@ -236,7 +245,54 @@ Hardware и версии: | Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — | | SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — | -Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. +Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. Для Трека 2 использован отдельный эксперимент (см. ниже). + +## Трек 5. Трек 2. План запроса и восстановление + +**Гипотеза.** Индекс `(chat_id, created_at, id)` должен ускорять keyset-запрос истории и убирать сортировку; наивный `(chat_id)` потребует сортировки; без индекса — полный скан. Ускорение чтения достигается ценой более медленной записи и роста размера индекса. `pg_dump` даёт снапшот на момент старта, поэтому часть свежих сообщений в restore не попадёт (RPO > 0). + +**Методика.** Скрипт `student-tests/test_track2.py` (шаги): +1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`); +2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~62k) и маленьком (~1) чате для трёх вариантов индексов; +3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы); +4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine`, сверяет COUNT, распределение по чатам и 100 случайных сообщений; +5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore. + +Запуск: `python student-tests/test_track2.py --base-url http://localhost:8080` (эквивалент: `make test-track2`). + +**Результаты.** + +План запроса: +- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате ~40 мс, прочитано ~2013 буферов. +- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате ~9 мс, 863 буфера. +- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате ~0.2 мс, 52 буфера. +- На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: индекс важен там, где строк много. + +Стоимость записи (10 000 INSERT): + +| Вариант | INSERT, с | Индекс | Таблица+индексы | +| --- | --- | --- | --- | +| no_index | 1.085 | 6896 kB | 24 MB | +| chat_only | 0.992 | 8880 kB | 27 MB | +| full | 0.977 | 19 MB | 38 MB | + +Вывод: индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint. + +Backup/restore: +- `pg_dump -Fc`: размер 5.2 MiB, время 2.88 с. +- `pg_restore` в новый контейнер: 1.39 с (RTO). +- Сверка: COUNT(*), распределение по чатам, 100 случайных сообщений — совпадают. + +RPO: +- Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует. +- `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу. + +**Ограничения эксперимента.** +- Один Docker-host, локальный PostgreSQL на хосте и одноразовый restore-контейнер; переносить абсолютные числа на другое железо нельзя. +- EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее. +- Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи). + +Полные планы — в `evidence/lab2_track2_explain.md`. Метрики и результаты — в `evidence/lab2_track2_write_cost.json`, `lab2_track2_restore.txt`, `lab2_track2_rpo.txt`. ## Ограничения и следующие шаги @@ -254,12 +310,6 @@ Hardware и версии: - `storage/memory.py` оставлен как референс lab1 и в приложении не используется. - `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`. -Что не входит в уровень 4: +Что не входит в уровень 5: - Горизонтальное масштабирование, балансировщик, HA (lab3+). - Вложения и S3 (lab4+), фоновая обработка (lab5+), OTel/Grafana (lab6+), TLS/mTLS/OpenBao/Argon2id (lab7). -- Трек 5 не заявлен. - -Следующие шаги (при заявке на 5): -1. Трек 1 «Согласованность кэша»: cache-aside поверх PostgreSQL с измерением SQL-запросов/latency до и после, защита от stampede, read-after-write. -2. Либо Трек 2 «План запроса и восстановление»: ≥100 000 сообщений, сравнение ≥2 индексов, backup → restore → сверка. -```