обновила отчет

This commit is contained in:
vasyukova
2026-10-02 15:24:11 +03:00
parent 8c5f5c66c7
commit e8ce10fdd8
+67 -17
View File
@@ -1,7 +1,7 @@
# Отчёт — лабораторная 2
- Автор, группа: Васюкова Наталья, БВТ2303
- Целевая оценка: 4
- Целевая оценка: 5
- Commit/PR: solution/BVT2303-Vasyukova
- Использованные источники, библиотеки и помощь ИИ:
- Контракт: contracts/openapi.json, contracts/README.md
@@ -50,7 +50,8 @@
curl.exe -s http://localhost:8080/health/ready
```
Ожидается: `{"status":"ok"}`.
Альтернативный локальный запуск без Docker:
Альтернативный локальный запуск без Docker:
python -m uvicorn src.app.main:app --host 0.0.0.0 --port 8080 --reload
(в `.env` при этом `DATABASE_URL=postgresql://user:password@localhost:5432/high_load_messenger`)
@@ -65,6 +66,7 @@
| `make test` | `python tests/smoke.py --base-url http://localhost:8080` |
| `make test-student` | `python student-tests/run_all.py --base-url http://localhost:8080` |
| `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` |
| `make test-track2` | `python student-tests/test_track2.py --base-url http://localhost:8080` |
Примечание про 2 action-скрипта:
`scripts/restart.sh` — обязательный артефакт для Linux/CI; `scripts/restart.bat` — Windows-эквивалент (`tests/resilience.py` запускает action-script напрямую через `subprocess.Popen` не исполняет `.sh` на Windows).
@@ -74,7 +76,6 @@
docker compose stop # данные Redis и PostgreSQL (источник истины) сохраняются
docker compose down # volumes Redis сохраняются
docker compose down -v # ТОЛЬКО если осознанно стираем данные Redis
```
## Архитектура и решения
@@ -132,12 +133,12 @@ Keyset-пагинация (уровень 4):
- Redis-ошибки в `sessions.py` обёрнуты в `RuntimeError("redis_unavailable: ...")`, `main.py` превращает в 503 `unavailable`.
- `/health/ready` пингует PostgreSQL и, в режиме `redis`, Redis; при ошибке исключение вылетает наверх и превращается в 503 с телом `Error`.
Дерево проекта (изменения относительно lab1 отмечены `*`):
Дерево проекта (изменения относительно lab1 отмечены `*`; трек 2 отмечен `**`):
```
mtusi2026lab2/
├── compose.yaml * # API + Redis, PostgreSQL на хосте
├── Dockerfile
├── Makefile
├── Makefile *
├── README.md, COURSE.md, ... # скелет без изменений
├── requirements.txt * # + psycopg_pool, redis
├── .env.example * # + REDIS_URL, SESSION_STORE
@@ -145,8 +146,8 @@ mtusi2026lab2/
│ ├── main.py * # точка входа uvicorn, init_pool/close_pool, 503-обработчики
│ ├── api/
│ │ ├── health.py * # readiness пингует PostgreSQL + Redis
│ │ ├── auth.py # Авторизация
│ │ ├── security.py
│ │ ├── auth.py # Авторизация
│ │ ├── security.py
│ │ ├── users.py
│ │ ├── chats.py
│ │ └── messages.py * # keyset-пагинация в SQL
@@ -163,7 +164,9 @@ mtusi2026lab2/
│ ├── run_all.py
│ ├── test_negative.py
│ ├── test_concurrency.py
│ └── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down
│ ├── test_lab2_level4.py * # конкурентная регистрация, expiry, EXPLAIN, Redis down
│ ├── track2_seed.sql ** # сидирование >=100 000 сообщений
│ └── test_track2.py ** # Трек 2: EXPLAIN, стоимость записи, backup/restore, RPO
└── tests/ # публичные проверки, без изменений
```
@@ -180,6 +183,8 @@ mtusi2026lab2/
- `main.py`: `init_pool`/`close_pool`, обработчики 503.
- `scripts/restart.sh`, `scripts/restart.bat`: перезапускают API и Redis.
- `student-tests/test_lab2_level4.py`: тесты уровня 4.
- `student-tests/track2_seed.sql`, `student-tests/test_track2.py`: трек 2 (уровень 5).
- `Makefile`: цель `test-track2`.
Соответствие `.env.example` реальной конфигурации:
- `APP_HOST`, `APP_PORT` — используются uvicorn/CMD в Dockerfile.
@@ -219,7 +224,11 @@ mtusi2026lab2/
| Logout и неверный пароль | `DELETE /auth/sessions/current`; неверный Basic | 204 → 401; неверный Basic → 401 с Basic-challenge | evidence/lab2/lab2_checks.txt | **3** |
| Недоступность Redis не даёт анонимный доступ | `test_redis_unavailable` (stop redis → ready 503) | `/health/ready` → 503 `unavailable`, Bearer не проходит | evidence/lab2/lab2_level4.txt | **4** |
| Недоступность PostgreSQL → 503 | обработчик `psycopg.OperationalError` в `main.py` | 503 `unavailable`, без внутренних деталей | src/app/main.py | **4** |
| Выбранный трек 5 | не заявлен | — | — | — |
| Трек 5. Трек 2: ≥100 000 сообщений с неравномерными чатами | `python student-tests/test_track2.py` (шаг 1) | 160 001 сообщение, распределение 61818/54545/18182/…/1 | evidence/lab2_track2_explain.md | **5** |
| Трек 5. Трек 2: сравнение ≥2 индексов на большом/маленьком чате | тот же скрипт (шаг 2), `EXPLAIN (ANALYZE, BUFFERS)` | без индекса — Seq Scan + Sort; `(chat_id)` — Bitmap + Sort; `(chat_id, created_at, id)` — Index Scan без Sort | evidence/lab2_track2_explain.md | **5** |
| Трек 5. Трек 2: стоимость записи | тот же скрипт (шаг 3), 10 000 INSERT на каждом варианте | см. `lab2_track2_write_cost.json` | evidence/lab2_track2_write_cost.json | **5** |
| Трек 5. Трек 2: backup → restore → сверка | тот же скрипт (шаг 4) | COUNT, распределение по чатам и 100 случайных сообщений совпадают | evidence/lab2_track2_restore.txt | **5** |
| Трек 5. Трек 2: границы потери данных (RPO) | тот же скрипт (шаг 5) | сообщение, записанное после старта дампа, в restore отсутствует | evidence/lab2_track2_rpo.txt | **5** |
## Эксперименты и отказы
@@ -236,7 +245,54 @@ Hardware и версии:
| Повторный `init_schema()` | Идемпотентно, без дублирования, таблицы уже существуют | ошибок нет, нет дублирования строк | — |
| SIGTERM (`docker stop -t 10`) | завершение ≤ 10 с | как в lab1: <1 с, `event=shutdown_complete` | — |
Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории.
Профиль нагрузки на lab2 не снимался: на уровне 3/4 нагрузочные измерения не требуются, EXPLAIN на ≥10 000 сообщениях подтверждает индекс запроса истории. Для Трека 2 использован отдельный эксперимент (см. ниже).
## Трек 5. Трек 2. План запроса и восстановление
**Гипотеза.** Индекс `(chat_id, created_at, id)` должен ускорять keyset-запрос истории и убирать сортировку; наивный `(chat_id)` потребует сортировки; без индекса — полный скан. Ускорение чтения достигается ценой более медленной записи и роста размера индекса. `pg_dump` даёт снапшот на момент старта, поэтому часть свежих сообщений в restore не попадёт (RPO > 0).
**Методика.** Скрипт `student-tests/test_track2.py` (шаги):
1. сидирует ≥100 000 сообщений с неравномерными чатами (`track2_seed.sql`);
2. снимает `EXPLAIN (ANALYZE, BUFFERS)` на большом (~62k) и маленьком (~1) чате для трёх вариантов индексов;
3. замеряет 10 000 INSERT на каждом варианте (время, размер индекса, общий размер таблицы);
4. делает `pg_dump -Fc`, восстанавливает в отдельный контейнер `postgres:18-alpine`, сверяет COUNT, распределение по чатам и 100 случайных сообщений;
5. пишет сообщение через API после старта `pg_dump` и проверяет, что его нет в restore.
Запуск: `python student-tests/test_track2.py --base-url http://localhost:8080` (эквивалент: `make test-track2`).
**Результаты.**
План запроса:
- Без индекса — `Parallel Seq Scan` + `Sort` (top-N heapsort), на большом чате ~40 мс, прочитано ~2013 буферов.
- `(chat_id)` — `Bitmap Index Scan` + `Sort`; на большом чате ~9 мс, 863 буфера.
- `(chat_id, created_at, id)` — `Index Scan` без `Sort`; на большом чате ~0.2 мс, 52 буфера.
- На маленьком чате разница между `(chat_id)` и полным индексом в пределах десятых долей мс: индекс важен там, где строк много.
Стоимость записи (10 000 INSERT):
| Вариант | INSERT, с | Индекс | Таблица+индексы |
| --- | --- | --- | --- |
| no_index | 1.085 | 6896 kB | 24 MB |
| chat_only | 0.992 | 8880 kB | 27 MB |
| full | 0.977 | 19 MB | 38 MB |
Вывод: индекс ускоряет чтение, но занимает больше диска; время вставки на таком объёме отличается слабо (в пределах ~10 %), потому что на запись влияет не только число индексов, но и WAL/checkpoint.
Backup/restore:
- `pg_dump -Fc`: размер 5.2 MiB, время 2.88 с.
- `pg_restore` в новый контейнер: 1.39 с (RTO).
- Сверка: COUNT(*), распределение по чатам, 100 случайных сообщений — совпадают.
RPO:
- Сообщение, отправленное через API после старта `pg_dump`, в restore отсутствует.
- `pg_dump` даёт логический snapshot на момент старта; всё, что записано после, в дамп не попадает. Чтобы RPO → 0, нужна потоковая репликация / WAL-архив — вне рамок трека, здесь только фиксируем границу.
**Ограничения эксперимента.**
- Один Docker-host, локальный PostgreSQL на хосте и одноразовый restore-контейнер; переносить абсолютные числа на другое железо нельзя.
- EXPLAIN снимался на «холодном» плане без прогрева кэша ОС; в реальной эксплуатации цифры будут стабильнее.
- Дамп включает все таблицы БД; сравниваем только то, что важно контракту (сообщения, чаты, пользователи).
Полные планы — в `evidence/lab2_track2_explain.md`. Метрики и результаты — в `evidence/lab2_track2_write_cost.json`, `lab2_track2_restore.txt`, `lab2_track2_rpo.txt`.
## Ограничения и следующие шаги
@@ -254,12 +310,6 @@ Hardware и версии:
- `storage/memory.py` оставлен как референс lab1 и в приложении не используется.
- `SESSION_STORE=postgres` — fallback, оставлен для сравнения; в рабочем режиме — `redis`.
Что не входит в уровень 4:
Что не входит в уровень 5:
- Горизонтальное масштабирование, балансировщик, HA (lab3+).
- Вложения и S3 (lab4+), фоновая обработка (lab5+), OTel/Grafana (lab6+), TLS/mTLS/OpenBao/Argon2id (lab7).
- Трек 5 не заявлен.
Следующие шаги (при заявке на 5):
1. Трек 1 «Согласованность кэша»: cache-aside поверх PostgreSQL с измерением SQL-запросов/latency до и после, защита от stampede, read-after-write.
2. Либо Трек 2 «План запроса и восстановление»: ≥100 000 сообщений, сравнение ≥2 индексов, backup → restore → сверка.
```