Files

131 lines
11 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 2
- Автор, группа: **Гуреев Дмитрий, БПИ2301**
- Целевая оценка; выбранный трек 5: **5, Трек 1 — согласованность кэша (cache stampede / single-flight)**
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ:
- Spring Boot, Spring Data JPA, Flyway, PostgreSQL 16, Redis 7, Docker Compose
- spring-boot-starter-data-redis (Lettuce), spring-security-crypto (BCrypt)
- Документация Spring / PostgreSQL / Redis / k6 (при необходимости)
- Помощь ИИ: разбор контракта, AuthFilter/сессии, Redis-кэш, single-flight
## Запуск из чистого clone
**Версии:** Java 22 (Temurin), PostgreSQL 16-alpine, Redis 7-alpine, Docker Compose.
**Prerequisites:** Docker, Docker Compose, `make`, Python 3, `curl`.
```bash
git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab2
cd mtusi2026lab2
cd Lido
docker compose up -d --build
# дождаться healthy: db, redis, api
curl -sf http://localhost:8080/health/live || curl -sf http://localhost:8080/actuator/health
cd ..
make test BASE_URL=http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
Миграции Flyway применяются при старте API (`ddl-auto: validate`).
**Остановка (данные на volumes сохраняются):**
```bash
cd Lido && docker compose stop
```
**Намеренное удаление учебных данных (volumes):**
```bash
cd Lido && docker compose down -v
```
Не использовать `down -v` в `scripts/restart.sh` — только `restart` без удаления volumes.
## Архитектура и решения
**Процессы / хранилища**
| Компонент | Роль |
|-----------|------|
| API (Spring Boot) | REST `/api/v1/*`, AuthFilter (только Bearer), сессии |
| PostgreSQL | Источник истины: users, chats, chat_members, messages, sessions |
| Redis | Кэш активных сессий: `session:<token_hash> → userId`, TTL ≈ expires_at |
**Источник истины сессий:** PostgreSQL (`sessions`: hash токена, expires_at, revoked_at).
**Redis:** write-through при login, read-through при /me, DEL при logout; при miss/ошибке Redis — чтение из PG.
**Транзакционные границы:** `@Transactional` на createChat (chat + members), login (insert session), logout (revoke). Регистрация пользователя с обработкой unique violation → 409.
**Из Lab1:** контракт чатов/сообщений/users, X-Request-Id, курсор сообщений.
**В Lab2:** PostgreSQL + Flyway, пароль KDF (BCrypt), Basic → opaque Bearer, сессии в БД, Compose, Redis-кэш, keyset-пагинация сообщений по индексу `(chat_id, created_at DESC, id DESC)`.
**Конфиг:** `SESSION_TTL_SECONDS`, `SPRING_DATASOURCE_*`, `SPRING_DATA_REDIS_HOST/PORT` — соответствуют `.env.example` / compose environment (секреты не в git).
**Трек 1:** single-flight (`ConcurrentHashMap` + `synchronized` на tokenHash) в `resolveUserByBearer`, чтобы после холодного кэша не было cache stampede в PG.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| ---------------------------------------- | ----------------------------------------------------- | ---------------------------------------------------------- | -------------------------- |
| Публичный smoke Lab2 | `make test BASE_URL=http://localhost:8080` | PASS: lab2 public API scenario | вывод make test |
| Postgres + миграции + CRUD | Flyway at start; curl users/chats/messages | таблицы users/chats/messages/sessions; API 2xx | логи Flyway, psql `\dt` |
| Auth: register, Basic, Bearer, logout | POST /users; POST /auth/sessions; GET /me; DELETE ... | 201 session; me 200; logout 204; повтор me 401 | curl -i |
| Compose + volumes | `docker compose up -d` | db, redis, api healthy | `docker compose ps` |
| Persistence hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: data and session preserved | вывод make; scripts/restart.sh |
| Redis кэш сессий | login → KEYS session:*; stop redis → login/me | ключи после login; без Redis 201/200, без token 401 | redis-cli, curl |
| Keyset + индекс сообщений | getMessage Pageable; EXPLAIN на ≥10k | Index Scan по idx_messages_chat_created_id | EXPLAIN в этом отчёте |
| Гонка username / rollback chat | параллельный POST /users; chat с несуществующим member | 201+409; чата-сироты нет | curl, psql count |
| Трек 1: stampede / single-flight | FLUSHDB + 30× GET /me; read-after-write; restart redis | см. раздел «Эксперименты» | lat_before/after, curl |
`scripts/restart.sh` перезапускает сервисы Compose в `Lido/` (`db`, `api`, `redis`) **без** `down -v`, ждёт готовности HTTP.
## Эксперименты и отказы
**Гипотеза (Трек 1):** после очистки Redis concurrent GET /me с одним Bearer вызывают stampede (много одинаковых SQL). Single-flight на tokenHash снижает число загрузок из PG. Latency хвоста может не упасть из‑за ожидания на lock.
**Стенд:** Docker Compose на локальной машине (API + PG + Redis на одном хосте). Ограничение: один инстанс API; in-memory locks не для кластера.
**Профиль:** 30 параллельных `curl` GET /users/me, один opaque Bearer; перед серией `redis-cli FLUSHDB`. Повторы: 1 серия до и 1 после деплоя single-flight.
**Latency (5 max time_total, секунды):**
| | max хвост |
|--|-----------|
| До single-flight | 0.052–0.062 |
| После | 0.106–0.118 |
Интерпретация: после защиты часть запросов сериализуется на lock при холодном кэше; целевая метрика stampede — число SQL, не p95. SQL-счётчик при необходимости снимается через `show-sql` / логи за окно нагрузки.
**Read-after-write:** POST /auth/sessions → сразу GET /users/me с новым token → **200** (user track1).
**Рестарт кэша:** `docker compose restart redis` → GET /me с тем же token → **200** (восстановление из PostgreSQL).
**Объём данных для индекса:** ≥10 000 сообщений в одном чате; EXPLAIN (ANALYZE, BUFFERS) — Index Scan по `idx_messages_chat_created_id`.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| ------------------------ | ------------------------------------ | -------------------------------------------------- | ------------------------------------------- |
| FLUSHDB + 30× /me | stampede без защиты | все запросы 200; см. latency до/после | кэш пуст; сессия в PG без потерь |
| Single-flight | меньше параллельных SQL на один hash | защита внедрена; latency хвоста выше (ожидание lock) | — |
| Login → сразу /me | read-after-write 200 | 200 | 0; данные не теряются |
| restart redis | /me 200 из PG | 200 | секунды на healthy Redis; сессии не теряются |
| stop redis | login/me через PG; без token 401 | 201/200/401; с коротким timeout без минутной задержки | —; SoT = PG |
| restart api+db (hook) | session и данные живы | PASS test-persistence | volumes сохранены |
| Неверный пароль | 401 + Basic WWW-Authenticate | 401 | — |
| Logout | 204, затем me 401 | 204 → 401 | сессия revoked в PG + DEL Redis |
**Ограничения измерения:** k6/curl и API на одной машине; без отдельного Prometheus; tokens в отчёт не включались.
## Ограничения и следующие шаги
**Выдерживается:** рестарт API/БД с volumes; рестарт/очистка Redis при живом PG; logout/expiry; concurrent register → 409; keyset по индексу.
**Не выдерживается / упрощения:** single-flight только в памяти одного JVM (не multi-instance); нет горизонтального шардирования; Redis down даёт краткий timeout на put/get (не zero-cost); нет полноценного HA PostgreSQL.
**Подтверждено:** persistence сессий в PG; кэш Redis с fallback; read-after-write; /me после restart Redis; smoke и test-persistence PASS.
**Гипотеза / на будущее:** явный счётчик SQL до/после stampede; distributed lock (Redis) для нескольких реплик API; вынос single-flight в отдельный модуль метрик.