forked from mtusi2026/mtusi2026lab2
131 lines
11 KiB
Markdown
131 lines
11 KiB
Markdown
# Отчёт — лабораторная 2
|
||
|
||
- Автор, группа: **Гуреев Дмитрий, БПИ2301**
|
||
- Целевая оценка; выбранный трек 5: **5, Трек 1 — согласованность кэша (cache stampede / single-flight)**
|
||
- Commit/PR: TODO после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ:
|
||
- Spring Boot, Spring Data JPA, Flyway, PostgreSQL 16, Redis 7, Docker Compose
|
||
- spring-boot-starter-data-redis (Lettuce), spring-security-crypto (BCrypt)
|
||
- Документация Spring / PostgreSQL / Redis / k6 (при необходимости)
|
||
- Помощь ИИ: разбор контракта, AuthFilter/сессии, Redis-кэш, single-flight
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Версии:** Java 22 (Temurin), PostgreSQL 16-alpine, Redis 7-alpine, Docker Compose.
|
||
|
||
**Prerequisites:** Docker, Docker Compose, `make`, Python 3, `curl`.
|
||
|
||
```bash
|
||
git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab2
|
||
cd mtusi2026lab2
|
||
cd Lido
|
||
docker compose up -d --build
|
||
# дождаться healthy: db, redis, api
|
||
curl -sf http://localhost:8080/health/live || curl -sf http://localhost:8080/actuator/health
|
||
|
||
cd ..
|
||
make test BASE_URL=http://localhost:8080
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
```
|
||
|
||
Миграции Flyway применяются при старте API (`ddl-auto: validate`).
|
||
|
||
**Остановка (данные на volumes сохраняются):**
|
||
```bash
|
||
cd Lido && docker compose stop
|
||
```
|
||
|
||
**Намеренное удаление учебных данных (volumes):**
|
||
```bash
|
||
cd Lido && docker compose down -v
|
||
```
|
||
Не использовать `down -v` в `scripts/restart.sh` — только `restart` без удаления volumes.
|
||
|
||
## Архитектура и решения
|
||
|
||
**Процессы / хранилища**
|
||
|
||
| Компонент | Роль |
|
||
|-----------|------|
|
||
| API (Spring Boot) | REST `/api/v1/*`, AuthFilter (только Bearer), сессии |
|
||
| PostgreSQL | Источник истины: users, chats, chat_members, messages, sessions |
|
||
| Redis | Кэш активных сессий: `session:<token_hash> → userId`, TTL ≈ expires_at |
|
||
|
||
**Источник истины сессий:** PostgreSQL (`sessions`: hash токена, expires_at, revoked_at).
|
||
**Redis:** write-through при login, read-through при /me, DEL при logout; при miss/ошибке Redis — чтение из PG.
|
||
|
||
**Транзакционные границы:** `@Transactional` на createChat (chat + members), login (insert session), logout (revoke). Регистрация пользователя с обработкой unique violation → 409.
|
||
|
||
**Из Lab1:** контракт чатов/сообщений/users, X-Request-Id, курсор сообщений.
|
||
**В Lab2:** PostgreSQL + Flyway, пароль KDF (BCrypt), Basic → opaque Bearer, сессии в БД, Compose, Redis-кэш, keyset-пагинация сообщений по индексу `(chat_id, created_at DESC, id DESC)`.
|
||
|
||
**Конфиг:** `SESSION_TTL_SECONDS`, `SPRING_DATASOURCE_*`, `SPRING_DATA_REDIS_HOST/PORT` — соответствуют `.env.example` / compose environment (секреты не в git).
|
||
|
||
**Трек 1:** single-flight (`ConcurrentHashMap` + `synchronized` на tokenHash) в `resolveUserByBearer`, чтобы после холодного кэша не было cache stampede в PG.
|
||
|
||
## Доказательства критериев
|
||
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| ---------------------------------------- | ----------------------------------------------------- | ---------------------------------------------------------- | -------------------------- |
|
||
| Публичный smoke Lab2 | `make test BASE_URL=http://localhost:8080` | PASS: lab2 public API scenario | вывод make test |
|
||
| Postgres + миграции + CRUD | Flyway at start; curl users/chats/messages | таблицы users/chats/messages/sessions; API 2xx | логи Flyway, psql `\dt` |
|
||
| Auth: register, Basic, Bearer, logout | POST /users; POST /auth/sessions; GET /me; DELETE ... | 201 session; me 200; logout 204; повтор me 401 | curl -i |
|
||
| Compose + volumes | `docker compose up -d` | db, redis, api healthy | `docker compose ps` |
|
||
| Persistence hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: data and session preserved | вывод make; scripts/restart.sh |
|
||
| Redis кэш сессий | login → KEYS session:*; stop redis → login/me | ключи после login; без Redis 201/200, без token 401 | redis-cli, curl |
|
||
| Keyset + индекс сообщений | getMessage Pageable; EXPLAIN на ≥10k | Index Scan по idx_messages_chat_created_id | EXPLAIN в этом отчёте |
|
||
| Гонка username / rollback chat | параллельный POST /users; chat с несуществующим member | 201+409; чата-сироты нет | curl, psql count |
|
||
| Трек 1: stampede / single-flight | FLUSHDB + 30× GET /me; read-after-write; restart redis | см. раздел «Эксперименты» | lat_before/after, curl |
|
||
|
||
|
||
`scripts/restart.sh` перезапускает сервисы Compose в `Lido/` (`db`, `api`, `redis`) **без** `down -v`, ждёт готовности HTTP.
|
||
|
||
## Эксперименты и отказы
|
||
|
||
**Гипотеза (Трек 1):** после очистки Redis concurrent GET /me с одним Bearer вызывают stampede (много одинаковых SQL). Single-flight на tokenHash снижает число загрузок из PG. Latency хвоста может не упасть из‑за ожидания на lock.
|
||
|
||
**Стенд:** Docker Compose на локальной машине (API + PG + Redis на одном хосте). Ограничение: один инстанс API; in-memory locks не для кластера.
|
||
|
||
**Профиль:** 30 параллельных `curl` GET /users/me, один opaque Bearer; перед серией `redis-cli FLUSHDB`. Повторы: 1 серия до и 1 после деплоя single-flight.
|
||
|
||
**Latency (5 max time_total, секунды):**
|
||
|
||
| | max хвост |
|
||
|--|-----------|
|
||
| До single-flight | 0.052–0.062 |
|
||
| После | 0.106–0.118 |
|
||
|
||
Интерпретация: после защиты часть запросов сериализуется на lock при холодном кэше; целевая метрика stampede — число SQL, не p95. SQL-счётчик при необходимости снимается через `show-sql` / логи за окно нагрузки.
|
||
|
||
**Read-after-write:** POST /auth/sessions → сразу GET /users/me с новым token → **200** (user track1).
|
||
|
||
**Рестарт кэша:** `docker compose restart redis` → GET /me с тем же token → **200** (восстановление из PostgreSQL).
|
||
|
||
**Объём данных для индекса:** ≥10 000 сообщений в одном чате; EXPLAIN (ANALYZE, BUFFERS) — Index Scan по `idx_messages_chat_created_id`.
|
||
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| ------------------------ | ------------------------------------ | -------------------------------------------------- | ------------------------------------------- |
|
||
| FLUSHDB + 30× /me | stampede без защиты | все запросы 200; см. latency до/после | кэш пуст; сессия в PG без потерь |
|
||
| Single-flight | меньше параллельных SQL на один hash | защита внедрена; latency хвоста выше (ожидание lock) | — |
|
||
| Login → сразу /me | read-after-write 200 | 200 | 0; данные не теряются |
|
||
| restart redis | /me 200 из PG | 200 | секунды на healthy Redis; сессии не теряются |
|
||
| stop redis | login/me через PG; без token 401 | 201/200/401; с коротким timeout без минутной задержки | —; SoT = PG |
|
||
| restart api+db (hook) | session и данные живы | PASS test-persistence | volumes сохранены |
|
||
| Неверный пароль | 401 + Basic WWW-Authenticate | 401 | — |
|
||
| Logout | 204, затем me 401 | 204 → 401 | сессия revoked в PG + DEL Redis |
|
||
|
||
|
||
**Ограничения измерения:** k6/curl и API на одной машине; без отдельного Prometheus; tokens в отчёт не включались.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
**Выдерживается:** рестарт API/БД с volumes; рестарт/очистка Redis при живом PG; logout/expiry; concurrent register → 409; keyset по индексу.
|
||
|
||
**Не выдерживается / упрощения:** single-flight только в памяти одного JVM (не multi-instance); нет горизонтального шардирования; Redis down даёт краткий timeout на put/get (не zero-cost); нет полноценного HA PostgreSQL.
|
||
|
||
**Подтверждено:** persistence сессий в PG; кэш Redis с fallback; read-after-write; /me после restart Redis; smoke и test-persistence PASS.
|
||
|
||
**Гипотеза / на будущее:** явный счётчик SQL до/после stampede; distributed lock (Redis) для нескольких реплик API; вынос single-flight в отдельный модуль метрик.
|