# Отчёт — лабораторная 2 - Автор, группа: **Гуреев Дмитрий, БПИ2301** - Целевая оценка; выбранный трек 5: **5, Трек 1 — согласованность кэша (cache stampede / single-flight)** - Commit/PR: TODO после публикации - Использованные источники, библиотеки и помощь ИИ: - Spring Boot, Spring Data JPA, Flyway, PostgreSQL 16, Redis 7, Docker Compose - spring-boot-starter-data-redis (Lettuce), spring-security-crypto (BCrypt) - Документация Spring / PostgreSQL / Redis / k6 (при необходимости) - Помощь ИИ: разбор контракта, AuthFilter/сессии, Redis-кэш, single-flight ## Запуск из чистого clone **Версии:** Java 22 (Temurin), PostgreSQL 16-alpine, Redis 7-alpine, Docker Compose. **Prerequisites:** Docker, Docker Compose, `make`, Python 3, `curl`. ```bash git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab2 cd mtusi2026lab2 cd Lido docker compose up -d --build # дождаться healthy: db, redis, api curl -sf http://localhost:8080/health/live || curl -sf http://localhost:8080/actuator/health cd .. make test BASE_URL=http://localhost:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh ``` Миграции Flyway применяются при старте API (`ddl-auto: validate`). **Остановка (данные на volumes сохраняются):** ```bash cd Lido && docker compose stop ``` **Намеренное удаление учебных данных (volumes):** ```bash cd Lido && docker compose down -v ``` Не использовать `down -v` в `scripts/restart.sh` — только `restart` без удаления volumes. ## Архитектура и решения **Процессы / хранилища** | Компонент | Роль | |-----------|------| | API (Spring Boot) | REST `/api/v1/*`, AuthFilter (только Bearer), сессии | | PostgreSQL | Источник истины: users, chats, chat_members, messages, sessions | | Redis | Кэш активных сессий: `session: → userId`, TTL ≈ expires_at | **Источник истины сессий:** PostgreSQL (`sessions`: hash токена, expires_at, revoked_at). **Redis:** write-through при login, read-through при /me, DEL при logout; при miss/ошибке Redis — чтение из PG. **Транзакционные границы:** `@Transactional` на createChat (chat + members), login (insert session), logout (revoke). Регистрация пользователя с обработкой unique violation → 409. **Из Lab1:** контракт чатов/сообщений/users, X-Request-Id, курсор сообщений. **В Lab2:** PostgreSQL + Flyway, пароль KDF (BCrypt), Basic → opaque Bearer, сессии в БД, Compose, Redis-кэш, keyset-пагинация сообщений по индексу `(chat_id, created_at DESC, id DESC)`. **Конфиг:** `SESSION_TTL_SECONDS`, `SPRING_DATASOURCE_*`, `SPRING_DATA_REDIS_HOST/PORT` — соответствуют `.env.example` / compose environment (секреты не в git). **Трек 1:** single-flight (`ConcurrentHashMap` + `synchronized` на tokenHash) в `resolveUserByBearer`, чтобы после холодного кэша не было cache stampede в PG. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | ---------------------------------------- | ----------------------------------------------------- | ---------------------------------------------------------- | -------------------------- | | Публичный smoke Lab2 | `make test BASE_URL=http://localhost:8080` | PASS: lab2 public API scenario | вывод make test | | Postgres + миграции + CRUD | Flyway at start; curl users/chats/messages | таблицы users/chats/messages/sessions; API 2xx | логи Flyway, psql `\dt` | | Auth: register, Basic, Bearer, logout | POST /users; POST /auth/sessions; GET /me; DELETE ... | 201 session; me 200; logout 204; повтор me 401 | curl -i | | Compose + volumes | `docker compose up -d` | db, redis, api healthy | `docker compose ps` | | Persistence hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: data and session preserved | вывод make; scripts/restart.sh | | Redis кэш сессий | login → KEYS session:*; stop redis → login/me | ключи после login; без Redis 201/200, без token 401 | redis-cli, curl | | Keyset + индекс сообщений | getMessage Pageable; EXPLAIN на ≥10k | Index Scan по idx_messages_chat_created_id | EXPLAIN в этом отчёте | | Гонка username / rollback chat | параллельный POST /users; chat с несуществующим member | 201+409; чата-сироты нет | curl, psql count | | Трек 1: stampede / single-flight | FLUSHDB + 30× GET /me; read-after-write; restart redis | см. раздел «Эксперименты» | lat_before/after, curl | `scripts/restart.sh` перезапускает сервисы Compose в `Lido/` (`db`, `api`, `redis`) **без** `down -v`, ждёт готовности HTTP. ## Эксперименты и отказы **Гипотеза (Трек 1):** после очистки Redis concurrent GET /me с одним Bearer вызывают stampede (много одинаковых SQL). Single-flight на tokenHash снижает число загрузок из PG. Latency хвоста может не упасть из‑за ожидания на lock. **Стенд:** Docker Compose на локальной машине (API + PG + Redis на одном хосте). Ограничение: один инстанс API; in-memory locks не для кластера. **Профиль:** 30 параллельных `curl` GET /users/me, один opaque Bearer; перед серией `redis-cli FLUSHDB`. Повторы: 1 серия до и 1 после деплоя single-flight. **Latency (5 max time_total, секунды):** | | max хвост | |--|-----------| | До single-flight | 0.052–0.062 | | После | 0.106–0.118 | Интерпретация: после защиты часть запросов сериализуется на lock при холодном кэше; целевая метрика stampede — число SQL, не p95. SQL-счётчик при необходимости снимается через `show-sql` / логи за окно нагрузки. **Read-after-write:** POST /auth/sessions → сразу GET /users/me с новым token → **200** (user track1). **Рестарт кэша:** `docker compose restart redis` → GET /me с тем же token → **200** (восстановление из PostgreSQL). **Объём данных для индекса:** ≥10 000 сообщений в одном чате; EXPLAIN (ANALYZE, BUFFERS) — Index Scan по `idx_messages_chat_created_id`. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | ------------------------ | ------------------------------------ | -------------------------------------------------- | ------------------------------------------- | | FLUSHDB + 30× /me | stampede без защиты | все запросы 200; см. latency до/после | кэш пуст; сессия в PG без потерь | | Single-flight | меньше параллельных SQL на один hash | защита внедрена; latency хвоста выше (ожидание lock) | — | | Login → сразу /me | read-after-write 200 | 200 | 0; данные не теряются | | restart redis | /me 200 из PG | 200 | секунды на healthy Redis; сессии не теряются | | stop redis | login/me через PG; без token 401 | 201/200/401; с коротким timeout без минутной задержки | —; SoT = PG | | restart api+db (hook) | session и данные живы | PASS test-persistence | volumes сохранены | | Неверный пароль | 401 + Basic WWW-Authenticate | 401 | — | | Logout | 204, затем me 401 | 204 → 401 | сессия revoked в PG + DEL Redis | **Ограничения измерения:** k6/curl и API на одной машине; без отдельного Prometheus; tokens в отчёт не включались. ## Ограничения и следующие шаги **Выдерживается:** рестарт API/БД с volumes; рестарт/очистка Redis при живом PG; logout/expiry; concurrent register → 409; keyset по индексу. **Не выдерживается / упрощения:** single-flight только в памяти одного JVM (не multi-instance); нет горизонтального шардирования; Redis down даёт краткий timeout на put/get (не zero-cost); нет полноценного HA PostgreSQL. **Подтверждено:** persistence сессий в PG; кэш Redis с fallback; read-after-write; /me после restart Redis; smoke и test-persistence PASS. **Гипотеза / на будущее:** явный счётчик SQL до/после stampede; distributed lock (Redis) для нескольких реплик API; вынос single-flight в отдельный модуль метрик.