11 KiB
Отчёт — лабораторная 2
- Автор, группа: Гуреев Дмитрий, БПИ2301
- Целевая оценка; выбранный трек 5: 5, Трек 1 — согласованность кэша (cache stampede / single-flight)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ:
- Spring Boot, Spring Data JPA, Flyway, PostgreSQL 16, Redis 7, Docker Compose
- spring-boot-starter-data-redis (Lettuce), spring-security-crypto (BCrypt)
- Документация Spring / PostgreSQL / Redis / k6 (при необходимости)
- Помощь ИИ: разбор контракта, AuthFilter/сессии, Redis-кэш, single-flight
Запуск из чистого clone
Версии: Java 22 (Temurin), PostgreSQL 16-alpine, Redis 7-alpine, Docker Compose.
Prerequisites: Docker, Docker Compose, make, Python 3, curl.
git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab2
cd mtusi2026lab2
cd Lido
docker compose up -d --build
# дождаться healthy: db, redis, api
curl -sf http://localhost:8080/health/live || curl -sf http://localhost:8080/actuator/health
cd ..
make test BASE_URL=http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
Миграции Flyway применяются при старте API (ddl-auto: validate).
Остановка (данные на volumes сохраняются):
cd Lido && docker compose stop
Намеренное удаление учебных данных (volumes):
cd Lido && docker compose down -v
Не использовать down -v в scripts/restart.sh — только restart без удаления volumes.
Архитектура и решения
Процессы / хранилища
| Компонент | Роль |
|---|---|
| API (Spring Boot) | REST /api/v1/*, AuthFilter (только Bearer), сессии |
| PostgreSQL | Источник истины: users, chats, chat_members, messages, sessions |
| Redis | Кэш активных сессий: session:<token_hash> → userId, TTL ≈ expires_at |
Источник истины сессий: PostgreSQL (sessions: hash токена, expires_at, revoked_at).
Redis: write-through при login, read-through при /me, DEL при logout; при miss/ошибке Redis — чтение из PG.
Транзакционные границы: @Transactional на createChat (chat + members), login (insert session), logout (revoke). Регистрация пользователя с обработкой unique violation → 409.
Из Lab1: контракт чатов/сообщений/users, X-Request-Id, курсор сообщений.
В Lab2: PostgreSQL + Flyway, пароль KDF (BCrypt), Basic → opaque Bearer, сессии в БД, Compose, Redis-кэш, keyset-пагинация сообщений по индексу (chat_id, created_at DESC, id DESC).
Конфиг: SESSION_TTL_SECONDS, SPRING_DATASOURCE_*, SPRING_DATA_REDIS_HOST/PORT — соответствуют .env.example / compose environment (секреты не в git).
Трек 1: single-flight (ConcurrentHashMap + synchronized на tokenHash) в resolveUserByBearer, чтобы после холодного кэша не было cache stampede в PG.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke Lab2 | make test BASE_URL=http://localhost:8080 |
PASS: lab2 public API scenario | вывод make test |
| Postgres + миграции + CRUD | Flyway at start; curl users/chats/messages | таблицы users/chats/messages/sessions; API 2xx | логи Flyway, psql \dt |
| Auth: register, Basic, Bearer, logout | POST /users; POST /auth/sessions; GET /me; DELETE ... | 201 session; me 200; logout 204; повтор me 401 | curl -i |
| Compose + volumes | docker compose up -d |
db, redis, api healthy | docker compose ps |
| Persistence hook | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: data and session preserved | вывод make; scripts/restart.sh |
| Redis кэш сессий | login → KEYS session:*; stop redis → login/me | ключи после login; без Redis 201/200, без token 401 | redis-cli, curl |
| Keyset + индекс сообщений | getMessage Pageable; EXPLAIN на ≥10k | Index Scan по idx_messages_chat_created_id | EXPLAIN в этом отчёте |
| Гонка username / rollback chat | параллельный POST /users; chat с несуществующим member | 201+409; чата-сироты нет | curl, psql count |
| Трек 1: stampede / single-flight | FLUSHDB + 30× GET /me; read-after-write; restart redis | см. раздел «Эксперименты» | lat_before/after, curl |
scripts/restart.sh перезапускает сервисы Compose в Lido/ (db, api, redis) без down -v, ждёт готовности HTTP.
Эксперименты и отказы
Гипотеза (Трек 1): после очистки Redis concurrent GET /me с одним Bearer вызывают stampede (много одинаковых SQL). Single-flight на tokenHash снижает число загрузок из PG. Latency хвоста может не упасть из‑за ожидания на lock.
Стенд: Docker Compose на локальной машине (API + PG + Redis на одном хосте). Ограничение: один инстанс API; in-memory locks не для кластера.
Профиль: 30 параллельных curl GET /users/me, один opaque Bearer; перед серией redis-cli FLUSHDB. Повторы: 1 серия до и 1 после деплоя single-flight.
Latency (5 max time_total, секунды):
| max хвост | |
|---|---|
| До single-flight | 0.052–0.062 |
| После | 0.106–0.118 |
Интерпретация: после защиты часть запросов сериализуется на lock при холодном кэше; целевая метрика stampede — число SQL, не p95. SQL-счётчик при необходимости снимается через show-sql / логи за окно нагрузки.
Read-after-write: POST /auth/sessions → сразу GET /users/me с новым token → 200 (user track1).
Рестарт кэша: docker compose restart redis → GET /me с тем же token → 200 (восстановление из PostgreSQL).
Объём данных для индекса: ≥10 000 сообщений в одном чате; EXPLAIN (ANALYZE, BUFFERS) — Index Scan по idx_messages_chat_created_id.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| FLUSHDB + 30× /me | stampede без защиты | все запросы 200; см. latency до/после | кэш пуст; сессия в PG без потерь |
| Single-flight | меньше параллельных SQL на один hash | защита внедрена; latency хвоста выше (ожидание lock) | — |
| Login → сразу /me | read-after-write 200 | 200 | 0; данные не теряются |
| restart redis | /me 200 из PG | 200 | секунды на healthy Redis; сессии не теряются |
| stop redis | login/me через PG; без token 401 | 201/200/401; с коротким timeout без минутной задержки | —; SoT = PG |
| restart api+db (hook) | session и данные живы | PASS test-persistence | volumes сохранены |
| Неверный пароль | 401 + Basic WWW-Authenticate | 401 | — |
| Logout | 204, затем me 401 | 204 → 401 | сессия revoked в PG + DEL Redis |
Ограничения измерения: k6/curl и API на одной машине; без отдельного Prometheus; tokens в отчёт не включались.
Ограничения и следующие шаги
Выдерживается: рестарт API/БД с volumes; рестарт/очистка Redis при живом PG; logout/expiry; concurrent register → 409; keyset по индексу.
Не выдерживается / упрощения: single-flight только в памяти одного JVM (не multi-instance); нет горизонтального шардирования; Redis down даёт краткий timeout на put/get (не zero-cost); нет полноценного HA PostgreSQL.
Подтверждено: persistence сессий в PG; кэш Redis с fallback; read-after-write; /me после restart Redis; smoke и test-persistence PASS.
Гипотеза / на будущее: явный счётчик SQL до/после stampede; distributed lock (Redis) для нескольких реплик API; вынос single-flight в отдельный модуль метрик.