Files
mtusi2026lab2/REPORT.md
T
2026-10-21 20:31:42 +03:00

11 KiB
Raw Blame History

Отчёт — лабораторная 2

  • Автор, группа: Гуреев Дмитрий, БПИ2301
  • Целевая оценка; выбранный трек 5: 5, Трек 1 — согласованность кэша (cache stampede / single-flight)
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ:
    • Spring Boot, Spring Data JPA, Flyway, PostgreSQL 16, Redis 7, Docker Compose
    • spring-boot-starter-data-redis (Lettuce), spring-security-crypto (BCrypt)
    • Документация Spring / PostgreSQL / Redis / k6 (при необходимости)
    • Помощь ИИ: разбор контракта, AuthFilter/сессии, Redis-кэш, single-flight

Запуск из чистого clone

Версии: Java 22 (Temurin), PostgreSQL 16-alpine, Redis 7-alpine, Docker Compose.

Prerequisites: Docker, Docker Compose, make, Python 3, curl.

git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab2
cd mtusi2026lab2
cd Lido
docker compose up -d --build
# дождаться healthy: db, redis, api
curl -sf http://localhost:8080/health/live || curl -sf http://localhost:8080/actuator/health

cd ..
make test BASE_URL=http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh

Миграции Flyway применяются при старте API (ddl-auto: validate).

Остановка (данные на volumes сохраняются):

cd Lido && docker compose stop

Намеренное удаление учебных данных (volumes):

cd Lido && docker compose down -v

Не использовать down -v в scripts/restart.sh — только restart без удаления volumes.

Архитектура и решения

Процессы / хранилища

Компонент Роль
API (Spring Boot) REST /api/v1/*, AuthFilter (только Bearer), сессии
PostgreSQL Источник истины: users, chats, chat_members, messages, sessions
Redis Кэш активных сессий: session:<token_hash> → userId, TTL ≈ expires_at

Источник истины сессий: PostgreSQL (sessions: hash токена, expires_at, revoked_at).
Redis: write-through при login, read-through при /me, DEL при logout; при miss/ошибке Redis — чтение из PG.

Транзакционные границы: @Transactional на createChat (chat + members), login (insert session), logout (revoke). Регистрация пользователя с обработкой unique violation → 409.

Из Lab1: контракт чатов/сообщений/users, X-Request-Id, курсор сообщений.
В Lab2: PostgreSQL + Flyway, пароль KDF (BCrypt), Basic → opaque Bearer, сессии в БД, Compose, Redis-кэш, keyset-пагинация сообщений по индексу (chat_id, created_at DESC, id DESC).

Конфиг: SESSION_TTL_SECONDS, SPRING_DATASOURCE_*, SPRING_DATA_REDIS_HOST/PORT — соответствуют .env.example / compose environment (секреты не в git).

Трек 1: single-flight (ConcurrentHashMap + synchronized на tokenHash) в resolveUserByBearer, чтобы после холодного кэша не было cache stampede в PG.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke Lab2 make test BASE_URL=http://localhost:8080 PASS: lab2 public API scenario вывод make test
Postgres + миграции + CRUD Flyway at start; curl users/chats/messages таблицы users/chats/messages/sessions; API 2xx логи Flyway, psql \dt
Auth: register, Basic, Bearer, logout POST /users; POST /auth/sessions; GET /me; DELETE ... 201 session; me 200; logout 204; повтор me 401 curl -i
Compose + volumes docker compose up -d db, redis, api healthy docker compose ps
Persistence hook make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: data and session preserved вывод make; scripts/restart.sh
Redis кэш сессий login → KEYS session:*; stop redis → login/me ключи после login; без Redis 201/200, без token 401 redis-cli, curl
Keyset + индекс сообщений getMessage Pageable; EXPLAIN на ≥10k Index Scan по idx_messages_chat_created_id EXPLAIN в этом отчёте
Гонка username / rollback chat параллельный POST /users; chat с несуществующим member 201+409; чата-сироты нет curl, psql count
Трек 1: stampede / single-flight FLUSHDB + 30× GET /me; read-after-write; restart redis см. раздел «Эксперименты» lat_before/after, curl

scripts/restart.sh перезапускает сервисы Compose в Lido/ (db, api, redis) без down -v, ждёт готовности HTTP.

Эксперименты и отказы

Гипотеза (Трек 1): после очистки Redis concurrent GET /me с одним Bearer вызывают stampede (много одинаковых SQL). Single-flight на tokenHash снижает число загрузок из PG. Latency хвоста может не упасть из‑за ожидания на lock.

Стенд: Docker Compose на локальной машине (API + PG + Redis на одном хосте). Ограничение: один инстанс API; in-memory locks не для кластера.

Профиль: 30 параллельных curl GET /users/me, один opaque Bearer; перед серией redis-cli FLUSHDB. Повторы: 1 серия до и 1 после деплоя single-flight.

Latency (5 max time_total, секунды):

max хвост
До single-flight 0.052–0.062
После 0.106–0.118

Интерпретация: после защиты часть запросов сериализуется на lock при холодном кэше; целевая метрика stampede — число SQL, не p95. SQL-счётчик при необходимости снимается через show-sql / логи за окно нагрузки.

Read-after-write: POST /auth/sessions → сразу GET /users/me с новым token → 200 (user track1).

Рестарт кэша: docker compose restart redis → GET /me с тем же token → 200 (восстановление из PostgreSQL).

Объём данных для индекса: ≥10 000 сообщений в одном чате; EXPLAIN (ANALYZE, BUFFERS) — Index Scan по idx_messages_chat_created_id.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
FLUSHDB + 30× /me stampede без защиты все запросы 200; см. latency до/после кэш пуст; сессия в PG без потерь
Single-flight меньше параллельных SQL на один hash защита внедрена; latency хвоста выше (ожидание lock) —
Login → сразу /me read-after-write 200 200 0; данные не теряются
restart redis /me 200 из PG 200 секунды на healthy Redis; сессии не теряются
stop redis login/me через PG; без token 401 201/200/401; с коротким timeout без минутной задержки —; SoT = PG
restart api+db (hook) session и данные живы PASS test-persistence volumes сохранены
Неверный пароль 401 + Basic WWW-Authenticate 401 —
Logout 204, затем me 401 204 → 401 сессия revoked в PG + DEL Redis

Ограничения измерения: k6/curl и API на одной машине; без отдельного Prometheus; tokens в отчёт не включались.

Ограничения и следующие шаги

Выдерживается: рестарт API/БД с volumes; рестарт/очистка Redis при живом PG; logout/expiry; concurrent register → 409; keyset по индексу.

Не выдерживается / упрощения: single-flight только в памяти одного JVM (не multi-instance); нет горизонтального шардирования; Redis down даёт краткий timeout на put/get (не zero-cost); нет полноценного HA PostgreSQL.

Подтверждено: persistence сессий в PG; кэш Redis с fallback; read-after-write; /me после restart Redis; smoke и test-persistence PASS.

Гипотеза / на будущее: явный счётчик SQL до/после stampede; distributed lock (Redis) для нескольких реплик API; вынос single-flight в отдельный модуль метрик.