Files
mtusi2026lab2/REPORT.md
T
2026-11-06 13:11:04 +03:00

53 KiB
Raw Blame History

Отчёт — лабораторная 2: PostgreSQL, сессии и Redis

  • Автор: Поликарпов Даниил Александрович. Группа: БПИ2303.
  • Дата оформления: 6 ноября 2026 года.
  • Выбранный эксперимент уровня «5»: трек 1, cache stampede — одновременные промахи кэша.
  • Базовый commit: 9493763dc8ee29907a77026329e474974209b646. Реализация и эксперименты относятся к изменённому рабочему дереву поверх этого commit; сам commit не содержит всех описанных изменений. Ссылка на PR не предоставлена.
  • ChatGPT/Codex использовался для проверки функционала и подготовки отчёта. Версии библиотек закреплены в go.mod; источники и исходные результаты приведены ниже.

Цель работы — перенести пользователей, чаты, участников, сообщения и сессии в PostgreSQL, заменить идентификацию через X-User-Id аутентификацией и использовать Redis как необязательный кэш. Завершён эксперимент с защитой от повторных SQL-чтений при наплыве запросов. Полное выполнение всех требований уровней 3 и 4 имеющимися доказательствами не подтверждено; выполненный трек сам по себе не означает получение оценки «5».

1. Запуск из чистого clone

1.1. Предварительные условия и версии

Нужны Git, Docker Engine с Docker Compose v2, поддерживающим --wait, OpenSSL, Make и Python 3.9+. На Linux для приведённой настройки доступа к ключам нужна утилита setfacl и поддержка POSIX ACL файловой системой. Go на хосте нужен для локальной сборки; Docker собирает приложение самостоятельно.

Компонент Версия / образ
Язык Go go 1.27.0 в go.mod; сборка контейнера golang:1.27.2-alpine3.23
Runtime API alpine:3.23.6, пользователь 65532:65532
PostgreSQL postgres:17.11-alpine3.23
Redis redis:8.2.11-alpine3.22
HTTP-маршрутизация chi v5.5.0
Доступ к PostgreSQL / миграции pgx v5.11.0 / Tern v2.4.3
Redis / объединение загрузок go-redis v9.23.0 / x/sync v0.23.0

Команды этого раздела — инструкция воспроизведения. При оформлении отчёта они заново не выполнялись. Проверявшиеся ранее сборки и сценарии перечислены в разделе 4. Инструкция рассчитана на итоговое дерево исходников с описанными изменениями, а не только на базовый commit.

git clone https://gitea.privcloud.tech/mtusi2026/mtusi2026lab2.git
cd mtusi2026lab2

1.2. Локальное окружение

Следующая команда создаёт новый .env из примера, генерирует отдельные пароли PostgreSQL и Redis и включает миграции. Существующий .env не перезаписывается; пароли не выводятся. Выполнять из корня проекта:

umask 077
python3 - <<'PY'
from pathlib import Path
import re
import secrets

text = Path('.env.example').read_text()
values = {
    'POSTGRES_PASSWORD': secrets.token_urlsafe(32),
    'REDIS_PASSWORD': secrets.token_urlsafe(32),
    'POSTGRES_RUN_MIGRATIONS': 'true',
}
for key, value in values.items():
    text = re.sub(r'^' + key + r'=.*$', key + '=' + value, text, flags=re.MULTILINE)
with Path('.env').open('x') as stream:
    stream.write(text)
PY

В .env.example сохранились устаревшие комментарий об отсутствии Go-мигратора и значение POSTGRES_RUN_MIGRATIONS=false. В текущем коде мигратор реализован; без его включения пустая БД не получит схему. Для уже существующего .env оператор должен самостоятельно проверить пароли, адреса и установить POSTGRES_RUN_MIGRATIONS=true. Ссылка на infra/README.md в комментарии примера неактуальна: этого файла в текущем дереве нет.

Для описанного Compose адреса внутри сети — postgres:5432 и redis:6379; API слушает 0.0.0.0:8080, на хост опубликован только 127.0.0.1:8080. HOST_PORT меняет хостовый порт. APP_PORT следует оставить равным 8080: целевой порт публикации в Compose закреплён на 8080. PostgreSQL и Redis на хост не публикуются.

Пароли и ключи необходимо сохранять между перезапусками. Изменение пароля PostgreSQL в .env само по себе не меняет пароль роли в существующем volume.

1.3. RSA-ключи

На чистом clone создать пару ключей для подписи JWT. При повторном запуске существующие ключи нужно использовать повторно: их замена делает прежние подписанные сессии непригодными.

umask 077
make key-gen
chmod 600 certs/private_key.pem
chmod 644 certs/public_key.pem

Команда make key-gen генерирует RSA-ключ 2048 бит и публичную часть. Это ключи JWT, а не TLS-сертификат; локальный API работает по HTTP. Каталог certs монтируется только для чтения в /run/certs.

API работает от UID 65532. На Linux выдать этому UID доступ, сохраняя приватный ключ закрытым для остальных пользователей:

setfacl -m u:65532:rx certs
setfacl -m u:65532:r certs/private_key.pem certs/public_key.pem

На Docker Desktop отображение прав зависит от механизма файлового обмена. После сборки проверить чтение обоих файлов из контейнера командой ниже; ошибка требует настройки прав bind mount для UID 65532. Открывать приватный ключ всем пользователям через chmod 644 не требуется.

1.4. Сборка, миграции и готовность

docker compose --env-file .env config --quiet
docker compose --env-file .env build api
docker compose --env-file .env run --rm --no-deps --entrypoint sh api \
  -c 'test -r /run/certs/private_key.pem && test -r /run/certs/public_key.pem'
docker compose --env-file .env up -d --no-build --wait --wait-timeout 120
curl --fail --silent --show-error http://127.0.0.1:8080/health/live
curl --fail --silent --show-error http://127.0.0.1:8080/health/ready
docker compose --env-file .env ps -a

На старте API Tern применяет встроенные SQL-миграции и ведёт версию в таблице versions. Отдельный SQL-bootstrap контейнера PostgreSQL в текущем Compose не настроен. Ошибка миграции останавливает запуск API. При повторном запуске мигратор использует сохранённую версию; отдельный эксперимент чистого первого запуска и проверки отсутствия дублей в этом отчёте не заявлен.

Compose ожидает здоровый PostgreSQL перед запуском API. Redis является необязательной зависимостью по доступности: API не зависит от его healthcheck и продолжает запуск при ошибке стартового PING. При этом конфигурационные реквизиты Redis, включая пароль для Compose, всё равно должны быть заданы.

/health/live отражает жизнь HTTP-процесса. Реальный /health/ready проверяет флаг запущенного HTTP-сервера, а не соединение с PostgreSQL. Поэтому его 200 и статус Docker healthy не доказывают работоспособность обязательного пути БД при последующем отказе PostgreSQL.

Для диагностики использовать выборочные журналы; полный вывод конфигурации с секретами в отчёт не сохранять:

docker compose --env-file .env logs --tail 100 api

При нестандартном HOST_PORT заменить порт в curl и передать соответствующий BASE_URL проверкам.

1.5. Готовые проверки и остановка

Доступные команды проекта:

make check
make test BASE_URL=http://127.0.0.1:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8080

В tests/README.md описана методика. make test создаёт синтетические данные. Persistence использует scripts/restart.sh: он пересобирает API, останавливает его, пересоздаёт PostgreSQL и Redis с прежними volumes, затем пересоздаёт API и ждёт healthchecks. Для выполнения hook нужен executable bit. Сохранённых результатов этих двух проверок в приложенных материалах нет; команды здесь не обозначают PASS. При подготовке данного отчёта новые тесты не писались и эти проверки не запускались.

Обычная остановка сохраняет именованные volumes и локальные ключи:

docker compose --env-file .env down

Следующая отдельная команда предназначена только для намеренного сброса учебного стенда. Она удаляет volumes PostgreSQL и Redis текущего Compose-проекта, включая пользователей, сообщения, сессии и кэш; это не способ обычного перезапуска:

docker compose --env-file .env down --volumes

1.6. Фактически используемая конфигурация

Переменные Назначение и текущее поведение
HOST_PORT, APP_HOST, APP_PORT Публикация хостового порта и адрес HTTP-listener; целевой порт публикации — 8080
APP_ENABLED В Compose принудительно задано true
APP_READ_TIMEOUT, APP_WRITE_TIMEOUT, APP_IDLE_TIMEOUT, APP_SHUTDOWN_TIMEOUT Таймауты HTTP и graceful shutdown; значения Compose по умолчанию 5/10/60/8 секунд
POSTGRES_HOST, POSTGRES_PORT, POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DATABASE Соединение с PostgreSQL; внутри Compose следует использовать имя сервиса
POSTGRES_RUN_MIGRATIONS, POSTGRES_VERSION_TABLE Включение Tern и таблица версии; для первого запуска нужны true и versions
POSTGRES_MAX_CONNECTIONS Читается в конфигурацию, но не применяется к пулу: config.Postgres не реализует ожидаемый GetMaxConnections() int32; фактически остаётся настройка pgxpool по умолчанию
REDIS_HOST, REDIS_PORT, REDIS_USERNAME, REDIS_PASSWORD, REDIS_DB Подключение к Redis; время операций ограничено константами в коде, отдельных env-переменных таймаутов нет
JWT_REFRESH_TOKEN_LIFETIME Срок Bearer-сессии, по умолчанию в Compose 24 часа
JWT_ACCESS_TOKEN_LIFETIME Срок отдельного access JWT, по умолчанию 15 минут; обязательный API принимает session token, а не этот access token
JWT_PUBLIC_KEY_PATH, JWT_PRIVATE_KEY_PATH Контейнерные пути /run/certs/public_key.pem и /run/certs/private_key.pem
SESSION_TTL_SECONDS Требуется контрактом лабораторной, но текущим загрузчиком конфигурации не поддерживается; для короткого срока в реализации используется JWT_REFRESH_TOKEN_LIFETIME, например 2s
APPLICATION_ENVIRONMENT, APPLICATION_LOG_LEVEL, APPLICATION_SHUTDOWN_TIMEOUT Читаются конфигурацией приложения; наличие этих полей не заменяет фактическую настройку HTTP shutdown через APP_SHUTDOWN_TIMEOUT или обработчика slog
APPLICATION_REQUEST_RATE_LIMIT, APPLICATION_BURST_RATE_LIMIT, APPLICATION_RATE_LIMIT_TTL Читаются в конфигурацию; в текущем запуске rate-limit middleware не подключён
COOKIES_* Остались в примере окружения; текущий основной Config их не загружает, обязательный путь аутентификации использует заголовок Bearer

2. Архитектура и решения

2.1. Компоненты и источник истины

Клиент обращается к HTTP API на Go. Маршрутизатор chi применяет request ID, логирование и проверку сессии; обработчики декодируют и проверяют JSON, сервисы выполняют бизнес-операции, репозитории используют pgx и go-redis. Контракт находится в OpenAPI и описании семантики.

PostgreSQL — источник истины для пользователей, чатов, членства, сообщений и сессий. Redis хранит только копии метаданных чатов. Отказ или очистка кэша не должны удалять сообщения и отзывать сессии. Это подтверждено для stop/start Redis; полный рестарт всех сервисов остаётся отдельной неподтверждённой проверкой.

По сравнению с lab1 идентификация через X-User-Id заменена входом по паролю и серверной сессией. Состояние перенесено в PostgreSQL; добавлены постоянные volumes и кэш. Полная совместимость обязательного API должна подтверждаться публичным smoke, результата которого в материалах нет.

2.2. Схема и транзакционные границы

SQL-миграции встроены в бинарник через go:embed и применяются Tern последовательно.

Таблица Основные данные и ограничения
users UUID PK, уникальный username, имя, Argon2id-хэш пароля, времена; CHECK формата username и непустых данных
refresh_tokens UUID PK сессии, FK пользователя, хэш токена, роль, expires_at, revoked_at; индексы по пользователю и сроку
chats UUID PK, непустой заголовок, время; индекс (created_at, id)
chat_members Составной PK (chat_id, user_id), FK на чат и пользователя; дополнительный индекс (user_id, chat_id)
messages UUID PK, чат, отправитель, текст и время; составной FK (chat_id, sender_id) на членство и индекс (chat_id, created_at, id)

Создание чата и всех участников выполняется одной транзакцией: сначала INSERT чата, затем INSERT участников. Сервис проверяет отсутствие дублей и включение создателя; FK не позволяет записать неизвестного пользователя. Commit выполняется только после успешного завершения всей операции; при ошибке или panic менеджер пытается выполнить rollback. Это описание кода, а не результат отдельного fault-injection эксперимента rollback.

Создание сообщения — один параметризованный INSERT после проверки доступа. Успешный ответ отправляется после успешного выполнения SQL. Создание и отзыв серверной сессии используют транзакции; при logout строка сессии блокируется для проверки и обновления revoked_at. Прикладной COMMIT не является самостоятельным доказательством сохранности при потере диска или питания: отдельной проверки durability и восстановления backup нет.

2.3. Аутентификация и доступ

POST /api/v1/users регистрирует пользователя. Пароль хранится в виде Argon2id: память 64 MiB, 3 прохода, параллелизм 4, случайная соль 16 байт и ключ 32 байта. Пароль и хэш не включаются в публичный объект User.

POST /api/v1/auth/sessions принимает Basic и возвращает 201 с token, token_type, expires_at, user. Формат токена реализации — JWT RS256; клиент передаёт его как непрозрачную строку и не должен разбирать claims. Возвращается refresh/session JWT. Сгенерированный отдельно access JWT не подходит для обязательного session middleware.

Для каждого защищённого запроса middleware проверяет подпись и claims, читает refresh_tokens, проверяет срок, отсутствие отзыва, соответствие пользователя и роли, затем сравнивает хэш токена. Сессионный хэш вычисляется как bcrypt от hex-представления SHA-256 токена, с bcrypt.DefaultCost. Это отдельная CPU-работа даже при попадании чата в Redis. DELETE /api/v1/auth/sessions/current отзывает текущую сессию. X-User-Id не используется этим middleware как источник идентификации.

Членство проверяется в SQL или по MemberIDs кэшированного чата. Постороннему возвращается 404, чтобы не раскрывать наличие чужого ресурса. Положительный вход и отказ постороннему проверены экспериментом; logout, неверный пароль, отсутствие Bearer и expiry не объявляются отдельно проверенными без соответствующих результатов.

2.4. История и read-after-write

История читается из PostgreSQL по chat_id, отсортирована по (created_at, id) и использует keyset-условие (created_at, id) > (cursor_created_at, cursor_id). Курсор API содержит UUID записи; сервер получает её позицию в пределах нужного ресурса. Размер страницы ограничен 1–100, по умолчанию 50; дополнительная запись определяет наличие следующей страницы. OFFSET и кэш истории не используются.

Индекс idx_messages_chat_id_created_at_id соответствует фильтрации чата и порядку выдачи. Это обоснование по структуре запроса; отсутствие полного scan на большой истории ещё не доказано EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях.

После подтверждённого POST следующий запрос истории другого участника увидел ID сообщения. Проверка выполнялась с одной API-репликой. Отдельного snapshot между страницами нет; при конкурентных вставках новые записи с позицией до уже выданного курсора могут не попасть в дальнейший обход. Многорепличная конфигурация и распределённая синхронизация часов не исследовались.

2.5. Политика кэша и singleflight

Ключ Redis — chat:<UUID>, значение — JSON с ID, заголовком, списком участников и временем создания. Чат сохраняется в кэш после успешного чтения из PostgreSQL. Срок хранения не задан (SET с expiration=0); автоматической инвалидации нет. В обязательном API нет изменения или удаления состава участников, поэтому существующий сценарий не содержит такого источника устаревших разрешений. При добавлении этих операций потребуется инвалидация или иная политика согласованности.

При промахе или ошибке Redis приложение читает PostgreSQL. redis.Nil обозначает отсутствие ключа, остальные ошибки чтения логируются отдельно. Ошибка записи в кэш не отменяет успешное чтение из БД. Redis использует AOF с appendfsync everysec и именованный volume; наблюдалось сохранение ключа при корректном stop/start, а не при аварийном отключении питания.

В GetForMember singleflight объединяет одновременные загрузки по (ChatID, UserID) внутри одного процесса. Общая загрузка повторно проверяет Redis, читает БД при необходимости и заполняет кэш. Пользователь входит в ключ, поскольку SQL-результат зависит от его членства: нельзя разделить отказ одного пользователя с другим. Отмена ожидающего HTTP-клиента не отменяет общую загрузку; для неё установлен отдельный таймаут 2 секунды. Членство проверяется перед возвратом результата.

Dial/read/write/pool timeout Redis установлены по 200 мс, повторы команд отключены (MaxRetries=-1), DialerRetries=1; GET, SET и стартовый PING имеют отдельные контексты по 300 мс. Чтение и последующая запись могут расходовать разные бюджеты; 300 мс не является общим таймаутом HTTP-запроса. Обычные SQL-пути вне общей загрузки не получают от HTTP WriteTimeout отдельного гарантированного срока выполнения запроса к БД.

Диагностика: chat_cache_hit, chat_cache_miss, chat_cache_read_error, chat_db_lookup; ошибки заполнения кэша записываются как failed to cache chat. Отсутствие chat_db_lookup означает экономию чтения чата, но не отсутствие SQL проверки сессии.

3. Соответствие критериям лабораторной

«Подтверждено» означает наличие результата выполнения в приложенных материалах. «По коду» означает найденную реализацию без отдельного результата требуемой проверки. «Не проверено» не является PASS; наличие команды или скрипта не заменяет его выполнение.

Критерий README Реализация / команда воспроизведения Фактический статус Основание / доказательство
Уровень 3: минимум lab1 и переход на новую аутентификацию make test По коду переход реализован; полный публичный smoke не подтверждён Auth middleware, публичный сценарий
Сохранность обязательных данных и действующих сессий после рестарта API и всех хранилищ make test-persistence ACTION_SCRIPT=scripts/restart.sh Не проверено полным сценарием; отдельно подтверждены Redis restart и использование прежней сессии Hook, результаты Redis
Пользователи, чаты, участники и сообщения в PostgreSQL; PK/FK/unique SQL-схема и операции репозиториев По коду ограничения есть; синтетические операции создания и чтения выполнены Миграции, проверки эксперимента
Версионируемые миграции с нуля и повтор без дублей Tern при POSTGRES_RUN_MIGRATIONS=true, повторный запуск API По коду реализовано; отдельного протокола чистой БД и сверки дублей нет Мигратор
Атомарное создание чата Транзакция создания чата и участников; отказ при ошибке второго INSERT По коду реализовано; принудительный rollback не проверен Репозиторий чатов, транзакции
Basic только для входа, Bearer на бизнес-запросах Создание сессии и GET чата в эксперименте Положительные запросы подтверждены; отдельный отрицательный сценарий Basic на бизнес-endpoint не сохранён Auth handler, скрипт эксперимента
X-User-Id не даёт доступ Проверка Authorization: Bearer в middleware По коду; отдельного HTTP-результата для одного X-User-Id нет Middleware
Expiry, logout и password KDF Проверка серверной сессии; DELETE current; Argon2id KDF и проверки реализованы по коду; expiry/logout отдельно не подтверждены Auth service, Argon2id
make test и make test-persistence проходят Команды раздела 1.5 Не проверено по имеющимся результатам Инструкции публичных проверок
Secrets и volumes не попадают в Git Правила исключений и подготовка локального окружения Правила есть; история Git целиком на секреты не аудировалась .gitignore; результаты экспериментов обезличены
Уровень 4: осмысленный Redis-кэш, источник истины, expiry и инвалидация GET чата после удаления одного ключа и повторный GET Подтверждены miss → PostgreSQL → hit; политика хранения описана в разделе 2.5 Первый сценарий, логи
Параметризованный SQL, ограниченный пул и таймауты Репозитории pgx, конфигурация соединений SQL параметризован; Redis и HTTP имеют таймауты; POSTGRES_MAX_CONNECTIONS не применяется, общего SQL deadline нет Репозитории, пул, Redis config
Гонка регистрации одинакового username Параллельные POST одного username Не проверено; unique constraint и преобразование в 409 есть по коду Users repo
Rollback составной операции Ошибка после INSERT чата до завершения участников Не проверено экспериментом Транзакции
Индекс истории и EXPLAIN на ≥10 000 сообщений EXPLAIN (ANALYZE, BUFFERS) для запроса истории Индекс и keyset есть; требуемый EXPLAIN и объём не подтверждены Миграция сообщений, запрос
Автоматические короткий TTL, logout, неверный пароль Отдельные отрицательные сценарии сессий Не проверено; SESSION_TTL_SECONDS не поддерживается текущей конфигурацией JWT config, контракт
Недоступность Redis и БД; отсутствие анонимного доступа при отказе Redis stop/start; отдельный отказ PostgreSQL и анонимный запрос Обход отказа Redis подтверждён; PostgreSQL failure и анонимный запрос в условиях отказа не проверены Отказ Redis, повторный сценарий
Уровень 5, трек 1: конкурентный stampede, защита, SQL и latency до/после python3 scripts/cache_stampede.py после подготовки двух образов Подтверждено: 10 × 32 GET, SELECT чата 308 → 10; ошибки ответов — 0 Методика, SQL-снимки, CSV
Read-after-write из контракта POST сообщения → GET истории другим участником Подтверждено на одной API-реплике: ID сообщения найден после записи и после Redis restart Checks
Восстановление после рестарта кэша Redis stop/start, затем DEL ключа и повторный наплыв Подтверждено: API не перезапускался, после DEL один SELECT чата на 32 GET Журнал и состояния

Трек 2 с ≥100 000 сообщений, сравнением двух вариантов индекса/запроса и backup → restore не выбран и не заявляется выполненным.

4. Эксперименты и отказы

4.1. Последовательный кэш и необязательный Redis

Первый эксперимент выполнен 6 ноября 2026 года до добавления singleflight. Удалялся только ключ синтетического чата. Первый GET дал chat_cache_miss и chat_db_lookup, повторный — chat_cache_hit без чтения чата из БД. Посторонний пользователь при заполненном кэше получил 404.

При остановленном Redis GET вернул 200 за 56,076 мс. API был пересоздан при всё ещё остановленном Redis и продолжил работу: GET — 200 за 72,418 мс. После запуска Redis кэш восстановился без ещё одного перезапуска API. Эти результаты относятся к предшествующей сборке, идентифицированной в соответствующем отчёте; отказ Redis также повторён на версии с singleflight в следующем эксперименте.

4.2. Cache stampede: гипотеза и методика

Гипотеза: при одновременном промахе один и тот же пользователь многократно читает чат из PostgreSQL; singleflight позволит выполнять одну общую загрузку.

Итоговый сравнительный прогон: 6 ноября 2026 года, 09:49:37–09:50:20 UTC. Стенд — Docker Engine 29.7.2, Linux/aarch64, 14 CPU, 8 320 954 368 байт памяти Docker VM (примерно 7,75 GiB), без отдельных CPU/RAM-лимитов контейнеров. PostgreSQL 17.11, Redis 8.2.11, одна API-реплика. Один синтетический чат с двумя участниками; третий пользователь посторонний.

Перед исправлением собран baseline, затем отдельный образ с singleflight. Их точные IDs, хэши исходников и patch изменения сохранены вместе с результатами. Полная инструкция восстановления baseline в отдельной копии и сборки двух образов находится в методике; переключатель отключения защиты в приложение не добавлялся. В текущем дереве patch называется singleflight.patch.txt; при воспроизведении команды из методики нужно использовать это актуальное имя вместо прежнего singleflight.patch:

# В отдельной временной копии итоговых исходников baseline восстанавливается так:
git apply --reverse evidence/cache-stampede/singleflight.patch.txt

Обратный patch следует применять только в копии для сборки baseline, сохраняя основное рабочее дерево с исправлением.

Для обеих версий проведены 10 холодных наплывов по 32 GET одного участника с общим стартовым барьером. Перед каждым удалялся только экспериментальный ключ. Чтобы промахи воспроизводились на быстрой локальной БД, отдельная транзакция получала ACCESS EXCLUSIVE на таблицу chats и освобождала её через 200 мс после барьера. Это искусственная задержка чтения, одинаковая до/после; она блокирует всю таблицу и предназначена только для локального стенда. Дополнительно выполнены по 5 тёплых наплывов по 32 GET без блокировки. Между группами была пауза 300 мс.

SQL измерялся по разности pg_stat_statements.calls до/после каждого прогона, отдельно для SELECT чата и SELECT сессии. Расширение и preload включались временно, без глобального сброса статистики; после завершения убраны с восстановлением обычного Compose и сохранением volumes. Это серверный подсчёт SQL, а не вывод только из chat_db_lookup.

HTTP-длительности измерены монотонными часами клиента; timeout — 5 секунд. Перцентили рассчитаны ближайшим рангом по всем запросам серии. Все успешные GET сравнены с полным объектом чата. В дополнительных сценариях получены ожидаемые 404, ошибки доступа не смешаны с сетевыми сбоями.

4.3. Результаты до и после

Версия / режим Группы / GET SELECT чата SELECT сессии p50, мс p95, мс p99, мс Ошибки ответов
До, пустой кэш 10 / 320 308 320 208,124 215,502 260,385 0
После, пустой кэш 10 / 320 10 320 207,056 209,568 210,032 0
До, заполненный кэш 5 / 160 0 160 138,915 161,038 172,568 0
После, заполненный кэш 5 / 160 0 160 136,467 172,304 200,266 0

Чтения чата сократились на 96,75%: в среднем 30,8 → 1 на холодный наплыв. С учётом SELECT проверки сессий эти два вида SQL сократились с 628 до 330, на 47,45%. Проверки сессий по-прежнему выполняются на каждом GET, поэтому «один SELECT чата» не означает «один SQL на весь наплыв».

В холодной серии p50 почти не изменился из-за общей задержки 200 мс; p99 уменьшился примерно на 50 мс. Тёплый p95, наоборот, вырос. Один последовательный порядок «до → после», небольшой объём и искусственная блокировка не доказывают устойчивое ускорение или предел throughput. Подтверждённый результат — устранение дублирующихся загрузок для выбранного ключа, а не ускорение любого HTTP-запроса.

Во время обеих фаз одинаково собирался docker stats. Максимальные значения среди восьми выборок каждой фазы:

Контейнер CPU до / после MemUsage до / после
API 280,69% / 213,82% 140,30 / 19,36 MiB
PostgreSQL 5,44% / 5,44% 52,64 / 48,31 MiB
Redis 1,97% / 1,84% 11,29 / 11,21 MiB

Это максимумы наблюдавшихся выборок, а не точные мгновенные пики; CPU более 100% означает несколько ядер. Регистрация пользователей выполнялась перед baseline, а исправленный API использовал уже созданные записи. Поэтому различие heap/GC и памяти API нельзя приписывать singleflight.

Сводные исходные данные:

  • summary.json: параметры, образы, SQL-снимки и разности, перцентили по группам, batch RPS, выборки ресурсов и функциональные checks.
  • requests.csv: 1016 GET основного сравнения и дополнительных наплывов, включая 8 ожидаемых 404; все ответы признаны корректными.
  • api.log: выбранные события кэша и состояния контейнеров.
  • Первый сценарий: CSV и журнал.

Batch RPS в JSON учитывает время завершения группы и исключает подготовку и паузы. Он не является измерением устойчивой производительности открытого потока запросов. Пароли, Bearer-токены и ответы создания сессий в материалы не включались.

4.4. Дополнительные сценарии и границы восстановления

Воздействие / сценарий Ожидаемое поведение Фактический результат Границы вывода
Смешанный холодный наплыв: два участника и посторонний 200 участникам, 404 постороннему 12 GET, 3 SELECT чата, 12 SELECT сессии; все статусы корректны Ключ singleflight включает пользователя, поэтому общее чтение не одно для всех пользователей
Та же группа с заполненным кэшем Те же права без чтения чата из БД 12 GET, 0 SELECT чата Проверки сессий остаются
Отмена первого клиента во время заблокированного SELECT Остальные клиенты продолжают общую загрузку Следующий клиент получил 200 за 104,652 мс; один SELECT чата на два запроса Проверена отмена инициатора, не все возможные сетевые отказы
POST сообщения → GET другим участником Подтверждённое сообщение сразу видно POST — 201; следующий GET — 200, ID сообщения найден Одна API-реплика, история читается из PostgreSQL
Остановка Redis на исправленной версии Доступ к чату через PostgreSQL GET — 200 за 62,674 мс Docker DNS вернул ошибку подключения; сетевой blackhole не моделировался
Запуск Redis с прежним volume Возобновление кэша без рестарта API EXISTS до/после — 1/1; GET — 200 за 48,701 мс; ID контейнера API не изменился 48,701 мс — длительность GET после готовности, а не RTO Redis
Чтение истории после Redis restart Сессия и подтверждённое сообщение сохранены Прежняя сессия дала 200, ID сообщения найден PostgreSQL в этом сценарии не перезапускался
DEL тестового ключа после восстановления Защищённое заполнение пустого кэша 32 GET, один SELECT чата, 32 SELECT сессии, ошибок нет Действует для одного пользователя внутри одной API-реплики
Пересоздание API при остановленном Redis Запуск без необязательной зависимости На предшествующей версии GET — 200 за 72,418 мс, startup warning записан Результат отдельно идентифицирован в первом эксперименте
Отказ PostgreSQL Отказ обязательного пути без обхода аутентификации Не проверено Readiness сейчас не обнаруживает такой отказ; гарантированный RTO не установлен
Полный рестарт всех хранилищ, потеря хоста или диска Проверка durability и восстановления Не проверено RPO/RTO и backup → restore не измерены

Оба эксперимента завершились с работающими API, PostgreSQL и Redis; итоговые healthy-состояния записаны в приложенных журналах. Это наблюдение на момент эксперимента, а не текущая непрерывная гарантия доступности. Обязательные данные и volumes не удалялись. Синтетические учётные записи и данные экспериментов остаются на локальном стенде.

5. Ограничения и дальнейшая работа

Реализован и измерен выбранный трек cache stampede, но полный набор требований лабораторной пока не доказан. Для завершения приёмки необходимо отдельно получить результаты публичного smoke, полного persistence-hook, отрицательных сценариев аутентификации, гонки username, rollback и EXPLAIN на требуемом объёме истории.

Известные расхождения реализации и конфигурации:

  1. Поддержка SESSION_TTL_SECONDS отсутствует; срок session JWT задаётся другой переменной. Это нужно привести к контракту и проверить короткое expiry вместе с logout и неверным паролем.
  2. POSTGRES_MAX_CONNECTIONS не управляет пулом из-за отсутствующего метода конфигурационного интерфейса. Требуется связать параметр с pgxpool.MaxConns и отдельно определить SQL deadlines. Таймаут HTTP-записи не заменяет таймаут SQL.
  3. Readiness отражает только состояние HTTP-сервера. Нужна проверка обязательного пути PostgreSQL, сохраняющая необязательность Redis.
  4. Singleflight действует только внутри одного процесса и для одной пары «чат + пользователь». Для нескольких реплик или большого числа разных пользователей понадобятся дополнительные решения и новые замеры.
  5. Кэш чатов не имеет TTL и инвалидации. Для будущего изменения членства нужно определить обновление или удаление ключа до использования этой функции.
  6. В примере окружения остались устаревшие сведения о миграциях и неиспользуемые настройки. При текущей работе исправлен только отчёт; приложение и конфигурационные файлы не менялись.
  7. Локальный HTTP и соединение PostgreSQL с sslmode=disable относятся к учебному стенду. TLS, HA БД, резервное копирование и восстановление, а также потеря хоста здесь не исследовались.

Доказанная экономия SQL не устраняет обращения в PostgreSQL и bcrypt-проверку сессии на каждом запросе. При отказе PostgreSQL даже заполненный Redis не обеспечивает независимую работу авторизованного API. AOF Redis сохраняет кэш при исследованном корректном рестарте, но не заменяет backup PostgreSQL и не определяет RPO всего приложения.

6. Источники и материалы

При оформлении отчёта использованы исходники и уже сохранённые результаты; приложение и экспериментальные материалы не изменялись. Авторские данные и ссылка на PR не выдумывались. Проверки документа ограничены существованием локальных ссылок, соответствием чисел JSON/CSV, отсутствием незаполненных шаблонных пометок и git diff --check.