forked from mtusi2026/mtusi2026lab5
lab5 na4
This commit is contained in:
Binary file not shown.
|
After Width: | Height: | Size: 24 KiB |
@@ -0,0 +1,24 @@
|
||||
@startuml
|
||||
|
||||
!include https://raw.githubusercontent.com/plantuml-stdlib/C4-PlantUML/master/C4_Container.puml
|
||||
|
||||
title C4 — Container diagram
|
||||
|
||||
Person(client, "Client", "Клиент мессенджера")
|
||||
|
||||
System_Boundary(messenger, "Messenger") {
|
||||
|
||||
Container(api, "API", "Go", "HTTP API: authentication, users, chats and messages")
|
||||
|
||||
ContainerDb(postgres, "PostgreSQL", "PostgreSQL", "Source of truth: users, chats, members and messages")
|
||||
|
||||
ContainerDb(redis, "Redis", "Redis", "Active sessions and chat cache")
|
||||
}
|
||||
|
||||
Rel(client, api, "Работает с API", "HTTP/JSON")
|
||||
|
||||
Rel(api, postgres, "Читает и записывает данные", "SQL")
|
||||
|
||||
Rel(api, redis, "Хранит сессии и кэширует чаты", "Redis protocol")
|
||||
|
||||
@enduml
|
||||
@@ -0,0 +1,49 @@
|
||||
# Памятка к защите лабораторной 5 — оценка 4
|
||||
|
||||
## Запуск и проверки
|
||||
|
||||
```sh
|
||||
./scripts/bootstrap.sh
|
||||
docker compose up -d --build
|
||||
./scripts/wait_ready.sh 180
|
||||
make test
|
||||
make test-pipeline
|
||||
```
|
||||
|
||||
`make test-pipeline` сам останавливает и восстанавливает учебные сервисы.
|
||||
Он создаёт синтетические изображения и пользователей. Результат —
|
||||
`evidence/lab5-pipeline.json`; токены не записываются.
|
||||
Полная последовательность, включая Go, persistence и failover: `make verify-level4`.
|
||||
|
||||
## Что изменилось относительно lab4
|
||||
|
||||
Раньше API записывал оригинал в конечный S3 и отвечал `201 ready`.
|
||||
Теперь он проверяет файл, сохраняет его в приватный `staging/`, затем в одной
|
||||
транзакции создаёт attachment, job и outbox. Ответ — `202 queued`.
|
||||
API не выполняет resize, даже когда worker недоступен. Проверка допустимости
|
||||
изображения до приёма остаётся синхронной и ограниченной по ресурсам.
|
||||
|
||||
Outbox relay читает зафиксированные намерения и отправляет JSON в Redis Streams.
|
||||
Отдельный worker забирает задание, арендует его в PostgreSQL и создаёт оригинал,
|
||||
thumbnail, crop и optimized. Метаданные всех вариантов публикуются одной
|
||||
транзакцией вместе с `ready`; после этого staging удаляется и выполняется ack.
|
||||
|
||||
```sh
|
||||
docker compose run --rm --no-deps worker ./worker -mode=failed
|
||||
docker compose run --rm --no-deps worker ./worker -mode=replay \
|
||||
-job=<UUID_из_реестра> -reason='S3 восстановлен'
|
||||
```
|
||||
|
||||
Replay разрешён только для failed с сохранённым staging. Запись причины
|
||||
попадает в `job_replays`; нумерация попыток монотонная, после replay даётся
|
||||
новый ограниченный бюджет. Повтор replay для queued/processing/ready отклоняется.
|
||||
После retention исходник надо загрузить заново.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Один Docker host, один PostgreSQL, один broker и один S3 — это локальный стенд,
|
||||
а не HA всего сервиса. Лимиты worker защищают машину, но могут отклонить
|
||||
ресурсоёмкое изображение, которое укладывается в 10 MiB и 40 млн пикселей.
|
||||
Старые файлы lab4 сохраняют оригинал; новые uploads проходят pipeline v1.
|
||||
История Redis Streams/outbox/audit в учебной реализации автоматически
|
||||
не сокращается. Сравнение настроек и исследования на оценку 5 не заявляются.
|
||||
@@ -0,0 +1,52 @@
|
||||
Трек 5
|
||||
|
||||
|
||||
Цель
|
||||
|
||||
Цель работы - уменьшить количество обращений к PostgreSQL при чтении данных чатов за счёт использования Redis и устранить избыточные запросы при одновременном обращении нескольких клиентов к одному чату.
|
||||
|
||||
Реализация
|
||||
|
||||
Для кэширования используется Redis. Данные чатов сохраняются в кэше с ограниченным временем жизни (TTL).
|
||||
При получении чата приложение сначала проверяет наличие данных в кэше. Если запись найдена, данные возвращаются без обращения к PostgreSQL. При промахе кэша приложение загружает данные из PostgreSQL, сохраняет результат в Redis и возвращает его клиенту.
|
||||
Для обработки конкурентных запросов используется singleflight из Go. Он объединяет одновременно выполняющиеся операции с одинаковым ключом внутри одного экземпляра приложения.
|
||||
|
||||
Основные файлы реализации:
|
||||
|
||||
internal/cache/cache.go - операции чтения и записи кэша;
|
||||
internal/httpapi/chats.go - интеграция кэша с HTTP-обработчиком и использование singleflight;
|
||||
internal/store/store.go - получение данных из PostgreSQL и счётчик SQL-запросов.
|
||||
|
||||
Проверка корректности
|
||||
|
||||
Для проверки используются тесты:
|
||||
TestChatCache_ConcurrentRequests - конкурентные запросы к одному чату;
|
||||
TestChatCache_WarmCache - повторное чтение из прогретого кэша;
|
||||
TestChatCache_ReadAfterWriteAndRecovery - актуальность данных и восстановление после удаления записи из кэша.
|
||||
|
||||
Измерение количества SQL-запросов
|
||||
|
||||
Сравниваются следующие сценарии:
|
||||
Прямые конкурентные вызовы GetChat без HTTP-кэша.
|
||||
Конкурентные HTTP-запросы при холодном кэше.
|
||||
Повторные HTTP-запросы при прогретом кэше.
|
||||
|
||||
Сценарий Количество запросов Число SQL-запросов
|
||||
Прямые конкурентные вызовы GetChat 50 100
|
||||
|
||||
HTTP-запросы при холодном кэше 50 2
|
||||
|
||||
HTTP-запросы при прогретом кэше 50 0
|
||||
|
||||
|
||||
Измерения выполняются на одной и той же тестовой конфигурации. Счётчик SQL-запросов используется для оценки нагрузки на PostgreSQL.
|
||||
|
||||
Команды проверки
|
||||
|
||||
go test ./internal/httpapi -run TestChatCache -v
|
||||
go test ./...
|
||||
go test -race ./...
|
||||
|
||||
Вывод
|
||||
|
||||
Реализация позволяет уменьшить число обращений к PostgreSQL при повторном чтении чатов. Использование singleflight сокращает число одинаковых конкурентных загрузок в пределах одного экземпляра приложения.
|
||||
Reference in New Issue
Block a user