This commit is contained in:
2026-11-12 17:28:28 +03:00
parent 276dbdad8a
commit 4fae7d7e87
103 changed files with 10742 additions and 54 deletions
Binary file not shown.

After

Width:  |  Height:  |  Size: 24 KiB

+24
View File
@@ -0,0 +1,24 @@
@startuml
!include https://raw.githubusercontent.com/plantuml-stdlib/C4-PlantUML/master/C4_Container.puml
title C4 — Container diagram
Person(client, "Client", "Клиент мессенджера")
System_Boundary(messenger, "Messenger") {
Container(api, "API", "Go", "HTTP API: authentication, users, chats and messages")
ContainerDb(postgres, "PostgreSQL", "PostgreSQL", "Source of truth: users, chats, members and messages")
ContainerDb(redis, "Redis", "Redis", "Active sessions and chat cache")
}
Rel(client, api, "Работает с API", "HTTP/JSON")
Rel(api, postgres, "Читает и записывает данные", "SQL")
Rel(api, redis, "Хранит сессии и кэширует чаты", "Redis protocol")
@enduml
+49
View File
@@ -0,0 +1,49 @@
# Памятка к защите лабораторной 5 — оценка 4
## Запуск и проверки
```sh
./scripts/bootstrap.sh
docker compose up -d --build
./scripts/wait_ready.sh 180
make test
make test-pipeline
```
`make test-pipeline` сам останавливает и восстанавливает учебные сервисы.
Он создаёт синтетические изображения и пользователей. Результат —
`evidence/lab5-pipeline.json`; токены не записываются.
Полная последовательность, включая Go, persistence и failover: `make verify-level4`.
## Что изменилось относительно lab4
Раньше API записывал оригинал в конечный S3 и отвечал `201 ready`.
Теперь он проверяет файл, сохраняет его в приватный `staging/`, затем в одной
транзакции создаёт attachment, job и outbox. Ответ — `202 queued`.
API не выполняет resize, даже когда worker недоступен. Проверка допустимости
изображения до приёма остаётся синхронной и ограниченной по ресурсам.
Outbox relay читает зафиксированные намерения и отправляет JSON в Redis Streams.
Отдельный worker забирает задание, арендует его в PostgreSQL и создаёт оригинал,
thumbnail, crop и optimized. Метаданные всех вариантов публикуются одной
транзакцией вместе с `ready`; после этого staging удаляется и выполняется ack.
```sh
docker compose run --rm --no-deps worker ./worker -mode=failed
docker compose run --rm --no-deps worker ./worker -mode=replay \
-job=<UUID_из_реестра> -reason='S3 восстановлен'
```
Replay разрешён только для failed с сохранённым staging. Запись причины
попадает в `job_replays`; нумерация попыток монотонная, после replay даётся
новый ограниченный бюджет. Повтор replay для queued/processing/ready отклоняется.
После retention исходник надо загрузить заново.
## Ограничения
Один Docker host, один PostgreSQL, один broker и один S3 — это локальный стенд,
а не HA всего сервиса. Лимиты worker защищают машину, но могут отклонить
ресурсоёмкое изображение, которое укладывается в 10 MiB и 40 млн пикселей.
Старые файлы lab4 сохраняют оригинал; новые uploads проходят pipeline v1.
История Redis Streams/outbox/audit в учебной реализации автоматически
не сокращается. Сравнение настроек и исследования на оценку 5 не заявляются.
+52
View File
@@ -0,0 +1,52 @@
Трек 5
Цель
Цель работы - уменьшить количество обращений к PostgreSQL при чтении данных чатов за счёт использования Redis и устранить избыточные запросы при одновременном обращении нескольких клиентов к одному чату.
Реализация
Для кэширования используется Redis. Данные чатов сохраняются в кэше с ограниченным временем жизни (TTL).
При получении чата приложение сначала проверяет наличие данных в кэше. Если запись найдена, данные возвращаются без обращения к PostgreSQL. При промахе кэша приложение загружает данные из PostgreSQL, сохраняет результат в Redis и возвращает его клиенту.
Для обработки конкурентных запросов используется singleflight из Go. Он объединяет одновременно выполняющиеся операции с одинаковым ключом внутри одного экземпляра приложения.
Основные файлы реализации:
internal/cache/cache.go - операции чтения и записи кэша;
internal/httpapi/chats.go - интеграция кэша с HTTP-обработчиком и использование singleflight;
internal/store/store.go - получение данных из PostgreSQL и счётчик SQL-запросов.
Проверка корректности
Для проверки используются тесты:
TestChatCache_ConcurrentRequests - конкурентные запросы к одному чату;
TestChatCache_WarmCache - повторное чтение из прогретого кэша;
TestChatCache_ReadAfterWriteAndRecovery - актуальность данных и восстановление после удаления записи из кэша.
Измерение количества SQL-запросов
Сравниваются следующие сценарии:
Прямые конкурентные вызовы GetChat без HTTP-кэша.
Конкурентные HTTP-запросы при холодном кэше.
Повторные HTTP-запросы при прогретом кэше.
Сценарий Количество запросов Число SQL-запросов
Прямые конкурентные вызовы GetChat 50 100
HTTP-запросы при холодном кэше 50 2
HTTP-запросы при прогретом кэше 50 0
Измерения выполняются на одной и той же тестовой конфигурации. Счётчик SQL-запросов используется для оценки нагрузки на PostgreSQL.
Команды проверки
go test ./internal/httpapi -run TestChatCache -v
go test ./...
go test -race ./...
Вывод
Реализация позволяет уменьшить число обращений к PostgreSQL при повторном чтении чатов. Использование singleflight сокращает число одинаковых конкурентных загрузок в пределах одного экземпляра приложения.