From 1c95e2e68eb1e33ed4a30751f78fe160bc7d52bb Mon Sep 17 00:00:00 2001 From: Nurlygayanova Ekaterina Date: Thu, 5 Nov 2026 17:56:30 +0300 Subject: [PATCH] work 3 --- .dockerignore | 1 + .env.example | 2 +- .gitignore | 1 + Dockerfile | 85 +++ REPORT.md | 330 ++++++++- TRACK1.md | 28 + app/cmd/loadgen/main.go | 601 +++++++++++++++++ app/cmd/loadgen/main_test.go | 31 + app/cmd/messenger/main.go | 191 ++++++ app/e2e/lb_idempotency_test.go | 228 +++++++ app/go.mod | 28 + app/go.sum | 56 ++ app/internal/api/http/access_test.go | 115 ++++ app/internal/api/http/auth.go | 70 ++ app/internal/api/http/auth_test.go | 217 ++++++ app/internal/api/http/chats.go | 103 +++ app/internal/api/http/concurrency_test.go | 84 +++ app/internal/api/http/dto/chat.go | 18 + app/internal/api/http/dto/message.go | 18 + app/internal/api/http/dto/timestamp.go | 20 + app/internal/api/http/dto/timestamp_test.go | 48 ++ app/internal/api/http/dto/user.go | 21 + app/internal/api/http/errors.go | 81 +++ app/internal/api/http/health.go | 24 + app/internal/api/http/helpers_test.go | 338 ++++++++++ app/internal/api/http/idempotency_test.go | 119 ++++ app/internal/api/http/instance_test.go | 121 ++++ app/internal/api/http/limits_test.go | 319 +++++++++ app/internal/api/http/messages.go | 73 ++ app/internal/api/http/middleware/auth.go | 62 ++ .../api/http/middleware/content_type.go | 42 ++ .../api/http/middleware/instance_id.go | 14 + app/internal/api/http/middleware/limits.go | 110 +++ app/internal/api/http/middleware/logger.go | 48 ++ app/internal/api/http/middleware/recover.go | 32 + .../api/http/middleware/request_id.go | 22 + app/internal/api/http/pagination_test.go | 126 ++++ app/internal/api/http/router.go | 32 + app/internal/api/http/server.go | 173 +++++ app/internal/api/http/users.go | 114 ++++ app/internal/api/http/validation_test.go | 230 +++++++ app/internal/cache/history.go | 478 +++++++++++++ app/internal/cache/history_test.go | 208 ++++++ app/internal/config/config.go | 176 +++++ app/internal/config/database.go | 13 + app/internal/config/env.go | 133 ++++ app/internal/config/env_test.go | 85 +++ app/internal/config/history_cache.go | 11 + app/internal/config/http.go | 12 + app/internal/config/idempotency.go | 8 + app/internal/config/limits.go | 8 + app/internal/config/logger.go | 5 + app/internal/config/session.go | 13 + app/internal/domain/chat.go | 10 + app/internal/domain/errors.go | 25 + app/internal/domain/message.go | 11 + app/internal/domain/page.go | 67 ++ app/internal/domain/session.go | 9 + app/internal/domain/user.go | 10 + app/internal/logging/logging.go | 51 ++ app/internal/password/password.go | 113 ++++ app/internal/password/password_test.go | 76 +++ app/internal/service/auth.go | 101 +++ app/internal/service/chats.go | 47 ++ app/internal/service/messages.go | 46 ++ app/internal/service/service.go | 29 + app/internal/service/users.go | 44 ++ app/internal/session/memory.go | 49 ++ app/internal/session/session.go | 21 + app/internal/session/valkey.go | 120 ++++ app/internal/store/db/chats.go | 165 +++++ app/internal/store/db/db.go | 135 ++++ app/internal/store/db/db_test.go | 46 ++ app/internal/store/db/invalidations.go | 60 ++ app/internal/store/db/messages.go | 191 ++++++ app/internal/store/db/text.go | 22 + app/internal/store/db/text_test.go | 18 + app/internal/store/db/users.go | 89 +++ app/internal/store/memory.go | 323 +++++++++ app/internal/store/store.go | 34 + app/internal/token/token.go | 43 ++ app/internal/token/token_test.go | 65 ++ app/internal/validate/chat.go | 42 ++ app/internal/validate/idempotency.go | 12 + app/internal/validate/message.go | 13 + app/internal/validate/rules.go | 81 +++ app/internal/validate/user.go | 30 + compose.yaml | 249 +++++++ evidence/failover.txt | 30 + evidence/failure-detection.txt | 24 + evidence/go-test.txt | 11 + evidence/lb-errors.txt | 7 + evidence/level4/failover-kill.json | 350 ++++++++++ evidence/level4/failover-kill.txt | 21 + evidence/level4/failover-stop.json | 341 ++++++++++ evidence/level4/failover-stop.txt | 22 + evidence/level4/idempotency.txt | 16 + evidence/level4/limits.txt | 84 +++ evidence/level4/migration-breaking.json | 199 ++++++ evidence/level4/migrations.txt | 64 ++ evidence/level4/resources.txt | 11 + evidence/level4/rolling-bad-image.json | 291 ++++++++ evidence/level4/rolling-expand.json | 343 ++++++++++ evidence/level4/rolling.json | 343 ++++++++++ evidence/level4/rolling.txt | 18 + evidence/persistence.txt | 19 + evidence/track1/bottleneck.png | Bin 0 -> 49064 bytes evidence/track1/db4-4-limits.txt | 6 + evidence/track1/db4-4-r1-stats.jsonl | 496 ++++++++++++++ evidence/track1/db4-4-r1.json | 143 ++++ evidence/track1/db4-4-r2-stats.jsonl | 496 ++++++++++++++ evidence/track1/db4-4-r2.json | 143 ++++ evidence/track1/environment.json | 628 ++++++++++++++++++ evidence/track1/fixed-1-limits.txt | 3 + evidence/track1/fixed-1-r1-stats.jsonl | 316 +++++++++ evidence/track1/fixed-1-r1.json | 140 ++++ evidence/track1/fixed-1-r2-stats.jsonl | 298 +++++++++ evidence/track1/fixed-1-r2.json | 140 ++++ evidence/track1/fixed-2-limits.txt | 4 + evidence/track1/fixed-2-r1-stats.jsonl | 386 +++++++++++ evidence/track1/fixed-2-r1.json | 141 ++++ evidence/track1/fixed-2-r2-stats.jsonl | 364 ++++++++++ evidence/track1/fixed-2-r2.json | 141 ++++ evidence/track1/fixed-4-limits.txt | 6 + evidence/track1/fixed-4-r1-stats.jsonl | 496 ++++++++++++++ evidence/track1/fixed-4-r1.json | 143 ++++ evidence/track1/fixed-4-r2-stats.jsonl | 496 ++++++++++++++ evidence/track1/fixed-4-r2.json | 143 ++++ evidence/track1/grow-1-limits.txt | 3 + evidence/track1/grow-1-r1-stats.jsonl | 298 +++++++++ evidence/track1/grow-1-r1.json | 140 ++++ evidence/track1/grow-1-r2-stats.jsonl | 298 +++++++++ evidence/track1/grow-1-r2.json | 140 ++++ evidence/track1/grow-4-limits.txt | 6 + evidence/track1/grow-4-r1-stats.jsonl | 496 ++++++++++++++ evidence/track1/grow-4-r1.json | 143 ++++ evidence/track1/grow-4-r2-stats.jsonl | 526 +++++++++++++++ evidence/track1/grow-4-r2.json | 143 ++++ evidence/track1/lb2-4-limits.txt | 6 + evidence/track1/lb2-4-r1-stats.jsonl | 526 +++++++++++++++ evidence/track1/lb2-4-r1.json | 143 ++++ evidence/track1/lb2-4-r2-stats.jsonl | 496 ++++++++++++++ evidence/track1/lb2-4-r2.json | 143 ++++ evidence/track1/scaling.png | Bin 0 -> 52533 bytes evidence/track1/summary.csv | 15 + infra/haproxy/haproxy.cfg | 54 ++ migrations/00001_create_users_table.sql | 22 + migrations/00002_create_chats_table.sql | 16 + .../00003_create_chat_members_table.sql | 16 + migrations/00004_create_messages_table.sql | 25 + migrations/00005_escape_nul_in_text.sql | 45 ++ ...00006_create_cache_invalidations_table.sql | 23 + ..._create_message_idempotency_keys_table.sql | 32 + scripts/failover-evidence.sh | 95 +++ scripts/failover-load.sh | 90 +++ scripts/failover-summary.py | 51 ++ scripts/failure-detection-evidence.sh | 40 ++ scripts/failure-detection.py | 353 ++++++++++ scripts/idempotency-evidence.sh | 66 ++ scripts/idempotency-under-failure.py | 146 ++++ scripts/init-secrets.sh | 71 ++ scripts/lb-errors-evidence.py | 51 ++ scripts/lb-errors-evidence.sh | 17 + scripts/lb-lib.sh | 91 +++ scripts/level3-evidence.py | 34 + scripts/level3-evidence.sh | 23 + scripts/limits-evidence.py | 209 ++++++ scripts/limits-evidence.sh | 25 + scripts/migration-evidence.sh | 298 +++++++++ scripts/persistence-evidence.sh | 52 ++ scripts/resources-evidence.sh | 45 ++ scripts/restart.sh | 24 + scripts/rolling-evidence.sh | 67 ++ scripts/rolling-summary.py | 30 + scripts/rolling-update.sh | 70 ++ scripts/scaling-study.py | 65 ++ scripts/scaling-summary.py | 54 ++ scripts/stop-one.sh | 34 + 178 files changed, 21135 insertions(+), 17 deletions(-) create mode 100644 Dockerfile create mode 100644 TRACK1.md create mode 100644 app/cmd/loadgen/main.go create mode 100644 app/cmd/loadgen/main_test.go create mode 100644 app/cmd/messenger/main.go create mode 100644 app/e2e/lb_idempotency_test.go create mode 100644 app/go.mod create mode 100644 app/go.sum create mode 100644 app/internal/api/http/access_test.go create mode 100644 app/internal/api/http/auth.go create mode 100644 app/internal/api/http/auth_test.go create mode 100644 app/internal/api/http/chats.go create mode 100644 app/internal/api/http/concurrency_test.go create mode 100644 app/internal/api/http/dto/chat.go create mode 100644 app/internal/api/http/dto/message.go create mode 100644 app/internal/api/http/dto/timestamp.go create mode 100644 app/internal/api/http/dto/timestamp_test.go create mode 100644 app/internal/api/http/dto/user.go create mode 100644 app/internal/api/http/errors.go create mode 100644 app/internal/api/http/health.go create mode 100644 app/internal/api/http/helpers_test.go create mode 100644 app/internal/api/http/idempotency_test.go create mode 100644 app/internal/api/http/instance_test.go create mode 100644 app/internal/api/http/limits_test.go create mode 100644 app/internal/api/http/messages.go create mode 100644 app/internal/api/http/middleware/auth.go create mode 100644 app/internal/api/http/middleware/content_type.go create mode 100644 app/internal/api/http/middleware/instance_id.go create mode 100644 app/internal/api/http/middleware/limits.go create mode 100644 app/internal/api/http/middleware/logger.go create mode 100644 app/internal/api/http/middleware/recover.go create mode 100644 app/internal/api/http/middleware/request_id.go create mode 100644 app/internal/api/http/pagination_test.go create mode 100644 app/internal/api/http/router.go create mode 100644 app/internal/api/http/server.go create mode 100644 app/internal/api/http/users.go create mode 100644 app/internal/api/http/validation_test.go create mode 100644 app/internal/cache/history.go create mode 100644 app/internal/cache/history_test.go create mode 100644 app/internal/config/config.go create mode 100644 app/internal/config/database.go create mode 100644 app/internal/config/env.go create mode 100644 app/internal/config/env_test.go create mode 100644 app/internal/config/history_cache.go create mode 100644 app/internal/config/http.go create mode 100644 app/internal/config/idempotency.go create mode 100644 app/internal/config/limits.go create mode 100644 app/internal/config/logger.go create mode 100644 app/internal/config/session.go create mode 100644 app/internal/domain/chat.go create mode 100644 app/internal/domain/errors.go create mode 100644 app/internal/domain/message.go create mode 100644 app/internal/domain/page.go create mode 100644 app/internal/domain/session.go create mode 100644 app/internal/domain/user.go create mode 100644 app/internal/logging/logging.go create mode 100644 app/internal/password/password.go create mode 100644 app/internal/password/password_test.go create mode 100644 app/internal/service/auth.go create mode 100644 app/internal/service/chats.go create mode 100644 app/internal/service/messages.go create mode 100644 app/internal/service/service.go create mode 100644 app/internal/service/users.go create mode 100644 app/internal/session/memory.go create mode 100644 app/internal/session/session.go create mode 100644 app/internal/session/valkey.go create mode 100644 app/internal/store/db/chats.go create mode 100644 app/internal/store/db/db.go create mode 100644 app/internal/store/db/db_test.go create mode 100644 app/internal/store/db/invalidations.go create mode 100644 app/internal/store/db/messages.go create mode 100644 app/internal/store/db/text.go create mode 100644 app/internal/store/db/text_test.go create mode 100644 app/internal/store/db/users.go create mode 100644 app/internal/store/memory.go create mode 100644 app/internal/store/store.go create mode 100644 app/internal/token/token.go create mode 100644 app/internal/token/token_test.go create mode 100644 app/internal/validate/chat.go create mode 100644 app/internal/validate/idempotency.go create mode 100644 app/internal/validate/message.go create mode 100644 app/internal/validate/rules.go create mode 100644 app/internal/validate/user.go create mode 100644 compose.yaml create mode 100644 evidence/failover.txt create mode 100644 evidence/failure-detection.txt create mode 100644 evidence/go-test.txt create mode 100644 evidence/lb-errors.txt create mode 100644 evidence/level4/failover-kill.json create mode 100644 evidence/level4/failover-kill.txt create mode 100644 evidence/level4/failover-stop.json create mode 100644 evidence/level4/failover-stop.txt create mode 100644 evidence/level4/idempotency.txt create mode 100644 evidence/level4/limits.txt create mode 100644 evidence/level4/migration-breaking.json create mode 100644 evidence/level4/migrations.txt create mode 100644 evidence/level4/resources.txt create mode 100644 evidence/level4/rolling-bad-image.json create mode 100644 evidence/level4/rolling-expand.json create mode 100644 evidence/level4/rolling.json create mode 100644 evidence/level4/rolling.txt create mode 100644 evidence/persistence.txt create mode 100644 evidence/track1/bottleneck.png create mode 100644 evidence/track1/db4-4-limits.txt create mode 100644 evidence/track1/db4-4-r1-stats.jsonl create mode 100644 evidence/track1/db4-4-r1.json create mode 100644 evidence/track1/db4-4-r2-stats.jsonl create mode 100644 evidence/track1/db4-4-r2.json create mode 100644 evidence/track1/environment.json create mode 100644 evidence/track1/fixed-1-limits.txt create mode 100644 evidence/track1/fixed-1-r1-stats.jsonl create mode 100644 evidence/track1/fixed-1-r1.json create mode 100644 evidence/track1/fixed-1-r2-stats.jsonl create mode 100644 evidence/track1/fixed-1-r2.json create mode 100644 evidence/track1/fixed-2-limits.txt create mode 100644 evidence/track1/fixed-2-r1-stats.jsonl create mode 100644 evidence/track1/fixed-2-r1.json create mode 100644 evidence/track1/fixed-2-r2-stats.jsonl create mode 100644 evidence/track1/fixed-2-r2.json create mode 100644 evidence/track1/fixed-4-limits.txt create mode 100644 evidence/track1/fixed-4-r1-stats.jsonl create mode 100644 evidence/track1/fixed-4-r1.json create mode 100644 evidence/track1/fixed-4-r2-stats.jsonl create mode 100644 evidence/track1/fixed-4-r2.json create mode 100644 evidence/track1/grow-1-limits.txt create mode 100644 evidence/track1/grow-1-r1-stats.jsonl create mode 100644 evidence/track1/grow-1-r1.json create mode 100644 evidence/track1/grow-1-r2-stats.jsonl create mode 100644 evidence/track1/grow-1-r2.json create mode 100644 evidence/track1/grow-4-limits.txt create mode 100644 evidence/track1/grow-4-r1-stats.jsonl create mode 100644 evidence/track1/grow-4-r1.json create mode 100644 evidence/track1/grow-4-r2-stats.jsonl create mode 100644 evidence/track1/grow-4-r2.json create mode 100644 evidence/track1/lb2-4-limits.txt create mode 100644 evidence/track1/lb2-4-r1-stats.jsonl create mode 100644 evidence/track1/lb2-4-r1.json create mode 100644 evidence/track1/lb2-4-r2-stats.jsonl create mode 100644 evidence/track1/lb2-4-r2.json create mode 100644 evidence/track1/scaling.png create mode 100644 evidence/track1/summary.csv create mode 100644 infra/haproxy/haproxy.cfg create mode 100644 migrations/00001_create_users_table.sql create mode 100644 migrations/00002_create_chats_table.sql create mode 100644 migrations/00003_create_chat_members_table.sql create mode 100644 migrations/00004_create_messages_table.sql create mode 100644 migrations/00005_escape_nul_in_text.sql create mode 100644 migrations/00006_create_cache_invalidations_table.sql create mode 100644 migrations/00007_create_message_idempotency_keys_table.sql create mode 100755 scripts/failover-evidence.sh create mode 100755 scripts/failover-load.sh create mode 100755 scripts/failover-summary.py create mode 100755 scripts/failure-detection-evidence.sh create mode 100755 scripts/failure-detection.py create mode 100755 scripts/idempotency-evidence.sh create mode 100755 scripts/idempotency-under-failure.py create mode 100755 scripts/init-secrets.sh create mode 100755 scripts/lb-errors-evidence.py create mode 100755 scripts/lb-errors-evidence.sh create mode 100644 scripts/lb-lib.sh create mode 100755 scripts/level3-evidence.py create mode 100755 scripts/level3-evidence.sh create mode 100755 scripts/limits-evidence.py create mode 100755 scripts/limits-evidence.sh create mode 100755 scripts/migration-evidence.sh create mode 100755 scripts/persistence-evidence.sh create mode 100755 scripts/resources-evidence.sh create mode 100755 scripts/restart.sh create mode 100755 scripts/rolling-evidence.sh create mode 100755 scripts/rolling-summary.py create mode 100755 scripts/rolling-update.sh create mode 100644 scripts/scaling-study.py create mode 100644 scripts/scaling-summary.py create mode 100755 scripts/stop-one.sh diff --git a/.dockerignore b/.dockerignore index bc16e556..2b710ee9 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,4 @@ __pycache__ node_modules evidence .DS_Store +app/messenger diff --git a/.env.example b/.env.example index d32b9be0..105863e9 100644 --- a/.env.example +++ b/.env.example @@ -7,7 +7,7 @@ SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. DATABASE_URL_FILE=/run/secrets/database_url # Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres +SESSION_STORE=valkey CACHE_URL_FILE=/run/secrets/cache_url API_REPLICAS=2 IDEMPOTENCY_TTL_SECONDS=86400 diff --git a/.gitignore b/.gitignore index b5a71896..941db38c 100644 --- a/.gitignore +++ b/.gitignore @@ -14,6 +14,7 @@ volumes/ data/ backups/ # Runtime/build artifacts +/app/messenger .venv/ __pycache__/ *.py[cod] diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..67dc39c0 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,85 @@ +# syntax=docker/dockerfile:1.7 + +# Многоэтапная сборка: компилятор и исходники остаются в промежуточных этапах, а в итоговые +# образы попадают только готовые файлы. Какой этап собрать, задаёт target в compose.yaml. +# Версии образов закреплены, чтобы сборка повторялась. + +# Этап 1: компиляция всех программ проекта. +FROM golang:1.26.10-alpine3.24 AS builder +WORKDIR /src + +# Сначала только списки зависимостей: при изменении кода их загрузка берётся из кэша Docker. +COPY app/go.mod app/go.sum ./ +RUN go mod download + +# Затем весь код. Лишнее отсекает .dockerignore. +COPY app/ ./ + +# Основной сервер API. CGO_ENABLED=0 — статический файл без зависимостей от системных библиотек, +# -s -w убирают отладочные данные и уменьшают размер, -trimpath убирает локальные пути из файла. +RUN CGO_ENABLED=0 GOOS=linux go build \ + -ldflags="-s -w" \ + -trimpath \ + -o /out/messenger ./cmd/messenger + +# Генератор нагрузки для проверок под нагрузкой. +RUN CGO_ENABLED=0 GOOS=linux go build \ + -ldflags="-s -w" \ + -trimpath \ + -o /out/loadgen ./cmd/loadgen + +# Этап 2: сборка инструмента миграций goose. Версия закреплена, драйверы ненужных БД +# исключены тегами: нужен только PostgreSQL. +FROM golang:1.26.10-alpine3.24 AS goose-builder +RUN CGO_ENABLED=0 go install -trimpath -ldflags="-s -w" \ + -tags='no_clickhouse no_libsql no_mssql no_mysql no_sqlite3 no_vertica no_ydb' \ + github.com/pressly/goose/v3/cmd/goose@v3.26.0 + +# Образ одноразового сервиса migrate: только goose и файлы миграций. +# Адрес БД читается из секрета при запуске, поэтому в образ не попадает. +# exec заменяет оболочку на goose, и тот сам получает сигналы остановки. +FROM alpine:3.24.3 AS migrate +COPY --from=goose-builder /go/bin/goose /usr/local/bin/goose +COPY migrations /migrations +ENTRYPOINT ["/bin/sh", "-c", "exec goose -dir /migrations postgres \"$(cat \"$DATABASE_URL_FILE\")\" up"] + +# Образ генератора нагрузки (профиль bench). Работает не от root. +FROM alpine:3.24.3 AS loadgen +COPY --from=builder /out/loadgen /usr/local/bin/loadgen +USER nobody +ENTRYPOINT ["/usr/local/bin/loadgen"] + +# Итоговый образ API. Это последний этап, поэтому он собирается, когда target не указан. +# В нём нет ни компилятора, ни goose, ни файлов миграций: реплики не могут запускать их при старте. +FROM alpine:3.24.3 + +# Метка версии сборки: видна в образе и в окружении. По ней rolling update показывает смену версии. +ARG APP_BUILD=dev +ENV APP_VERSION=$APP_BUILD +LABEL org.opencontainers.image.version=$APP_BUILD + +# Корневые сертификаты и отдельный пользователь без прав: процесс работает не от root. +RUN apk add --no-cache ca-certificates && \ + addgroup -S app && \ + adduser -S -G app -H app + +WORKDIR /app + +# Из этапа сборки берётся только готовый файл. +COPY --from=builder /out/messenger /app/messenger + +# Все следующие команды и сам сервер выполняются от этого пользователя. +USER app + +# Документация порта. Наружу он не публикуется: снаружи доступен только LB. +EXPOSE 8080 +# Docker останавливает контейнер этим сигналом: приложение выводит себя из балансировки +# и завершает открытые запросы. +STOPSIGNAL SIGTERM + +# Проверка готовности для Docker (статус healthy). Трафик направляет не она, а собственные +# проверки LB. wget входит в alpine, отдельно его ставить не нужно. +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \ + CMD wget --quiet --spider "http://127.0.0.1:${APP_PORT:-8080}/health/ready" || exit 1 + +ENTRYPOINT ["/app/messenger"] diff --git a/REPORT.md b/REPORT.md index c2679005..fd75d836 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,335 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +Краткое исследование на «5», трек 1: [цена масштабирования — замеры, графики и проверенное улучшение](TRACK1.md). + +- Автор, группа: Нурлыгаянова Екатерина, БПИ2302 +- Целевая оценка: 5, трек 1 «Цена масштабирования». Выполнены проверки уровня 4 и исследование масштабирования с проверенным изменением лимита БД. +- Библиотеки: Echo, pgx, go-redis, google/uuid; goose для миграций; образы PostgreSQL, Valkey, HAProxy, Alpine, Go (версии ниже). +- Помощь ИИ: Claude Code использовался для ревизии и правки скриптов проверки, ответов LB в формате контракта, комментариев к коду и заполнения этого отчёта. При текущем заполнении Codex сверил отчёт с сохранёнными результатами и добавил исследование масштабирования. Числа взяты из файлов `evidence/`; ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +**Версии.** Docker Engine 29.2.1, Compose 5.0.2, образы: `postgres:17.6-alpine`, `valkey/valkey:8.1.3-alpine`, `haproxy:3.2.9-alpine`, сборка на `golang:1.26.10-alpine3.24`, запуск на `alpine:3.24.3`, goose 3.26.0. + +**Нужно на хосте:** Docker с Compose, `make`, Python 3.9+ (проверено на 3.13.7). Go нужен только для `app/e2e` и модульных тестов (`go.mod` требует 1.26). Порты 8080, 5432 и 6379 должны быть свободны. + +```sh +cp .env.example .env # значения без секретов, менять не обязательно +sh scripts/init-secrets.sh # создаёт secrets/ со случайными паролями, повторный запуск их не меняет +docker compose --env-file .env up -d --build --wait # сборка, миграции один раз, запуск, ожидание готовности +curl -i http://localhost:8080/health/ready # ожидается 200 +make check && make test +``` + +Миграции выполняет сервис `migrate` до старта API, отдельной команды не нужно. + +**Остановка:** `docker compose --env-file .env down` сохраняет данные. **Намеренное удаление учебных данных:** `docker compose --env-file .env down -v`; после этого нельзя менять пароль БД в `secrets/` без пересоздания тома. + +**Действия оператора:** `scripts/stop-one.sh` оставляет реплику остановленной, вернуть её нужно командой `docker compose --env-file .env up -d --wait`. Реплику для остановки выбирает `make test-failover` по очереди round-robin, поэтому повторные запуски без других запросов могут остановить ту же реплику (в проверке так было 6 раз подряд). `scripts/failover-evidence.sh` сдвигает очередь сам; при ручном запуске нужен лишний запрос к LB и проверка, какой контейнер остановлен. + +**Статус проверки чистого clone:** файла `evidence/clean-clone.txt` в репозитории нет, поэтому успешный запуск из чистого clone по сохранённым материалам не подтверждён. Проверки ниже выполнены на рабочем стенде. Перед сдачей нужно отдельно проверить clone итогового коммита. Скрипты доказательств рассчитаны на имя проекта `mtusi-lab3` и адрес `localhost:8080`. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```text +клиент -> lb (HAProxy, :8080, единственная публичная точка входа) + | round-robin, проверка GET /health/ready раз в 1 с + +-> api-1 --+--> postgres (том pgdata): пользователи, чаты, сообщения, ключи идемпотентности + +-> api-2 --+--> valkey (том valkeydata): сессии +migrate (один раз до старта api) --> postgres +``` + +| Роль | Сервис | Версия | Готовность | Том | Порт на хосте | Секреты | +| --- | --- | --- | --- | --- | --- | --- | +| Балансировщик | `lb` | haproxy 3.2.9 | `/health` на порту 8404 внутри контейнера | нет | `*:8080` | нет | +| API | `api`, 2 реплики | собирается из `Dockerfile` | `/health/ready` | нет | нет | файлы `database_url`, `cache_url` | +| БД | `postgres` | 17.6 | `pg_isready` | `pgdata` | `127.0.0.1:5432` | файл `postgres_password` | +| Сессии | `valkey` | 8.1.3 | `PING` | `valkeydata` | `127.0.0.1:6379` | файл `valkey_password` | +| Миграции | `migrate` | goose 3.26.0 | одноразовый | нет | нет | файл `database_url` | + +**Источник истины:** PostgreSQL для данных, Valkey для сессий. У реплик API своего состояния нет, поэтому токен принимает любая реплика, а подтверждённое сообщение видно через любую. + +**Критичные зависимости:** PostgreSQL и Valkey. Без любой из них реплика неготова, и обязательный путь недоступен. + +**Транзакции:** ключ идемпотентности и сообщение пишутся в одной транзакции, уникальность обеспечивает `PRIMARY KEY (user_id, chat_id, key)`. Конкурентный запрос с тем же ключом ждёт завершения транзакции. Чат и его участники тоже создаются одной транзакцией. + +**Порядок истории:** `(created_at, id)` по возрастанию, `created_at` назначает БД. Обход неизменной истории не даёт повторов. При конкурентных вставках момент времени присваивается внутри транзакции, поэтому сообщение с более ранним `created_at` может зафиксироваться уже после того, как клиент прошёл эту позицию курсором, и при этом обходе он его не увидит. Повторное чтение с начала его покажет. + +**Что добавлено в этой работе:** несколько реплик за HAProxy, `X-Instance-Id`, общая идемпотентность в БД (миграция 00007), согласованные таймауты и завершение по SIGTERM, поочерёдная замена реплик, скрипты отказов. Ответы LB `502`, `503`, `504` приведены к схеме `Error`. + +**Соответствие `.env.example` и конфигурации:** + +| Переменная | Где используется | +| --- | --- | +| `APP_HOST`, `APP_PORT`, `APP_ENV` | адрес и окружение API, читает `internal/config` | +| `SESSION_TTL_SECONDS` | срок жизни сессии | +| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | пути к файлам секретов, значений секретов не содержат | +| `SESSION_STORE` | допустимо только `valkey`, иное значение останавливает запуск | +| `API_REPLICAS` | `deploy.replicas` в `compose.yaml` | +| `IDEMPOTENCY_TTL_SECONDS` | срок хранения ключей, по умолчанию 24 ч | + +**Необязательное:** +- Кэш истории (`app/internal/cache`, сервис `valkey-cache`, профиль `cache`) выключен и в этой работе не проверялся. Включать его не следует: по комментарию в `compose.yaml` при нескольких репликах он не гарантирует чтение после записи. +- `DB_ENABLE_BITMAPSCAN=false` отключает bitmap scan в подключениях API. Это гипотеза о плане запроса для новых чатов, замеров, подтверждающих выигрыш, нет. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Контракт и публичный smoke | `make test` на расширенной схеме | публичный сценарий `PASS`; отдельный результат `make check` не сохранён | evidence/level4/migrations.txt | +| Модульные тесты | `cd app && go vet ./... && go test -count=1 ./...` | все пакеты `ok` | evidence/go-test.txt | +| Уровень 3: ≥2 реплики, запросы через LB идут в разные реплики | `sh scripts/idempotency-evidence.sh`, `sh scripts/limits-evidence.sh` | конкурентные запросы распределяются между двумя репликами; при масштабировании LB использует все 4 контейнера | evidence/level4/idempotency.txt, evidence/level4/limits.txt | +| Уровень 3: остановка любой реплики | `sh scripts/failover-evidence.sh` (`make test-failover`) | каждая реплика остановлена и возвращена, 3 прогона, 0 неудачных попыток, запись восстановилась за 3,20–3,28 с | evidence/failover.txt | +| Уровень 3: сохранность при рестарте | `sh scripts/persistence-evidence.sh` (`make test-persistence`) | данные и прежний токен на месте, у всех контейнеров новое время запуска, тома прежние | evidence/persistence.txt | +| Уровень 3: повтор POST и конкурентный повтор | `sh scripts/idempotency-evidence.sh` | см. раздел «Общая идемпотентность» | evidence/level4/idempotency.txt | +| Уровень 4: лимиты, порты, секреты, хранилища, масштабирование | scripts/limits-evidence.sh | у всех сервисов лимиты CPU/RAM, применены в cgroup; наружу открыт только LB; секреты и тома только у своих сервисов; нет container_name; api масштабируется до 4 и обратно | evidence/level4/limits.txt | +| Уровень 4: поочерёдная остановка реплик под нагрузкой | scripts/failover-load.sh stop, scripts/failover-load.sh kill | каждая реплика остановлена и восстановлена; ошибок 0 (stop) и 2 (kill, в момент отказа); 0 с без успешных запросов; потерь и дублей нет | evidence/level4/failover-stop.txt, failover-kill.txt | +| Уровень 4: общая идемпотентность параллельно | scripts/idempotency-evidence.sh | 16 параллельных запросов на ключ через обе реплики и в момент отказа: ровно одно сообщение на ключ, дублей 0, сверка по БД `0 0` | evidence/level4/idempotency.txt | +| Уровень 4: rolling update и миграции | scripts/rolling-evidence.sh, scripts/migration-evidence.sh | 2 замены обеих реплик под нагрузкой (без миграции и с совместимой миграцией): 0 ошибок, 0 потерь и дублей; совместимая миграция не мешает работающей версии, несовместимая даёт 500 и этим подтверждает чувствительность проверки | evidence/level4/rolling.txt, evidence/level4/migrations.txt | +| Уровень 4: health/readiness, timeouts, SIGTERM, вывод backend | scripts/failure-detection-evidence.sh | период проверок 1 с, измеренный вывод зависшей реплики за 4,09–4,98 с; при SIGTERM 0 ошибок и все запросы завершены; неготовая реплика не получает трафик | evidence/failure-detection.txt | +| Ответы самого LB по контракту | `sh scripts/lb-errors-evidence.sh` | без рабочих реплик `503`, JSON по схеме `Error`, `request_id` равен `X-Request-Id`; в конфигурации есть правила 502/503/504 | evidence/lb-errors.txt | +| Уровень 5: цена масштабирования | `python3 scripts/scaling-study.py`, `python3 scripts/scaling-summary.py` | 14 прогонов; фиксированный и растущий бюджет; проверено увеличение CPU БД: +3,9% RPS, −48% p95 записи | evidence/track1/summary.csv, evidence/track1/*.json, TRACK1.md | +| CPU и RAM под нагрузкой | `sh scripts/resources-evidence.sh` | API упирается в лимит 1 CPU, RAM далеко от лимитов, ошибок 0 | evidence/level4/resources.txt | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Ограничение `goose`: параллельный запуск не защищён блокировкой, поэтому миграции запускает один процесс (раздел «Rolling update и миграции»). -## Эксперименты и отказы +## Обнаружение отказа и согласованность таймаутов -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +**Период проверок:** `GET /health/ready` раз в 1 с (`inter 1s`). Реплика выводится после 2 неудачных проверок (`fall 2`), возвращается после выхода из DOWN после 2 удачных (`rise 2`). Новый адрес из DNS стартует как DOWN (`init-state down`) и получает трафик после первой удачной проверки. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +**Максимальное измеренное время вывода зависшей реплики: 4,98 с; расчётная граница с учётом connect — 6 с.** Измерено скриптом `scripts/failure-detection.py`, по 3 прогона: + +| Отказ | Как обнаруживается | Расчётный максимум | Измерено | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `docker stop` (SIGTERM) | readiness сразу 503, 2 проверки | 1 с × 2 = 2 с | 1,56–1,74 с, ошибок 0 | +| `docker kill` под трафиком | 2 ошибки соединения на запросах (`observe layer4`) | определяется трафиком | 0,10–0,13 с, ошибок 0–1 (`502`) | +| `docker kill` без трафика | активные проверки | (1 с + connect 0,5 с) × 2 = 3 с | 2,41–2,56 с | +| `docker pause` (зависший процесс) | таймаут проверки | (1 с + check 1,5 с) × 2 = 5 с | 4,09–4,98 с, 16–24 таймаута клиента, последний на 4,20–6,26 с | + +Расчёт для зависания предполагает мгновенную установку соединения. Если соединение устанавливается медленно, вплоть до `timeout connect`, теоретическая граница составляет (1 + 0,5 + 1,5) × 2 = 6 с. Требование README (не позднее 10 с) выполняется в обоих случаях. + +**Цепочка таймаутов:** + +| Параметр | Значение | Почему | +| --- | --- | --- | +| readyTimeout API | 1 с | меньше `timeout check`: API успевает ответить 503 при недоступной зависимости | +| `timeout check` LB | 1,5 с | зависшая реплика считается неудачной проверкой | +| `timeout connect` LB | 0,5 с | недоступный адрес быстро уходит в повтор на другую реплику | +| DB query timeout | 3 с | меньше `APP_WRITE_TIMEOUT_MS` | +| `APP_READ_TIMEOUT_MS` / `timeout http-request` | 10 с / 10 с | одинаковый предел на приём запроса | +| `APP_WRITE_TIMEOUT_MS` / `timeout server` | 10 с / 15 с | LB не обрывает запрос раньше API | +| `APP_IDLE_TIMEOUT_MS` / `timeout http-keep-alive` | 60 с / 30 с | API не закрывает простаивающее соединение раньше LB | +| `APP_SHUTDOWN_DRAIN_MS` | 3 с | больше вывода по readiness (2 с): новые запросы перестают приходить до закрытия порта | +| `APP_SHUTDOWN_TIMEOUT_MS` | 10 с | равен `APP_WRITE_TIMEOUT_MS`: начатый запрос успевает завершиться | +| `stop_grace_period` | 15 с | больше 3 + 10 с: Docker не присылает SIGKILL раньше времени | + +**Порядок при SIGTERM** (`docker stop` с 8 открытыми запросами, 4 из них на останавливаемой реплике): + +1. Сразу: readiness возвращает 503 (замер 0,12 с), обычные запросы продолжают обслуживаться. +2. Через 3 с: порт закрыт, новые соединения отклоняются (замер 3,15 с). +3. Открытые запросы завершаются: все 8 вернули 201, сообщения сохранены. +4. Контейнер завершился с кодом 0 за 5,83 с, в логе `server stopped cleanly`. + +**Readiness и зависимости:** `/health/ready` проверяет PostgreSQL и Valkey, `/health/live` только сам процесс. При остановке Valkey обе реплики вышли из балансировки за 1,36 с, и LB отвечает `503` на все запросы: JSON по схеме `Error`, без `X-Instance-Id`, который контракт для ответов LB не требует; после восстановления Valkey реплики вернулись. Отказ общей зависимости приложение не переживает, он только становится явным. + +**Ограничения:** + +- Запрос, уже ушедший на зависшую реплику, ждёт до `timeout server` (15 с) и получает 504, если клиент не отключится раньше. `on-marked-down shutdown-sessions` сократил бы это ожидание, но вывод по 503 при SIGTERM тогда обрывал бы запросы, поэтому он не используется. +- При `init-state down` сразу после рестарта LB бэкенд пуст до первой проверки, в это время LB отвечает `503`. +- Ложные выводы реплик под предельной нагрузкой не проверялись. +- Ответ LB `503` проверен вживую с проверкой тела (`lb-errors.txt`). `502` встречался при `docker kill` (`failure-detection.txt`), но его тело отдельно не проверялось; для `504` сохранённого результата проверки нет. Для всех трёх статусов настроены правила `http-error`. Правила `http-error` не покрывают ошибки разбора запроса (`400`, `408`) самим LB. +- Замеры сделаны на одном хосте Docker Desktop; отказ узла не проверялся. + +## Лимиты, порты, секреты и хранилища + +| Сервис | CPU | RAM | Порт на хосте | Секреты | Том | +| --- | --- | --- | --- | --- | --- | +| lb | 1 | 256 МБ | `*:8080` | нет | нет | +| api | 1 | 512 МБ | нет | database_url, cache_url | нет | +| postgres | 2 | 1 ГБ | `127.0.0.1:5432` | postgres_password | pgdata | +| valkey | 1 | 256 МБ | `127.0.0.1:6379` | valkey_password | valkeydata | +| migrate | 0,5 | 128 МБ | нет | database_url | нет | +| valkey-cache (профиль) | 0,5 | 128 МБ | `127.0.0.1:6380` | valkey_cache_password | нет | +| loadgen (профиль) | 4 | 1 ГБ | нет | нет | нет | + +Кэш истории выключен (`HISTORY_CACHE=off`), поэтому секрет `history_cache_url` у API нет. Если включить `HISTORY_CACHE` без этого секрета, API завершается с ошибкой при старте. + +**Ограничения:** + +- API и migrate используют одну роль `messenger`, и это суперпользователь PostgreSQL. Отдельная роль API с минимальными правами не реализована. +- Все сервисы находятся в одной сети Compose, поэтому LB сетевым образом может обратиться к БД; защищает только пароль. +- `server-template` задаёт 8 слотов: реплики сверх 8 не получат трафик. 8 реплик по `DB_MAX_CONNS=10` дают 80 соединений при `max_connections=100`. Проверено масштабирование только до 4. +- Порты PostgreSQL и Valkey на `127.0.0.1` нужны для диагностики. + +## Поочерёдная остановка реплик под нагрузкой + +**Профиль:** `loadgen` в сети стенда, closed-loop, 16 клиентов, 20% записей, замер 60 с, прогрев 5 с, таймаут запроса 5 с. У каждой реплики 1 CPU и 512 МБ. Реплика останавливается на 10-й и 32-й секунде и запускается через 10 с, то есть в каждый момент отказывает только одна. + +| Показатель | `docker stop` (SIGTERM) | `docker kill` (SIGKILL) | +| --- | --- | --- | +| RPS за весь замер (чтение + запись) | 9238 | 8975 | +| RPS до отказа, 2 реплики | 10830 | 10341 | +| RPS при одной реплике (1-я / 2-я) | 5518 / 5696 | 5767 / 5779 | +| RPS после возврата (1-я / 2-я) | 11300 / 11186 | 10727 / 10641 | +| Ошибки (1-я / 2-я) | 0 / 0 | 2 / 0 (`502` и обрыв соединения) | +| Секунд без единого успешного запроса | 0 | 0 | +| Возврат к исходной ёмкости после `docker start` | 1 с / 1 с | не более 1 с | +| p99 чтения / записи | 7,3 / 13,0 мс | 7,2 / 13,7 мс | +| Записи: подтверждено / потеряно / дублей | 121439 / 0 / 0 | 118247 / 0 / 0 | +| Подтверждено только после повтора с тем же ключом | 0 | 1 | + +Время возврата измерено с точностью до 1 с (секундная шкала `loadgen`, часы скрипта и генератора расходятся менее чем на 1 с). Время вывода реплики см. в разделе «Обнаружение отказа»: строка `t=13s LB вывел` в режиме stop показывает окончание блокирующего `docker stop`, а не сам вывод. + +**Ограничения:** RPS при одной реплике падает примерно вдвое, это закономерно при лимите 1 CPU на реплику, и одной реплики при этой нагрузке хватает без ошибок. Запас по ёмкости на большей нагрузке не проверялся. Closed-loop занижает задержки при перегрузке (coordinated omission), поэтому p99 здесь не характеристика при заданной интенсивности. Прогон по одному разу на режим, поэтому разброс между повторами не оценён. + +## Общая идемпотентность + +Уникальность обеспечивает БД, а не память реплики: `PRIMARY KEY (user_id, chat_id, key)` в `message_idempotency_keys` и `INSERT ... ON CONFLICT DO NOTHING` в одной транзакции с сообщением. Проигравший параллельный запрос читает уже записанное сообщение и возвращает его; другой текст с тем же ключом даёт 409. + +| Проверка | Объём | Результат | +| --- | --- | --- | +| `app/e2e`: параллельно через обе реплики | 3 прогона, 20 раундов по 16 запросов, запросы примерно поровну (160/160, 161/159) | одно сообщение на ключ, ответы побайтно совпадают, история совпадает с подтверждённым | +| `scripts/idempotency-under-failure.py`, stop | 826 и 890 ключей по 16 запросов | дублей 0, потерянных ключей 0 | +| То же, kill | 1545 и 739 ключей по 16 запросов, 5 и 2 ответа `502` повторены с тем же ключом | дублей 0, потерянных ключей 0 | +| Сверка по БД, сообщения сценариев с отказом | дубли одного сообщения в чате; сообщения без ключа | 0 и 0 | + +## Rolling update и миграции + +Compose не умеет заменять реплики поочерёдно сам, поэтому это делает `scripts/rolling-update.sh`: + +1. Собирает образы и запоминает текущий образ API. +2. Один раз запускает миграции отдельным процессом `migrate`. Если они упали, реплики не меняются. +3. Для каждой старой реплики: поднимает новую, ждёт её `healthy` и статус `UP` в LB, затем останавливает старую через `docker stop` (SIGTERM и drain) и удаляет её. +4. Если новая реплика не стала готовой, удаляет её, возвращает тег образа на прежний и останавливает замену. + +Возврат тега нужен потому, что сборка переносит тег на новый образ. Без возврата следующий `compose up` пересоздал бы разом все реплики из несостоявшейся версии. Сохранённый сценарий проверяет, что после неудачного обновления тег возвращён и старые реплики остаются на месте. + +### Результаты под нагрузкой + +Нагрузка: 16 клиентов, 20% записей, 60 с. Обновление начинается на 10-й секунде и занимает 21–22 с. По одному прогону на сценарий. + +| Сценарий | Замен | RPS до | Минимум RPS за секунду в окне | Ошибки | Потери и дубли | +| --- | ---: | ---: | ---: | ---: | ---: | +| Без изменения схемы (`rolling.txt`) | 1 прогон, 2 реплики | 11194 | 8877 | 0 | 0 | +| С совместимой миграцией (`migrations.txt`) | 1 прогон, 2 реплики | 10709 | 8589 | 0 | 0 | + +Ни одной секунды без успешных запросов. В прогонах новая версия видна по метке образа, а смена реплик — по `X-Instance-Id`. + +### Почему миграция запускается один раз + +- В образе API нет ни goose, ни каталога миграций, поэтому реплики не могут запускать их при старте. +- Миграции выполняет один одноразовый сервис `migrate` до запуска API (`service_completed_successfully`). +- Масштабирование и повторный запуск не добавляют записей в `goose_db_version`. + +**Ограничение:** у `goose up` нет блокировки, однократность держится на том, что запускают один процесс. При 8 параллельных запусках на пустой БД часть падает с ошибкой (успешно 4, 4 и 6 из 8), а версия 5 в одном раунде из трёх записалась дважды, то есть миграция выполнилась повторно. На реальных данных её `UPDATE` удвоил бы экранирование `\`. Поэтому два оператора не должны обновлять стенд одновременно. + +### Совместимость с работающей версией + +`scripts/migration-evidence.sh` применяет проверочные миграции из временного каталога и откатывает их. Каталог `migrations/` не меняется. + +| Сценарий | Что проверено | Результат | +| --- | --- | --- | +| Expand: новая колонка и таблица | Старые реплики работают на новой схеме до 18 с под нагрузкой, затем `make test` | 0 ошибок, тесты проходят | +| Контроль: переименование `messages.text` | Та же нагрузка замечает несовместимую схему | 1531 ошибка `500`, 9 с без единого успеха, после отката снова работает | +| Упавшая миграция | Обновление останавливается до замены | Реплики и версия схемы те же, транзакция откатилась | +| Новая реплика не стартует | Ёмкость не падает | 0 ошибок, старые реплики на месте, тег возвращён | + +Контрольный сценарий показывает две вещи: проверка expand действительно способна поймать поломку, а readiness проверяет только связь с БД и не замечает несовместимую схему. LB оставляет обе реплики в работе. + +Правило для изменений схемы: expand/contract. Сначала только добавляем, затем заменяем реплики, а удаляем или переименовываем следующим выпуском, когда старой версии уже нет. + +Оценка текущих миграций: + +| Миграция | Совместимость с предыдущей версией кода | +| --- | --- | +| 00001–00004 | Создание исходной схемы, работающей версии до них нет | +| 00005 | **Несовместима:** меняет кодировку хранимого текста и переписывает данные. Старая версия показала бы удвоенные `\`, поэтому нужна остановка записи | +| 00006, 00007 | Только новые таблицы, старый код их не трогает. Но версия без 00007 не записывала бы ключи идемпотентности, так что защита от дублей действует только после полной замены | + +Сейчас применены все 7 миграций, поэтому текущее обновление не выполняет ни одной из них. + +### Ограничения + +- В проверке старая и новая версии отличаются меткой сборки, а не кодом. Доказана работа текущего кода на расширенной схеме, но не сосуществование двух разных версий логики. +- Схема откатывается только вручную. Автоматического отката уже заменённых реплик нет: при сбое на второй реплике версии остаются смешанными до следующего запуска. Предыдущий образ остаётся только как непомеченный, пока не удалён. +- `ALTER TABLE` берёт эксклюзивную блокировку, `lock_timeout` не задан. На этом объёме данных она незаметна, на большой таблице или при долгой транзакции запросы встанут в очередь. +- `docker compose up -d --build` — не rolling update: он пересоздаёт реплики одновременно. Для обновления нужен `scripts/rolling-update.sh`. +- Проверено на 2 репликах на одном хосте; нагрузка идёт из той же сети Docker. + +## Ресурсы под нагрузкой + +Стенд: Apple M4 Pro, Docker Desktop с 12 CPU и около 7,7 ГиБ RAM. Профиль уровня 4: 16 клиентов closed-loop, 20% записей, 8 чатов, прогрев 5 с, замер 60 с. Исключения: несовместимая миграция — 30 с, неисправная реплика — 50 с. + +**CPU и RAM под нагрузкой** (`scripts/resources-evidence.sh`, 2 реплики, тот же профиль без отказов, `docker stats` за 60 с замера, 30–31 выборка; 100% равно одному ядру). Результат прогона: 11156 RPS, доля ошибок 0, p50/p95/p99 чтения 1,0/2,6/5,2 мс, записи 1,9/3,7/7,3 мс, потерь и дублей нет. + +| Контейнер | CPU среднее / макс. | Лимит CPU | RAM среднее / макс. | Лимит RAM | +| --- | ---: | ---: | ---: | ---: | +| api-5 | 104% / 112% | 100% | 22 / 34 МиБ | 512 МиБ | +| api-6 | 104% / 112% | 100% | 14 / 14 МиБ | 512 МиБ | +| lb | 80% / 93% | 100% | 109 / 110 МиБ | 256 МиБ | +| postgres | 177% / 191% | 200% | 213 / 216 МиБ | 1 ГиБ | +| valkey | 16% / 19% | 100% | 12 / 13 МиБ | 256 МиБ | +| loadgen | 78% / 84% | 400% | 40 / 61 МиБ | 1 ГиБ | + +При этом профиле реплики API работают на пределе CPU, а PostgreSQL и LB близки к своим лимитам, поэтому RPS здесь ограничен лимитами стенда. Значения немного выше 100% при лимите 100%, вероятно, связаны с погрешностью выборки `docker stats`; отдельно это не проверялось. Этот прогон показывает загрузку при 16 клиентах; отдельная проверка узкого места при 32 клиентах приведена в разделе о масштабировании ниже. + +**Ограничения измерения:** closed-loop занижает задержки при перегрузке (coordinated omission), поэтому пропускная способность здесь не является пределом стенда. Прогонов мало: разброс оценён только там, где указан диапазон. Часы скрипта и генератора расходятся до 1 с. Всё работает на одном хосте, поэтому числа нельзя переносить на другую конфигурацию. + +## Сводка результатов нагрузки уровня 4 + +Замеры от 4 ноября 2026 года, версия `0ab3a34+dirty`. RPS и p95 указаны за весь прогон. Проверенная история включает подготовительные записи. + +| Файл в `evidence/level4/` | Замер, с | Успешных запросов/с | p95 чтения, мс | p95 записи, мс | Ошибки | Проверено сообщений | Потери / дубли ID / дубли текста | +| --- | ---: | ---: | ---: | ---: | --- | ---: | --- | +| `failover-stop.json` | 60 | 9238.22 | 2.700 | 4.067 | 0 | 121439 | 0 / 0 / 0 | +| `failover-kill.json` | 60 | 8974.78 | 2.702 | 4.041 | 502: 1, net: 1 | 118247 | 0 / 0 / 0 | +| `rolling.json` | 60 | 11146.50 | 2.517 | 3.821 | 0 | 145172 | 0 / 0 / 0 | +| `rolling-expand.json` | 60 | 10640.55 | 2.634 | 4.005 | 0 | 139415 | 0 / 0 / 0 | +| `rolling-bad-image.json` | 50 | 10387.48 | 2.732 | 4.053 | 0 | 114264 | 0 / 0 / 0 | +| `migration-breaking.json` | 30 | 7114.93 | 2.731 | 3.909 | 500: 1531 | 53799 | 0 / 0 / 0 | + +В сценарии `rolling-bad-image` новая реплика намеренно завершается командой `/bin/false`. Обновление прекращается, старые реплики остаются на месте; за 50 с нет ошибок клиента и секунд без успешных запросов. В несовместимой миграции 1531 ответ `500` и 9 секунд без успеха ожидаемы: это контроль чувствительности проверки, а не успешное обновление. + +## Уровень 5, трек 1: цена масштабирования + +Гипотеза: дополнительные API помогают до насыщения общей БД; разделение прежних ресурсов не даёт линейного ускорения. + +Замеры от 5 ноября 2026 года: 32 клиента, 80% чтения / 20% записи, прогрев 5 с, замер 20 с, два повтора. По умолчанию PostgreSQL — 2 CPU / 1 ГиБ, LB — 1 CPU / 256 МиБ; пул — 10 соединений на API. В таблице средние двух прогонов. + +| Серия | Реплик API | Суммарно API: CPU / RAM | RPS | +| --- | ---: | --- | ---: | +| Фиксированный бюджет | 1 | 2 / 1 ГиБ | 9821 | +| Фиксированный бюджет | 2 | 2 / 1 ГиБ | 10673 | +| Фиксированный бюджет | 4 | 2 / 1 ГиБ | 9463 | +| Рост ресурсов | 1 | 1 / 512 МиБ | 5631 | +| Рост ресурсов | 2 | 2 / 1 ГиБ | 10673 | +| Рост ресурсов | 4 | 4 / 2 ГиБ | 11243 | + +![Масштабирование; интервалы — два повтора](evidence/track1/scaling.png) + +При фиксированном бюджете переход 2 → 4 API снижает RPS на 11,3%; при удвоении ресурсов даёт лишь +5,3%. Насыщение — около 11 тысяч RPS. При четырёх API БД потребляет около 2,09 CPU из 2, LB — 0,88 из 1, каждая API — 0,59 из 1. + +**Проверенное улучшение:** увеличение только CPU БД с 2 до 4 дало 11678 RPS (+3,9%) и снизило среднее p95 записи с 15,67 до 8,07 мс (−48,5%). Оба повтора выше исходных. Удвоение только CPU LB дало 11174 RPS, без выигрыша. После ускорения БД загрузка LB достигает 0,97 CPU из 1. + +![Проверка узкого места](evidence/track1/bottleneck.png) + +Во всех 14 прогонах ошибки, потери и дубли — 0. Ограничения: один хост, два коротких повтора, closed-loop; статистическая значимость не оценивалась. + +Данные: [CSV](evidence/track1/summary.csv), [среда и сырые результаты](evidence/track1/), подробности — [TRACK1.md](TRACK1.md). Повтор: `python3 scripts/scaling-study.py`, затем `python3 scripts/scaling-summary.py` (нужен matplotlib). Скрипт временно меняет стенд и возвращает исходную конфигурацию; тестовые данные остаются. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +**Выдерживается:** отказ, зависание и замена одной реплики API; перезапуск всего стенда с сохранением томов; повтор и конкурентный повтор POST сообщения, в том числе в момент отказа. + +**Не выдерживается:** отказ PostgreSQL, Valkey, LB или всего хоста. Это единые точки отказа: сервис становится недоступен, пока они не вернутся, репликации нет, а отказ узла не проверялся. + +**Не реализовано и учебные упрощения:** +- API и миграции используют одну роль БД с правами суперпользователя. +- Секреты в файлах на хосте, TLS нет: допустимо только для локального стенда с синтетическими данными. +- Автоматического отката уже заменённых реплик и схемы нет. +- Совместимость схемы не входит в readiness: несовместимая миграция не выводит реплики из LB. +- Кэш истории выключен и не проверен; на настоящих PostgreSQL и Valkey нет отдельных тестов отката транзакции, гонки имён и очистки ключей. +- `DB_ENABLE_BITMAPSCAN=false` не подтверждён замерами. +- `APP_MAX_MESSAGES` используется только хранилищем в памяти из модульных тестов, на PostgreSQL не влияет. + +**Подтверждено:** результаты из существующих файлов, перечисленных в таблице доказательств. Отдельные логи `make check` и чистого clone отсутствуют. **Пока гипотеза:** выигрыш от отключения bitmap scan. diff --git a/TRACK1.md b/TRACK1.md new file mode 100644 index 00000000..d1b57dd5 --- /dev/null +++ b/TRACK1.md @@ -0,0 +1,28 @@ +# Трек 1. Цена масштабирования + +**Гипотеза:** реплики помогают до насыщения общей БД; деление прежних ресурсов не даёт линейного ускорения. + +**Методика:** реальный стенд Docker, 32 клиента closed-loop, 80% чтения / 20% записи, 8 чатов × 100 начальных сообщений. Каждый вариант: прогрев 5 с, замер 20 с, два повтора. PostgreSQL: 2 CPU / 1 ГиБ; LB: 1 CPU / 256 МиБ; Valkey: 1 CPU / 256 МиБ — неизменны, кроме явно указанных проверок. Пул: 10 соединений на API. Генератор отдельно: 4 CPU / 1 ГиБ. В таблице — среднее двух прогонов. + +| Серия | Реплики | Суммарно API: CPU / RAM | RPS | +|---|---:|---:|---:| +| Фиксированный бюджет | 1 | 2 / 1 ГиБ | 9 821 | +| Фиксированный бюджет | 2 | 2 / 1 ГиБ | 10 673 | +| Фиксированный бюджет | 4 | 2 / 1 ГиБ | 9 463 | +| Рост ресурсов | 1 | 1 / 512 МиБ | 5 631 | +| Рост ресурсов | 2 | 2 / 1 ГиБ | 10 673 | +| Рост ресурсов | 4 | 4 / 2 ГиБ | 11 243 | + +Точка с двумя репликами общая для обеих серий. При фиксированном бюджете 2 → 4 реплики снижают RPS на 11%; при удвоении ресурсов API прирост всего 5%. + +![Масштабирование; интервалы — минимум и максимум двух повторов](evidence/track1/scaling.png) + +**Насыщение:** около **11 тыс. RPS**. При четырёх API БД потребляет ≈2,09 CPU при лимите 2, LB — 0,88 CPU из 1, каждая API — 0,59 CPU из 1. Значения `docker stats` приблизительны. Удвоение CPU только LB даёт 11 174 RPS: выигрыша нет. API уже ждут общую зависимость; дополнительные реплики почти не помогают. + +**Подтверждённое улучшение:** увеличить только лимит БД с 2 до 4 CPU. Получено **11 678 RPS (+3,9%)**, p95 записи **15,67 → 8,07 мс (−48%)**. Оба результата RPS (11 661 / 11 695) выше исходных (11 106 / 11 381). Затем LB приближается к своему пределу: 0,97 CPU из 1, поэтому дальнейший рост снова ограничен. + +![Проверка узкого места и улучшения](evidence/track1/bottleneck.png) + +**Проверка и ограничения:** во всех 14 прогонах ошибки, потери и дубли — 0. Это короткий опыт на одном хосте, два повтора без оценки статистической значимости; closed-loop не доказывает задержки при фиксированном входящем RPS. Предел пула отдельно не исследовался. + +**Данные и повтор:** [CSV](evidence/track1/summary.csv), [JSON, загрузка CPU/RAM и фактические лимиты](evidence/track1/). `python3 scripts/scaling-study.py`, затем `python3 scripts/scaling-summary.py` (нужен matplotlib). Первый скрипт временно меняет работающий стенд и возвращает исходные лимиты и число реплик; тестовые записи остаются в БД. Профиль и параметры сохранены в скрипте, сведения о среде — в `environment.json`. diff --git a/app/cmd/loadgen/main.go b/app/cmd/loadgen/main.go new file mode 100644 index 00000000..c3549fc4 --- /dev/null +++ b/app/cmd/loadgen/main.go @@ -0,0 +1,601 @@ +// loadgen — closed-loop генератор нагрузки для экспериментов с репликами. +// +// Смесь чтения истории и записи сообщений. Неподтверждённая запись повторяется с тем же +// Idempotency-Key, как у настоящего клиента. После прогона вся история сверяется с +// подтверждёнными сообщениями. Closed-loop занижает задержки при перегрузке (coordinated +// omission), поэтому результат показывает пропускную способность, а не задержку при заданной +// интенсивности. Токены и пароли не печатает. +// +// Запуск из корня проекта при поднятом стенде: +// +// docker compose --env-file .env --profile bench run --rm -T loadgen -duration 20s -concurrency 16 +// +// Этапы: подготовка данных, прогрев, замер, сверка истории, запись результата. +// Код выхода ненулевой, если сверка нашла потери или дубли либо не смогла прочитать историю. +package main + +import ( + "bytes" + "context" + "crypto/rand" + "encoding/hex" + "encoding/json" + "flag" + "fmt" + "io" + mathrand "math/rand/v2" + "net/http" + "net/url" + "os" + "slices" + "strconv" + "sync" + "time" +) + +// options — параметры запуска из флагов командной строки. +type options struct { + baseURL string + duration time.Duration + warmup time.Duration + concurrency int + writeShare float64 + chats int + seed int + timeout time.Duration + label string + out string +} + +// actor — один клиент API: токен его сессии и его чат. Токен хранится только в памяти. +type actor struct { + token string + chatID string +} + +// confirmed — запись, на которую сервер ответил 201. После замера она обязана быть в истории: +// chat — индекс чата, id — ID сообщения, text — уникальный текст для поиска дублей. +type confirmed struct { + chat int + id string + text string +} + +// workerStats заполняется одной горутиной, поэтому без блокировок. +// Поля: задержки успешных чтений и записей; ошибки по видам (код ответа или net); +// записи, подтверждённые после повтора; запросы по репликам; успехи и ошибки по секундам; +// время каждой ошибки; подтверждённые записи. +type workerStats struct { + reads, writes []time.Duration + errors map[string]int + retried int + instances map[string]int + secOK, secErr map[int]int + errTimes []time.Duration + confirmed []confirmed +} + +// main разбирает флаги и запускает прогон. Значения по умолчанию рассчитаны на запуск в сети Docker. +func main() { + var o options + flag.StringVar(&o.baseURL, "base-url", "http://lb:8080", "адрес балансировщика") + flag.DurationVar(&o.duration, "duration", 30*time.Second, "длительность замера") + flag.DurationVar(&o.warmup, "warmup", 5*time.Second, "прогрев, не входит в замер") + flag.IntVar(&o.concurrency, "concurrency", 16, "число клиентов closed-loop") + flag.Float64Var(&o.writeShare, "write-share", 0.2, "доля записей") + flag.IntVar(&o.chats, "chats", 8, "число пар пользователь+чат") + flag.IntVar(&o.seed, "seed", 100, "начальных сообщений на чат") + flag.DurationVar(&o.timeout, "timeout", 5*time.Second, "таймаут запроса") + flag.StringVar(&o.label, "label", "", "метка прогона") + flag.StringVar(&o.out, "out", "", "файл для JSON-результата") + flag.Parse() + + if err := run(o); err != nil { + fmt.Fprintln(os.Stderr, "loadgen:", err) + os.Exit(1) + } +} + +// run выполняет прогон целиком и возвращает ошибку, если проверка истории не пройдена. +func run(o options) error { + // Один общий клиент на всех. Запас простаивающих соединений нужен, чтобы клиенты повторно + // использовали их: иначе замер включал бы постоянную установку новых соединений. + client := &http.Client{ + Timeout: o.timeout, + Transport: &http.Transport{ + MaxIdleConns: o.concurrency * 2, + MaxIdleConnsPerHost: o.concurrency * 2, + IdleConnTimeout: 30 * time.Second, + }, + } + // Подготовка до начала отсчёта: в замер не входит. + actors, err := setup(client, o) + if err != nil { + return fmt.Errorf("setup: %w", err) + } + + // Границы замера. Клиенты работают и в прогреве, но запросы до measureFrom не учитываются. + start := time.Now() + measureFrom := start.Add(o.warmup) + end := measureFrom.Add(o.duration) + // Скрипты отказов ждут эту строку, чтобы привязать действия ко времени замера. + go func() { + time.Sleep(o.warmup) + fmt.Printf("measure_start unix=%d\n", time.Now().Unix()) + }() + + // У каждого клиента своя статистика и своя горутина. Общие данные появляются только после wg.Wait. + stats := make([]*workerStats, o.concurrency) + var wg sync.WaitGroup + for i := range o.concurrency { + stats[i] = newWorkerStats() + wg.Add(1) + go func() { + defer wg.Done() + work(client, o, i, actors, measureFrom, end, stats[i]) + }() + } + wg.Wait() + + // Сверка идёт уже после нагрузки, поэтому на RPS она не влияет. + res := summarize(o, stats) + res.Verify = verify(client, o, actors, stats) + if err := writeResult(o, res); err != nil { + return err + } + // Результат записан и при неудаче: так можно разобрать, что именно пошло не так. + if res.Verify.Error != "" || res.Verify.Lost > 0 || res.Verify.DuplicateIDs > 0 || res.Verify.DuplicateTexts > 0 { + return fmt.Errorf("проверка истории не пройдена: %+v", res.Verify) + } + return nil +} + +// newWorkerStats создаёт пустую статистику клиента. +func newWorkerStats() *workerStats { + return &workerStats{ + errors: map[string]int{}, + instances: map[string]int{}, + secOK: map[int]int{}, + secErr: map[int]int{}, + } +} + +// work — цикл одного клиента до конца замера (closed-loop): следующий запрос уходит только +// после ответа на предыдущий. Клиенты равномерно распределены по чатам. +func work(client *http.Client, o options, worker int, actors []actor, from, end time.Time, st *workerStats) { + chat := worker % len(actors) + a := actors[chat] + path := "/api/v1/chats/" + a.chatID + "/messages" + // Свой генератор у каждого клиента: общий потребовал бы блокировки. + rng := mathrand.New(mathrand.NewPCG(uint64(worker), uint64(time.Now().UnixNano()))) + + // observe учитывает результат одного запроса и возвращает true, если он успешен. В замер + // входит только запрос, начатый после прогрева и завершившийся до конца замера. lat — куда + // записать задержку успешного запроса, want — ожидаемый код ответа. + observe := func(began time.Time, status int, instance string, err error, want int, lat *[]time.Duration) bool { + now := time.Now() + measured := !began.Before(from) && now.Before(end) + // Номер секунды замера: из него строится посекундная шкала. + sec := int(now.Sub(from) / time.Second) + if err == nil && status == want { + if measured { + *lat = append(*lat, now.Sub(began)) + st.instances[instance]++ + st.secOK[sec]++ + } + return true + } + if measured { + // net — ответа не было вообще (обрыв, таймаут), иначе вид ошибки — код ответа. + kind := "net" + if err == nil { + kind = strconv.Itoa(status) + } + st.errors[kind]++ + st.secErr[sec]++ + st.errTimes = append(st.errTimes, now.Sub(from)) + } + return false + } + + for seq := 0; time.Now().Before(end); seq++ { + // Чтение первой страницы истории. После ошибки короткая пауза, чтобы не долбить сервер в цикле. + if rng.Float64() >= o.writeShare { + began := time.Now() + status, inst, _, err := do(client, o, http.MethodGet, path+"?limit=50", a.token, "", nil) + if !observe(began, status, inst, err, http.StatusOK, &st.reads) { + time.Sleep(50 * time.Millisecond) + } + continue + } + // Запись: новый ключ идемпотентности и уникальный текст, по которому видны дубли. + key := randomHex(16) + text := fmt.Sprintf("w-%d-%d-%s", worker, seq, key[:8]) + // Неопределённый результат повторяется с исходным ключом и телом. + // Цикл повторов. При обрыве клиент не знает, записал ли сервер сообщение, поэтому повторяет + // с теми же ключом и текстом: сервер должен вернуть то же сообщение, а не создать новое. + for attempt := 0; time.Now().Before(end); attempt++ { + began := time.Now() + status, inst, body, err := do(client, o, http.MethodPost, path, a.token, key, map[string]string{"text": text}) + if observe(began, status, inst, err, http.StatusCreated, &st.writes) { + var m struct { + ID string `json:"id"` + } + if json.Unmarshal(body, &m) == nil { + st.confirmed = append(st.confirmed, confirmed{chat: chat, id: m.ID, text: text}) + } + // Запись подтвердилась только с повтора: это видно в результате. + if attempt > 0 { + st.retried++ + } + break + } + time.Sleep(100 * time.Millisecond) + } + } +} + +// do выполняет один HTTP-запрос с таймаутом и возвращает код, реплику из X-Instance-Id, тело +// и ошибку сети. payload кодируется в JSON; пустые token и key не добавляют заголовки. +func do(client *http.Client, o options, method, path, token, key string, payload any) (int, string, []byte, error) { + var body io.Reader + if payload != nil { + b, err := json.Marshal(payload) + if err != nil { + return 0, "", nil, err + } + body = bytes.NewReader(b) + } + ctx, cancel := context.WithTimeout(context.Background(), o.timeout) + defer cancel() + req, err := http.NewRequestWithContext(ctx, method, o.baseURL+path, body) + if err != nil { + return 0, "", nil, err + } + if payload != nil { + req.Header.Set("Content-Type", "application/json") + } + if token != "" { + req.Header.Set("Authorization", "Bearer "+token) + } + if key != "" { + req.Header.Set("Idempotency-Key", key) + } + resp, err := client.Do(req) + if err != nil { + return 0, "", nil, err + } + defer resp.Body.Close() + // Тело читается полностью: иначе соединение нельзя использовать повторно. + data, err := io.ReadAll(resp.Body) + if err != nil { + return 0, "", nil, err + } + return resp.StatusCode, resp.Header.Get("X-Instance-Id"), data, nil +} + +// setup параллельно создаёт пользователей и чаты для всех участников нагрузки. +func setup(client *http.Client, o options) ([]actor, error) { + actors := make([]actor, o.chats) + errs := make([]error, o.chats) + var wg sync.WaitGroup + for i := range o.chats { + wg.Add(1) + go func() { + defer wg.Done() + actors[i], errs[i] = setupActor(client, o) + }() + } + wg.Wait() + for _, err := range errs { + if err != nil { + return nil, err + } + } + return actors, nil +} + +// setupActor создаёт одного участника: пользователь, вход, чат и начальные сообщения. +// Имена и пароли случайные и нигде не печатаются. +func setupActor(client *http.Client, o options) (actor, error) { + username, password := "lg_"+randomHex(8), "T3st-"+randomHex(16) + status, _, body, err := do(client, o, http.MethodPost, "/api/v1/users", "", "", + map[string]string{"username": username, "display_name": "Load", "password": password}) + if err != nil || status != http.StatusCreated { + return actor{}, fmt.Errorf("create user: status %d: %v", status, err) + } + var user struct { + ID string `json:"id"` + } + if err := json.Unmarshal(body, &user); err != nil { + return actor{}, err + } + + // Вход выполняется через Basic: пользователь получает токен сессии. + req, err := http.NewRequest(http.MethodPost, o.baseURL+"/api/v1/auth/sessions", nil) + if err != nil { + return actor{}, err + } + req.SetBasicAuth(username, password) + resp, err := client.Do(req) + if err != nil { + return actor{}, fmt.Errorf("login: %w", err) + } + defer resp.Body.Close() + var session struct { + Token string `json:"token"` + } + if resp.StatusCode != http.StatusCreated { + return actor{}, fmt.Errorf("login: status %d", resp.StatusCode) + } + if err := json.NewDecoder(resp.Body).Decode(&session); err != nil { + return actor{}, err + } + + status, _, body, err = do(client, o, http.MethodPost, "/api/v1/chats", session.Token, "", + map[string]any{"title": "Load", "member_ids": []string{user.ID}}) + if err != nil || status != http.StatusCreated { + return actor{}, fmt.Errorf("create chat: status %d: %v", status, err) + } + var chat struct { + ID string `json:"id"` + } + if err := json.Unmarshal(body, &chat); err != nil { + return actor{}, err + } + + // Начальные сообщения, чтобы чтение первой страницы возвращало полноценный ответ. + for i := range o.seed { + status, _, _, err := do(client, o, http.MethodPost, "/api/v1/chats/"+chat.ID+"/messages", session.Token, + randomHex(16), map[string]string{"text": fmt.Sprintf("seed-%d", i)}) + if err != nil || status != http.StatusCreated { + return actor{}, fmt.Errorf("seed: status %d: %v", status, err) + } + } + return actor{token: session.Token, chatID: chat.ID}, nil +} + +// verifyResult — итог сверки истории с подтверждёнными записями. +type verifyResult struct { + Confirmed int `json:"confirmed"` + Lost int `json:"lost"` + DuplicateIDs int `json:"duplicate_ids"` + DuplicateTexts int `json:"duplicate_texts"` + Error string `json:"error,omitempty"` +} + +// verify читает всю историю каждого чата и сверяет её с подтверждёнными записями. +// Потеря — подтверждённого ID нет в истории. Дубль — ID или текст встретился дважды. +func verify(client *http.Client, o options, actors []actor, stats []*workerStats) verifyResult { + var res verifyResult + // Какие ID должны быть в каждом чате. + wanted := make([]map[string]bool, len(actors)) + for i := range wanted { + wanted[i] = map[string]bool{} + } + for _, st := range stats { + for _, c := range st.confirmed { + wanted[c.chat][c.id] = true + res.Confirmed++ + } + } + // История читается постранично по курсору, с запасом на временные ошибки. + for chat, a := range actors { + ids, texts := map[string]bool{}, map[string]bool{} + cursor := "" + for { + q := "?limit=100" + if cursor != "" { + q += "&cursor=" + url.QueryEscape(cursor) + } + status, _, body, err := getWithRetry(client, o, "/api/v1/chats/"+a.chatID+"/messages"+q, a.token) + if err != nil || status != http.StatusOK { + res.Error = fmt.Sprintf("read history: status %d: %v", status, err) + return res + } + var page struct { + Items []struct { + ID string `json:"id"` + Text string `json:"text"` + } `json:"items"` + NextCursor *string `json:"next_cursor"` + } + if err := json.Unmarshal(body, &page); err != nil { + res.Error = "decode history: " + err.Error() + return res + } + for _, m := range page.Items { + if ids[m.ID] { + res.DuplicateIDs++ + } + ids[m.ID] = true + if texts[m.Text] { + res.DuplicateTexts++ + } + texts[m.Text] = true + } + if page.NextCursor == nil { + break + } + cursor = *page.NextCursor + } + // Всё, что было подтверждено, должно найтись. + for id := range wanted[chat] { + if !ids[id] { + res.Lost++ + } + } + } + return res +} + +// getWithRetry повторяет чтение до 5 раз: сразу после отказа реплики сверка не должна падать +// из-за временной ошибки. +func getWithRetry(client *http.Client, o options, path, token string) (int, string, []byte, error) { + var ( + status int + inst string + body []byte + err error + ) + for range 5 { + status, inst, body, err = do(client, o, http.MethodGet, path, token, "", nil) + if err == nil && status == http.StatusOK { + break + } + time.Sleep(500 * time.Millisecond) + } + return status, inst, body, err +} + +// latency — задержки успешных запросов одного вида, в миллисекундах. +type latency struct { + Count int `json:"count"` + P50 float64 `json:"p50_ms"` + P95 float64 `json:"p95_ms"` + P99 float64 `json:"p99_ms"` +} + +// incident — эпизод ошибок: начало, длительность и количество. +type incident struct { + StartS float64 `json:"start_s"` + DurationS float64 `json:"duration_s"` + Errors int `json:"errors"` +} + +// second — одна секунда шкалы: успехи и ошибки. +type second struct { + T int `json:"t"` + OK int `json:"ok"` + Err int `json:"err"` +} + +// result — итог прогона. Он записывается в JSON и разбирается скриптами сводок. +type result struct { + Label string `json:"label"` + Concurrency int `json:"concurrency"` + WriteShare float64 `json:"write_share"` + Chats int `json:"chats"` + Seed int `json:"seed_per_chat"` + DurationS float64 `json:"duration_s"` + WarmupS float64 `json:"warmup_s"` + RPS float64 `json:"successful_rps"` + ReadRPS float64 `json:"read_rps"` + WriteRPS float64 `json:"write_rps"` + ErrorShare float64 `json:"error_share"` + Errors map[string]int `json:"errors"` + RetriedWrites int `json:"writes_confirmed_after_retry"` + Read latency `json:"read"` + Write latency `json:"write"` + Instances map[string]int `json:"requests_per_instance"` + Incidents []incident `json:"error_incidents"` + SecondsNoOK int `json:"seconds_without_success"` + Verify verifyResult `json:"verify"` + Timeline []second `json:"timeline,omitempty"` +} + +// summarize объединяет статистику всех клиентов и считает показатели замера. +func summarize(o options, stats []*workerStats) result { + res := result{ + Label: o.label, Concurrency: o.concurrency, WriteShare: o.writeShare, Chats: o.chats, Seed: o.seed, + DurationS: o.duration.Seconds(), WarmupS: o.warmup.Seconds(), + Errors: map[string]int{}, Instances: map[string]int{}, + } + var reads, writes, errTimes []time.Duration + secOK, secErr := map[int]int{}, map[int]int{} + for _, st := range stats { + reads = append(reads, st.reads...) + writes = append(writes, st.writes...) + errTimes = append(errTimes, st.errTimes...) + res.RetriedWrites += st.retried + for k, v := range st.errors { + res.Errors[k] += v + } + for k, v := range st.instances { + res.Instances[k] += v + } + for k, v := range st.secOK { + secOK[k] += v + } + for k, v := range st.secErr { + secErr[k] += v + } + } + res.Read, res.Write = percentiles(reads), percentiles(writes) + secs := o.duration.Seconds() + // RPS учитывает только успешные запросы. + res.ReadRPS = float64(len(reads)) / secs + res.WriteRPS = float64(len(writes)) / secs + res.RPS = res.ReadRPS + res.WriteRPS + if total := len(reads) + len(writes) + len(errTimes); total > 0 { + res.ErrorShare = float64(len(errTimes)) / float64(total) + } + res.Incidents = incidents(errTimes, time.Second) + // Шкала за все секунды, включая пустые: секунда без успехов — признак полной недоступности. + for t := range int(secs) { + res.Timeline = append(res.Timeline, second{T: t, OK: secOK[t], Err: secErr[t]}) + if secOK[t] == 0 { + res.SecondsNoOK++ + } + } + return res +} + +// percentiles считает p50, p95, p99 по отсортированным задержкам. Метод ближайшего ранга: +// значение берётся из данных, без интерполяции. +func percentiles(d []time.Duration) latency { + if len(d) == 0 { + return latency{} + } + slices.Sort(d) + at := func(p float64) float64 { + i := min(int(float64(len(d))*p), len(d)-1) + return float64(d[i].Microseconds()) / 1000 + } + return latency{Count: len(d), P50: at(0.50), P95: at(0.95), P99: at(0.99)} +} + +// incidents объединяет ошибки с разрывом меньше gap в один эпизод. +func incidents(times []time.Duration, gap time.Duration) []incident { + times = slices.Clone(times) + slices.Sort(times) + out := []incident{} + for i, t := range times { + if i == 0 || t-times[i-1] >= gap { + out = append(out, incident{StartS: t.Seconds()}) + } + last := &out[len(out)-1] + last.Errors++ + last.DurationS = t.Seconds() - last.StartS + } + return out +} + +// writeResult пишет полный JSON в файл, а краткую версию без шкалы печатает на экран. +func writeResult(o options, res result) error { + full, err := json.MarshalIndent(res, "", " ") + if err != nil { + return err + } + if o.out != "" { + if err := os.WriteFile(o.out, append(full, '\n'), 0o644); err != nil { + return err + } + } + res.Timeline = nil + brief, err := json.Marshal(res) + if err != nil { + return err + } + fmt.Println(string(brief)) + return nil +} + +// randomHex возвращает n случайных байт в hex. Без случайности нет смысла продолжать, поэтому panic. +func randomHex(n int) string { + b := make([]byte, n) + if _, err := rand.Read(b); err != nil { + panic(err) + } + return hex.EncodeToString(b) +} diff --git a/app/cmd/loadgen/main_test.go b/app/cmd/loadgen/main_test.go new file mode 100644 index 00000000..b6c92f42 --- /dev/null +++ b/app/cmd/loadgen/main_test.go @@ -0,0 +1,31 @@ +package main + +import ( + "testing" + "time" +) + +func TestIncidentsGroupsByGap(t *testing.T) { + got := incidents([]time.Duration{ + 5 * time.Second, + 1 * time.Second, + 1500 * time.Millisecond, + }, time.Second) + if len(got) != 2 { + t.Fatalf("incidents = %+v, want 2", got) + } + if got[0].Errors != 2 || got[0].DurationS != 0.5 || got[1].Errors != 1 || got[1].DurationS != 0 { + t.Errorf("incidents = %+v", got) + } +} + +func TestPercentiles(t *testing.T) { + d := make([]time.Duration, 100) + for i := range d { + d[i] = time.Duration(100-i) * time.Millisecond + } + got := percentiles(d) + if got.Count != 100 || got.P50 != 51 || got.P95 != 96 || got.P99 != 100 { + t.Errorf("percentiles = %+v", got) + } +} diff --git a/app/cmd/messenger/main.go b/app/cmd/messenger/main.go new file mode 100644 index 00000000..6970d4df --- /dev/null +++ b/app/cmd/messenger/main.go @@ -0,0 +1,191 @@ +// messenger — сервер API мессенджера, один процесс одной реплики. Своего состояния у реплики нет: +// данные лежат в PostgreSQL, сессии в Valkey, поэтому реплик может быть несколько. +// +// Здесь только сборка: загрузка настроек, подключения, создание сервисов, запуск HTTP-сервера и +// штатное завершение по SIGTERM. Логика находится в internal. +package main + +import ( + "context" + "fmt" + "log/slog" + "os" + "os/signal" + "runtime" + "syscall" + "time" + + httpapi "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/cache" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/logging" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/password" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/session" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db" +) + +// main запускает сервер и завершается после сигнала остановки. При ошибке запуска код выхода 1. +// os.Exit не выполняет defer, поэтому перед ним подключение к БД закрывается явно. +func main() { + // Настройки из окружения. Логгера ещё нет, поэтому ошибка идёт прямо в stderr. + cfg, err := config.Load() + if err != nil { + fmt.Fprintln(os.Stderr, err) + os.Exit(1) + } + + logger, err := logging.New(cfg.Logger.Level, cfg.Env, cfg.Version) + if err != nil { + fmt.Fprintln(os.Stderr, err) + os.Exit(1) + } + slog.SetDefault(logger) + + // Пул подключений к PostgreSQL. Без БД реплика работать не может и завершается: Docker её перезапустит. + pool, err := db.Connect(context.Background(), cfg.Database) + if err != nil { + logger.Error("database connect failed", slog.Any("err", err)) + os.Exit(1) + } + // Хранилище с таймаутом запросов на все обращения к БД. + storage := db.New(pool, time.Duration(cfg.Database.QueryTimeoutMs)*time.Millisecond) + defer storage.Close() + + // Общее хранилище сессий в Valkey: токен, выданный одной репликой, принимают все остальные. + sessClient, err := session.Connect(context.Background(), cfg.Cache) + if err != nil { + logger.Error("session store connect failed", slog.Any("err", err)) + storage.Close() + os.Exit(1) + } + defer sessClient.Close() + sessions := session.NewValkey(sessClient) + + // Хеширование паролей. Оно тяжёлое, поэтому одновременных вычислений не больше числа ядер и не больше 4. + hasher := password.NewHasher(password.Default, min(runtime.GOMAXPROCS(0), 4)) + + auth, err := service.NewAuth(storage, sessions, hasher, time.Duration(cfg.Session.TTLSeconds)*time.Second) + if err != nil { + logger.Error("auth init failed", slog.Any("err", err)) + storage.Close() + os.Exit(1) + } + + // История сообщений по умолчанию читается прямо из БД. Кэш подключается, только если он включён, + // и заменяет собой источник: остальной код разницы не видит. + var messages store.MessageStore = storage + if cfg.HistoryCache.Mode != cache.ModeOff { + hcClient, err := cache.Connect(cfg.HistoryCache) + if err != nil { + logger.Error("history cache config failed", slog.Any("err", err)) + storage.Close() + os.Exit(1) + } + defer hcClient.Close() + hc := cache.New(storage.Messages, hcClient, cache.Options{ + Mode: cfg.HistoryCache.Mode, + Outbox: storage.Messages, + PageTTL: time.Duration(cfg.HistoryCache.PageTTLSeconds) * time.Second, + FillDelay: time.Duration(cfg.HistoryCache.FillDelayMs) * time.Millisecond, + Logger: logger, + }) + defer hc.Close() + messages = hc + } + logger.Info("history cache", slog.String("mode", cfg.HistoryCache.Mode)) + + // Сборка HTTP-сервера из готовых зависимостей. + srv := httpapi.NewServer(httpapi.Deps{ + Config: cfg, + Logger: logger, + Store: storage, + Auth: auth, + Users: service.NewUsers(storage, hasher), + Chats: service.NewChats(storage), + Messages: service.NewMessages(messages), + // Readiness: реплика готова, только если доступны и БД, и Valkey. Иначе LB выведет её из + // работы. Схему БД эта проверка не проверяет. + Ready: func(ctx context.Context) error { + if err := storage.Ping(ctx); err != nil { + return err + } + return sessions.Ping(ctx) + }, + }) + + // ctx отменяется при SIGTERM (docker stop) или Ctrl+C: это начало штатного завершения. + ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM) + defer stop() + + // Фоновая очистка старых ключей идемпотентности. Останавливается вместе с ctx. + go purgeIdempotencyKeys(ctx, storage, time.Duration(cfg.Idempotency.TTLSeconds)*time.Second, logger) + + // Сервер блокирует поток до остановки, поэтому запускается отдельно. Буфер 1 не даёт горутине + // зависнуть на отправке, если её уже никто не ждёт. + startErr := make(chan error, 1) + go func() { + startErr <- srv.Start() + }() + + // Ждём первое из двух событий: сервер сам завершился или пришёл сигнал остановки. + select { + case err := <-startErr: + if err != nil { + logger.Error("server failed to start", slog.Any("err", err)) + storage.Close() + os.Exit(1) + } + case <-ctx.Done(): + logger.Info("shutdown signal received") + // Drain: readiness начинает отвечать 503, но запросы ещё обслуживаются. За это время LB + // выводит реплику, поэтому новые запросы перестают приходить до закрытия порта. + srv.Drain(time.Duration(cfg.HTTP.ShutdownDrainMs) * time.Millisecond) + } + + // Предел на завершение открытых запросов. Он должен быть меньше stop_grace_period в compose.yaml, + // иначе Docker пришлёт SIGKILL раньше. + shutdownCtx, cancel := context.WithTimeout( + context.Background(), + time.Duration(cfg.HTTP.ShutdownTimeoutMs)*time.Millisecond, + ) + defer cancel() + + // Закрыть порт и дождаться открытых запросов. Если не успели за предел, это ошибка завершения. + if err := srv.Shutdown(shutdownCtx); err != nil { + logger.Error("shutdown failed", slog.Any("err", err)) + storage.Close() + os.Exit(1) + } + + // Эта строка в логе подтверждает штатное завершение: её ищет failure-detection.py. + logger.Info("server stopped cleanly") +} + +// Как часто удалять устаревшие ключи идемпотентности. +const idempotencyPurgeInterval = time.Hour + +// purgeIdempotencyKeys удаляет ключи старше ttl: сразу при запуске и затем по таймеру. Ошибка не +// опасна: очистка просто повторится позже. Удаление работает на каждой реплике, это безопасно, +// потому что удалять будет нечего после первой из них. +func purgeIdempotencyKeys(ctx context.Context, storage *db.DB, ttl time.Duration, logger *slog.Logger) { + t := time.NewTicker(idempotencyPurgeInterval) + defer t.Stop() + for { + if n, err := storage.PurgeIdempotencyKeys(ctx, ttl); err != nil { + // Ошибка из-за остановки сервера ожидаема: просто выходим. + if ctx.Err() != nil { + return + } + logger.Warn("idempotency keys purge failed", slog.Any("err", err)) + } else if n > 0 { + logger.Info("idempotency keys purged", slog.Int64("count", n)) + } + select { + case <-ctx.Done(): + return + case <-t.C: + } + } +} diff --git a/app/e2e/lb_idempotency_test.go b/app/e2e/lb_idempotency_test.go new file mode 100644 index 00000000..373ae7c3 --- /dev/null +++ b/app/e2e/lb_idempotency_test.go @@ -0,0 +1,228 @@ +// Package e2e — проверки против запущенного стенда через балансировщик. +// +// Запуск: E2E_BASE_URL=http://localhost:8080 go test -count=1 -v ./e2e/ +// Без E2E_BASE_URL тесты пропускаются, поэтому обычный go test ./... стенд не требует. +// Создаёт только синтетические данные, токены и пароли не печатает. +package e2e + +import ( + "bytes" + "crypto/rand" + "encoding/hex" + "encoding/json" + "fmt" + "io" + "net/http" + "net/url" + "os" + "slices" + "strings" + "sync" + "testing" + "time" +) + +const ( + rounds = 20 + workers = 16 +) + +type client struct { + t *testing.T + base string + http *http.Client + token string +} + +type result struct { + status int + instance string + body []byte +} + +func randomHex(n int) string { + b := make([]byte, n) + if _, err := rand.Read(b); err != nil { + panic(err) + } + return hex.EncodeToString(b) +} + +// do не вызывает t.Fatal: он работает и из горутин. +func (c *client) do(method, path string, headers map[string]string, payload any) (result, error) { + var body io.Reader + if payload != nil { + b, err := json.Marshal(payload) + if err != nil { + return result{}, err + } + body = bytes.NewReader(b) + } + req, err := http.NewRequest(method, c.base+path, body) + if err != nil { + return result{}, err + } + if payload != nil { + req.Header.Set("Content-Type", "application/json") + } + if c.token != "" { + req.Header.Set("Authorization", "Bearer "+c.token) + } + for k, v := range headers { + req.Header.Set(k, v) + } + resp, err := c.http.Do(req) + if err != nil { + return result{}, fmt.Errorf("%s %s: %w", method, strings.Split(path, "?")[0], err) + } + defer resp.Body.Close() + data, err := io.ReadAll(resp.Body) + if err != nil { + return result{}, err + } + return result{status: resp.StatusCode, instance: resp.Header.Get("X-Instance-Id"), body: data}, nil +} + +func (c *client) mustDo(method, path string, want int, payload any, out any) { + c.t.Helper() + res, err := c.do(method, path, nil, payload) + if err != nil { + c.t.Fatal(err) + } + if res.status != want { + c.t.Fatalf("%s %s: status = %d, want %d", method, strings.Split(path, "?")[0], res.status, want) + } + if out != nil { + if err := json.Unmarshal(res.body, out); err != nil { + c.t.Fatalf("%s %s: decode: %v", method, path, err) + } + } +} + +// bootstrap создаёт пользователя с сессией и чат с ним. +func bootstrap(t *testing.T, base string) (*client, string) { + t.Helper() + c := &client{t: t, base: strings.TrimRight(base, "/"), http: &http.Client{Timeout: 10 * time.Second}} + + username, password := "lb_"+randomHex(8), "T3st-"+randomHex(16) + var user struct { + ID string `json:"id"` + } + c.mustDo(http.MethodPost, "/api/v1/users", http.StatusCreated, map[string]string{ + "username": username, "display_name": "LB test", "password": password, + }, &user) + + req, err := http.NewRequest(http.MethodPost, c.base+"/api/v1/auth/sessions", nil) + if err != nil { + t.Fatal(err) + } + req.SetBasicAuth(username, password) + resp, err := c.http.Do(req) + if err != nil { + t.Fatal(err) + } + defer resp.Body.Close() + if resp.StatusCode != http.StatusCreated { + t.Fatalf("login: status = %d", resp.StatusCode) + } + var session struct { + Token string `json:"token"` + } + if err := json.NewDecoder(resp.Body).Decode(&session); err != nil { + t.Fatal(err) + } + c.token = session.Token + + var chat struct { + ID string `json:"id"` + } + c.mustDo(http.MethodPost, "/api/v1/chats", http.StatusCreated, map[string]any{ + "title": "LB test", "member_ids": []string{user.ID}, + }, &chat) + return c, chat.ID +} + +// Одинаковый Idempotency-Key одновременно через разные реплики создаёт ровно одно сообщение. +func TestLBSameKeyConcurrentlyThroughReplicas(t *testing.T) { + base := os.Getenv("E2E_BASE_URL") + if base == "" { + t.Skip("E2E_BASE_URL не задан") + } + c, chatID := bootstrap(t, base) + path := "/api/v1/chats/" + chatID + "/messages" + + perInstance := map[string]int{} + var created []string + for round := range rounds { + key, text := randomHex(16), fmt.Sprintf("гонка %d", round) + results := make([]result, workers) + errs := make([]error, workers) + start := make(chan struct{}) + var wg sync.WaitGroup + for i := range workers { + wg.Add(1) + go func() { + defer wg.Done() + <-start + results[i], errs[i] = c.do(http.MethodPost, path, + map[string]string{"Idempotency-Key": key}, map[string]string{"text": text}) + }() + } + close(start) + wg.Wait() + + instances := map[string]bool{} + for i := range workers { + if errs[i] != nil { + t.Fatalf("round %d: %v", round, errs[i]) + } + if results[i].status != http.StatusCreated { + t.Fatalf("round %d: status = %d, want 201", round, results[i].status) + } + if !bytes.Equal(results[i].body, results[0].body) { + t.Fatalf("round %d: реплики вернули разные сообщения", round) + } + instances[results[i].instance] = true + perInstance[results[i].instance]++ + } + if len(instances) < 2 { + t.Fatalf("round %d обслужила одна реплика: проверьте LB", round) + } + var msg struct { + ID string `json:"id"` + } + if err := json.Unmarshal(results[0].body, &msg); err != nil { + t.Fatal(err) + } + created = append(created, msg.ID) + } + + var history []string + for cursor := ""; ; { + q := "?limit=100" + if cursor != "" { + q += "&cursor=" + url.QueryEscape(cursor) + } + var page struct { + Items []struct { + ID string `json:"id"` + } `json:"items"` + NextCursor *string `json:"next_cursor"` + } + c.mustDo(http.MethodGet, path+q, http.StatusOK, nil, &page) + for _, m := range page.Items { + history = append(history, m.ID) + } + if page.NextCursor == nil { + break + } + cursor = *page.NextCursor + } + slices.Sort(created) + slices.Sort(history) + if !slices.Equal(created, history) { + t.Fatalf("история отличается от подтверждённого: %d сообщений, ожидалось %d", len(history), len(created)) + } + t.Logf("раундов: %d, запросов в раунде: %d, запросов по репликам: %v, сообщений в истории: %d", + rounds, workers, perInstance, len(history)) +} diff --git a/app/go.mod b/app/go.mod new file mode 100644 index 00000000..1cde37aa --- /dev/null +++ b/app/go.mod @@ -0,0 +1,28 @@ +module gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl + +go 1.26.0 + +require ( + github.com/google/uuid v1.6.0 + github.com/jackc/pgx/v5 v5.7.6 + github.com/labstack/echo/v4 v4.16.2 + github.com/redis/go-redis/v9 v9.7.3 + golang.org/x/crypto v0.57.0 + golang.org/x/sync v0.23.0 +) + +require ( + github.com/cespare/xxhash/v2 v2.2.0 // indirect + github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect + github.com/jackc/pgpassfile v1.0.0 // indirect + github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect + github.com/jackc/puddle/v2 v2.2.2 // indirect + github.com/labstack/gommon v0.5.0 // indirect + github.com/mattn/go-colorable v0.1.15 // indirect + github.com/mattn/go-isatty v0.0.22 // indirect + github.com/valyala/bytebufferpool v1.0.0 // indirect + github.com/valyala/fasttemplate v1.2.2 // indirect + golang.org/x/net v0.60.0 // indirect + golang.org/x/sys v0.48.0 // indirect + golang.org/x/text v0.42.0 // indirect +) diff --git a/app/go.sum b/app/go.sum new file mode 100644 index 00000000..511e7b8f --- /dev/null +++ b/app/go.sum @@ -0,0 +1,56 @@ +github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs= +github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c= +github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA= +github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0= +github.com/cespare/xxhash/v2 v2.2.0 h1:DC2CZ1Ep5Y4k3ZQ899DldepgrayRUGE6BBZ/cd9Cj44= +github.com/cespare/xxhash/v2 v2.2.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= +github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c= +github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78= +github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc= +github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0= +github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo= +github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM= +github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg= +github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo= +github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM= +github.com/jackc/pgx/v5 v5.7.6 h1:rWQc5FwZSPX58r1OQmkuaNicxdmExaEz5A2DO2hUuTk= +github.com/jackc/pgx/v5 v5.7.6/go.mod h1:aruU7o91Tc2q2cFp5h4uP3f6ztExVpyVv88Xl/8Vl8M= +github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo= +github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4= +github.com/labstack/echo/v4 v4.16.2 h1:WFPVqfogOZGH4dTr1UCIB1sqjFIQ/k7vIk5ByL6oWjY= +github.com/labstack/echo/v4 v4.16.2/go.mod h1:V/EQaTVHYJH92QhbQe7kFQ4mjgcjxLQQUQtAN87zZdw= +github.com/labstack/gommon v0.5.0 h1:6VSQ2NOzsnEJ5W6+84E0RbcaDDmgB6NIAzWCczTEe6c= +github.com/labstack/gommon v0.5.0/go.mod h1:Rzlg7HHy1maLfzBYGg9NZcVuz1sA68HHhLjhcEllYE0= +github.com/mattn/go-colorable v0.1.15 h1:+u9SLTRGnXv73cEsnsmoZBom+dMU88B2M0aDcWy0/jY= +github.com/mattn/go-colorable v0.1.15/go.mod h1:6LmQG8QLFO4G5z1gPvYEzlUgJ2wF+stgPZH1UqBm1s8= +github.com/mattn/go-isatty v0.0.22 h1:j8l17JJ9i6VGPUFUYoTUKPSgKe/83EYU2zBC7YNKMw4= +github.com/mattn/go-isatty v0.0.22/go.mod h1:ZXfXG4SQHsB/w3ZeOYbR0PrPwLy+n6xiMrJlRFqopa4= +github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM= +github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= +github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM= +github.com/redis/go-redis/v9 v9.7.3/go.mod h1:bGUrSggJ9X9GUmZpZNEOQKaANxSGgOEBRltRTZHSvrA= +github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME= +github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI= +github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/stretchr/testify v1.11.1 h1:7s2iGBzp5EwR7/aIZr8ao5+dra3wiQyKjjFuvgVKu7U= +github.com/stretchr/testify v1.11.1/go.mod h1:wZwfW3scLgRK+23gO65QZefKpKQRnfz6sD981Nm4B6U= +github.com/valyala/bytebufferpool v1.0.0 h1:GqA5TC/0021Y/b9FG4Oi9Mr3q7XYx6KllzawFIhcdPw= +github.com/valyala/bytebufferpool v1.0.0/go.mod h1:6bBcMArwyJ5K/AmCkWv1jt77kVWyCJ6HpOuEn7z0Csc= +github.com/valyala/fasttemplate v1.2.2 h1:lxLXG0uE3Qnshl9QyaK6XJxMXlQZELvChBOCmQD0Loo= +github.com/valyala/fasttemplate v1.2.2/go.mod h1:KHLXt3tVN2HBp8eijSv/kGJopbvo7S+qRAEEKiv+SiQ= +golang.org/x/crypto v0.57.0 h1:3ZVCjf8Ggz7zneR/EHRVx68Ctf+2pmIMP2UFhh9cC6M= +golang.org/x/crypto v0.57.0/go.mod h1:Fdz0i5U6CoizGwLda9DttjSk6qlZo25zYNtR+ycvuZA= +golang.org/x/net v0.60.0 h1:79p50tfZlm0J9YfoDsSi639qSXNGVwEzOPLCxM2FsYU= +golang.org/x/net v0.60.0/go.mod h1:2DA/G1UfVbCpQPeWTmMPGY7Cs2PkBkwu743bVX5PIVg= +golang.org/x/sync v0.23.0 h1:KameEIfc1IkluZyXWLn39Wd4tURc6GbCiISGiZm2bQk= +golang.org/x/sync v0.23.0/go.mod h1:sUUOizhqBxiL6pEWpqNLUiaJn1ShEbZ6BBqskPbjZm0= +golang.org/x/sys v0.48.0 h1:bbX/i/6MgT9BVLM9RT1thmxL04yeTAhbEz4SyadbXoo= +golang.org/x/sys v0.48.0/go.mod h1:hNLxWAXmnKAxqDtdwIYC4bM9oQPEecfsnNMuSxOs3og= +golang.org/x/text v0.42.0 h1:JbOZXgfeCPU9gacVtYliJqOhD+zhrEqK4LfdpmlUZqI= +golang.org/x/text v0.42.0/go.mod h1:ojzP1Z+2QtioaF8DTtO8K5q7JWVVYwZKenzujK0Zd0E= +gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA= +gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= diff --git a/app/internal/api/http/access_test.go b/app/internal/api/http/access_test.go new file mode 100644 index 00000000..a561051d --- /dev/null +++ b/app/internal/api/http/access_test.go @@ -0,0 +1,115 @@ +package http + +import ( + "bytes" + "io" + "net/http" + "strings" + "testing" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" +) + +func TestAccess_ForeignChat(t *testing.T) { + r := newTestRig(t) + _, _, eve, chat := bootstrap(r) + base := "/api/v1/chats/" + chat.ID + + cases := []struct { + method, path string + body any + }{ + {http.MethodGet, base, nil}, + {http.MethodGet, base + "/messages?limit=10", nil}, + {http.MethodPost, base + "/messages", dto.CreateMessageRequest{Text: "вторжение"}}, + } + for _, tc := range cases { + var resp *http.Response + if tc.body == nil { + resp = r.do(tc.method, tc.path, eve.ID, nil, nil) + } else { + resp = r.doJSON(tc.method, tc.path, eve.ID, tc.body) + } + if resp.StatusCode != http.StatusNotFound { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("%s %s expected 404, got %d; body=%s", tc.method, tc.path, resp.StatusCode, string(data)) + } + e := readError(t, resp) + if e.Error.Code != CodeNotFound { + t.Fatalf("%s %s expected code %q, got %q", tc.method, tc.path, CodeNotFound, e.Error.Code) + } + } + + resp := r.do(http.MethodGet, "/api/v1/chats?limit=100", eve.ID, nil, nil) + expectStatus(t, resp, http.StatusOK) + var page dto.ChatsPageResponse + readJSON(t, resp, &page) + for _, item := range page.Items { + if item.ID == chat.ID { + t.Fatalf("чат утёк в список чужого пользователя") + } + } +} + +func TestAccess_AuthBeforeContentType(t *testing.T) { + r := newTestRig(t) + resp := r.do(http.MethodPost, "/api/v1/chats", "", + map[string]string{"Content-Type": "text/plain"}, strings.NewReader("x")) + expectStatus(t, resp, http.StatusUnauthorized) + resp.Body.Close() + + resp = r.do(http.MethodPost, "/api/v1/nope", "", nil, strings.NewReader("x")) + expectStatus(t, resp, http.StatusNotFound) + if resp.Header.Get("X-Request-Id") == "" { + t.Fatal("404 without X-Request-Id") + } + resp.Body.Close() +} + +func TestAccess_RouterErrors(t *testing.T) { + r := newTestRig(t) + alice, _, _, chat := bootstrap(r) + chatPath := "/api/v1/chats/" + chat.ID + + cases := []struct { + method, path, actor string + status int + code, message string + }{ + {http.MethodGet, "/nope", "", http.StatusNotFound, CodeNotFound, "Object not found"}, + {http.MethodGet, "/health/live/", "", http.StatusNotFound, CodeNotFound, "Object not found"}, + {http.MethodGet, "/api/v1/nope", alice.ID, http.StatusNotFound, CodeNotFound, "Object not found"}, + {http.MethodPost, "/health/live", "", http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + {http.MethodGet, "/api/v1/users", "", http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + {http.MethodPost, "/api/v1/users/me", "", http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + {http.MethodDelete, "/api/v1/users/me", alice.ID, http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + {http.MethodDelete, "/api/v1/chats", alice.ID, http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + {http.MethodPut, chatPath, alice.ID, http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + {http.MethodPatch, chatPath + "/messages", alice.ID, http.StatusMethodNotAllowed, CodeInvalidRequest, "Method not allowed"}, + } + for _, tc := range cases { + var body io.Reader + headers := map[string]string{} + if tc.method == http.MethodPost || tc.method == http.MethodPut || tc.method == http.MethodPatch { + body = bytes.NewReader([]byte(`{}`)) + headers["Content-Type"] = "application/json" + } + resp := r.do(tc.method, tc.path, tc.actor, headers, body) + if resp.StatusCode != tc.status { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("%s %s: expected %d, got %d; body=%s", tc.method, tc.path, tc.status, resp.StatusCode, string(data)) + } + if tc.status == http.StatusMethodNotAllowed && resp.Header.Get("Allow") == "" { + t.Fatalf("%s %s: 405 без заголовка Allow", tc.method, tc.path) + } + e := readError(t, resp) + if e.Error.Code != tc.code || e.Error.Message != tc.message { + t.Fatalf("%s %s: expected %q/%q, got %q/%q", tc.method, tc.path, tc.code, tc.message, e.Error.Code, e.Error.Message) + } + if e.Error.RequestID == "" || e.Error.RequestID != resp.Header.Get("X-Request-Id") { + t.Fatalf("%s %s: request_id %q не совпадает с заголовком %q", tc.method, tc.path, e.Error.RequestID, resp.Header.Get("X-Request-Id")) + } + } +} diff --git a/app/internal/api/http/auth.go b/app/internal/api/http/auth.go new file mode 100644 index 00000000..abca0e79 --- /dev/null +++ b/app/internal/api/http/auth.go @@ -0,0 +1,70 @@ +package http + +import ( + "encoding/base64" + "errors" + "net/http" + "strings" + "unicode/utf8" + + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/middleware" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" +) + +type authHandler struct { + auth service.AuthService +} + +func (h *authHandler) createSession(c echo.Context) error { + if c.Request().ContentLength > 0 { + return WriteError(c, &validate.Error{Field: "body", Reason: "must be empty, credentials go in Authorization: Basic"}) + } + username, password, ok := parseBasic(c.Request().Header.Get(echo.HeaderAuthorization)) + if !ok { + return middleware.Unauthorized(c, middleware.BasicChallenge, "Invalid credentials") + } + + s, err := h.auth.Login(c.Request().Context(), username, password) + if err != nil { + if errors.Is(err, domain.ErrUnauthorized) { + return middleware.Unauthorized(c, middleware.BasicChallenge, "Invalid credentials") + } + return WriteError(c, err) + } + return c.JSON(http.StatusCreated, dto.SessionResponse{ + Token: s.Token, + TokenType: "Bearer", + ExpiresAt: dto.NewTimestamp(s.ExpiresAt), + User: toUserResponse(s.User), + }) +} + +func (h *authHandler) revokeSession(c echo.Context) error { + tok := c.Get(middleware.AuthTokenKey).(string) + if err := h.auth.Logout(c.Request().Context(), tok); err != nil { + return WriteError(c, err) + } + return c.NoContent(http.StatusNoContent) +} + + +func parseBasic(header string) (username, password string, ok bool) { + scheme, encoded, found := strings.Cut(header, " ") + if !found || !strings.EqualFold(scheme, "Basic") { + return "", "", false + } + raw, err := base64.StdEncoding.DecodeString(strings.TrimSpace(encoded)) + if err != nil || !utf8.Valid(raw) { + return "", "", false + } + username, password, found = strings.Cut(string(raw), ":") + if !found || username == "" || password == "" { + return "", "", false + } + return username, password, true +} diff --git a/app/internal/api/http/auth_test.go b/app/internal/api/http/auth_test.go new file mode 100644 index 00000000..9f93c3b0 --- /dev/null +++ b/app/internal/api/http/auth_test.go @@ -0,0 +1,217 @@ +package http + +import ( + "context" + "encoding/base64" + "io" + "net/http" + "strings" + "testing" + "time" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/session" +) + +const ( + basicChallenge = `Basic realm="messenger", charset="UTF-8"` + bearerChallenge = `Bearer realm="messenger"` +) + +func expectUnauthorized(t *testing.T, resp *http.Response, challenge string) { + t.Helper() + defer resp.Body.Close() + if resp.StatusCode != http.StatusUnauthorized { + data, _ := io.ReadAll(resp.Body) + t.Fatalf("expected 401, got %d; body=%s", resp.StatusCode, string(data)) + } + if got := resp.Header.Get("WWW-Authenticate"); got != challenge { + t.Fatalf("WWW-Authenticate = %q, want %q", got, challenge) + } + e := readError(t, resp) + if e.Error.Code != CodeUnauthorized || e.Error.RequestID == "" { + t.Fatalf("unexpected error body: %+v", e) + } +} + +func (r *testRig) withHeaders(method, path string, headers map[string]string) *http.Response { + r.t.Helper() + return r.do(method, path, "", headers, nil) +} + +func TestAuth_LoginReturnsSession(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("login_"+randomSuffix(), "Алиса") + + before := time.Now() + s := r.login(alice.Username, testPassword) + if s.TokenType != "Bearer" || len(s.Token) < 32 { + t.Fatalf("bad session: type=%q len(token)=%d", s.TokenType, len(s.Token)) + } + if s.User.ID != alice.ID || s.User.Username != alice.Username { + t.Fatalf("session user = %+v, want %s", s.User, alice.ID) + } + if strings.Contains(s.Token, alice.ID) || strings.Contains(s.Token, alice.Username) { + t.Fatal("token is derived from user identity") + } + if !s.ExpiresAt.After(before.Add(59*time.Minute)) || s.ExpiresAt.After(before.Add(61*time.Minute)) { + t.Fatalf("expires_at = %s, want ~now+1h", s.ExpiresAt) + } + + if again := r.login(alice.Username, testPassword); again.Token == s.Token { + t.Fatal("second login returned the same token") + } +} + +func TestAuth_LoginRejectsBadCredentialsUniformly(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("bad_"+randomSuffix(), "Алиса") + + expectUnauthorized(t, r.basicLogin(alice.Username, "wrong-password-123"), basicChallenge) + expectUnauthorized(t, r.basicLogin("nobody_"+randomSuffix(), testPassword), basicChallenge) + + b64 := func(s string) string { return base64.StdEncoding.EncodeToString([]byte(s)) } + for _, h := range []string{ + "", + "Bearer " + b64(alice.Username+":"+testPassword), + "Basic not-base64!!!", + "Basic " + b64(alice.Username), + "Basic " + b64(alice.Username+":"), + "Basic " + b64(":"+testPassword), + "Basic " + b64(alice.Username+":\xff\xfe"), + } { + headers := map[string]string{} + if h != "" { + headers["Authorization"] = h + } + expectUnauthorized(t, r.withHeaders(http.MethodPost, "/api/v1/auth/sessions", headers), basicChallenge) + } +} + +func TestAuth_PasswordWithColonAndUnicode(t *testing.T) { + r := newTestRig(t) + username := "colon_" + randomSuffix() + pw := "пароль:с:двоеточиями🙂" + resp := r.doJSON(http.MethodPost, "/api/v1/users", "", dto.CreateUserRequest{ + Username: username, DisplayName: "Двоеточие", Password: pw, + }) + expectStatus(t, resp, http.StatusCreated) + resp.Body.Close() + + r.login(username, pw) + expectUnauthorized(t, r.basicLogin(username, "пароль"), basicChallenge) +} + +func TestAuth_LoginRejectsBody(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("body_"+randomSuffix(), "Алиса") + req, _ := http.NewRequest(http.MethodPost, r.server.URL+"/api/v1/auth/sessions", + strings.NewReader(`{"username":"`+alice.Username+`"}`)) + req.Header.Set("Content-Type", "application/json") + req.SetBasicAuth(alice.Username, testPassword) + resp, err := r.client.Do(req) + if err != nil { + t.Fatal(err) + } + expectStatus(t, resp, http.StatusBadRequest) + resp.Body.Close() +} + +func TestAuth_BearerRequired(t *testing.T) { + r := newTestRig(t) + alice, _, eve, _ := bootstrap(r) + + expectUnauthorized(t, r.withHeaders(http.MethodGet, "/api/v1/users/me", nil), bearerChallenge) + expectUnauthorized(t, r.withHeaders(http.MethodGet, "/api/v1/users/me", + map[string]string{"X-User-Id": alice.ID}), bearerChallenge) + basic := base64.StdEncoding.EncodeToString([]byte(alice.Username + ":" + testPassword)) + expectUnauthorized(t, r.withHeaders(http.MethodGet, "/api/v1/users/me", + map[string]string{"Authorization": "Basic " + basic}), bearerChallenge) + expectUnauthorized(t, r.withHeaders(http.MethodGet, "/api/v1/users/me", + map[string]string{"Authorization": "Bearer " + strings.Repeat("A", 43)}), bearerChallenge) + expectUnauthorized(t, r.withHeaders(http.MethodGet, "/api/v1/users/me", + map[string]string{"Authorization": "Bearer " + alice.ID}), bearerChallenge) + + resp := r.do(http.MethodGet, "/api/v1/users/me", alice.ID, map[string]string{"X-User-Id": eve.ID}, nil) + expectStatus(t, resp, http.StatusOK) + var me dto.UserResponse + readJSON(t, resp, &me) + if me.ID != alice.ID { + t.Fatalf("X-User-Id overrode bearer identity: got %s", me.ID) + } + + tok := r.tokens[alice.ID] + resp = r.withHeaders(http.MethodGet, "/api/v1/users/me", map[string]string{"Authorization": "bearer " + tok}) + expectStatus(t, resp, http.StatusOK) + resp.Body.Close() +} + +func TestAuth_Logout(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("logout_"+randomSuffix(), "Алиса") + other := r.login(alice.Username, testPassword) + + resp := r.do(http.MethodDelete, "/api/v1/auth/sessions/current", alice.ID, nil, nil) + expectStatus(t, resp, http.StatusNoContent) + body, _ := io.ReadAll(resp.Body) + resp.Body.Close() + if len(body) != 0 { + t.Fatalf("204 with body %q", body) + } + + expectUnauthorized(t, r.do(http.MethodGet, "/api/v1/users/me", alice.ID, nil, nil), bearerChallenge) + expectUnauthorized(t, r.do(http.MethodDelete, "/api/v1/auth/sessions/current", alice.ID, nil, nil), bearerChallenge) + + resp = r.withHeaders(http.MethodGet, "/api/v1/users/me", map[string]string{"Authorization": "Bearer " + other.Token}) + expectStatus(t, resp, http.StatusOK) + resp.Body.Close() +} + +func TestAuth_SessionExpires(t *testing.T) { + r := newRig(t, defaultTestLimits, session.NewMemory(), 2*time.Second) + alice := r.createUser("ttl_"+randomSuffix(), "Алиса") + + resp := r.do(http.MethodGet, "/api/v1/users/me", alice.ID, nil, nil) + expectStatus(t, resp, http.StatusOK) + resp.Body.Close() + + time.Sleep(2100 * time.Millisecond) + expectUnauthorized(t, r.do(http.MethodGet, "/api/v1/users/me", alice.ID, nil, nil), bearerChallenge) +} + +type brokenSessions struct { + *session.Memory + down bool +} + +func (b *brokenSessions) Get(ctx context.Context, h []byte) (session.Session, error) { + if b.down { + return session.Session{}, domain.ErrUnavailable + } + return b.Memory.Get(ctx, h) +} + +func (b *brokenSessions) Save(ctx context.Context, h []byte, s session.Session) error { + if b.down { + return domain.ErrUnavailable + } + return b.Memory.Save(ctx, h, s) +} + +func TestAuth_SessionStoreDownIs503NotAnonymous(t *testing.T) { + store := &brokenSessions{Memory: session.NewMemory()} + r := newRig(t, defaultTestLimits, store, time.Hour) + alice := r.createUser("down_"+randomSuffix(), "Алиса") + store.down = true + + resp := r.do(http.MethodGet, "/api/v1/users/me", alice.ID, nil, nil) + expectStatus(t, resp, http.StatusServiceUnavailable) + if e := readError(t, resp); e.Error.Code != CodeUnavailable { + t.Fatalf("code = %q, want %q", e.Error.Code, CodeUnavailable) + } + + resp = r.basicLogin(alice.Username, testPassword) + expectStatus(t, resp, http.StatusServiceUnavailable) + resp.Body.Close() +} diff --git a/app/internal/api/http/chats.go b/app/internal/api/http/chats.go new file mode 100644 index 00000000..7f64886e --- /dev/null +++ b/app/internal/api/http/chats.go @@ -0,0 +1,103 @@ +package http + +import ( + "net/http" + "strconv" + + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/middleware" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" +) + +type chatsHandler struct { + chats service.ChatsService +} + +func (h *chatsHandler) create(c echo.Context) error { + callerID := c.Get(middleware.AuthUserIDKey).(string) + var req dto.CreateChatRequest + if err := decodeJSON(c.Request().Body, &req); err != nil { + return WriteError(c, err) + } + + chat, err := h.chats.Create(c.Request().Context(), callerID, req.Title, req.MemberIDs) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusCreated, toChatResponse(chat)) +} + +func (h *chatsHandler) get(c echo.Context) error { + callerID := c.Get(middleware.AuthUserIDKey).(string) + chatID := c.Param("chat_id") + + chat, err := h.chats.Get(c.Request().Context(), callerID, chatID) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusOK, toChatResponse(chat)) +} + +func (h *chatsHandler) list(c echo.Context) error { + callerID := c.Get(middleware.AuthUserIDKey).(string) + limit, cursor, err := parsePageParams(c) + if err != nil { + return WriteError(c, err) + } + + page, err := h.chats.List(c.Request().Context(), callerID, cursor, limit) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusOK, toChatsPage(page)) +} + +func toChatResponse(ch domain.Chat) dto.ChatResponse { + members := make([]string, len(ch.MemberIDs)) + copy(members, ch.MemberIDs) + return dto.ChatResponse{ + ID: ch.ID, + Title: ch.Title, + MemberIDs: members, + CreatedAt: dto.NewTimestamp(ch.CreatedAt), + } +} + +func toChatsPage(p domain.Page[domain.Chat]) dto.ChatsPageResponse { + items := make([]dto.ChatResponse, 0, len(p.Items)) + for _, ch := range p.Items { + items = append(items, toChatResponse(ch)) + } + var next *string + if p.NextCursor != "" { + s := p.NextCursor + next = &s + } + return dto.ChatsPageResponse{Items: items, NextCursor: next} +} + +func parsePageParams(c echo.Context) (int, string, error) { + q := c.QueryParams() + + limit := validate.LimitDefault + if vals, ok := q["limit"]; ok { + n, err := strconv.Atoi(vals[0]) + if err != nil { + return 0, "", &validate.Error{Field: "limit", Reason: "must be an integer"} + } + limit = n + } + + cursor := "" + if vals, ok := q["cursor"]; ok { + if vals[0] == "" { + return 0, "", &validate.Error{Field: "cursor", Reason: "must not be empty"} + } + cursor = vals[0] + } + return limit, cursor, nil +} diff --git a/app/internal/api/http/concurrency_test.go b/app/internal/api/http/concurrency_test.go new file mode 100644 index 00000000..a567cbd8 --- /dev/null +++ b/app/internal/api/http/concurrency_test.go @@ -0,0 +1,84 @@ +package http + +import ( + "fmt" + "net/http" + "sync" + "testing" +) + +func TestConcurrency_100MessagesFrom10Clients(t *testing.T) { + const clients = 10 + const perClient = 10 + const total = clients * perClient + + r := newTestRig(t) + users := make([]testUser, clients) + memberIDs := make([]string, clients) + for i := range users { + users[i] = r.createUser(fmt.Sprintf("race_%02d_%s", i, randomSuffix()), fmt.Sprintf("Клиент %d", i)) + memberIDs[i] = users[i].ID + } + chat := r.createChat(users[0], "Гонка", memberIDs...) + + type result struct { + id, text string + err error + } + results := make(chan result, total) + start := make(chan struct{}) + var wg sync.WaitGroup + for i, actor := range users { + wg.Add(1) + go func() { + defer wg.Done() + <-start + for j := 0; j < perClient; j++ { + text := fmt.Sprintf("race-c%02d-m%02d", i, j) + status, msg, body := r.sendRaw(actor, chat.ID, mustJSON(map[string]string{"text": text})) + if status != http.StatusCreated { + results <- result{err: fmt.Errorf("%s: status %d: %s", text, status, body)} + continue + } + results <- result{id: msg.ID, text: msg.Text} + } + }() + } + close(start) + wg.Wait() + close(results) + + sentIDs := make(map[string]string, total) + for res := range results { + if res.err != nil { + t.Fatal(res.err) + } + if _, dup := sentIDs[res.id]; dup { + t.Fatalf("сервер выдал один id %s двум сообщениям", res.id) + } + sentIDs[res.id] = res.text + } + if len(sentIDs) != total { + t.Fatalf("подтверждено %d сообщений, ожидалось %d", len(sentIDs), total) + } + + history, _ := r.listMessages(users[0], chat.ID, 100) + if len(history) != total { + t.Fatalf("в истории %d сообщений, ожидалось ровно %d", len(history), total) + } + seen := make(map[string]struct{}, total) + for i, m := range history { + if _, dup := seen[m.ID]; dup { + t.Fatalf("id %s встречается в истории дважды", m.ID) + } + seen[m.ID] = struct{}{} + if text, ok := sentIDs[m.ID]; !ok || text != m.Text { + t.Fatalf("сообщение %s (%q) в истории не совпадает с подтверждённым", m.ID, m.Text) + } + if i > 0 && !history[i-1].CreatedAt.Before(m.CreatedAt.Time) { + t.Fatalf("порядок (created_at) нарушен на индексе %d", i) + } + } + t.Logf("%d клиентов × %d сообщений = %d уникальных сообщений в истории, 0 дубликатов", + clients, perClient, total) +} diff --git a/app/internal/api/http/dto/chat.go b/app/internal/api/http/dto/chat.go new file mode 100644 index 00000000..7f7bbdd2 --- /dev/null +++ b/app/internal/api/http/dto/chat.go @@ -0,0 +1,18 @@ +package dto + +type CreateChatRequest struct { + Title string `json:"title"` + MemberIDs []string `json:"member_ids"` +} + +type ChatResponse struct { + ID string `json:"id"` + Title string `json:"title"` + MemberIDs []string `json:"member_ids"` + CreatedAt Timestamp `json:"created_at"` +} + +type ChatsPageResponse struct { + Items []ChatResponse `json:"items"` + NextCursor *string `json:"next_cursor"` +} diff --git a/app/internal/api/http/dto/message.go b/app/internal/api/http/dto/message.go new file mode 100644 index 00000000..7777a632 --- /dev/null +++ b/app/internal/api/http/dto/message.go @@ -0,0 +1,18 @@ +package dto + +type CreateMessageRequest struct { + Text string `json:"text"` +} + +type MessageResponse struct { + ID string `json:"id"` + ChatID string `json:"chat_id"` + SenderID string `json:"sender_id"` + Text string `json:"text"` + CreatedAt Timestamp `json:"created_at"` +} + +type MessagesPageResponse struct { + Items []MessageResponse `json:"items"` + NextCursor *string `json:"next_cursor"` +} diff --git a/app/internal/api/http/dto/timestamp.go b/app/internal/api/http/dto/timestamp.go new file mode 100644 index 00000000..02a5693b --- /dev/null +++ b/app/internal/api/http/dto/timestamp.go @@ -0,0 +1,20 @@ +package dto + +import "time" + +const timestampLayout = "2006-01-02T15:04:05.000000Z" + +// Timestamp сериализуется в UTC всегда с 6 цифрами дробной части. Стандартный формат +// time.Time отбрасывает нули в конце (…17.95188Z): это корректный RFC 3339, но такое значение +// не разбирает datetime.fromisoformat в Python 3.9–3.10, на которых идут публичные тесты. +type Timestamp struct { + time.Time +} + +func NewTimestamp(t time.Time) Timestamp { + return Timestamp{Time: t} +} + +func (t Timestamp) MarshalJSON() ([]byte, error) { + return []byte(`"` + t.UTC().Format(timestampLayout) + `"`), nil +} diff --git a/app/internal/api/http/dto/timestamp_test.go b/app/internal/api/http/dto/timestamp_test.go new file mode 100644 index 00000000..7a4df0e2 --- /dev/null +++ b/app/internal/api/http/dto/timestamp_test.go @@ -0,0 +1,48 @@ +package dto + +import ( + "encoding/json" + "testing" + "time" +) + +func TestTimestampAlwaysHasSixFractionalDigits(t *testing.T) { + moscow := time.FixedZone("MSK", 3*60*60) + cases := []struct { + name string + in time.Time + want string + }{ + {"нули в конце", time.Date(2026, 11, 4, 9, 47, 17, 951880000, time.UTC), `"2026-11-04T09:47:17.951880Z"`}, + {"без дробной части", time.Date(2026, 11, 4, 9, 47, 17, 0, time.UTC), `"2026-11-04T09:47:17.000000Z"`}, + {"шесть цифр", time.Date(2026, 11, 4, 9, 47, 17, 123456000, time.UTC), `"2026-11-04T09:47:17.123456Z"`}, + {"наносекунды отбрасываются", time.Date(2026, 11, 4, 9, 47, 17, 123456789, time.UTC), `"2026-11-04T09:47:17.123456Z"`}, + {"приводится к UTC", time.Date(2026, 11, 4, 12, 47, 17, 500000000, moscow), `"2026-11-04T09:47:17.500000Z"`}, + } + for _, c := range cases { + t.Run(c.name, func(t *testing.T) { + got, err := json.Marshal(NewTimestamp(c.in)) + if err != nil { + t.Fatal(err) + } + if string(got) != c.want { + t.Fatalf("got %s, want %s", got, c.want) + } + }) + } +} + +func TestTimestampRoundTrip(t *testing.T) { + want := time.Date(2026, 11, 4, 9, 47, 17, 951880000, time.UTC) + data, err := json.Marshal(MessageResponse{CreatedAt: NewTimestamp(want)}) + if err != nil { + t.Fatal(err) + } + var got MessageResponse + if err := json.Unmarshal(data, &got); err != nil { + t.Fatal(err) + } + if !got.CreatedAt.Equal(want) { + t.Fatalf("got %s, want %s", got.CreatedAt, want) + } +} diff --git a/app/internal/api/http/dto/user.go b/app/internal/api/http/dto/user.go new file mode 100644 index 00000000..65905cf2 --- /dev/null +++ b/app/internal/api/http/dto/user.go @@ -0,0 +1,21 @@ +package dto + +type CreateUserRequest struct { + Username string `json:"username"` + DisplayName string `json:"display_name"` + Password string `json:"password"` +} + +type UserResponse struct { + ID string `json:"id"` + Username string `json:"username"` + DisplayName string `json:"display_name"` + CreatedAt Timestamp `json:"created_at"` +} + +type SessionResponse struct { + Token string `json:"token"` + TokenType string `json:"token_type"` + ExpiresAt Timestamp `json:"expires_at"` + User UserResponse `json:"user"` +} diff --git a/app/internal/api/http/errors.go b/app/internal/api/http/errors.go new file mode 100644 index 00000000..1d094cae --- /dev/null +++ b/app/internal/api/http/errors.go @@ -0,0 +1,81 @@ +package http + +import ( + "errors" + "net/http" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" + "github.com/labstack/echo/v4" +) + +const ( + CodeInvalidRequest = "invalid_request" + CodeUnauthorized = "unauthorized" + CodeNotFound = "not_found" + CodeConflict = "conflict" + CodePayloadTooLarge = "payload_too_large" + CodeUnsupportedMedia = "unsupported_media_type" + CodeRateLimited = "rate_limited" + CodeUnavailable = "unavailable" + CodeInternalError = "internal_error" +) + +type errorBody struct { + Error errorPayload `json:"error"` +} + +type errorPayload struct { + Code string `json:"code"` + Message string `json:"message"` + RequestID string `json:"request_id"` +} + +var ( + ErrUnauthorized = errors.New("unauthorized") + ErrUnsupportedMedia = errors.New("unsupported media type") +) + +func Classify(err error) (status int, code, message string) { + switch { + case errors.Is(err, domain.ErrIdempotencyConflict): + return http.StatusConflict, CodeConflict, "Idempotency-Key was already used with a different request" + case errors.Is(err, domain.ErrNotFound): + return http.StatusNotFound, CodeNotFound, "Object not found" + case errors.Is(err, domain.ErrConflict): + return http.StatusConflict, CodeConflict, "Resource already exists" + case errors.Is(err, domain.ErrInvalidArgument): + return http.StatusBadRequest, CodeInvalidRequest, "Invalid request arguments" + case errors.Is(err, domain.ErrUnavailable): + return http.StatusServiceUnavailable, CodeUnavailable, "Service temporarily unavailable" + case errors.Is(err, domain.ErrPayloadTooLarge): + return http.StatusRequestEntityTooLarge, CodePayloadTooLarge, "Request body too large" + case errors.Is(err, domain.ErrRateLimited): + return http.StatusTooManyRequests, CodeRateLimited, "Too many concurrent requests" + case errors.Is(err, ErrUnauthorized), errors.Is(err, domain.ErrUnauthorized): + return http.StatusUnauthorized, CodeUnauthorized, "Identification required" + case errors.Is(err, ErrUnsupportedMedia): + return http.StatusUnsupportedMediaType, CodeUnsupportedMedia, "Expected Content-Type: application/json" + } + + var vErr *validate.Error + if errors.As(err, &vErr) { + return http.StatusBadRequest, CodeInvalidRequest, vErr.Error() + } + + return http.StatusInternalServerError, CodeInternalError, "Internal server error" +} + +func WriteError(c echo.Context, err error) error { + status, code, msg := Classify(err) + if status == http.StatusTooManyRequests { + c.Response().Header().Set("Retry-After", "1") + } + return c.JSON(status, errorBody{ + Error: errorPayload{ + Code: code, + Message: msg, + RequestID: c.Response().Header().Get(echo.HeaderXRequestID), + }, + }) +} diff --git a/app/internal/api/http/health.go b/app/internal/api/http/health.go new file mode 100644 index 00000000..ae459ea1 --- /dev/null +++ b/app/internal/api/http/health.go @@ -0,0 +1,24 @@ +package http + +import ( + "net/http" + + "github.com/labstack/echo/v4" +) + +type healthResponse struct { + Status string `json:"status"` +} + +func healthLive(c echo.Context) error { + return c.JSON(http.StatusOK, healthResponse{Status: "ok"}) +} + +func healthReady(isReady func() bool) echo.HandlerFunc { + return func(c echo.Context) error { + if !isReady() { + return echo.NewHTTPError(http.StatusServiceUnavailable, "Service unavailable") + } + return c.JSON(http.StatusOK, healthResponse{Status: "ok"}) + } +} diff --git a/app/internal/api/http/helpers_test.go b/app/internal/api/http/helpers_test.go new file mode 100644 index 00000000..d13eb6b0 --- /dev/null +++ b/app/internal/api/http/helpers_test.go @@ -0,0 +1,338 @@ +package http + +import ( + "bytes" + "encoding/json" + "fmt" + "io" + "log/slog" + "net/http" + "net/http/httptest" + "net/url" + "strings" + "sync" + "testing" + "time" + + "github.com/google/uuid" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/password" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/session" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" +) + +type testRig struct { + t *testing.T + server *httptest.Server + srv *Server + memory *store.Memory + sessions session.Store + client *http.Client + + mu sync.Mutex + tokens map[string]string +} + +func newTestRig(t *testing.T) *testRig { + return newTestRigWithLimits(t, config.Limits{ + MaxBodyBytes: 1 << 20, + MaxInFlight: 256, + MaxMessagesGlobal: 100000, + MaxHeapBytes: 1 << 40, + }) +} + +func newTestRigWithLimits(t *testing.T, limits config.Limits) *testRig { + t.Helper() + return newRig(t, limits, session.NewMemory(), time.Hour) +} + +const testInstanceID = "test-instance" + +var defaultTestLimits = config.Limits{ + MaxBodyBytes: 1 << 20, + MaxInFlight: 256, + MaxMessagesGlobal: 100000, + MaxHeapBytes: 1 << 40, +} + +func newRig(t *testing.T, limits config.Limits, sessions session.Store, ttl time.Duration) *testRig { + t.Helper() + cfg := &config.Config{ + Env: "test", + Version: "test", + InstanceID: testInstanceID, + HTTP: config.HTTP{ + Addr: "127.0.0.1:0", + ReadTimeoutMs: 10000, + WriteTimeoutMs: 10000, + IdleTimeoutMs: 60000, + ShutdownTimeoutMs: 1000, + }, + Limits: limits, + } + logger := slog.New(slog.NewTextHandler(io.Discard, nil)) + memory := store.NewWithLimit(limits.MaxMessagesGlobal) + hasher := password.NewHasher(testHashParams, 8) + auth, err := service.NewAuth(memory, sessions, hasher, ttl) + if err != nil { + t.Fatal(err) + } + srv := NewServer(Deps{ + Config: cfg, + Logger: logger, + Store: memory, + Auth: auth, + Users: service.NewUsers(memory, hasher), + Chats: service.NewChats(memory), + Messages: service.NewMessages(memory), + }) + ts := httptest.NewServer(srv.e) + t.Cleanup(ts.Close) + return &testRig{ + t: t, + server: ts, + srv: srv, + memory: memory, + sessions: sessions, + client: &http.Client{Timeout: 10 * time.Second}, + tokens: make(map[string]string), + } +} + +type testUser struct { + ID string + Username string + DisplayName string +} + +type errorResp struct { + Error struct { + Code string `json:"code"` + Message string `json:"message"` + RequestID string `json:"request_id"` + } `json:"error"` +} + +func (r *testRig) do(method, path string, actorID string, headers map[string]string, body io.Reader) *http.Response { + r.t.Helper() + req, err := http.NewRequest(method, r.server.URL+path, body) + if err != nil { + r.t.Fatalf("new request %s %s: %v", method, path, err) + } + req.Header.Set("Accept", "application/json") + r.setAuth(req, actorID) + if method == http.MethodPost && strings.HasSuffix(path, "/messages") { + req.Header.Set("Idempotency-Key", uuid.NewString()) + } + for k, v := range headers { + req.Header.Set(k, v) + } + resp, err := r.client.Do(req) + if err != nil { + r.t.Fatalf("do %s %s: %v", method, path, err) + } + return resp +} + +func (r *testRig) doJSON(method, path string, actorID string, payload any) *http.Response { + r.t.Helper() + var body io.Reader + if payload != nil { + body = bytes.NewReader(mustJSON(payload)) + } + return r.do(method, path, actorID, map[string]string{"Content-Type": "application/json"}, body) +} + +func readJSON(t *testing.T, resp *http.Response, dst any) { + t.Helper() + defer resp.Body.Close() + data, err := io.ReadAll(resp.Body) + if err != nil { + t.Fatalf("read body: %v", err) + } + if len(data) == 0 { + return + } + if err := json.Unmarshal(data, dst); err != nil { + t.Fatalf("decode body (%s): %v", string(data), err) + } +} + +func readError(t *testing.T, resp *http.Response) errorResp { + t.Helper() + var e errorResp + readJSON(t, resp, &e) + return e +} + +func expectStatus(t *testing.T, resp *http.Response, want int) { + t.Helper() + if resp.StatusCode != want { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("expected status %d, got %d; body=%s", want, resp.StatusCode, string(data)) + } +} + +const testPassword = "test-password-123" + +var testHashParams = password.Params{MemoryKiB: 64, Iterations: 1, Parallelism: 1, SaltLen: 16, KeyLen: 32} + +func (r *testRig) createUser(username, displayName string) testUser { + r.t.Helper() + resp := r.doJSON(http.MethodPost, "/api/v1/users", "", dto.CreateUserRequest{ + Username: username, + DisplayName: displayName, + Password: testPassword, + }) + expectStatus(r.t, resp, http.StatusCreated) + var u dto.UserResponse + readJSON(r.t, resp, &u) + s := r.login(username, testPassword) + r.mu.Lock() + r.tokens[u.ID] = s.Token + r.mu.Unlock() + return testUser{ID: u.ID, Username: u.Username, DisplayName: u.DisplayName} +} + +// login входит по Basic и возвращает сессию; ожидает 201. +func (r *testRig) login(username, pw string) dto.SessionResponse { + r.t.Helper() + resp := r.basicLogin(username, pw) + expectStatus(r.t, resp, http.StatusCreated) + var s dto.SessionResponse + readJSON(r.t, resp, &s) + return s +} + +func (r *testRig) basicLogin(username, pw string) *http.Response { + r.t.Helper() + req, _ := http.NewRequest(http.MethodPost, r.server.URL+"/api/v1/auth/sessions", nil) + req.SetBasicAuth(username, pw) + resp, err := r.client.Do(req) + if err != nil { + r.t.Fatalf("login: %v", err) + } + return resp +} + +func (r *testRig) setAuth(req *http.Request, actorID string) { + if actorID == "" { + return + } + r.mu.Lock() + tok, ok := r.tokens[strings.ToLower(actorID)] + r.mu.Unlock() + if !ok { + tok = "unknown-" + actorID + } + req.Header.Set("Authorization", "Bearer "+tok) +} + +func (r *testRig) createChat(owner testUser, title string, members ...string) dto.ChatResponse { + r.t.Helper() + resp := r.doJSON(http.MethodPost, "/api/v1/chats", owner.ID, dto.CreateChatRequest{ + Title: title, + MemberIDs: members, + }) + expectStatus(r.t, resp, http.StatusCreated) + var ch dto.ChatResponse + readJSON(r.t, resp, &ch) + return ch +} + +func (r *testRig) sendMessage(actor testUser, chatID, text string) (*http.Response, dto.MessageResponse) { + r.t.Helper() + resp := r.doJSON(http.MethodPost, "/api/v1/chats/"+chatID+"/messages", actor.ID, dto.CreateMessageRequest{Text: text}) + if resp.StatusCode != http.StatusCreated { + return resp, dto.MessageResponse{} + } + var m dto.MessageResponse + readJSON(r.t, resp, &m) + return resp, m +} + +func (r *testRig) sendRaw(actor testUser, chatID string, body []byte) (int, dto.MessageResponse, []byte) { + r.t.Helper() + resp := r.do(http.MethodPost, "/api/v1/chats/"+chatID+"/messages", actor.ID, + map[string]string{"Content-Type": "application/json"}, bytes.NewReader(body)) + defer resp.Body.Close() + data, _ := io.ReadAll(resp.Body) + if resp.StatusCode != http.StatusCreated { + return resp.StatusCode, dto.MessageResponse{}, data + } + var m dto.MessageResponse + if err := json.Unmarshal(data, &m); err != nil { + r.t.Fatalf("decode message: %v", err) + } + return resp.StatusCode, m, data +} + +func (r *testRig) send(actor testUser, chatID, text string) (int, dto.MessageResponse) { + r.t.Helper() + status, msg, _ := r.sendRaw(actor, chatID, mustJSON(dto.CreateMessageRequest{Text: text})) + return status, msg +} + +func (r *testRig) listMessages(actor testUser, chatID string, pageSize int) ([]dto.MessageResponse, int) { + r.t.Helper() + collected := []dto.MessageResponse{} + cursor := "" + for pages := 1; ; pages++ { + q := fmt.Sprintf("/api/v1/chats/%s/messages?limit=%d", chatID, pageSize) + if cursor != "" { + q += "&cursor=" + url.QueryEscape(cursor) + } + resp := r.do(http.MethodGet, q, actor.ID, nil, nil) + expectStatus(r.t, resp, http.StatusOK) + var page dto.MessagesPageResponse + readJSON(r.t, resp, &page) + collected = append(collected, page.Items...) + if page.NextCursor == nil { + return collected, pages + } + cursor = *page.NextCursor + if pages > 100_000 { + r.t.Fatalf("пагинация не сходится: next_cursor не исчезает") + } + } +} + +func bootstrap(r *testRig) (alice, bob, eve testUser, chat dto.ChatResponse) { + alice = r.createUser("own_alice_"+randomSuffix(), "Алиса") + bob = r.createUser("own_bob_"+randomSuffix(), "Боб") + eve = r.createUser("own_eve_"+randomSuffix(), "Ева") + chat = r.createChat(alice, "Контрактный тест", alice.ID, bob.ID) + return +} + +var suffixMu sync.Mutex +var suffixSeq int + +func randomSuffix() string { + suffixMu.Lock() + defer suffixMu.Unlock() + suffixSeq++ + return fmt.Sprintf("%09d_%d", time.Now().UnixNano()%1_000_000_000, suffixSeq) +} + +func mustJSON(v any) []byte { + data, err := json.Marshal(v) + if err != nil { + panic(err) + } + return data +} + +func extractErrorCode(t *testing.T, data []byte) string { + t.Helper() + var e errorResp + if err := json.Unmarshal(data, &e); err != nil { + t.Fatalf("decode error body: %v; raw=%s", err, string(data)) + } + return e.Error.Code +} diff --git a/app/internal/api/http/idempotency_test.go b/app/internal/api/http/idempotency_test.go new file mode 100644 index 00000000..67451976 --- /dev/null +++ b/app/internal/api/http/idempotency_test.go @@ -0,0 +1,119 @@ +package http + +import ( + "bytes" + "io" + "net/http" + "sync" + "testing" + + "github.com/google/uuid" +) + +func (r *testRig) postKeyed(actorID, chatID, key, body string) (int, []byte) { + r.t.Helper() + resp := r.do(http.MethodPost, "/api/v1/chats/"+chatID+"/messages", actorID, + map[string]string{"Content-Type": "application/json", "Idempotency-Key": key}, + bytes.NewReader([]byte(body))) + defer resp.Body.Close() + data, err := io.ReadAll(resp.Body) + if err != nil { + r.t.Fatal(err) + } + return resp.StatusCode, data +} + +func TestIdempotency_ReplayReturnsSameBody(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("alice_"+randomSuffix(), "Alice") + chat := r.createChat(alice, "replay", alice.ID) + key := uuid.NewString() + + code, first := r.postKeyed(alice.ID, chat.ID, key, `{"text":"привет"}`) + if code != http.StatusCreated { + t.Fatalf("first: status = %d, body = %s", code, first) + } + // Иное форматирование JSON — тот же запрос. + code, replay := r.postKeyed(alice.ID, chat.ID, key, "{ \"text\" : \"привет\" }") + if code != http.StatusCreated { + t.Fatalf("replay: status = %d, body = %s", code, replay) + } + if !bytes.Equal(first, replay) { + t.Errorf("replay differs:\n%s\n%s", first, replay) + } + if items, _ := r.listMessages(alice, chat.ID, 100); len(items) != 1 { + t.Errorf("messages = %d, want 1", len(items)) + } +} + +func TestIdempotency_DifferentBodyConflicts(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("alice_"+randomSuffix(), "Alice") + chat := r.createChat(alice, "conflict", alice.ID) + key := uuid.NewString() + + if code, body := r.postKeyed(alice.ID, chat.ID, key, `{"text":"раз"}`); code != http.StatusCreated { + t.Fatalf("first: status = %d, body = %s", code, body) + } + if code, body := r.postKeyed(alice.ID, chat.ID, key, `{"text":"два"}`); code != http.StatusConflict { + t.Fatalf("conflict: status = %d, body = %s", code, body) + } + if items, _ := r.listMessages(alice, chat.ID, 100); len(items) != 1 { + t.Errorf("messages = %d, want 1", len(items)) + } +} + +func TestIdempotency_ScopeAndAccess(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("alice_"+randomSuffix(), "Alice") + bob := r.createUser("bob_"+randomSuffix(), "Bob") + eve := r.createUser("eve_"+randomSuffix(), "Eve") + chat := r.createChat(alice, "shared", alice.ID, bob.ID) + other := r.createChat(alice, "other", alice.ID) + key := uuid.NewString() + + if code, body := r.postKeyed(alice.ID, chat.ID, key, `{"text":"от alice"}`); code != http.StatusCreated { + t.Fatalf("alice: status = %d, body = %s", code, body) + } + if code, body := r.postKeyed(bob.ID, chat.ID, key, `{"text":"от bob"}`); code != http.StatusCreated { + t.Fatalf("bob: status = %d, body = %s", code, body) + } + if code, body := r.postKeyed(alice.ID, other.ID, key, `{"text":"другой чат"}`); code != http.StatusCreated { + t.Fatalf("other chat: status = %d, body = %s", code, body) + } + if code, body := r.postKeyed(eve.ID, chat.ID, key, `{"text":"от alice"}`); code != http.StatusNotFound { + t.Fatalf("stranger: status = %d, body = %s", code, body) + } +} + +func TestIdempotency_ConcurrentCreatesOne(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("alice_"+randomSuffix(), "Alice") + chat := r.createChat(alice, "race", alice.ID) + key := uuid.NewString() + + const workers = 20 + bodies := make([][]byte, workers) + codes := make([]int, workers) + var wg sync.WaitGroup + for i := range workers { + wg.Add(1) + go func() { + defer wg.Done() + codes[i], bodies[i] = r.postKeyed(alice.ID, chat.ID, key, `{"text":"гонка"}`) + }() + } + wg.Wait() + + for i := range workers { + if codes[i] != http.StatusCreated { + t.Fatalf("worker %d: status = %d, body = %s", i, codes[i], bodies[i]) + } + if !bytes.Equal(bodies[i], bodies[0]) { + t.Errorf("worker %d: body differs", i) + } + } + if items, _ := r.listMessages(alice, chat.ID, 100); len(items) != 1 { + t.Errorf("messages = %d, want 1", len(items)) + } +} diff --git a/app/internal/api/http/instance_test.go b/app/internal/api/http/instance_test.go new file mode 100644 index 00000000..bc4b23b2 --- /dev/null +++ b/app/internal/api/http/instance_test.go @@ -0,0 +1,121 @@ +package http + +import ( + "bytes" + "net/http" + "strings" + "testing" + "time" + + "github.com/google/uuid" +) + +func TestInstanceID_OnEveryResponse(t *testing.T) { + r := newTestRig(t) + cases := []struct { + name, method, path string + want int + }{ + {"live", http.MethodGet, "/health/live", http.StatusOK}, + {"ready", http.MethodGet, "/health/ready", http.StatusOK}, + {"unauthorized", http.MethodGet, "/api/v1/users/me", http.StatusUnauthorized}, + {"unknown route", http.MethodGet, "/api/v1/nope", http.StatusNotFound}, + {"wrong method", http.MethodPatch, "/api/v1/users", http.StatusMethodNotAllowed}, + } + for _, tc := range cases { + t.Run(tc.name, func(t *testing.T) { + resp := r.do(tc.method, tc.path, "", nil, nil) + defer resp.Body.Close() + if resp.StatusCode != tc.want { + t.Fatalf("status = %d, want %d", resp.StatusCode, tc.want) + } + if got := resp.Header.Get("X-Instance-Id"); got != testInstanceID { + t.Errorf("X-Instance-Id = %q, want %q", got, testInstanceID) + } + }) + } +} + +func TestIdempotencyKey_Validation(t *testing.T) { + r := newTestRig(t) + alice := r.createUser("alice_key", "Alice") + chat := r.createChat(alice, "keys", alice.ID) + url := r.server.URL + "/api/v1/chats/" + chat.ID + "/messages" + + post := func(setKey func(http.Header)) int { + t.Helper() + req, err := http.NewRequest(http.MethodPost, url, bytes.NewReader([]byte(`{"text":"hi"}`))) + if err != nil { + t.Fatal(err) + } + req.Header.Set("Content-Type", "application/json") + r.setAuth(req, alice.ID) + setKey(req.Header) + resp, err := r.client.Do(req) + if err != nil { + t.Fatal(err) + } + defer resp.Body.Close() + return resp.StatusCode + } + withKey := func(key string) func(http.Header) { + return func(h http.Header) { h.Set("Idempotency-Key", key) } + } + + if got := post(func(http.Header) {}); got != http.StatusBadRequest { + t.Errorf("missing key: status = %d, want 400", got) + } + for name, key := range map[string]string{ + "empty": "", + "too long": strings.Repeat("a", 129), + "space": "a b", + "unicode": "ключ", + "slash": "a/b", + } { + if got := post(withKey(key)); got != http.StatusBadRequest { + t.Errorf("%s: status = %d, want 400", name, got) + } + } + for name, key := range map[string]string{ + "all allowed chars": "aZ09._:-", + "max length": strings.Repeat("a", 128), + "uuid": uuid.NewString(), + } { + if got := post(withKey(key)); got != http.StatusCreated { + t.Errorf("%s: status = %d, want 201", name, got) + } + } +} + +func TestDrain_NotReadyButStillServing(t *testing.T) { + r := newTestRig(t) + status := func(path string) int { + t.Helper() + resp := r.do(http.MethodGet, path, "", nil, nil) + defer resp.Body.Close() + return resp.StatusCode + } + if got := status("/health/ready"); got != http.StatusOK { + t.Fatalf("ready before drain = %d", got) + } + + done := make(chan struct{}) + go func() { + defer close(done) + r.srv.Drain(500 * time.Millisecond) + }() + deadline := time.Now().Add(400 * time.Millisecond) + for status("/health/ready") != http.StatusServiceUnavailable { + if time.Now().After(deadline) { + t.Fatal("readiness did not become 503 during drain") + } + time.Sleep(5 * time.Millisecond) + } + if got := status("/health/live"); got != http.StatusOK { + t.Errorf("live during drain = %d, want 200", got) + } + if got := status("/api/v1/users/me"); got != http.StatusUnauthorized { + t.Errorf("API during drain = %d, want 401: запросы должны обслуживаться", got) + } + <-done +} diff --git a/app/internal/api/http/limits_test.go b/app/internal/api/http/limits_test.go new file mode 100644 index 00000000..e2df617c --- /dev/null +++ b/app/internal/api/http/limits_test.go @@ -0,0 +1,319 @@ +package http + +import ( + "bytes" + "context" + "encoding/json" + "fmt" + "io" + "net/http" + "strings" + "sync" + "sync/atomic" + "testing" + "time" + + "github.com/google/uuid" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/session" +) + +func TestLimits_PayloadTooLarge(t *testing.T) { + r := newTestRigWithLimits(t, config.Limits{ + MaxBodyBytes: 256, + MaxInFlight: 16, + MaxMessagesGlobal: 100, + MaxHeapBytes: 1 << 40, + }) + alice := r.createUser("a_"+randomSuffix(), "Алиса") + bob := r.createUser("b_"+randomSuffix(), "Боб") + chat := r.createChat(alice, "Деградация", alice.ID, bob.ID) + + ok, _, _ := r.sendRaw(alice, chat.ID, mustJSON(dto.CreateMessageRequest{Text: "ok"})) + if ok != http.StatusCreated { + t.Fatalf("baseline send expected 201, got %d", ok) + } + stored := r.memory.MessagesTotal() + if stored != 1 { + t.Fatalf("baseline total expected 1, got %d", stored) + } + + big := strings.Repeat("x", 512) + status, _, body := r.sendRaw(alice, chat.ID, mustJSON(dto.CreateMessageRequest{Text: big})) + if status != http.StatusRequestEntityTooLarge { + t.Fatalf("expected 413 by content-length, got %d body=%s", status, string(body)) + } + code := extractErrorCode(t, body) + if code != CodePayloadTooLarge { + t.Fatalf("expected code %q, got %q", CodePayloadTooLarge, code) + } + + if got := r.memory.MessagesTotal(); got != stored { + t.Fatalf("после 413 store изменился: было %d, стало %d", stored, got) + } +} + +func TestLimits_PayloadBoundaries(t *testing.T) { + const limit = 256 + r := newTestRigWithLimits(t, config.Limits{ + MaxBodyBytes: limit, + MaxInFlight: 16, + MaxMessagesGlobal: 100, + MaxHeapBytes: 1 << 40, + }) + alice := r.createUser("a_"+randomSuffix(), "Алиса") + bob := r.createUser("b_"+randomSuffix(), "Боб") + chat := r.createChat(alice, "Деградация", alice.ID, bob.ID) + + exact := []byte(`{"text":"` + strings.Repeat("x", limit-len(`{"text":""}`)) + `"}`) + if len(exact) != limit { + t.Fatalf("test bug: body is %d bytes, want %d", len(exact), limit) + } + + post := func(body io.Reader) (int, []byte) { + req, _ := http.NewRequest(http.MethodPost, + r.server.URL+"/api/v1/chats/"+chat.ID+"/messages", body) + req.Header.Set("Content-Type", "application/json") + req.Header.Set("Idempotency-Key", uuid.NewString()) + r.setAuth(req, alice.ID) + resp, err := r.client.Do(req) + if err != nil { + t.Fatalf("send: %v", err) + } + defer resp.Body.Close() + data, _ := io.ReadAll(resp.Body) + return resp.StatusCode, data + } + chunked := func(b []byte) io.Reader { return io.MultiReader(bytes.NewReader(b)) } + + if status, body := post(bytes.NewReader(exact)); status != http.StatusCreated { + t.Fatalf("body ровно %d байт с Content-Length: expected 201, got %d body=%s", limit, status, body) + } + if status, body := post(chunked(exact)); status != http.StatusCreated { + t.Fatalf("body ровно %d байт без Content-Length: expected 201, got %d body=%s", limit, status, body) + } + stored := r.memory.MessagesTotal() + + over := []byte(`{"text":"` + strings.Repeat("x", limit) + `"}`) + status, body := post(chunked(over)) + if status != http.StatusRequestEntityTooLarge { + t.Fatalf("body %d байт без Content-Length: expected 413, got %d body=%s", len(over), status, body) + } + if code := extractErrorCode(t, body); code != CodePayloadTooLarge { + t.Fatalf("expected code %q, got %q", CodePayloadTooLarge, code) + } + if got := r.memory.MessagesTotal(); got != stored { + t.Fatalf("после 413 store изменился: было %d, стало %d", stored, got) + } +} + +type slowSessions struct { + *session.Memory + delay atomic.Int64 +} + +func (s *slowSessions) Get(ctx context.Context, h []byte) (session.Session, error) { + time.Sleep(time.Duration(s.delay.Load())) + return s.Memory.Get(ctx, h) +} + +func TestLimits_RateLimited(t *testing.T) { + sessions := &slowSessions{Memory: session.NewMemory()} + r := newRig(t, config.Limits{ + MaxBodyBytes: 1 << 16, + MaxInFlight: 2, + MaxMessagesGlobal: 10000, + MaxHeapBytes: 1 << 40, + }, sessions, time.Hour) + alice := r.createUser("c_"+randomSuffix(), "Алиса") + bob := r.createUser("d_"+randomSuffix(), "Боб") + chat := r.createChat(alice, "Деградация", alice.ID, bob.ID) + sessions.delay.Store(int64(20 * time.Millisecond)) + + const total = 50 + var ( + ok atomic.Int32 + throttled atomic.Int32 + errs atomic.Int32 + wg sync.WaitGroup + ) + wg.Add(total) + start := make(chan struct{}) + for i := 0; i < total; i++ { + i := i + go func() { + defer wg.Done() + <-start + client := &http.Client{Timeout: 10 * time.Second} + body, _ := json.Marshal(dto.CreateMessageRequest{Text: fmt.Sprintf("flood-%d", i)}) + req, _ := http.NewRequest(http.MethodPost, + r.server.URL+"/api/v1/chats/"+chat.ID+"/messages", + bytes.NewReader(body)) + req.Header.Set("Content-Type", "application/json") + req.Header.Set("Idempotency-Key", uuid.NewString()) + r.setAuth(req, alice.ID) + resp, err := client.Do(req) + if err != nil { + errs.Add(1) + return + } + switch resp.StatusCode { + case http.StatusCreated: + ok.Add(1) + case http.StatusTooManyRequests: + throttled.Add(1) + if resp.Header.Get("Retry-After") != "1" { + errs.Add(1) + } + default: + errs.Add(1) + } + resp.Body.Close() + }() + } + close(start) + wg.Wait() + sessions.delay.Store(0) + + if errs.Load() != 0 { + t.Fatalf("неожиданные ошибки/статусы под нагрузкой: %d", errs.Load()) + } + if throttled.Load() == 0 { + t.Fatalf("ожидался хотя бы один 429 при maxInFlight=2 и %d параллельных запросах", total) + } + if ok.Load() == 0 { + t.Fatalf("ни одного 201 — лимит не пропускает валидный трафик") + } + if int(ok.Load()+throttled.Load()) != total { + t.Fatalf("ok=%d throttled=%d не покрывают total=%d", ok.Load(), throttled.Load(), total) + } + + deadline := time.Now().Add(3 * time.Second) + for time.Now().Before(deadline) { + status, _ := r.send(alice, chat.ID, "после-пика "+randomSuffix()) + if status == http.StatusCreated { + break + } + time.Sleep(20 * time.Millisecond) + } + status, _ := r.send(alice, chat.ID, "после-пика-2 "+randomSuffix()) + if status != http.StatusCreated { + t.Fatalf("после отступления нагрузки сервис не восстановился: %d", status) + } + + collected, _ := r.listMessages(alice, chat.ID, 100) + if int32(len(collected)) < ok.Load() { + t.Fatalf("часть подтверждённых сообщений потеряна: подтверждено %d, в истории %d", + ok.Load(), len(collected)) + } + t.Logf("ok=%d throttled=%d errors=%d; history=%d", ok.Load(), throttled.Load(), errs.Load(), len(collected)) +} + +func TestLimits_MessageQuota(t *testing.T) { + const quota = 10 + r := newTestRigWithLimits(t, config.Limits{ + MaxBodyBytes: 1 << 16, + MaxInFlight: 16, + MaxMessagesGlobal: quota, + MaxHeapBytes: 1 << 40, + }) + alice := r.createUser("e_"+randomSuffix(), "Алиса") + bob := r.createUser("f_"+randomSuffix(), "Боб") + chat := r.createChat(alice, "Деградация", alice.ID, bob.ID) + + var saved []string + for i := 0; i < quota; i++ { + status, msg := r.send(alice, chat.ID, fmt.Sprintf("saved-%02d", i)) + if status != http.StatusCreated { + t.Fatalf("send %d: expected 201, got %d", i, status) + } + saved = append(saved, msg.ID) + } + + status, _, body := r.sendRaw(alice, chat.ID, mustJSON(dto.CreateMessageRequest{Text: "overflow"})) + if status != http.StatusServiceUnavailable { + t.Fatalf("expected 503 after quota exhausted, got %d body=%s", status, string(body)) + } + if code := extractErrorCode(t, body); code != CodeUnavailable { + t.Fatalf("expected code %q, got %q", CodeUnavailable, code) + } + + collected, _ := r.listMessages(alice, chat.ID, 100) + if len(collected) != quota { + t.Fatalf("после 503 история чата %d, ожидалось %d", len(collected), quota) + } + gotIDs := make(map[string]struct{}, len(collected)) + for _, m := range collected { + gotIDs[m.ID] = struct{}{} + } + for _, id := range saved { + if _, ok := gotIDs[id]; !ok { + t.Fatalf("подтверждённое сообщение %s исчезло из истории", id) + } + } + + for i := 0; i < 5; i++ { + s, _, _ := r.sendRaw(alice, chat.ID, mustJSON(dto.CreateMessageRequest{Text: "still-over"})) + if s != http.StatusServiceUnavailable { + t.Fatalf("повторный 503 ожидался, получен %d", s) + } + } + + req, _ := http.NewRequest(http.MethodGet, r.server.URL+"/health/live", nil) + resp, err := r.client.Do(req) + if err != nil { + t.Fatalf("health/live: %v", err) + } + resp.Body.Close() + if resp.StatusCode != http.StatusOK { + t.Fatalf("health/live под перегрузкой: ожидали 200, получили %d", resp.StatusCode) + } +} + +func TestLimits_NoSilentLoss(t *testing.T) { + const quota = 20 + r := newTestRigWithLimits(t, config.Limits{ + MaxBodyBytes: 1 << 16, + MaxInFlight: 8, + MaxMessagesGlobal: quota, + MaxHeapBytes: 1 << 40, + }) + alice := r.createUser("g_"+randomSuffix(), "Алиса") + bob := r.createUser("h_"+randomSuffix(), "Боб") + chat := r.createChat(alice, "Деградация", alice.ID, bob.ID) + + const attempts = quota * 3 + acked := make([]string, 0, quota) + codes := make(map[int]int) + for i := 0; i < attempts; i++ { + status, msg, _ := r.sendRaw(alice, chat.ID, mustJSON(dto.CreateMessageRequest{Text: fmt.Sprintf("loss-%03d", i)})) + codes[status]++ + if status == http.StatusCreated { + acked = append(acked, msg.ID) + } + } + if len(acked) != quota { + t.Fatalf("ожидалось ровно %d подтверждённых записей, получено %d; codes=%v", quota, len(acked), codes) + } + if codes[http.StatusServiceUnavailable] == 0 { + t.Fatalf("ни одного 503 — лимит не сработал") + } + + collected, _ := r.listMessages(alice, chat.ID, 100) + gotIDs := make(map[string]struct{}, len(collected)) + for _, m := range collected { + gotIDs[m.ID] = struct{}{} + } + for _, id := range acked { + if _, ok := gotIDs[id]; !ok { + t.Fatalf("подтверждённое сообщение %s исчезло из истории — незаметная потеря данных", id) + } + } + if len(collected) != len(acked) { + t.Fatalf("история чата содержит %d сообщений, подтверждено %d — скрытое отличие", + len(collected), len(acked)) + } + t.Logf("codes=%v acked=%d history=%d", codes, len(acked), len(collected)) +} diff --git a/app/internal/api/http/messages.go b/app/internal/api/http/messages.go new file mode 100644 index 00000000..5ef62a7f --- /dev/null +++ b/app/internal/api/http/messages.go @@ -0,0 +1,73 @@ +package http + +import ( + "net/http" + + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/middleware" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" +) + +const headerIdempotencyKey = "Idempotency-Key" + +type messagesHandler struct { + messages service.MessagesService +} + +func (h *messagesHandler) send(c echo.Context) error { + callerID := c.Get(middleware.AuthUserIDKey).(string) + chatID := c.Param("chat_id") + + var req dto.CreateMessageRequest + if err := decodeJSON(c.Request().Body, &req); err != nil { + return WriteError(c, err) + } + + msg, err := h.messages.Send(c.Request().Context(), callerID, chatID, c.Request().Header.Get(headerIdempotencyKey), req.Text) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusCreated, toMessageResponse(msg)) +} + +func (h *messagesHandler) list(c echo.Context) error { + callerID := c.Get(middleware.AuthUserIDKey).(string) + chatID := c.Param("chat_id") + + limit, cursor, err := parsePageParams(c) + if err != nil { + return WriteError(c, err) + } + + page, err := h.messages.List(c.Request().Context(), callerID, chatID, cursor, limit) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusOK, toMessagesPage(page)) +} + +func toMessageResponse(m domain.Message) dto.MessageResponse { + return dto.MessageResponse{ + ID: m.ID, + ChatID: m.ChatID, + SenderID: m.AuthorID, + Text: m.Text, + CreatedAt: dto.NewTimestamp(m.CreatedAt), + } +} + +func toMessagesPage(p domain.Page[domain.Message]) dto.MessagesPageResponse { + items := make([]dto.MessageResponse, 0, len(p.Items)) + for _, m := range p.Items { + items = append(items, toMessageResponse(m)) + } + var next *string + if p.NextCursor != "" { + s := p.NextCursor + next = &s + } + return dto.MessagesPageResponse{Items: items, NextCursor: next} +} diff --git a/app/internal/api/http/middleware/auth.go b/app/internal/api/http/middleware/auth.go new file mode 100644 index 00000000..9f6847c0 --- /dev/null +++ b/app/internal/api/http/middleware/auth.go @@ -0,0 +1,62 @@ +package middleware + +import ( + "context" + "errors" + "net/http" + "strings" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "github.com/labstack/echo/v4" +) + +const AuthTokenKey = "auth_token" + +const ( + BearerChallenge = `Bearer realm="messenger"` + BasicChallenge = `Basic realm="messenger", charset="UTF-8"` +) + +type Authenticator interface { + Authenticate(ctx context.Context, token string) (userID string, err error) +} + + +func Bearer(auth Authenticator) echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + tok, ok := BearerToken(c.Request().Header.Get(echo.HeaderAuthorization)) + if !ok { + return unauthorized(c, BearerChallenge, "Bearer token required") + } + userID, err := auth.Authenticate(c.Request().Context(), tok) + if err != nil { + if errors.Is(err, domain.ErrUnauthorized) { + return unauthorized(c, BearerChallenge, "Invalid or expired session") + } + return err + } + c.Set(AuthUserIDKey, userID) + c.Set(AuthTokenKey, tok) + return next(c) + } + } +} + +func BearerToken(header string) (string, bool) { + scheme, tok, found := strings.Cut(header, " ") + if !found || !strings.EqualFold(scheme, "Bearer") { + return "", false + } + tok = strings.TrimSpace(tok) + return tok, tok != "" +} + +func unauthorized(c echo.Context, challenge, msg string) error { + c.Response().Header().Set(echo.HeaderWWWAuthenticate, challenge) + return echo.NewHTTPError(http.StatusUnauthorized, msg) +} + +func Unauthorized(c echo.Context, challenge, msg string) error { + return unauthorized(c, challenge, msg) +} diff --git a/app/internal/api/http/middleware/content_type.go b/app/internal/api/http/middleware/content_type.go new file mode 100644 index 00000000..dc6ef036 --- /dev/null +++ b/app/internal/api/http/middleware/content_type.go @@ -0,0 +1,42 @@ +package middleware + +import ( + "mime" + "net/http" + "strings" + + "github.com/labstack/echo/v4" +) + +func ContentType() echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + if !methodHasBody(c.Request().Method) { + return next(c) + } + if !isApplicationJSON(c.Request().Header.Get(echo.HeaderContentType)) { + return echo.NewHTTPError(http.StatusUnsupportedMediaType, "Expected Content-Type: application/json") + } + return next(c) + } + } +} + +func methodHasBody(method string) bool { + switch method { + case http.MethodPost, http.MethodPut, http.MethodPatch: + return true + } + return false +} + +func isApplicationJSON(ct string) bool { + if ct == "" { + return false + } + mediatype, _, err := mime.ParseMediaType(ct) + if err != nil { + return false + } + return strings.EqualFold(mediatype, "application/json") +} diff --git a/app/internal/api/http/middleware/instance_id.go b/app/internal/api/http/middleware/instance_id.go new file mode 100644 index 00000000..0c6cde4a --- /dev/null +++ b/app/internal/api/http/middleware/instance_id.go @@ -0,0 +1,14 @@ +package middleware + +import "github.com/labstack/echo/v4" + +const HeaderInstanceID = "X-Instance-Id" + +func InstanceID(id string) echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + c.Response().Header().Set(HeaderInstanceID, id) + return next(c) + } + } +} diff --git a/app/internal/api/http/middleware/limits.go b/app/internal/api/http/middleware/limits.go new file mode 100644 index 00000000..ae447902 --- /dev/null +++ b/app/internal/api/http/middleware/limits.go @@ -0,0 +1,110 @@ +package middleware + +import ( + "io" + "runtime" + "sync/atomic" + "time" + + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +func BodyLimit(maxBytes int64) echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + if !methodHasBody(c.Request().Method) { + return next(c) + } + if cl := c.Request().ContentLength; cl > maxBytes { + return domain.ErrPayloadTooLarge + } + c.Request().Body = &limitedBody{ + raw: c.Request().Body, + maxLeft: maxBytes, + } + return next(c) + } + } +} + +type limitedBody struct { + raw io.ReadCloser + maxLeft int64 +} + +func (b *limitedBody) Read(p []byte) (int, error) { + if int64(len(p)) > b.maxLeft+1 { + p = p[:b.maxLeft+1] + } + n, err := b.raw.Read(p) + b.maxLeft -= int64(n) + if b.maxLeft < 0 { + return n, domain.ErrPayloadTooLarge + } + return n, err +} + +func (b *limitedBody) Close() error { + return b.raw.Close() +} + +func InFlight(maxInFlight int) echo.MiddlewareFunc { + sem := make(chan struct{}, maxInFlight) + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + if isHealthPath(c.Request().URL.Path) { + return next(c) + } + select { + case sem <- struct{}{}: + defer func() { <-sem }() + return next(c) + default: + return domain.ErrRateLimited + } + } + } +} + +func MemoryGuard(maxHeapBytes uint64, poll time.Duration) echo.MiddlewareFunc { + var sample atomic.Uint64 + + readOnce := func() { + var m runtime.MemStats + runtime.ReadMemStats(&m) + if m.HeapInuse > maxHeapBytes { + runtime.GC() + runtime.ReadMemStats(&m) + } + sample.Store(m.HeapInuse) + } + readOnce() + + if poll > 0 { + go func() { + t := time.NewTicker(poll) + defer t.Stop() + for range t.C { + readOnce() + } + }() + } + + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + if !methodHasBody(c.Request().Method) || isHealthPath(c.Request().URL.Path) { + return next(c) + } + if sample.Load() > maxHeapBytes { + return domain.ErrUnavailable + } + return next(c) + } + } +} + +func isHealthPath(path string) bool { + return path == "/health/live" || path == "/health/ready" +} diff --git a/app/internal/api/http/middleware/logger.go b/app/internal/api/http/middleware/logger.go new file mode 100644 index 00000000..ed94ef1b --- /dev/null +++ b/app/internal/api/http/middleware/logger.go @@ -0,0 +1,48 @@ +package middleware + +import ( + "log/slog" + "time" + + "github.com/labstack/echo/v4" +) + +const AuthUserIDKey = "caller_id" + +func Logger(logger *slog.Logger) echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + start := time.Now() + if err := next(c); err != nil { + c.Error(err) + } + status := c.Response().Status + + rid, _ := c.Get(RequestIDKey).(string) + uid, _ := c.Get(AuthUserIDKey).(string) + + attrs := []slog.Attr{ + slog.String("request_id", rid), + slog.String("method", c.Request().Method), + slog.String("path", c.Request().URL.Path), + slog.Int("status", status), + slog.Int64("duration_ms", time.Since(start).Milliseconds()), + slog.String("remote_ip", c.RealIP()), + } + if uid != "" { + attrs = append(attrs, slog.String("user_id", uid)) + } + + level := slog.LevelInfo + switch { + case status >= 500: + level = slog.LevelError + case status >= 400: + level = slog.LevelWarn + } + logger.LogAttrs(c.Request().Context(), level, "http request", attrs...) + + return nil + } + } +} diff --git a/app/internal/api/http/middleware/recover.go b/app/internal/api/http/middleware/recover.go new file mode 100644 index 00000000..862313de --- /dev/null +++ b/app/internal/api/http/middleware/recover.go @@ -0,0 +1,32 @@ +package middleware + +import ( + "log/slog" + "net/http" + "runtime/debug" + + "github.com/labstack/echo/v4" +) + +func Recover(logger *slog.Logger) echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) (err error) { + defer func() { + r := recover() + if r == nil { + return + } + rid, _ := c.Get(RequestIDKey).(string) + logger.Error("panic recovered", + slog.String("request_id", rid), + slog.String("method", c.Request().Method), + slog.String("path", c.Request().URL.Path), + slog.Any("panic", r), + slog.String("stack", string(debug.Stack())), + ) + err = echo.NewHTTPError(http.StatusInternalServerError, "Internal server error") + }() + return next(c) + } + } +} diff --git a/app/internal/api/http/middleware/request_id.go b/app/internal/api/http/middleware/request_id.go new file mode 100644 index 00000000..6447646d --- /dev/null +++ b/app/internal/api/http/middleware/request_id.go @@ -0,0 +1,22 @@ +package middleware + +import ( + "github.com/google/uuid" + "github.com/labstack/echo/v4" +) + +const RequestIDKey = "request_id" + +func RequestID() echo.MiddlewareFunc { + return func(next echo.HandlerFunc) echo.HandlerFunc { + return func(c echo.Context) error { + rid := c.Request().Header.Get(echo.HeaderXRequestID) + if rid == "" { + rid = uuid.NewString() + } + c.Response().Header().Set(echo.HeaderXRequestID, rid) + c.Set(RequestIDKey, rid) + return next(c) + } + } +} diff --git a/app/internal/api/http/pagination_test.go b/app/internal/api/http/pagination_test.go new file mode 100644 index 00000000..0eaec70c --- /dev/null +++ b/app/internal/api/http/pagination_test.go @@ -0,0 +1,126 @@ +package http + +import ( + "encoding/base64" + "fmt" + "net/http" + "net/url" + "testing" +) + +func TestPagination_MultiPageWalk(t *testing.T) { + r := newTestRig(t) + alice, bob, _, chat := bootstrap(r) + + const total = 7 + var sentIDs []string + for i := 0; i < total; i++ { + actor := alice + if i%2 == 1 { + actor = bob + } + _, msg := r.sendMessage(actor, chat.ID, fmt.Sprintf("page-%02d", i)) + if msg.ID == "" { + t.Fatalf("send message %d failed", i) + } + sentIDs = append(sentIDs, msg.ID) + } + + history, pages := r.listMessages(alice, chat.ID, 3) + if pages != 3 { + t.Fatalf("ожидалось 3 страницы (3+3+1), получено %d", pages) + } + if len(history) != total { + t.Fatalf("собрано %d сообщений, ожидалось %d", len(history), total) + } + for i, m := range history { + if m.ID != sentIDs[i] { + t.Fatalf("позиция %d: ожидался %s, получен %s (повтор, пропуск или нарушен порядок)", i, sentIDs[i], m.ID) + } + } +} + +func TestPagination_ExactPageAndEmptyChat(t *testing.T) { + r := newTestRig(t) + alice, _, _, chat := bootstrap(r) + + history, pages := r.listMessages(alice, chat.ID, 5) + if len(history) != 0 || pages != 1 { + t.Fatalf("пустой чат: items=%d pages=%d", len(history), pages) + } + + for i := 0; i < 4; i++ { + r.send(alice, chat.ID, fmt.Sprintf("m%d", i)) + } + if _, pages := r.listMessages(alice, chat.ID, 4); pages != 1 { + t.Fatalf("4 сообщения при limit=4: ожидалась 1 страница, получено %d", pages) + } + if _, pages := r.listMessages(alice, chat.ID, 2); pages != 2 { + t.Fatalf("4 сообщения при limit=2: ожидалось 2 страницы, получено %d", pages) + } +} + +func TestPagination_CursorBoundToChat(t *testing.T) { + r := newTestRig(t) + alice, bob, _, chat := bootstrap(r) + other := r.createChat(alice, "Другой", alice.ID, bob.ID) + for i := 0; i < 3; i++ { + r.send(alice, chat.ID, fmt.Sprintf("m%d", i)) + } + + resp := r.do(http.MethodGet, "/api/v1/chats/"+chat.ID+"/messages?limit=1", alice.ID, nil, nil) + expectStatus(t, resp, http.StatusOK) + var page struct { + NextCursor *string `json:"next_cursor"` + } + readJSON(t, resp, &page) + if page.NextCursor == nil { + t.Fatal("ожидался next_cursor") + } + + for _, path := range []string{ + "/api/v1/chats/" + other.ID + "/messages?cursor=" + url.QueryEscape(*page.NextCursor), + "/api/v1/chats?cursor=" + url.QueryEscape(*page.NextCursor), + "/api/v1/chats/" + chat.ID + "/messages?cursor=not-a-cursor", + } { + resp := r.do(http.MethodGet, path, alice.ID, nil, nil) + expectStatus(t, resp, http.StatusBadRequest) + resp.Body.Close() + } +} + +func TestPagination_IncompleteCursor(t *testing.T) { + r := newTestRig(t) + alice, _, _, chat := bootstrap(r) + r.send(alice, chat.ID, "m0") + + enc := func(s string) string { return base64.RawURLEncoding.EncodeToString([]byte(s)) } + msgScope := `"s":"chat:` + chat.ID + `"` + chatsScope := `"s":"chats:` + alice.ID + `"` + ts := `"t":"2026-01-01T00:00:00Z"` + id := `"i":"` + chat.ID + `"` + + cases := map[string]string{ + "только scope": enc(`{` + msgScope + `}`), + "без i": enc(`{` + ts + `,` + msgScope + `}`), + "без t": enc(`{` + id + `,` + msgScope + `}`), + "i не UUID": enc(`{` + ts + `,"i":"zzz",` + msgScope + `}`), + "нулевое t": enc(`{"t":"0001-01-01T00:00:00Z",` + id + `,` + msgScope + `}`), + "лишнее поле": enc(`{` + ts + `,` + id + `,` + msgScope + `,"x":1}`), + "данные после объекта": enc(`{` + ts + `,` + id + `,` + msgScope + `}}`), + "base64 с паддингом": base64.URLEncoding.EncodeToString([]byte(`{` + ts + `,` + id + `,` + msgScope + `}`)), + "пустой объект": enc(`{}`), + "null": enc(`null`), + } + for name, cur := range cases { + resp := r.do(http.MethodGet, "/api/v1/chats/"+chat.ID+"/messages?cursor="+url.QueryEscape(cur), alice.ID, nil, nil) + if resp.StatusCode != http.StatusBadRequest { + t.Errorf("messages, %s: ожидался 400, получен %d", name, resp.StatusCode) + } + resp.Body.Close() + } + + resp := r.do(http.MethodGet, "/api/v1/chats?cursor="+url.QueryEscape(enc(`{`+chatsScope+`}`)), alice.ID, nil, nil) + expectStatus(t, resp, http.StatusBadRequest) + resp.Body.Close() +} diff --git a/app/internal/api/http/router.go b/app/internal/api/http/router.go new file mode 100644 index 00000000..a658959c --- /dev/null +++ b/app/internal/api/http/router.go @@ -0,0 +1,32 @@ +package http + +import ( + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/middleware" +) + +func registerRoutes(e *echo.Echo, d Deps, isReady func() bool) { + e.GET("/health/live", healthLive) + e.GET("/health/ready", healthReady(isReady)) + + usersH := &usersHandler{users: d.Users} + chatsH := &chatsHandler{chats: d.Chats} + messagesH := &messagesHandler{messages: d.Messages} + authH := &authHandler{auth: d.Auth} + + auth := middleware.Bearer(d.Auth) + + jsonBody := middleware.ContentType() + + v1 := e.Group("/api/v1") + v1.POST("/users", usersH.create, jsonBody) + v1.POST("/auth/sessions", authH.createSession) + v1.DELETE("/auth/sessions/current", authH.revokeSession, auth) + v1.GET("/users/me", usersH.me, auth) + v1.POST("/chats", chatsH.create, auth, jsonBody) + v1.GET("/chats", chatsH.list, auth) + v1.GET("/chats/:chat_id", chatsH.get, auth) + v1.POST("/chats/:chat_id/messages", messagesH.send, auth, jsonBody) + v1.GET("/chats/:chat_id/messages", messagesH.list, auth) +} diff --git a/app/internal/api/http/server.go b/app/internal/api/http/server.go new file mode 100644 index 00000000..b018b72a --- /dev/null +++ b/app/internal/api/http/server.go @@ -0,0 +1,173 @@ +package http + +import ( + "context" + "errors" + "log/slog" + nethttp "net/http" + "sync/atomic" + "time" + + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/middleware" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" +) + +type Deps struct { + Config *config.Config + Logger *slog.Logger + Store store.Store + Auth service.AuthService + Users service.UsersService + Chats service.ChatsService + Messages service.MessagesService + + Ready func(ctx context.Context) error +} + +type Server struct { + e *echo.Echo + cfg config.HTTP + logger *slog.Logger + shutting atomic.Bool + ready func(ctx context.Context) error +} + +func NewServer(d Deps) *Server { + s := &Server{ + e: echo.New(), + cfg: d.Config.HTTP, + logger: d.Logger, + ready: d.Ready, + } + + s.e.HideBanner = true + s.e.HidePort = true + s.e.HTTPErrorHandler = s.httpErrorHandler + + s.e.Server.ReadTimeout = time.Duration(s.cfg.ReadTimeoutMs) * time.Millisecond + s.e.Server.WriteTimeout = time.Duration(s.cfg.WriteTimeoutMs) * time.Millisecond + s.e.Server.IdleTimeout = time.Duration(s.cfg.IdleTimeoutMs) * time.Millisecond + + s.e.Use(middleware.InstanceID(d.Config.InstanceID)) + s.e.Use(middleware.Recover(d.Logger)) + s.e.Use(middleware.RequestID()) + s.e.Use(middleware.Logger(d.Logger)) + s.e.Use(middleware.InFlight(d.Config.Limits.MaxInFlight)) + s.e.Use(middleware.BodyLimit(d.Config.Limits.MaxBodyBytes)) + s.e.Use(middleware.MemoryGuard(d.Config.Limits.MaxHeapBytes, 100*time.Millisecond)) + + registerRoutes(s.e, d, s.IsReady) + return s +} + +func (s *Server) Start() error { + s.logger.Info("http server starting", slog.String("addr", s.cfg.Addr)) + err := s.e.Start(s.cfg.Addr) + if errors.Is(err, nethttp.ErrServerClosed) { + return nil + } + return err +} + +// Drain переводит readiness в 503 и ждёт d, продолжая обслуживать запросы: за это время +// балансировщик выводит реплику, и новые запросы не попадают на закрытый listener. +func (s *Server) Drain(d time.Duration) { + s.shutting.Store(true) + s.logger.Info("http server draining", slog.Duration("for", d)) + time.Sleep(d) +} + +func (s *Server) Shutdown(ctx context.Context) error { + s.shutting.Store(true) + s.logger.Info("http server shutting down") + return s.e.Shutdown(ctx) +} + +func (s *Server) IsReady() bool { + if s.shutting.Load() { + return false + } + if s.ready == nil { + return true + } + ctx, cancel := context.WithTimeout(context.Background(), readyTimeout) + defer cancel() + return s.ready(ctx) == nil +} + +const readyTimeout = time.Second + +func (s *Server) Handler() nethttp.Handler { + return s.e +} + +func (s *Server) httpErrorHandler(err error, c echo.Context) { + if c.Response().Committed { + return + } + + var httpErr *echo.HTTPError + if errors.As(err, &httpErr) { + code := codeFromStatus(httpErr.Code) + msg, _ := httpErr.Message.(string) + if msg == "" || msg == nethttp.StatusText(httpErr.Code) { + msg = messageFor(httpErr.Code, code) + } + _ = c.JSON(httpErr.Code, errorBody{ + Error: errorPayload{ + Code: code, + Message: msg, + RequestID: c.Response().Header().Get(echo.HeaderXRequestID), + }, + }) + return + } + + _ = WriteError(c, err) +} + +var codesByStatus = map[int]string{ + nethttp.StatusBadRequest: CodeInvalidRequest, + nethttp.StatusUnauthorized: CodeUnauthorized, + nethttp.StatusNotFound: CodeNotFound, + nethttp.StatusMethodNotAllowed: CodeInvalidRequest, + nethttp.StatusConflict: CodeConflict, + nethttp.StatusRequestEntityTooLarge: CodePayloadTooLarge, + nethttp.StatusUnsupportedMediaType: CodeUnsupportedMedia, + nethttp.StatusTooManyRequests: CodeRateLimited, + nethttp.StatusServiceUnavailable: CodeUnavailable, +} + +func codeFromStatus(status int) string { + if c, ok := codesByStatus[status]; ok { + return c + } + return CodeInternalError +} + +var messagesByStatus = map[int]string{ + nethttp.StatusMethodNotAllowed: "Method not allowed", +} + +func messageFor(status int, code string) string { + if m, ok := messagesByStatus[status]; ok { + return m + } + return defaultMessages[code] +} + +var defaultMessages = map[string]string{ + CodeInvalidRequest: "Invalid request", + CodeUnauthorized: "Identification required", + CodeNotFound: "Object not found", + CodeConflict: "Conflict", + CodePayloadTooLarge: "Request body too large", + CodeUnsupportedMedia: "Unsupported Content-Type", + CodeRateLimited: "Too many requests", + CodeUnavailable: "Service unavailable", + CodeInternalError: "Internal server error", +} diff --git a/app/internal/api/http/users.go b/app/internal/api/http/users.go new file mode 100644 index 00000000..2533a19b --- /dev/null +++ b/app/internal/api/http/users.go @@ -0,0 +1,114 @@ +package http + +import ( + "bytes" + "encoding/json" + "errors" + "fmt" + "io" + "net/http" + "reflect" + "strings" + "unicode/utf8" + + "github.com/labstack/echo/v4" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/middleware" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" +) + +type usersHandler struct { + users service.UsersService +} + +func (h *usersHandler) create(c echo.Context) error { + var req dto.CreateUserRequest + if err := decodeJSON(c.Request().Body, &req); err != nil { + return WriteError(c, err) + } + + user, err := h.users.Register(c.Request().Context(), req.Username, req.DisplayName, req.Password) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusCreated, toUserResponse(user)) +} + +func (h *usersHandler) me(c echo.Context) error { + callerID := c.Get(middleware.AuthUserIDKey).(string) + user, err := h.users.Me(c.Request().Context(), callerID) + if err != nil { + return WriteError(c, err) + } + return c.JSON(http.StatusOK, toUserResponse(user)) +} + +func toUserResponse(u domain.User) dto.UserResponse { + return dto.UserResponse{ + ID: u.ID, + Username: u.Username, + DisplayName: u.DisplayName, + CreatedAt: dto.NewTimestamp(u.CreatedAt), + } +} + +func decodeJSON(body io.Reader, dst any) error { + data, err := io.ReadAll(body) + if err != nil { + if errors.Is(err, domain.ErrPayloadTooLarge) { + return err + } + return &validate.Error{Field: "body", Reason: "cannot read body"} + } + if !utf8.Valid(data) { + return &validate.Error{Field: "body", Reason: "invalid UTF-8"} + } + dec := json.NewDecoder(bytes.NewReader(data)) + dec.DisallowUnknownFields() + if err := dec.Decode(dst); err != nil { + return &validate.Error{Field: "body", Reason: jsonErrorReason(err)} + } + if _, err := dec.Token(); !errors.Is(err, io.EOF) { + return &validate.Error{Field: "body", Reason: "unexpected data after JSON object"} + } + return checkExactKeys(data, dst) +} + +func checkExactKeys(data []byte, dst any) error { + var obj map[string]json.RawMessage + if err := json.Unmarshal(data, &obj); err != nil { + return nil + } + allowed := make(map[string]struct{}) + t := reflect.TypeOf(dst).Elem() + for i := 0; i < t.NumField(); i++ { + name, _, _ := strings.Cut(t.Field(i).Tag.Get("json"), ",") + allowed[name] = struct{}{} + } + for key := range obj { + if _, ok := allowed[key]; !ok { + return &validate.Error{Field: "body", Reason: fmt.Sprintf("unknown field %q", key)} + } + } + return nil +} + +func jsonErrorReason(err error) string { + if errors.Is(err, io.EOF) { + return "empty body" + } + var typeErr *json.UnmarshalTypeError + if errors.As(err, &typeErr) { + if typeErr.Field == "" { + return "expected a JSON object" + } + return fmt.Sprintf("field %q: invalid type", typeErr.Field) + } + if name, ok := strings.CutPrefix(err.Error(), "json: unknown field "); ok { + return "unknown field " + name + } + return "invalid JSON" +} diff --git a/app/internal/api/http/validation_test.go b/app/internal/api/http/validation_test.go new file mode 100644 index 00000000..9acb0e66 --- /dev/null +++ b/app/internal/api/http/validation_test.go @@ -0,0 +1,230 @@ +package http + +import ( + "bytes" + "io" + "net/http" + "strings" + "testing" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto" +) + +func TestValidation_InvalidJSON(t *testing.T) { + r := newTestRig(t) + alice, _, _, chat := bootstrap(r) + path := "/api/v1/chats/" + chat.ID + "/messages" + + bad := [][]byte{ + []byte(`{"text":`), + []byte(`not json at all`), + []byte(`{"text": 123,}`), + []byte(``), + []byte(`{"text": "ok"}{"text":"bonus"}`), + []byte(`{"text": "ok"}}`), + []byte(`{"text": "ok"}]`), + []byte(`{"text": "ok"} }`), + []byte(`{"text": "ok"} x`), + []byte("{\"text\":\"\xff\xfe bad utf8\"}"), + } + for _, payload := range bad { + resp := r.do(http.MethodPost, path, alice.ID, + map[string]string{"Content-Type": "application/json"}, + bytes.NewReader(payload)) + if resp.StatusCode != http.StatusBadRequest { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("payload %q: expected 400, got %d; body=%s", payload, resp.StatusCode, string(data)) + } + e := readError(t, resp) + if e.Error.Code != CodeInvalidRequest { + t.Fatalf("payload %q: expected code %q, got %q", payload, CodeInvalidRequest, e.Error.Code) + } + if e.Error.RequestID == "" { + t.Fatalf("payload %q: missing request_id in body", payload) + } + } +} + +func TestValidation_InvalidUTF8(t *testing.T) { + r := newTestRig(t) + alice, bob, _, _ := bootstrap(r) + + cases := []struct { + path, actor string + payload []byte + }{ + {"/api/v1/users", "", []byte("{\"username\":\"u_" + randomSuffix()[:8] + "\",\"display_name\":\"\xc3\x28\"}")}, + {"/api/v1/chats", alice.ID, []byte("{\"title\":\"\xe2\x82\",\"member_ids\":[\"" + alice.ID + "\",\"" + bob.ID + "\"]}")}, + } + for _, tc := range cases { + resp := r.do(http.MethodPost, tc.path, tc.actor, + map[string]string{"Content-Type": "application/json"}, + bytes.NewReader(tc.payload)) + if resp.StatusCode != http.StatusBadRequest { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("%s %q: expected 400, got %d; body=%s", tc.path, tc.payload, resp.StatusCode, string(data)) + } + e := readError(t, resp) + if e.Error.Code != CodeInvalidRequest { + t.Fatalf("%s: expected code %q, got %q", tc.path, CodeInvalidRequest, e.Error.Code) + } + } +} + +func TestValidation_JSONKeysAreCaseSensitive(t *testing.T) { + r := newTestRig(t) + resp := r.do(http.MethodPost, "/api/v1/users", "", + map[string]string{"Content-Type": "application/json"}, + strings.NewReader(`{"USERNAME":"case_bob","Display_Name":"B"}`)) + expectStatus(t, resp, http.StatusBadRequest) + resp.Body.Close() +} + +func TestValidation_ErrorMessages(t *testing.T) { + r := newTestRig(t) + alice, bob, _, chat := bootstrap(r) + msgs := "/api/v1/chats/" + chat.ID + "/messages" + + cases := []struct { + method, path, actor, body, message string + }{ + {http.MethodPost, "/api/v1/users", "", `{"username":"ab","display_name":"x"}`, + "username: must match [a-z0-9_]{3,32}"}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc_` + randomSuffix()[:6] + `","display_name":" "}`, + "display_name: must not be empty or whitespace only"}, + {http.MethodPost, "/api/v1/users", "", `{"username":123,"display_name":"x"}`, + `body: field "username": invalid type`}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc","display_name":"x","password":"p"}`, + "password: length must be in [12, 128] code points"}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc","display_name":"x"}`, + "password: must not be empty or whitespace only"}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc","display_name":"x","password":"` + strings.Repeat("я", 129) + `"}`, + "password: length must be in [12, 128] code points"}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc","display_name":"x","password":"long-enough-pw","password_hash":"h"}`, + `body: unknown field "password_hash"`}, + {http.MethodPost, "/api/v1/users", "", `{"username":`, "body: invalid JSON"}, + {http.MethodPost, "/api/v1/users", "", ``, "body: empty body"}, + {http.MethodPost, "/api/v1/users", "", `[]`, "body: expected a JSON object"}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc","display_name":"x"} {}`, "body: unexpected data after JSON object"}, + {http.MethodPost, "/api/v1/users", "", `{"username":"abc","display_name":"x"}}`, "body: unexpected data after JSON object"}, + {http.MethodPost, "/api/v1/users", "", "{\"username\":\"abc\",\"display_name\":\"\xff\"}", + "body: invalid UTF-8"}, + {http.MethodPost, "/api/v1/chats", alice.ID, `{"title":"t","member_ids":["` + bob.ID + `"]}`, + "member_ids: must contain caller"}, + {http.MethodPost, "/api/v1/chats", alice.ID, `{"title":"t","member_ids":["` + alice.ID + `","x"]}`, + "member_ids[1]: must be a valid UUID"}, + {http.MethodPost, msgs, alice.ID, `{"text":" "}`, "text: must not be empty or whitespace only"}, + {http.MethodGet, msgs + "?limit=abc", alice.ID, "", "limit: must be an integer"}, + {http.MethodGet, msgs + "?limit=0", alice.ID, "", "limit: must be in [1, 100]"}, + {http.MethodGet, msgs + "?limit=", alice.ID, "", "limit: must be an integer"}, + {http.MethodGet, msgs + "?cursor=", alice.ID, "", "cursor: must not be empty"}, + {http.MethodGet, msgs + "?limit=10&cursor=", alice.ID, "", "cursor: must not be empty"}, + {http.MethodGet, "/api/v1/chats?limit=", alice.ID, "", "limit: must be an integer"}, + {http.MethodGet, "/api/v1/chats?cursor=", alice.ID, "", "cursor: must not be empty"}, + } + for _, tc := range cases { + headers := map[string]string{} + var body io.Reader + if tc.method == http.MethodPost { + headers["Content-Type"] = "application/json" + body = bytes.NewReader([]byte(tc.body)) + } + resp := r.do(tc.method, tc.path, tc.actor, headers, body) + if resp.StatusCode != http.StatusBadRequest { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("%s %s %q: expected 400, got %d; body=%s", tc.method, tc.path, tc.body, resp.StatusCode, string(data)) + } + e := readError(t, resp) + if e.Error.Message != tc.message { + t.Fatalf("%s %s %q:\n want %q\n got %q", tc.method, tc.path, tc.body, tc.message, e.Error.Message) + } + } +} + +func TestValidation_EmptyMessage(t *testing.T) { + r := newTestRig(t) + alice, _, _, chat := bootstrap(r) + path := "/api/v1/chats/" + chat.ID + "/messages" + + for _, text := range []string{"", " ", "\n\t "} { + resp := r.doJSON(http.MethodPost, path, alice.ID, dto.CreateMessageRequest{Text: text}) + if resp.StatusCode != http.StatusBadRequest { + data, _ := io.ReadAll(resp.Body) + resp.Body.Close() + t.Fatalf("text %q: expected 400, got %d; body=%s", text, resp.StatusCode, string(data)) + } + e := readError(t, resp) + if e.Error.Code != CodeInvalidRequest { + t.Fatalf("text %q: expected code %q, got %q", text, CodeInvalidRequest, e.Error.Code) + } + } +} + +func TestValidation_DuplicateUsername(t *testing.T) { + r := newTestRig(t) + username := "own_dup_" + randomSuffix() + + first := r.doJSON(http.MethodPost, "/api/v1/users", "", dto.CreateUserRequest{ + Username: username, + DisplayName: "Первый", + Password: testPassword, + }) + expectStatus(t, first, http.StatusCreated) + first.Body.Close() + + second := r.doJSON(http.MethodPost, "/api/v1/users", "", dto.CreateUserRequest{ + Username: username, + DisplayName: "Второй", + Password: testPassword, + }) + if second.StatusCode != http.StatusConflict { + data, _ := io.ReadAll(second.Body) + second.Body.Close() + t.Fatalf("second POST same username: expected 409, got %d; body=%s", second.StatusCode, string(data)) + } + e := readError(t, second) + if e.Error.Code != CodeConflict { + t.Fatalf("expected code %q, got %q", CodeConflict, e.Error.Code) + } + + third := r.doJSON(http.MethodPost, "/api/v1/users", "", dto.CreateUserRequest{ + Username: username, + DisplayName: "Первый", + Password: testPassword, + }) + if third.StatusCode != http.StatusConflict { + data, _ := io.ReadAll(third.Body) + third.Body.Close() + t.Fatalf("third POST same username/display_name: expected 409, got %d; body=%s", third.StatusCode, string(data)) + } + third.Body.Close() +} + +func TestValidation_UUIDForms(t *testing.T) { + r := newTestRig(t) + alice, bob, _, chat := bootstrap(r) + upper := strings.ToUpper(alice.ID) + + resp := r.do(http.MethodGet, "/api/v1/users/me", upper, nil, nil) + expectStatus(t, resp, http.StatusOK) + resp.Body.Close() + resp = r.do(http.MethodGet, "/api/v1/chats/"+strings.ToUpper(chat.ID), alice.ID, nil, nil) + expectStatus(t, resp, http.StatusOK) + resp.Body.Close() + + resp = r.do(http.MethodGet, "/api/v1/users/me", "{"+alice.ID+"}", nil, nil) + expectStatus(t, resp, http.StatusUnauthorized) + resp.Body.Close() + resp = r.do(http.MethodGet, "/api/v1/chats/"+strings.ReplaceAll(chat.ID, "-", ""), alice.ID, nil, nil) + expectStatus(t, resp, http.StatusBadRequest) + resp.Body.Close() + + resp = r.doJSON(http.MethodPost, "/api/v1/chats", alice.ID, map[string]any{ + "title": "dup", "member_ids": []string{alice.ID, upper, bob.ID}, + }) + expectStatus(t, resp, http.StatusBadRequest) + resp.Body.Close() +} diff --git a/app/internal/cache/history.go b/app/internal/cache/history.go new file mode 100644 index 00000000..7607fbc9 --- /dev/null +++ b/app/internal/cache/history.go @@ -0,0 +1,478 @@ +package cache + +import ( + "context" + "crypto/rand" + "encoding/hex" + "encoding/json" + "errors" + "fmt" + "log/slog" + "os" + "strconv" + "strings" + "sync" + "sync/atomic" + "time" + + "github.com/redis/go-redis/v9" + "golang.org/x/sync/singleflight" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" +) + +const ( + ModeOff = "off" + ModeNaive = "naive" + ModeSafe = "safe" +) + +type Source interface { + store.MessageStore + IsMember(ctx context.Context, chatID, userID string) (bool, error) + HistoryPage(ctx context.Context, chatID, cursor string, limit int) (domain.Page[domain.Message], error) +} + +// Outbox хранит долг инвалидации в источнике истины, чтобы он пережил +// рестарт API. Без него отложенная инвалидация живёт только в памяти. +type Outbox interface { + AddPendingInvalidation(ctx context.Context, chatID string) (int64, error) + PendingInvalidations(ctx context.Context) (map[string]int64, error) + ResolvePendingInvalidation(ctx context.Context, chatID string, gen int64) error +} + +type Options struct { + Mode string + Outbox Outbox + PageTTL time.Duration + LockTTL time.Duration + FillDelay time.Duration + Logger *slog.Logger +} + +var _ store.MessageStore = (*Messages)(nil) + +// pendingEntry — несброшенная версия чата. seq меняется при каждом новом +// сбое: повтор снимает запись, только если seq не изменился с его снимка. +// gen — поколение строки в Outbox (0 — не записана). +type pendingEntry struct { + seq uint64 + gen int64 +} + +type Messages struct { + src Source + rdb *redis.Client + opt Options + group singleflight.Group + log *slog.Logger + + downUntil atomic.Int64 + // loaded: долг инвалидации из Outbox прочитан. До этого любой чат может + // иметь устаревшую версию, поэтому все чтения идут мимо кэша. + loaded atomic.Bool + + mu sync.Mutex + pending map[string]pendingEntry + seq uint64 + stop chan struct{} + done chan struct{} +} + +const ( + memberTTL = 24 * time.Hour + versionTTL = 24 * time.Hour + breakerPause = time.Second + retryInterval = 200 * time.Millisecond + pollInterval = 5 * time.Millisecond + defaultPageTTL = 30 * time.Second + defaultLockTTL = 500 * time.Millisecond +) + +func New(src Source, rdb *redis.Client, opt Options) *Messages { + if opt.PageTTL <= 0 { + opt.PageTTL = defaultPageTTL + } + if opt.LockTTL <= 0 { + opt.LockTTL = defaultLockTTL + } + if opt.Logger == nil { + opt.Logger = slog.Default() + } + m := &Messages{ + src: src, + rdb: rdb, + opt: opt, + log: opt.Logger, + pending: make(map[string]pendingEntry), + stop: make(chan struct{}), + done: make(chan struct{}), + } + m.loaded.Store(opt.Outbox == nil || opt.Mode != ModeSafe) + go m.retryLoop() + return m +} + +func Connect(cfg config.HistoryCache) (*redis.Client, error) { + url := cfg.URL + if cfg.URLFile != "" { + b, err := os.ReadFile(cfg.URLFile) + if err != nil { + return nil, fmt.Errorf("cache: read HISTORY_CACHE_URL_FILE: %w", err) + } + url = strings.TrimSpace(string(b)) + } + if url == "" { + return nil, errors.New("cache: HISTORY_CACHE_URL_FILE or HISTORY_CACHE_URL is required unless HISTORY_CACHE=off") + } + opts, err := redis.ParseURL(url) + if err != nil { + return nil, errors.New("cache: invalid HISTORY_CACHE_URL") + } + timeout := time.Duration(cfg.TimeoutMs) * time.Millisecond + opts.PoolSize = cfg.PoolSize + opts.DialTimeout = timeout + opts.ReadTimeout = timeout + opts.WriteTimeout = timeout + opts.PoolTimeout = timeout + opts.MaxRetries = -1 // без повторов: промах кэша дешевле ожидания + return redis.NewClient(opts), nil +} + +func (m *Messages) Close() { + close(m.stop) + <-m.done +} + +func (m *Messages) AddMessage(ctx context.Context, callerID, chatID, idempotencyKey, text string) (domain.Message, error) { + msg, err := m.src.AddMessage(ctx, callerID, chatID, idempotencyKey, text) + if err != nil { + return msg, err + } + // Инвалидация нужна и при повторе: реплика, выполнившая COMMIT, могла упасть до + // сброса кэша, и тогда ответ 201 на повтор — первое подтверждение этого сообщения. + ictx := context.WithoutCancel(ctx) + switch m.opt.Mode { + case ModeNaive: + m.naiveInvalidate(ictx, chatID) + case ModeSafe: + if err := m.rdb.Del(ictx, verKey(chatID)).Err(); err != nil { + m.markDown(err) + m.addPending(ictx, chatID) + } + } + return msg, nil +} + +func (m *Messages) ListMessages(ctx context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + if m.opt.Mode == ModeOff || m.bypass(chatID) { + return m.src.ListMessages(ctx, callerID, chatID, cursor, limit) + } + if err := m.checkMember(ctx, chatID, callerID); err != nil { + return domain.Page[domain.Message]{}, err + } + if m.opt.Mode == ModeNaive { + return m.naiveList(ctx, chatID, cursor, limit) + } + return m.safeList(ctx, chatID, cursor, limit) +} + +func (m *Messages) checkMember(ctx context.Context, chatID, userID string) error { + key := "hc:member:" + chatID + ":" + userID + if !m.isDown() { + v, err := m.rdb.Get(ctx, key).Result() + if err == nil && v == "1" { + return nil + } + m.markDown(err) + } + ok, err := m.src.IsMember(ctx, chatID, userID) + if err != nil { + return err + } + if !ok { + // Отрицательный ответ не кэшируем. + return domain.ErrNotFound + } + if !m.isDown() { + m.markDown(m.rdb.Set(ctx, key, "1", memberTTL).Err()) + } + return nil +} + +func (m *Messages) naiveList(ctx context.Context, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + key := pageKey("hc:naive:"+chatID, cursor, limit) + if page, ok := m.getPage(ctx, key); ok { + return page, nil + } + page, err := m.src.HistoryPage(ctx, chatID, cursor, limit) + if err != nil { + return page, err + } + m.sleepFill(ctx) + if b, err := encodePage(page); err == nil { + setKey := "hc:naive:keys:" + chatID + _, err := m.rdb.TxPipelined(ctx, func(p redis.Pipeliner) error { + p.Set(ctx, key, b, m.opt.PageTTL) + p.SAdd(ctx, setKey, key) + p.Expire(ctx, setKey, m.opt.PageTTL) + return nil + }) + m.markDown(err) + } + return page, nil +} + +func (m *Messages) naiveInvalidate(ctx context.Context, chatID string) { + setKey := "hc:naive:keys:" + chatID + keys, err := m.rdb.SMembers(ctx, setKey).Result() + if err != nil { + m.markDown(err) + return + } + m.markDown(m.rdb.Del(ctx, append(keys, setKey)...).Err()) +} + +func (m *Messages) safeList(ctx context.Context, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + ver, err := m.version(ctx, chatID) + if err != nil { + m.markDown(err) + return m.src.HistoryPage(ctx, chatID, cursor, limit) + } + key := pageKey("hc:page:"+chatID+":"+ver, cursor, limit) + if page, ok := m.getPage(ctx, key); ok { + return page, nil + } + v, err, _ := m.group.Do(key, func() (any, error) { + return m.fill(context.WithoutCancel(ctx), key, chatID, cursor, limit) + }) + if err != nil { + return domain.Page[domain.Message]{}, err + } + return v.(domain.Page[domain.Message]), nil +} + +func (m *Messages) version(ctx context.Context, chatID string) (string, error) { + key := verKey(chatID) + v, err := m.rdb.Get(ctx, key).Result() + if err == nil { + return v, nil + } + if !errors.Is(err, redis.Nil) { + return "", err + } + fresh := randomVersion() + old, err := m.rdb.SetArgs(ctx, key, fresh, redis.SetArgs{Mode: "NX", Get: true, TTL: versionTTL}).Result() + if errors.Is(err, redis.Nil) { + return fresh, nil + } + if err != nil { + return "", err + } + return old, nil +} + +var unlockScript = redis.NewScript(` +if redis.call("GET", KEYS[1]) == ARGV[1] then return redis.call("DEL", KEYS[1]) end +return 0`) + +func (m *Messages) fill(ctx context.Context, key, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + lockKey := "hc:lock:" + key + token := randomVersion() + locked, err := m.rdb.SetNX(ctx, lockKey, token, m.opt.LockTTL).Result() + if err != nil { + m.markDown(err) + return m.src.HistoryPage(ctx, chatID, cursor, limit) + } + if !locked { + deadline := time.Now().Add(m.opt.LockTTL) + for time.Now().Before(deadline) { + time.Sleep(pollInterval) + if page, ok := m.getPage(ctx, key); ok { + return page, nil + } + } + return m.src.HistoryPage(ctx, chatID, cursor, limit) + } + defer unlockScript.Run(ctx, m.rdb, []string{lockKey}, token) + + page, err := m.src.HistoryPage(ctx, chatID, cursor, limit) + if err != nil { + return page, err + } + m.sleepFill(ctx) + if b, err := encodePage(page); err == nil { + m.markDown(m.rdb.Set(ctx, key, b, m.opt.PageTTL).Err()) + } + return page, nil +} + +// addPending вызывается до ответа 201: после него чат читается мимо кэша, +// пока версия не будет сброшена, в том числе после рестарта API. +func (m *Messages) addPending(ctx context.Context, chatID string) { + m.markPending(chatID, 0) + if m.opt.Outbox == nil { + m.log.Warn("history cache invalidation deferred", slog.String("chat_id", chatID)) + return + } + gen, err := m.opt.Outbox.AddPendingInvalidation(ctx, chatID) + if err != nil { + m.log.Error("history cache invalidation deferred in memory only, lost on restart", + slog.String("chat_id", chatID), slog.Any("err", err)) + return + } + m.markPending(chatID, gen) + m.log.Warn("history cache invalidation deferred", + slog.String("chat_id", chatID), slog.Int64("gen", gen)) +} + +// markPending всегда выдаёт новый seq, чтобы повтор, начатый раньше, не снял +// запись. gen не уменьшается. +func (m *Messages) markPending(chatID string, gen int64) { + m.mu.Lock() + m.seq++ + e := m.pending[chatID] + e.seq = m.seq + e.gen = max(e.gen, gen) + m.pending[chatID] = e + m.mu.Unlock() +} + +func (m *Messages) bypass(chatID string) bool { + if m.isDown() || !m.loaded.Load() { + return true + } + m.mu.Lock() + _, ok := m.pending[chatID] + m.mu.Unlock() + return ok +} + +func (m *Messages) loadPending() { + ctx, cancel := context.WithTimeout(context.Background(), time.Second) + defer cancel() + rows, err := m.opt.Outbox.PendingInvalidations(ctx) + if err != nil { + m.log.Warn("history cache: pending invalidations not loaded, bypassing", slog.Any("err", err)) + return + } + for id, gen := range rows { + m.markPending(id, gen) + } + m.loaded.Store(true) + if len(rows) > 0 { + m.log.Info("history cache: pending invalidations loaded", slog.Int("chats", len(rows))) + } +} + +func (m *Messages) retryLoop() { + defer close(m.done) + t := time.NewTicker(retryInterval) + defer t.Stop() + for { + if !m.loaded.Load() { + m.loadPending() + } + m.retryPending() + select { + case <-m.stop: + return + case <-t.C: + } + } +} + +func (m *Messages) retryPending() { + m.mu.Lock() + chats := make(map[string]pendingEntry, len(m.pending)) + for id, e := range m.pending { + chats[id] = e + } + m.mu.Unlock() + for id, e := range chats { + ctx, cancel := context.WithTimeout(context.Background(), time.Second) + err := m.rdb.Del(ctx, verKey(id)).Err() + if err == nil && e.gen > 0 { + err = m.opt.Outbox.ResolvePendingInvalidation(ctx, id, e.gen) + } + cancel() + if err != nil { + return + } + m.resolved(id, e) + } +} + +// resolved снимает запись, если после снимка e не было нового сбоя. +func (m *Messages) resolved(chatID string, e pendingEntry) { + m.mu.Lock() + if m.pending[chatID].seq == e.seq { + delete(m.pending, chatID) + } + m.mu.Unlock() +} + +func (m *Messages) isDown() bool { + return time.Now().UnixNano() < m.downUntil.Load() +} + +func (m *Messages) markDown(err error) { + if err == nil || errors.Is(err, redis.Nil) { + return + } + if !m.isDown() { + m.log.Warn("history cache unavailable, bypassing", slog.Any("err", err)) + } + m.downUntil.Store(time.Now().Add(breakerPause).UnixNano()) +} + +func (m *Messages) getPage(ctx context.Context, key string) (domain.Page[domain.Message], bool) { + b, err := m.rdb.Get(ctx, key).Bytes() + if err != nil { + m.markDown(err) + return domain.Page[domain.Message]{}, false + } + page, err := decodePage(b) + return page, err == nil +} + +func (m *Messages) sleepFill(ctx context.Context) { + if m.opt.FillDelay <= 0 { + return + } + select { + case <-time.After(m.opt.FillDelay): + case <-ctx.Done(): + } +} + +func verKey(chatID string) string { return "hc:ver:" + chatID } + +func pageKey(prefix, cursor string, limit int) string { + return prefix + ":" + strconv.Itoa(limit) + ":" + cursor +} + +func randomVersion() string { + var b [8]byte + _, _ = rand.Read(b[:]) + return hex.EncodeToString(b[:]) +} + +type cachedPage struct { + Items []domain.Message `json:"items"` + NextCursor string `json:"next_cursor"` +} + +func encodePage(p domain.Page[domain.Message]) ([]byte, error) { + return json.Marshal(cachedPage{Items: p.Items, NextCursor: p.NextCursor}) +} + +func decodePage(b []byte) (domain.Page[domain.Message], error) { + var c cachedPage + if err := json.Unmarshal(b, &c); err != nil { + return domain.Page[domain.Message]{}, err + } + return domain.Page[domain.Message]{Items: c.Items, NextCursor: c.NextCursor}, nil +} diff --git a/app/internal/cache/history_test.go b/app/internal/cache/history_test.go new file mode 100644 index 00000000..0f5fb449 --- /dev/null +++ b/app/internal/cache/history_test.go @@ -0,0 +1,208 @@ +package cache + +import ( + "context" + "errors" + "fmt" + "io" + "log/slog" + "sync" + "sync/atomic" + "testing" + "time" + + "github.com/redis/go-redis/v9" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +const member = "alice" + +type fakeSource struct { + mu sync.Mutex + msgs []domain.Message + queryDelay time.Duration + pageCalls atomic.Int64 +} + +func (f *fakeSource) AddMessage(_ context.Context, callerID, chatID, _, text string) (domain.Message, error) { + f.mu.Lock() + defer f.mu.Unlock() + m := domain.Message{ + ID: fmt.Sprintf("m%04d", len(f.msgs)), + ChatID: chatID, + AuthorID: callerID, + Text: text, + CreatedAt: time.Now().UTC(), + } + f.msgs = append(f.msgs, m) + return m, nil +} + +func (f *fakeSource) IsMember(_ context.Context, _, userID string) (bool, error) { + return userID == member, nil +} + +func (f *fakeSource) HistoryPage(context.Context, string, string, int) (domain.Page[domain.Message], error) { + f.pageCalls.Add(1) + f.mu.Lock() + snapshot := append([]domain.Message(nil), f.msgs...) + f.mu.Unlock() + time.Sleep(f.queryDelay) + return domain.Page[domain.Message]{Items: snapshot}, nil +} + +func (f *fakeSource) ListMessages(ctx context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + if ok, _ := f.IsMember(ctx, chatID, callerID); !ok { + return domain.Page[domain.Message]{}, domain.ErrNotFound + } + return f.HistoryPage(ctx, chatID, cursor, limit) +} + +func newCache(t *testing.T, c *redis.Client, mode string, src *fakeSource, fillDelay time.Duration) *Messages { + t.Helper() + m := New(src, c, Options{ + Mode: mode, + PageTTL: time.Minute, + FillDelay: fillDelay, + Logger: slog.New(slog.NewTextHandler(io.Discard, nil)), + }) + t.Cleanup(m.Close) + return m +} + +func contains(p domain.Page[domain.Message], id string) bool { + for _, m := range p.Items { + if m.ID == id { + return true + } + } + return false +} + +func TestCacheDown_Bypass(t *testing.T) { + ctx := context.Background() + dead := redis.NewClient(&redis.Options{ + Addr: "127.0.0.1:1", DialTimeout: 50 * time.Millisecond, MaxRetries: -1, + }) + t.Cleanup(func() { dead.Close() }) + src := &fakeSource{} + h := newCache(t, dead, ModeSafe, src, 0) + + msg, err := h.AddMessage(ctx, member, "chat-down", randomVersion(), "при упавшем кэше") + if err != nil { + t.Fatalf("запись при упавшем кэше: %v", err) + } + page, err := h.ListMessages(ctx, member, "chat-down", "", 50) + if err != nil || !contains(page, msg.ID) { + t.Fatalf("чтение при упавшем кэше: err=%v", err) + } + if !h.bypass("chat-down") { + t.Fatal("чат с несброшенной версией должен читаться мимо кэша") + } + if _, err := h.ListMessages(ctx, "mallory", "chat-down", "", 50); !errors.Is(err, domain.ErrNotFound) { + t.Fatalf("обход кэша не должен пропускать постороннего: %v", err) + } +} + +type fakeOutbox struct { + mu sync.Mutex + rows map[string]int64 + seq int64 // как cache_invalidations_gen_seq: gen не повторяется + loadErr error +} + +func (f *fakeOutbox) AddPendingInvalidation(_ context.Context, chatID string) (int64, error) { + f.mu.Lock() + defer f.mu.Unlock() + f.seq++ + f.rows[chatID] = f.seq + return f.seq, nil +} + +func (f *fakeOutbox) PendingInvalidations(context.Context) (map[string]int64, error) { + f.mu.Lock() + defer f.mu.Unlock() + if f.loadErr != nil { + return nil, f.loadErr + } + out := make(map[string]int64, len(f.rows)) + for k, v := range f.rows { + out[k] = v + } + return out, nil +} + +func (f *fakeOutbox) ResolvePendingInvalidation(_ context.Context, chatID string, gen int64) error { + f.mu.Lock() + defer f.mu.Unlock() + if f.rows[chatID] == gen { + delete(f.rows, chatID) + } + return nil +} + +func (f *fakeOutbox) len() int { + f.mu.Lock() + defer f.mu.Unlock() + return len(f.rows) +} + +func TestBypassUntilOutboxLoaded(t *testing.T) { + outbox := &fakeOutbox{rows: map[string]int64{}, loadErr: errors.New("db down")} + h := New(&fakeSource{}, redis.NewClient(&redis.Options{Addr: "127.0.0.1:1"}), Options{ + Mode: ModeSafe, + Outbox: outbox, + Logger: slog.New(slog.NewTextHandler(io.Discard, nil)), + }) + defer h.Close() + time.Sleep(3 * retryInterval) + if !h.bypass("any") { + t.Fatal("пока долг из Outbox не прочитан, кэш не должен отдавать страницы") + } + outbox.mu.Lock() + outbox.loadErr = nil + outbox.mu.Unlock() + deadline := time.Now().Add(2 * time.Second) + for h.bypass("any") { + if time.Now().After(deadline) { + t.Fatal("после загрузки Outbox чтение через кэш не включилось") + } + time.Sleep(20 * time.Millisecond) + } +} + +// Повтор сбросил версию и снял строку Outbox, но до того, как он снял запись +// из памяти, новая запись снова не смогла сбросить версию. Запись в памяти и +// строка Outbox должны остаться, иначе ответ 201 придёт при устаревшем кэше. +func TestRetryDoesNotDropNewerFailure(t *testing.T) { + ctx := context.Background() + outbox := &fakeOutbox{rows: map[string]int64{}} + h := New(&fakeSource{}, redis.NewClient(&redis.Options{Addr: "127.0.0.1:1"}), Options{ + Mode: ModeSafe, + Outbox: outbox, + Logger: slog.New(slog.NewTextHandler(io.Discard, nil)), + }) + h.Close() // повтор ведём вручную + h.loaded.Store(true) + chat := "chat-retry-race" + + h.addPending(ctx, chat) + snap := h.pending[chat] // снимок повтора; DEL версии прошёл + if err := outbox.ResolvePendingInvalidation(ctx, chat, snap.gen); err != nil { + t.Fatal(err) + } + h.addPending(ctx, chat) // новый сбой DEL до ответа 201 + h.resolved(chat, snap) + + if !h.bypass(chat) { + t.Fatal("повтор снял запись о более новом сбое") + } + if rows, _ := outbox.PendingInvalidations(ctx); rows[chat] <= snap.gen { + t.Fatalf("строка Outbox: gen=%d, ожидался новый gen > %d", rows[chat], snap.gen) + } + h.resolved(chat, h.pending[chat]) + if h.bypass(chat) { + t.Fatal("актуальный повтор должен снять запись") + } +} diff --git a/app/internal/config/config.go b/app/internal/config/config.go new file mode 100644 index 00000000..0398ff14 --- /dev/null +++ b/app/internal/config/config.go @@ -0,0 +1,176 @@ +package config + +import ( + "errors" + "fmt" + "os" + "regexp" + "strings" + + "github.com/google/uuid" +) + +var instanceIDPattern = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`) + +type Config struct { + Env string + Version string + InstanceID string + + HTTP HTTP + Logger Logger + Limits Limits + Database Database + Cache Cache + Session Session + + Idempotency Idempotency + HistoryCache HistoryCache +} + +func Load() (*Config, error) { + cfg := defaults() + if err := cfg.applyEnv(os.LookupEnv); err != nil { + return nil, fmt.Errorf("config: env: %w", err) + } + if cfg.InstanceID == "" { + cfg.InstanceID = defaultInstanceID() + } + if err := cfg.validate(); err != nil { + return nil, fmt.Errorf("config: validate: %w", err) + } + return cfg, nil +} + +func defaults() *Config { + return &Config{ + Env: "lab", + Version: "dev", + HTTP: HTTP{ + Addr: "0.0.0.0:8080", + ReadTimeoutMs: 10000, + WriteTimeoutMs: 10000, + IdleTimeoutMs: 60000, + ShutdownTimeoutMs: 10000, + ShutdownDrainMs: 3000, + }, + Logger: Logger{Level: "info"}, + Limits: Limits{ + MaxBodyBytes: 64 * 1024, + MaxInFlight: 64, + MaxMessagesGlobal: 100000, + MaxHeapBytes: 256 * 1024 * 1024, + }, + Database: Database{ + MaxConns: 10, + ConnectTimeoutMs: 5000, + QueryTimeoutMs: 3000, + }, + Cache: Cache{ + PoolSize: 20, + TimeoutMs: 1000, + }, + Session: Session{Store: "valkey", TTLSeconds: 3600}, + Idempotency: Idempotency{TTLSeconds: MinIdempotencyTTLSeconds}, + HistoryCache: HistoryCache{ + Mode: "off", + PageTTLSeconds: 30, + TimeoutMs: 200, + PoolSize: 20, + }, + } +} + +// defaultInstanceID — hostname: в Docker это короткий ID контейнера, поэтому ответ +// можно сопоставить с конкретным контейнером. Значение неизменно на всю жизнь процесса. +func defaultInstanceID() string { + if h, err := os.Hostname(); err == nil && instanceIDPattern.MatchString(h) { + return h + } + return uuid.NewString() +} + +func (c *Config) validate() error { + if !instanceIDPattern.MatchString(c.InstanceID) { + return fmt.Errorf("APP_INSTANCE_ID must match %s", instanceIDPattern) + } + if strings.TrimSpace(c.Env) == "" { + return errors.New("env is required") + } + if strings.TrimSpace(c.Version) == "" { + return errors.New("version is required") + } + if strings.TrimSpace(c.HTTP.Addr) == "" { + return errors.New("http.addr is required") + } + if c.HTTP.ShutdownTimeoutMs <= 0 || c.HTTP.ShutdownTimeoutMs > 10000 { + return fmt.Errorf("APP_SHUTDOWN_TIMEOUT_MS must be in (0, 10000], got %d", c.HTTP.ShutdownTimeoutMs) + } + if c.HTTP.ShutdownDrainMs < 0 || c.HTTP.ShutdownDrainMs > 10000 { + return fmt.Errorf("APP_SHUTDOWN_DRAIN_MS must be in [0, 10000], got %d", c.HTTP.ShutdownDrainMs) + } + if c.HTTP.ReadTimeoutMs <= 0 { + return fmt.Errorf("APP_READ_TIMEOUT_MS must be > 0, got %d", c.HTTP.ReadTimeoutMs) + } + if c.HTTP.WriteTimeoutMs <= 0 { + return fmt.Errorf("APP_WRITE_TIMEOUT_MS must be > 0, got %d", c.HTTP.WriteTimeoutMs) + } + if c.HTTP.IdleTimeoutMs <= 0 { + return fmt.Errorf("APP_IDLE_TIMEOUT_MS must be > 0, got %d", c.HTTP.IdleTimeoutMs) + } + + if c.Limits.MaxBodyBytes <= 0 { + return fmt.Errorf("APP_MAX_BODY_BYTES must be > 0, got %d", c.Limits.MaxBodyBytes) + } + if c.Limits.MaxInFlight <= 0 { + return fmt.Errorf("APP_MAX_INFLIGHT must be > 0, got %d", c.Limits.MaxInFlight) + } + if c.Limits.MaxMessagesGlobal <= 0 { + return fmt.Errorf("APP_MAX_MESSAGES must be > 0, got %d", c.Limits.MaxMessagesGlobal) + } + if c.Limits.MaxHeapBytes == 0 { + return errors.New("APP_MAX_HEAP_BYTES must be > 0") + } + + if c.Database.MaxConns <= 0 { + return fmt.Errorf("DB_MAX_CONNS must be > 0, got %d", c.Database.MaxConns) + } + if c.Database.ConnectTimeoutMs <= 0 { + return fmt.Errorf("DB_CONNECT_TIMEOUT_MS must be > 0, got %d", c.Database.ConnectTimeoutMs) + } + if c.Database.QueryTimeoutMs <= 0 { + return fmt.Errorf("DB_QUERY_TIMEOUT_MS must be > 0, got %d", c.Database.QueryTimeoutMs) + } + if c.Cache.PoolSize <= 0 { + return fmt.Errorf("CACHE_POOL_SIZE must be > 0, got %d", c.Cache.PoolSize) + } + if c.Cache.TimeoutMs <= 0 { + return fmt.Errorf("CACHE_TIMEOUT_MS must be > 0, got %d", c.Cache.TimeoutMs) + } + switch c.HistoryCache.Mode { + case "off", "naive", "safe": + default: + return fmt.Errorf("HISTORY_CACHE must be off|naive|safe, got %q", c.HistoryCache.Mode) + } + if c.HistoryCache.PageTTLSeconds <= 0 { + return fmt.Errorf("HISTORY_CACHE_TTL_SECONDS must be > 0, got %d", c.HistoryCache.PageTTLSeconds) + } + if c.HistoryCache.TimeoutMs <= 0 || c.HistoryCache.PoolSize <= 0 { + return errors.New("HISTORY_CACHE_TIMEOUT_MS and HISTORY_CACHE_POOL_SIZE must be > 0") + } + if c.HistoryCache.FillDelayMs < 0 || c.HistoryCache.FillDelayMs > 1000 { + return fmt.Errorf("HISTORY_CACHE_FILL_DELAY_MS must be in [0, 1000], got %d", c.HistoryCache.FillDelayMs) + } + // Реализовано одно хранилище сессий; иное значение — ошибка конфигурации, а не тихий выбор. + if c.Session.Store != "valkey" { + return fmt.Errorf("SESSION_STORE must be valkey (the only implemented session store), got %q", c.Session.Store) + } + if c.Idempotency.TTLSeconds < MinIdempotencyTTLSeconds { + return fmt.Errorf("IDEMPOTENCY_TTL_SECONDS must be >= %d, got %d", MinIdempotencyTTLSeconds, c.Idempotency.TTLSeconds) + } + if c.Session.TTLSeconds <= 0 { + return fmt.Errorf("SESSION_TTL_SECONDS must be > 0, got %d", c.Session.TTLSeconds) + } + + return nil +} diff --git a/app/internal/config/database.go b/app/internal/config/database.go new file mode 100644 index 00000000..05a00862 --- /dev/null +++ b/app/internal/config/database.go @@ -0,0 +1,13 @@ +package config + +type Database struct { + URLFile string + URL string + MaxConns int32 + ConnectTimeoutMs int + QueryTimeoutMs int + // EnableBitmapScan: по умолчанию выключено. Для чата, которого ещё нет в статистике, + // планировщик может ожидать почти пустой результат и выбрать чтение всего чата с сортировкой. + // Это гипотеза: замеров, подтверждающих выигрыш, в evidence нет. Флаг нужен для сравнения. + EnableBitmapScan bool +} diff --git a/app/internal/config/env.go b/app/internal/config/env.go new file mode 100644 index 00000000..1db38d38 --- /dev/null +++ b/app/internal/config/env.go @@ -0,0 +1,133 @@ +package config + +import ( + "fmt" + "net" + "strconv" + "strings" +) + +func (c *Config) applyEnv(lookup func(string) (string, bool)) error { + get := func(key string) (string, bool) { + v, ok := lookup(key) + v = strings.TrimSpace(v) + return v, ok && v != "" + } + + if v, ok := get("APP_ENV"); ok { + c.Env = v + } + if v, ok := get("APP_VERSION"); ok { + c.Version = v + } + if v, ok := get("APP_INSTANCE_ID"); ok { + c.InstanceID = v + } + if v, ok := get("APP_LOG_LEVEL"); ok { + c.Logger.Level = v + } + if v, ok := get("DATABASE_URL_FILE"); ok { + c.Database.URLFile = v + } + if v, ok := get("DATABASE_URL"); ok { + c.Database.URL = v + } + if v, ok := get("CACHE_URL_FILE"); ok { + c.Cache.URLFile = v + } + if v, ok := get("CACHE_URL"); ok { + c.Cache.URL = v + } + if v, ok := get("SESSION_STORE"); ok { + c.Session.Store = strings.ToLower(v) + } + if v, ok := get("HISTORY_CACHE"); ok { + c.HistoryCache.Mode = strings.ToLower(v) + } + if v, ok := get("HISTORY_CACHE_URL_FILE"); ok { + c.HistoryCache.URLFile = v + } + if v, ok := get("HISTORY_CACHE_URL"); ok { + c.HistoryCache.URL = v + } + + host, port, err := net.SplitHostPort(c.HTTP.Addr) + if err != nil { + return fmt.Errorf("default addr %q: %w", c.HTTP.Addr, err) + } + if v, ok := get("APP_HOST"); ok { + host = v + } + if v, ok := get("APP_PORT"); ok { + port = v + } + if n, err := strconv.Atoi(port); err != nil || n < 1 || n > 65535 { + return fmt.Errorf("APP_PORT must be in [1, 65535], got %q", port) + } + c.HTTP.Addr = net.JoinHostPort(host, port) + + ints := []struct { + key string + dst *int + }{ + {"APP_READ_TIMEOUT_MS", &c.HTTP.ReadTimeoutMs}, + {"APP_WRITE_TIMEOUT_MS", &c.HTTP.WriteTimeoutMs}, + {"APP_IDLE_TIMEOUT_MS", &c.HTTP.IdleTimeoutMs}, + {"APP_SHUTDOWN_TIMEOUT_MS", &c.HTTP.ShutdownTimeoutMs}, + {"APP_SHUTDOWN_DRAIN_MS", &c.HTTP.ShutdownDrainMs}, + {"APP_MAX_INFLIGHT", &c.Limits.MaxInFlight}, + {"APP_MAX_MESSAGES", &c.Limits.MaxMessagesGlobal}, + {"DB_CONNECT_TIMEOUT_MS", &c.Database.ConnectTimeoutMs}, + {"DB_QUERY_TIMEOUT_MS", &c.Database.QueryTimeoutMs}, + {"CACHE_POOL_SIZE", &c.Cache.PoolSize}, + {"CACHE_TIMEOUT_MS", &c.Cache.TimeoutMs}, + {"SESSION_TTL_SECONDS", &c.Session.TTLSeconds}, + {"IDEMPOTENCY_TTL_SECONDS", &c.Idempotency.TTLSeconds}, + {"HISTORY_CACHE_TTL_SECONDS", &c.HistoryCache.PageTTLSeconds}, + {"HISTORY_CACHE_TIMEOUT_MS", &c.HistoryCache.TimeoutMs}, + {"HISTORY_CACHE_POOL_SIZE", &c.HistoryCache.PoolSize}, + {"HISTORY_CACHE_FILL_DELAY_MS", &c.HistoryCache.FillDelayMs}, + } + for _, it := range ints { + v, ok := get(it.key) + if !ok { + continue + } + n, err := strconv.Atoi(v) + if err != nil { + return fmt.Errorf("%s: not an integer: %q", it.key, v) + } + *it.dst = n + } + + if v, ok := get("APP_MAX_BODY_BYTES"); ok { + n, err := strconv.ParseInt(v, 10, 64) + if err != nil { + return fmt.Errorf("APP_MAX_BODY_BYTES: not an integer: %q", v) + } + c.Limits.MaxBodyBytes = n + } + if v, ok := get("DB_MAX_CONNS"); ok { + n, err := strconv.ParseInt(v, 10, 32) + if err != nil { + return fmt.Errorf("DB_MAX_CONNS: not an integer: %q", v) + } + c.Database.MaxConns = int32(n) + } + if v, ok := get("DB_ENABLE_BITMAPSCAN"); ok { + b, err := strconv.ParseBool(v) + if err != nil { + return fmt.Errorf("DB_ENABLE_BITMAPSCAN: not a boolean: %q", v) + } + c.Database.EnableBitmapScan = b + } + if v, ok := get("APP_MAX_HEAP_BYTES"); ok { + n, err := strconv.ParseUint(v, 10, 64) + if err != nil { + return fmt.Errorf("APP_MAX_HEAP_BYTES: not a non-negative integer: %q", v) + } + c.Limits.MaxHeapBytes = n + } + + return nil +} diff --git a/app/internal/config/env_test.go b/app/internal/config/env_test.go new file mode 100644 index 00000000..4bea642b --- /dev/null +++ b/app/internal/config/env_test.go @@ -0,0 +1,85 @@ +package config + +import "testing" + +func TestLoad_Defaults(t *testing.T) { + cfg, err := Load() + if err != nil { + t.Fatal(err) + } + if cfg.HTTP.Addr != "0.0.0.0:8080" || cfg.Env != "lab" || cfg.Limits.MaxInFlight != 64 { + t.Errorf("cfg = %+v", cfg) + } +} + +func TestLoad_EnvOverridesDefaults(t *testing.T) { + t.Setenv("APP_HOST", "127.0.0.1") + t.Setenv("APP_PORT", "9090") + t.Setenv("APP_ENV", "docker") + t.Setenv("APP_MAX_INFLIGHT", "8") + t.Setenv("APP_MAX_BODY_BYTES", "2048") + + cfg, err := Load() + if err != nil { + t.Fatal(err) + } + if cfg.HTTP.Addr != "127.0.0.1:9090" { + t.Errorf("addr = %q, want 127.0.0.1:9090", cfg.HTTP.Addr) + } + if cfg.Env != "docker" { + t.Errorf("env = %q, want docker", cfg.Env) + } + if cfg.Limits.MaxInFlight != 8 || cfg.Limits.MaxBodyBytes != 2048 { + t.Errorf("limits = %+v", cfg.Limits) + } +} + +func TestLoad_PortOnlyKeepsDefaultHost(t *testing.T) { + t.Setenv("APP_PORT", "18080") + + cfg, err := Load() + if err != nil { + t.Fatal(err) + } + if cfg.HTTP.Addr != "0.0.0.0:18080" { + t.Errorf("addr = %q, want 0.0.0.0:18080", cfg.HTTP.Addr) + } +} + +func TestLoad_InstanceID(t *testing.T) { + cfg, err := Load() + if err != nil { + t.Fatal(err) + } + if cfg.InstanceID == "" { + t.Error("default instance id is empty") + } + + t.Setenv("APP_INSTANCE_ID", "api-1") + cfg, err = Load() + if err != nil { + t.Fatal(err) + } + if cfg.InstanceID != "api-1" { + t.Errorf("instance id = %q, want api-1", cfg.InstanceID) + } +} + +func TestLoad_InvalidEnvFails(t *testing.T) { + for key, val := range map[string]string{ + "APP_PORT": "http", + "APP_MAX_INFLIGHT": "many", + "APP_MAX_MESSAGES": "0", + "APP_SHUTDOWN_TIMEOUT_MS": "30000", + "APP_INSTANCE_ID": "bad id", + "APP_SHUTDOWN_DRAIN_MS": "-1", + "IDEMPOTENCY_TTL_SECONDS": "3600", + } { + t.Run(key, func(t *testing.T) { + t.Setenv(key, val) + if _, err := Load(); err == nil { + t.Errorf("%s=%q: expected error", key, val) + } + }) + } +} diff --git a/app/internal/config/history_cache.go b/app/internal/config/history_cache.go new file mode 100644 index 00000000..e28fb818 --- /dev/null +++ b/app/internal/config/history_cache.go @@ -0,0 +1,11 @@ +package config + +type HistoryCache struct { + Mode string + URLFile string + URL string + PageTTLSeconds int + TimeoutMs int + PoolSize int + FillDelayMs int +} diff --git a/app/internal/config/http.go b/app/internal/config/http.go new file mode 100644 index 00000000..3059c719 --- /dev/null +++ b/app/internal/config/http.go @@ -0,0 +1,12 @@ +package config + +type HTTP struct { + Addr string + ReadTimeoutMs int + WriteTimeoutMs int + IdleTimeoutMs int + ShutdownTimeoutMs int + // ShutdownDrainMs — сколько после SIGTERM обслуживать запросы, отвечая на readiness 503, + // чтобы балансировщик успел вывести реплику. Должно быть больше времени его обнаружения. + ShutdownDrainMs int +} diff --git a/app/internal/config/idempotency.go b/app/internal/config/idempotency.go new file mode 100644 index 00000000..32c97cc0 --- /dev/null +++ b/app/internal/config/idempotency.go @@ -0,0 +1,8 @@ +package config + +// MinIdempotencyTTLSeconds — контракт требует хранить результат не менее 24 часов. +const MinIdempotencyTTLSeconds = 86400 + +type Idempotency struct { + TTLSeconds int +} diff --git a/app/internal/config/limits.go b/app/internal/config/limits.go new file mode 100644 index 00000000..889fab56 --- /dev/null +++ b/app/internal/config/limits.go @@ -0,0 +1,8 @@ +package config + +type Limits struct { + MaxBodyBytes int64 + MaxInFlight int + MaxMessagesGlobal int + MaxHeapBytes uint64 +} diff --git a/app/internal/config/logger.go b/app/internal/config/logger.go new file mode 100644 index 00000000..be8e36b4 --- /dev/null +++ b/app/internal/config/logger.go @@ -0,0 +1,5 @@ +package config + +type Logger struct { + Level string +} diff --git a/app/internal/config/session.go b/app/internal/config/session.go new file mode 100644 index 00000000..56e0da42 --- /dev/null +++ b/app/internal/config/session.go @@ -0,0 +1,13 @@ +package config + +type Session struct { + Store string + TTLSeconds int +} + +type Cache struct { + URLFile string + URL string + PoolSize int + TimeoutMs int +} diff --git a/app/internal/domain/chat.go b/app/internal/domain/chat.go new file mode 100644 index 00000000..2de7174e --- /dev/null +++ b/app/internal/domain/chat.go @@ -0,0 +1,10 @@ +package domain + +import "time" + +type Chat struct { + ID string + Title string + MemberIDs []string + CreatedAt time.Time +} diff --git a/app/internal/domain/errors.go b/app/internal/domain/errors.go new file mode 100644 index 00000000..890055bf --- /dev/null +++ b/app/internal/domain/errors.go @@ -0,0 +1,25 @@ +package domain + +import ( + "errors" + "fmt" +) + +var ( + ErrNotFound = errors.New("not found") + + ErrUnauthorized = errors.New("unauthorized") + + ErrConflict = errors.New("conflict") + + // ErrIdempotencyConflict — ключ уже использован с другим телом запроса. + ErrIdempotencyConflict = fmt.Errorf("idempotency key reused with different request: %w", ErrConflict) + + ErrInvalidArgument = errors.New("invalid argument") + + ErrUnavailable = errors.New("unavailable") + + ErrPayloadTooLarge = errors.New("payload too large") + + ErrRateLimited = errors.New("rate limited") +) diff --git a/app/internal/domain/message.go b/app/internal/domain/message.go new file mode 100644 index 00000000..ba213e5a --- /dev/null +++ b/app/internal/domain/message.go @@ -0,0 +1,11 @@ +package domain + +import "time" + +type Message struct { + ID string + ChatID string + AuthorID string + Text string + CreatedAt time.Time +} diff --git a/app/internal/domain/page.go b/app/internal/domain/page.go new file mode 100644 index 00000000..494a7a47 --- /dev/null +++ b/app/internal/domain/page.go @@ -0,0 +1,67 @@ +package domain + +import ( + "encoding/base64" + "encoding/json" + "time" + + "github.com/google/uuid" +) + +type Page[T any] struct { + Items []T + NextCursor string +} + +type Cursor struct { + CreatedAt time.Time `json:"t"` + ID string `json:"i"` + Scope string `json:"s,omitempty"` +} + +func (c Cursor) IsZero() bool { + return c.ID == "" && c.CreatedAt.IsZero() +} + +func (c Cursor) Less(createdAt time.Time, id string) bool { + if c.CreatedAt.Before(createdAt) { + return true + } + if c.CreatedAt.After(createdAt) { + return false + } + return c.ID < id +} + +func EncodeCursor(c Cursor) string { + if c.IsZero() { + return "" + } + b, _ := json.Marshal(c) + return base64.RawURLEncoding.EncodeToString(b) +} + +func DecodeCursor(s string) (Cursor, error) { + if s == "" { + return Cursor{}, nil + } + raw, err := base64.RawURLEncoding.DecodeString(s) + if err != nil { + return Cursor{}, ErrInvalidArgument + } + var c Cursor + if err := json.Unmarshal(raw, &c); err != nil { + return Cursor{}, ErrInvalidArgument + } + + if c.CreatedAt.IsZero() || c.Scope == "" { + return Cursor{}, ErrInvalidArgument + } + if _, err := uuid.Parse(c.ID); err != nil || len(c.ID) != 36 { + return Cursor{}, ErrInvalidArgument + } + if EncodeCursor(c) != s { + return Cursor{}, ErrInvalidArgument + } + return c, nil +} diff --git a/app/internal/domain/session.go b/app/internal/domain/session.go new file mode 100644 index 00000000..f62cd52d --- /dev/null +++ b/app/internal/domain/session.go @@ -0,0 +1,9 @@ +package domain + +import "time" + +type Session struct { + Token string + ExpiresAt time.Time + User User +} diff --git a/app/internal/domain/user.go b/app/internal/domain/user.go new file mode 100644 index 00000000..34d52353 --- /dev/null +++ b/app/internal/domain/user.go @@ -0,0 +1,10 @@ +package domain + +import "time" + +type User struct { + ID string + Username string + DisplayName string + CreatedAt time.Time +} diff --git a/app/internal/logging/logging.go b/app/internal/logging/logging.go new file mode 100644 index 00000000..551b53b9 --- /dev/null +++ b/app/internal/logging/logging.go @@ -0,0 +1,51 @@ +package logging + +import ( + "fmt" + "io" + "log/slog" + "os" + "strings" +) + +func New(level, env, version string) (*slog.Logger, error) { + lvl, err := parseLevel(level) + if err != nil { + return nil, err + } + return build(os.Stdout, lvl, env, version), nil +} + +func build(w io.Writer, lvl slog.Level, env, version string) *slog.Logger { + handler := slog.NewJSONHandler(w, &slog.HandlerOptions{ + Level: lvl, + ReplaceAttr: forceUTCTime, + }) + return slog.New(handler).With( + slog.String("service", "messenger"), + slog.String("env", env), + slog.String("version", version), + ) +} + +func forceUTCTime(_ []string, a slog.Attr) slog.Attr { + if a.Value.Kind() == slog.KindTime { + a.Value = slog.TimeValue(a.Value.Time().UTC()) + } + return a +} + +func parseLevel(s string) (slog.Level, error) { + switch strings.ToLower(strings.TrimSpace(s)) { + case "", "info": + return slog.LevelInfo, nil + case "debug": + return slog.LevelDebug, nil + case "warn", "warning": + return slog.LevelWarn, nil + case "error": + return slog.LevelError, nil + default: + return 0, fmt.Errorf("logging: unknown level %q (want debug|info|warn|error)", s) + } +} diff --git a/app/internal/password/password.go b/app/internal/password/password.go new file mode 100644 index 00000000..e25b9b19 --- /dev/null +++ b/app/internal/password/password.go @@ -0,0 +1,113 @@ +package password + +import ( + "context" + "crypto/rand" + "crypto/subtle" + "encoding/base64" + "errors" + "fmt" + "strings" + + "golang.org/x/crypto/argon2" +) + +type Params struct { + MemoryKiB uint32 + Iterations uint32 + Parallelism uint8 + SaltLen uint32 + KeyLen uint32 +} + +var Default = Params{ + MemoryKiB: 19 * 1024, + Iterations: 2, + Parallelism: 1, + SaltLen: 16, + KeyLen: 32, +} + +var ErrMalformedHash = errors.New("password: malformed hash") + +var b64 = base64.RawStdEncoding + + +type Hasher struct { + params Params + slots chan struct{} +} + +func NewHasher(p Params, maxConcurrent int) *Hasher { + if maxConcurrent <= 0 { + maxConcurrent = 1 + } + return &Hasher{params: p, slots: make(chan struct{}, maxConcurrent)} +} + +func (h *Hasher) acquire(ctx context.Context) error { + select { + case h.slots <- struct{}{}: + return nil + case <-ctx.Done(): + return ctx.Err() + } +} + +func (h *Hasher) release() { <-h.slots } + +// Hash возвращает PHC-строку Argon2id со случайной солью. +func (h *Hasher) Hash(ctx context.Context, plain string) (string, error) { + salt := make([]byte, h.params.SaltLen) + if _, err := rand.Read(salt); err != nil { + return "", fmt.Errorf("password: rand: %w", err) + } + if err := h.acquire(ctx); err != nil { + return "", err + } + defer h.release() + + p := h.params + key := argon2.IDKey([]byte(plain), salt, p.Iterations, p.MemoryKiB, p.Parallelism, p.KeyLen) + return fmt.Sprintf("$argon2id$v=%d$m=%d,t=%d,p=%d$%s$%s", + argon2.Version, p.MemoryKiB, p.Iterations, p.Parallelism, + b64.EncodeToString(salt), b64.EncodeToString(key)), nil +} + +func (h *Hasher) Verify(ctx context.Context, plain, encoded string) (bool, error) { + p, salt, want, err := decode(encoded) + if err != nil { + return false, err + } + if err := h.acquire(ctx); err != nil { + return false, err + } + defer h.release() + + got := argon2.IDKey([]byte(plain), salt, p.Iterations, p.MemoryKiB, p.Parallelism, uint32(len(want))) + return subtle.ConstantTimeCompare(got, want) == 1, nil +} + +func decode(encoded string) (Params, []byte, []byte, error) { + parts := strings.Split(encoded, "$") + if len(parts) != 6 || parts[0] != "" || parts[1] != "argon2id" { + return Params{}, nil, nil, ErrMalformedHash + } + var version int + if _, err := fmt.Sscanf(parts[2], "v=%d", &version); err != nil || version != argon2.Version { + return Params{}, nil, nil, ErrMalformedHash + } + var p Params + if _, err := fmt.Sscanf(parts[3], "m=%d,t=%d,p=%d", &p.MemoryKiB, &p.Iterations, &p.Parallelism); err != nil { + return Params{}, nil, nil, ErrMalformedHash + } + salt, err := b64.DecodeString(parts[4]) + if err != nil || len(salt) == 0 { + return Params{}, nil, nil, ErrMalformedHash + } + key, err := b64.DecodeString(parts[5]) + if err != nil || len(key) == 0 { + return Params{}, nil, nil, ErrMalformedHash + } + return p, salt, key, nil +} diff --git a/app/internal/password/password_test.go b/app/internal/password/password_test.go new file mode 100644 index 00000000..d4dabda0 --- /dev/null +++ b/app/internal/password/password_test.go @@ -0,0 +1,76 @@ +package password + +import ( + "context" + "errors" + "strings" + "testing" +) + +var testParams = Params{MemoryKiB: 64, Iterations: 1, Parallelism: 1, SaltLen: 16, KeyLen: 32} + +func TestHashVerify(t *testing.T) { + h := NewHasher(testParams, 2) + ctx := context.Background() + + pw := "пароль:с-двоеточием-и-юникодом" + encoded, err := h.Hash(ctx, pw) + if err != nil { + t.Fatal(err) + } + if !strings.HasPrefix(encoded, "$argon2id$v=19$m=64,t=1,p=1$") { + t.Errorf("unexpected format %q", encoded) + } + if strings.Contains(encoded, pw) { + t.Error("hash contains plaintext") + } + + ok, err := h.Verify(ctx, pw, encoded) + if err != nil || !ok { + t.Errorf("Verify(correct) = %v, %v", ok, err) + } + ok, err = h.Verify(ctx, pw+"x", encoded) + if err != nil || ok { + t.Errorf("Verify(wrong) = %v, %v", ok, err) + } +} + +func TestHash_RandomSalt(t *testing.T) { + h := NewHasher(testParams, 1) + a, _ := h.Hash(context.Background(), "same-password-123") + b, _ := h.Hash(context.Background(), "same-password-123") + if a == b { + t.Error("two hashes of the same password are equal: salt is not random") + } +} + +func TestVerify_UsesParamsFromHash(t *testing.T) { + old := NewHasher(testParams, 1) + encoded, _ := old.Hash(context.Background(), "long-enough-password") + + stronger := testParams + stronger.Iterations = 3 + ok, err := NewHasher(stronger, 1).Verify(context.Background(), "long-enough-password", encoded) + if err != nil || !ok { + t.Errorf("old hash must verify after params change: %v, %v", ok, err) + } +} + +func TestVerify_Malformed(t *testing.T) { + h := NewHasher(testParams, 1) + for _, s := range []string{"", "!", "$argon2i$v=19$m=64,t=1,p=1$AAAA$AAAA", "$argon2id$v=19$m=64$AAAA$AAAA"} { + if _, err := h.Verify(context.Background(), "x", s); !errors.Is(err, ErrMalformedHash) { + t.Errorf("Verify(%q) err = %v, want ErrMalformedHash", s, err) + } + } +} + +func TestHash_RespectsContextWhenBusy(t *testing.T) { + h := NewHasher(testParams, 1) + h.slots <- struct{}{} // единственный слот занят + ctx, cancel := context.WithCancel(context.Background()) + cancel() + if _, err := h.Hash(ctx, "long-enough-password"); !errors.Is(err, context.Canceled) { + t.Errorf("err = %v, want context.Canceled", err) + } +} diff --git a/app/internal/service/auth.go b/app/internal/service/auth.go new file mode 100644 index 00000000..770735e6 --- /dev/null +++ b/app/internal/service/auth.go @@ -0,0 +1,101 @@ +package service + +import ( + "context" + "errors" + "fmt" + "time" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/password" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/session" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/token" +) + +var ( + _ AuthService = (*Auth)(nil) +) + +type Auth struct { + users store.UserStore + sessions session.Store + hasher *password.Hasher + ttl time.Duration + now func() time.Time + + dummyHash string +} + +func NewAuth(users store.UserStore, sessions session.Store, hasher *password.Hasher, ttl time.Duration) (*Auth, error) { + dummy, err := hasher.Hash(context.Background(), "dummy-password-for-timing") + if err != nil { + return nil, fmt.Errorf("auth: dummy hash: %w", err) + } + return &Auth{ + users: users, + sessions: sessions, + hasher: hasher, + ttl: ttl, + now: time.Now, + dummyHash: dummy, + }, nil +} + +func (a *Auth) Login(ctx context.Context, username, plainPassword string) (domain.Session, error) { + user, hash, err := a.users.CredentialsByUsername(ctx, username) + switch { + case errors.Is(err, domain.ErrNotFound): + _, _ = a.hasher.Verify(ctx, plainPassword, a.dummyHash) + return domain.Session{}, domain.ErrUnauthorized + case err != nil: + return domain.Session{}, err + } + + ok, err := a.hasher.Verify(ctx, plainPassword, hash) + if err != nil { + if errors.Is(err, password.ErrMalformedHash) { + return domain.Session{}, domain.ErrUnauthorized + } + return domain.Session{}, err + } + if !ok { + return domain.Session{}, domain.ErrUnauthorized + } + + plain, tokenHash, err := token.New() + if err != nil { + return domain.Session{}, err + } + expiresAt := a.now().Add(a.ttl).UTC().Truncate(time.Second) + if err := a.sessions.Save(ctx, tokenHash, session.Session{UserID: user.ID, ExpiresAt: expiresAt}); err != nil { + return domain.Session{}, err + } + return domain.Session{Token: plain, ExpiresAt: expiresAt, User: user}, nil +} + +func (a *Auth) Authenticate(ctx context.Context, plainToken string) (string, error) { + tokenHash, err := token.Parse(plainToken) + if err != nil { + return "", domain.ErrUnauthorized + } + s, err := a.sessions.Get(ctx, tokenHash) + if errors.Is(err, session.ErrNotFound) { + return "", domain.ErrUnauthorized + } + if err != nil { + return "", err + } + if !a.now().Before(s.ExpiresAt) { + return "", domain.ErrUnauthorized + } + return s.UserID, nil +} + +func (a *Auth) Logout(ctx context.Context, plainToken string) error { + tokenHash, err := token.Parse(plainToken) + if err != nil { + return domain.ErrUnauthorized + } + return a.sessions.Delete(ctx, tokenHash) +} diff --git a/app/internal/service/chats.go b/app/internal/service/chats.go new file mode 100644 index 00000000..b3db00cd --- /dev/null +++ b/app/internal/service/chats.go @@ -0,0 +1,47 @@ +package service + +import ( + "context" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" +) + +var ( + _ ChatsService = (*Chats)(nil) +) + +type Chats struct { + store store.ChatStore +} + +func NewChats(s store.ChatStore) *Chats { + return &Chats{store: s} +} + +func (c *Chats) Create(ctx context.Context, callerID, title string, memberIDs []string) (domain.Chat, error) { + if err := validate.ChatTitle(title); err != nil { + return domain.Chat{}, err + } + memberIDs, err := validate.MemberIDs(memberIDs, callerID) + if err != nil { + return domain.Chat{}, err + } + return c.store.CreateChat(ctx, callerID, title, memberIDs) +} + +func (c *Chats) Get(ctx context.Context, callerID, chatID string) (domain.Chat, error) { + chatID, err := validate.CanonicalUUID("chat_id", chatID) + if err != nil { + return domain.Chat{}, err + } + return c.store.ChatByID(ctx, callerID, chatID) +} + +func (c *Chats) List(ctx context.Context, callerID, cursor string, limit int) (domain.Page[domain.Chat], error) { + if err := validate.Limit(limit); err != nil { + return domain.Page[domain.Chat]{}, err + } + return c.store.ListChats(ctx, callerID, cursor, limit) +} diff --git a/app/internal/service/messages.go b/app/internal/service/messages.go new file mode 100644 index 00000000..34ca075f --- /dev/null +++ b/app/internal/service/messages.go @@ -0,0 +1,46 @@ +package service + +import ( + "context" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" +) + +var ( + _ MessagesService = (*Messages)(nil) +) + +type Messages struct { + store store.MessageStore +} + +func NewMessages(s store.MessageStore) *Messages { + return &Messages{store: s} +} + +func (m *Messages) Send(ctx context.Context, callerID, chatID, idempotencyKey, text string) (domain.Message, error) { + chatID, err := validate.CanonicalUUID("chat_id", chatID) + if err != nil { + return domain.Message{}, err + } + if err := validate.IdempotencyKey(idempotencyKey); err != nil { + return domain.Message{}, err + } + if err := validate.MessageText(text); err != nil { + return domain.Message{}, err + } + return m.store.AddMessage(ctx, callerID, chatID, idempotencyKey, text) +} + +func (m *Messages) List(ctx context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + chatID, err := validate.CanonicalUUID("chat_id", chatID) + if err != nil { + return domain.Page[domain.Message]{}, err + } + if err := validate.Limit(limit); err != nil { + return domain.Page[domain.Message]{}, err + } + return m.store.ListMessages(ctx, callerID, chatID, cursor, limit) +} diff --git a/app/internal/service/service.go b/app/internal/service/service.go new file mode 100644 index 00000000..9e82ee99 --- /dev/null +++ b/app/internal/service/service.go @@ -0,0 +1,29 @@ +package service + +import ( + "context" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +type UsersService interface { + Register(ctx context.Context, username, displayName, password string) (domain.User, error) + Me(ctx context.Context, callerID string) (domain.User, error) +} + +type ChatsService interface { + Create(ctx context.Context, callerID, title string, memberIDs []string) (domain.Chat, error) + Get(ctx context.Context, callerID, chatID string) (domain.Chat, error) + List(ctx context.Context, callerID, cursor string, limit int) (domain.Page[domain.Chat], error) +} + +type MessagesService interface { + Send(ctx context.Context, callerID, chatID, idempotencyKey, text string) (domain.Message, error) + List(ctx context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) +} + +type AuthService interface { + Login(ctx context.Context, username, password string) (domain.Session, error) + Authenticate(ctx context.Context, token string) (userID string, err error) + Logout(ctx context.Context, token string) error +} diff --git a/app/internal/service/users.go b/app/internal/service/users.go new file mode 100644 index 00000000..297938c3 --- /dev/null +++ b/app/internal/service/users.go @@ -0,0 +1,44 @@ +package service + +import ( + "context" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/password" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/validate" +) + +var ( + _ UsersService = (*Users)(nil) +) + +type Users struct { + store store.UserStore + hasher *password.Hasher +} + +func NewUsers(s store.UserStore, h *password.Hasher) *Users { + return &Users{store: s, hasher: h} +} + +func (u *Users) Register(ctx context.Context, username, displayName, plainPassword string) (domain.User, error) { + if err := validate.Username(username); err != nil { + return domain.User{}, err + } + if err := validate.DisplayName(displayName); err != nil { + return domain.User{}, err + } + if err := validate.Password(plainPassword); err != nil { + return domain.User{}, err + } + hash, err := u.hasher.Hash(ctx, plainPassword) + if err != nil { + return domain.User{}, err + } + return u.store.CreateUser(ctx, username, displayName, hash) +} + +func (u *Users) Me(ctx context.Context, callerID string) (domain.User, error) { + return u.store.UserByID(ctx, callerID) +} diff --git a/app/internal/session/memory.go b/app/internal/session/memory.go new file mode 100644 index 00000000..b6896dfc --- /dev/null +++ b/app/internal/session/memory.go @@ -0,0 +1,49 @@ +package session + +import ( + "context" + "sync" + "time" +) + +var _ Store = (*Memory)(nil) + +type Memory struct { + mu sync.Mutex + sessions map[string]Session + now func() time.Time +} + +func NewMemory() *Memory { + return &Memory{sessions: make(map[string]Session), now: time.Now} +} + +func (m *Memory) Save(_ context.Context, tokenHash []byte, s Session) error { + m.mu.Lock() + defer m.mu.Unlock() + m.sessions[string(tokenHash)] = s + return nil +} + +func (m *Memory) Get(_ context.Context, tokenHash []byte) (Session, error) { + m.mu.Lock() + defer m.mu.Unlock() + s, ok := m.sessions[string(tokenHash)] + if !ok { + return Session{}, ErrNotFound + } + if !m.now().Before(s.ExpiresAt) { + delete(m.sessions, string(tokenHash)) + return Session{}, ErrNotFound + } + return s, nil +} + +func (m *Memory) Delete(_ context.Context, tokenHash []byte) error { + m.mu.Lock() + defer m.mu.Unlock() + delete(m.sessions, string(tokenHash)) + return nil +} + +func (m *Memory) Ping(context.Context) error { return nil } diff --git a/app/internal/session/session.go b/app/internal/session/session.go new file mode 100644 index 00000000..7e3047ce --- /dev/null +++ b/app/internal/session/session.go @@ -0,0 +1,21 @@ +package session + +import ( + "context" + "errors" + "time" +) + +type Session struct { + UserID string `json:"user_id"` + ExpiresAt time.Time `json:"expires_at"` +} + +var ErrNotFound = errors.New("session: not found") + +type Store interface { + Save(ctx context.Context, tokenHash []byte, s Session) error + Get(ctx context.Context, tokenHash []byte) (Session, error) + Delete(ctx context.Context, tokenHash []byte) error + Ping(ctx context.Context) error +} diff --git a/app/internal/session/valkey.go b/app/internal/session/valkey.go new file mode 100644 index 00000000..9deddbd0 --- /dev/null +++ b/app/internal/session/valkey.go @@ -0,0 +1,120 @@ +package session + +import ( + "context" + "encoding/hex" + "encoding/json" + "errors" + "fmt" + "os" + "strings" + "time" + + "github.com/redis/go-redis/v9" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +var _ Store = (*Valkey)(nil) + +const keyPrefix = "session:" + +type Valkey struct { + client *redis.Client +} + +func NewValkey(client *redis.Client) *Valkey { + return &Valkey{client: client} +} + +func Connect(ctx context.Context, cfg config.Cache) (*redis.Client, error) { + url, err := urlFrom(cfg) + if err != nil { + return nil, err + } + opts, err := redis.ParseURL(url) + if err != nil { + return nil, errors.New("session: invalid CACHE_URL") + } + timeout := time.Duration(cfg.TimeoutMs) * time.Millisecond + opts.PoolSize = cfg.PoolSize + opts.DialTimeout = timeout + opts.ReadTimeout = timeout + opts.WriteTimeout = timeout + opts.PoolTimeout = timeout + opts.MaxRetries = 1 + + client := redis.NewClient(opts) + pingCtx, cancel := context.WithTimeout(ctx, timeout) + defer cancel() + if err := client.Ping(pingCtx).Err(); err != nil { + _ = client.Close() + return nil, fmt.Errorf("session: ping: %w", err) + } + return client, nil +} + +func urlFrom(cfg config.Cache) (string, error) { + if cfg.URLFile != "" { + b, err := os.ReadFile(cfg.URLFile) + if err != nil { + return "", fmt.Errorf("session: read CACHE_URL_FILE: %w", err) + } + return strings.TrimSpace(string(b)), nil + } + if cfg.URL != "" { + return cfg.URL, nil + } + return "", errors.New("session: CACHE_URL_FILE or CACHE_URL is required") +} + +func key(tokenHash []byte) string { + return keyPrefix + hex.EncodeToString(tokenHash) +} + +func (v *Valkey) Save(ctx context.Context, tokenHash []byte, s Session) error { + val, err := json.Marshal(s) + if err != nil { + return err + } + // NX: 256-битный токен не совпадёт, но перезаписать чужую сессию нельзя даже теоретически. + err = v.client.SetArgs(ctx, key(tokenHash), val, redis.SetArgs{ + Mode: "NX", + ExpireAt: s.ExpiresAt, + }).Err() + if errors.Is(err, redis.Nil) { + return fmt.Errorf("session: token collision") + } + return unavailable(err) +} + +func (v *Valkey) Get(ctx context.Context, tokenHash []byte) (Session, error) { + val, err := v.client.Get(ctx, key(tokenHash)).Bytes() + if errors.Is(err, redis.Nil) { + return Session{}, ErrNotFound + } + if err != nil { + return Session{}, unavailable(err) + } + var s Session + if err := json.Unmarshal(val, &s); err != nil { + return Session{}, fmt.Errorf("session: corrupt value: %w", err) + } + return s, nil +} + +func (v *Valkey) Delete(ctx context.Context, tokenHash []byte) error { + return unavailable(v.client.Del(ctx, key(tokenHash)).Err()) +} + +func (v *Valkey) Ping(ctx context.Context) error { + return unavailable(v.client.Ping(ctx).Err()) +} + +func unavailable(err error) error { + if err == nil { + return nil + } + return fmt.Errorf("%w: session store: %v", domain.ErrUnavailable, err) +} diff --git a/app/internal/store/db/chats.go b/app/internal/store/db/chats.go new file mode 100644 index 00000000..104ef5f4 --- /dev/null +++ b/app/internal/store/db/chats.go @@ -0,0 +1,165 @@ +package db + +import ( + "context" + "strings" + "time" + + "github.com/jackc/pgx/v5" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +type Chats struct { + conn +} + +func (c *Chats) CreateChat(ctx context.Context, callerID, title string, memberIDs []string) (domain.Chat, error) { + if strings.TrimSpace(title) == "" { + return domain.Chat{}, domain.ErrInvalidArgument + } + if len(memberIDs) == 0 || len(memberIDs) > 100 { + return domain.Chat{}, domain.ErrInvalidArgument + } + seen := make(map[string]struct{}, len(memberIDs)) + callerInMembers := false + for _, id := range memberIDs { + if _, dup := seen[id]; dup { + return domain.Chat{}, domain.ErrInvalidArgument + } + seen[id] = struct{}{} + if id == callerID { + callerInMembers = true + } + } + if !callerInMembers { + return domain.Chat{}, domain.ErrInvalidArgument + } + + ctx, cancel := c.withTimeout(ctx) + defer cancel() + + tx, err := c.pool.Begin(ctx) + if err != nil { + return domain.Chat{}, mapErr(err) + } + defer tx.Rollback(ctx) + + chat := domain.Chat{Title: title} + err = tx.QueryRow(ctx, ` + INSERT INTO chats (title) + VALUES ($1) + RETURNING id::text, created_at`, + encodeText(title), + ).Scan(&chat.ID, &chat.CreatedAt) + if err != nil { + return domain.Chat{}, mapErr(err) + } + + _, err = tx.Exec(ctx, ` + INSERT INTO chat_members (chat_id, user_id) + SELECT $1, unnest($2::uuid[])`, + chat.ID, memberIDs, + ) + if err != nil { + return domain.Chat{}, mapErr(err) + } + + if err := tx.Commit(ctx); err != nil { + return domain.Chat{}, mapErr(err) + } + + chat.MemberIDs = append([]string(nil), memberIDs...) + chat.CreatedAt = chat.CreatedAt.UTC() + return chat, nil +} + +func (c *Chats) ChatByID(ctx context.Context, callerID, chatID string) (domain.Chat, error) { + ctx, cancel := c.withTimeout(ctx) + defer cancel() + + chat := domain.Chat{} + err := c.pool.QueryRow(ctx, ` + SELECT c.id::text, c.title, c.created_at, + (SELECT array_agg(m.user_id::text ORDER BY m.user_id) + FROM chat_members m WHERE m.chat_id = c.id) + FROM chats c + JOIN chat_members me ON me.chat_id = c.id AND me.user_id = $2 + WHERE c.id = $1`, + chatID, callerID, + ).Scan(&chat.ID, &chat.Title, &chat.CreatedAt, &chat.MemberIDs) + if err != nil { + err = mapErr(err) + if err == domain.ErrInvalidArgument { + return domain.Chat{}, domain.ErrNotFound + } + return domain.Chat{}, err + } + chat.Title = decodeText(chat.Title) + chat.CreatedAt = chat.CreatedAt.UTC() + return chat, nil +} + +func (c *Chats) ListChats(ctx context.Context, callerID, cursor string, limit int) (domain.Page[domain.Chat], error) { + if limit <= 0 || limit > 100 { + return domain.Page[domain.Chat]{}, domain.ErrInvalidArgument + } + cur, err := domain.DecodeCursor(cursor) + if err != nil { + return domain.Page[domain.Chat]{}, err + } + scope := "chats:" + callerID + if cursor != "" && cur.Scope != scope { + return domain.Page[domain.Chat]{}, domain.ErrInvalidArgument + } + afterTime, afterID := cursorArgs(cur) + + ctx, cancel := c.withTimeout(ctx) + defer cancel() + + rows, err := c.pool.Query(ctx, ` + SELECT c.id::text, c.title, c.created_at, + (SELECT array_agg(m.user_id::text ORDER BY m.user_id) + FROM chat_members m WHERE m.chat_id = c.id) + FROM chat_members me + JOIN chats c ON c.id = me.chat_id + WHERE me.user_id = $1 + AND ($2::timestamptz IS NULL OR (c.created_at, c.id) > ($2, $3::uuid)) + ORDER BY c.created_at, c.id + LIMIT $4`, + callerID, afterTime, afterID, limit+1, + ) + if err != nil { + return domain.Page[domain.Chat]{}, mapErr(err) + } + out, err := pgx.CollectRows(rows, func(r pgx.CollectableRow) (domain.Chat, error) { + var ch domain.Chat + err := r.Scan(&ch.ID, &ch.Title, &ch.CreatedAt, &ch.MemberIDs) + ch.Title = decodeText(ch.Title) + ch.CreatedAt = ch.CreatedAt.UTC() + return ch, err + }) + if err != nil { + return domain.Page[domain.Chat]{}, mapErr(err) + } + + page := domain.Page[domain.Chat]{} + if len(out) > limit { + last := out[limit-1] + page.NextCursor = domain.EncodeCursor(domain.Cursor{ + CreatedAt: last.CreatedAt, + ID: last.ID, + Scope: scope, + }) + out = out[:limit] + } + page.Items = out + return page, nil +} + +func cursorArgs(c domain.Cursor) (*time.Time, *string) { + if c.IsZero() { + return nil, nil + } + return &c.CreatedAt, &c.ID +} diff --git a/app/internal/store/db/db.go b/app/internal/store/db/db.go new file mode 100644 index 00000000..e4c833ed --- /dev/null +++ b/app/internal/store/db/db.go @@ -0,0 +1,135 @@ +package db + +import ( + "context" + "errors" + "fmt" + "os" + "strings" + "time" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgconn" + "github.com/jackc/pgx/v5/pgxpool" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store" +) + +var _ store.Store = (*DB)(nil) + +type DB struct { + *Users + *Chats + *Messages + + pool *pgxpool.Pool +} + +func New(pool *pgxpool.Pool, queryTimeout time.Duration) *DB { + c := conn{pool: pool, timeout: queryTimeout} + return &DB{ + Users: &Users{conn: c}, + Chats: &Chats{conn: c}, + Messages: &Messages{conn: c}, + pool: pool, + } +} + +func Connect(ctx context.Context, cfg config.Database) (*pgxpool.Pool, error) { + dsn, err := dsnFrom(cfg) + if err != nil { + return nil, err + } + pcfg, err := pgxpool.ParseConfig(dsn) + if err != nil { + return nil, errors.New("db: invalid DSN") + } + pcfg.MaxConns = cfg.MaxConns + pcfg.ConnConfig.ConnectTimeout = time.Duration(cfg.ConnectTimeoutMs) * time.Millisecond + if !cfg.EnableBitmapScan { + pcfg.ConnConfig.RuntimeParams["enable_bitmapscan"] = "off" + } + + pool, err := pgxpool.NewWithConfig(ctx, pcfg) + if err != nil { + return nil, fmt.Errorf("db: pool: %w", err) + } + + pingCtx, cancel := context.WithTimeout(ctx, pcfg.ConnConfig.ConnectTimeout) + defer cancel() + if err := pool.Ping(pingCtx); err != nil { + pool.Close() + return nil, fmt.Errorf("db: ping: %w", err) + } + return pool, nil +} + +func dsnFrom(cfg config.Database) (string, error) { + if cfg.URLFile != "" { + b, err := os.ReadFile(cfg.URLFile) + if err != nil { + return "", fmt.Errorf("db: read DATABASE_URL_FILE: %w", err) + } + return strings.TrimSpace(string(b)), nil + } + if cfg.URL != "" { + return cfg.URL, nil + } + return "", errors.New("db: DATABASE_URL_FILE or DATABASE_URL is required") +} + +func (d *DB) Ping(ctx context.Context) error { + return d.pool.Ping(ctx) +} + +func (d *DB) Close() { + d.pool.Close() +} + +type conn struct { + pool *pgxpool.Pool + timeout time.Duration +} + +func (c conn) withTimeout(parent context.Context) (context.Context, context.CancelFunc) { + return context.WithTimeout(parent, c.timeout) +} + + +const ( + codeUniqueViolation = "23505" + codeForeignKeyViolation = "23503" + codeCheckViolation = "23514" + codeInvalidTextRepr = "22P02" +) + +func mapErr(err error) error { + if err == nil { + return nil + } + if errors.Is(err, pgx.ErrNoRows) { + return domain.ErrNotFound + } + var pgErr *pgconn.PgError + if errors.As(err, &pgErr) { + switch pgErr.Code { + case codeUniqueViolation: + return domain.ErrConflict + case codeForeignKeyViolation, codeCheckViolation, codeInvalidTextRepr: + return domain.ErrInvalidArgument + } + switch pgErr.Code[:2] { + case "08", "53", "57": + return fmt.Errorf("%w: db: %s", domain.ErrUnavailable, pgErr.Code) + } + return fmt.Errorf("db: %s: %w", pgErr.Code, err) + } + return fmt.Errorf("%w: db: %v", domain.ErrUnavailable, err) +} + +func isFKViolation(err error) bool { + var pgErr *pgconn.PgError + return errors.As(err, &pgErr) && pgErr.Code == codeForeignKeyViolation +} diff --git a/app/internal/store/db/db_test.go b/app/internal/store/db/db_test.go new file mode 100644 index 00000000..5fe65db5 --- /dev/null +++ b/app/internal/store/db/db_test.go @@ -0,0 +1,46 @@ +package db + +import ( + "context" + "errors" + "fmt" + "testing" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgconn" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +func TestMapErr(t *testing.T) { + pg := func(code string) error { return &pgconn.PgError{Code: code} } + cases := []struct { + name string + err error + want error + }{ + {"no rows", pgx.ErrNoRows, domain.ErrNotFound}, + {"unique", pg("23505"), domain.ErrConflict}, + {"fk", pg("23503"), domain.ErrInvalidArgument}, + {"check", pg("23514"), domain.ErrInvalidArgument}, + {"bad uuid text", pg("22P02"), domain.ErrInvalidArgument}, + {"admin shutdown (postgres stop)", pg("57P01"), domain.ErrUnavailable}, + {"cannot connect now (starting up)", pg("57P03"), domain.ErrUnavailable}, + {"connection failure", pg("08006"), domain.ErrUnavailable}, + {"too many connections", pg("53300"), domain.ErrUnavailable}, + {"timeout", fmt.Errorf("query: %w", context.DeadlineExceeded), domain.ErrUnavailable}, + {"dial refused", errors.New("dial tcp: connection refused"), domain.ErrUnavailable}, + } + for _, tc := range cases { + if got := mapErr(tc.err); !errors.Is(got, tc.want) { + t.Errorf("%s: mapErr = %v, want %v", tc.name, got, tc.want) + } + } + + if got := mapErr(pg("42601")); errors.Is(got, domain.ErrUnavailable) || errors.Is(got, domain.ErrInvalidArgument) { + t.Errorf("syntax error mapped to %v", got) + } + if mapErr(nil) != nil { + t.Error("mapErr(nil) != nil") + } +} diff --git a/app/internal/store/db/invalidations.go b/app/internal/store/db/invalidations.go new file mode 100644 index 00000000..e7e8d948 --- /dev/null +++ b/app/internal/store/db/invalidations.go @@ -0,0 +1,60 @@ +package db + +import ( + "context" + + "github.com/jackc/pgx/v5" +) + +func (m *Messages) AddPendingInvalidation(ctx context.Context, chatID string) (int64, error) { + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + var gen int64 + err := m.pool.QueryRow(ctx, ` + INSERT INTO cache_invalidations (chat_id) VALUES ($1) + ON CONFLICT (chat_id) DO UPDATE + SET gen = nextval('cache_invalidations_gen_seq'), updated_at = now() + RETURNING gen`, + chatID, + ).Scan(&gen) + if err != nil { + return 0, mapErr(err) + } + return gen, nil +} + +func (m *Messages) PendingInvalidations(ctx context.Context) (map[string]int64, error) { + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + rows, err := m.pool.Query(ctx, `SELECT chat_id::text, gen FROM cache_invalidations`) + if err != nil { + return nil, mapErr(err) + } + out := map[string]int64{} + var ( + id string + gen int64 + ) + _, err = pgx.ForEachRow(rows, []any{&id, &gen}, func() error { + out[id] = gen + return nil + }) + if err != nil { + return nil, mapErr(err) + } + return out, nil +} + + +func (m *Messages) ResolvePendingInvalidation(ctx context.Context, chatID string, gen int64) error { + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + _, err := m.pool.Exec(ctx, + `DELETE FROM cache_invalidations WHERE chat_id = $1 AND gen = $2`, + chatID, gen, + ) + return mapErr(err) +} diff --git a/app/internal/store/db/messages.go b/app/internal/store/db/messages.go new file mode 100644 index 00000000..f557b62a --- /dev/null +++ b/app/internal/store/db/messages.go @@ -0,0 +1,191 @@ +package db + +import ( + "context" + "errors" + "strings" + "time" + + "github.com/jackc/pgx/v5" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +type Messages struct { + conn +} + +func (m *Messages) AddMessage(ctx context.Context, callerID, chatID, idempotencyKey, text string) (domain.Message, error) { + if strings.TrimSpace(text) == "" { + return domain.Message{}, domain.ErrInvalidArgument + } + + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + tx, err := m.pool.Begin(ctx) + if err != nil { + return domain.Message{}, mapErr(err) + } + defer tx.Rollback(ctx) + + msg := domain.Message{ChatID: chatID, AuthorID: callerID, Text: text} + err = tx.QueryRow(ctx, ` + INSERT INTO message_idempotency_keys (user_id, chat_id, key, message_id) + VALUES ($1, $2, $3, gen_random_uuid()) + ON CONFLICT (user_id, chat_id, key) DO NOTHING + RETURNING message_id::text`, + callerID, chatID, idempotencyKey, + ).Scan(&msg.ID) + switch { + case errors.Is(err, pgx.ErrNoRows): + return replayMessage(ctx, tx, callerID, chatID, idempotencyKey, text) + case isFKViolation(err): + return domain.Message{}, domain.ErrNotFound + case err != nil: + return domain.Message{}, mapErr(err) + } + + err = tx.QueryRow(ctx, ` + INSERT INTO messages (id, chat_id, sender_id, text) + VALUES ($1, $2, $3, $4) + RETURNING created_at`, + msg.ID, chatID, callerID, encodeText(text), + ).Scan(&msg.CreatedAt) + if err != nil { + return domain.Message{}, mapErr(err) + } + if err := tx.Commit(ctx); err != nil { + return domain.Message{}, mapErr(err) + } + msg.CreatedAt = msg.CreatedAt.UTC() + return msg, nil +} + +func replayMessage(ctx context.Context, tx pgx.Tx, callerID, chatID, idempotencyKey, text string) (domain.Message, error) { + msg := domain.Message{ChatID: chatID, AuthorID: callerID} + err := tx.QueryRow(ctx, ` + SELECT m.id::text, m.text, m.created_at + FROM message_idempotency_keys k + JOIN messages m ON m.id = k.message_id + WHERE k.user_id = $1 AND k.chat_id = $2 AND k.key = $3`, + callerID, chatID, idempotencyKey, + ).Scan(&msg.ID, &msg.Text, &msg.CreatedAt) + if errors.Is(err, pgx.ErrNoRows) { + return domain.Message{}, domain.ErrUnavailable + } + if err != nil { + return domain.Message{}, mapErr(err) + } + msg.Text = decodeText(msg.Text) + if msg.Text != text { + return domain.Message{}, domain.ErrIdempotencyConflict + } + msg.CreatedAt = msg.CreatedAt.UTC() + return msg, nil +} + +func (m *Messages) PurgeIdempotencyKeys(ctx context.Context, ttl time.Duration) (int64, error) { + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + tag, err := m.pool.Exec(ctx, + `DELETE FROM message_idempotency_keys WHERE created_at < now() - make_interval(secs => $1)`, + ttl.Seconds(), + ) + if err != nil { + return 0, mapErr(err) + } + return tag.RowsAffected(), nil +} + +func (m *Messages) ListMessages(ctx context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + member, err := m.IsMember(ctx, chatID, callerID) + if err != nil { + return domain.Page[domain.Message]{}, err + } + if !member { + return domain.Page[domain.Message]{}, domain.ErrNotFound + } + return m.HistoryPage(ctx, chatID, cursor, limit) +} + + +func (m *Messages) IsMember(ctx context.Context, chatID, userID string) (bool, error) { + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + var member bool + err := m.pool.QueryRow(ctx, + `SELECT EXISTS (SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2)`, + chatID, userID, + ).Scan(&member) + if err != nil { + return false, mapErr(err) + } + return member, nil +} + +func (m *Messages) HistoryPage(ctx context.Context, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + if limit <= 0 || limit > 100 { + return domain.Page[domain.Message]{}, domain.ErrInvalidArgument + } + cur, err := domain.DecodeCursor(cursor) + if err != nil { + return domain.Page[domain.Message]{}, err + } + scope := "chat:" + chatID + if cursor != "" && cur.Scope != scope { + return domain.Page[domain.Message]{}, domain.ErrInvalidArgument + } + ctx, cancel := m.withTimeout(ctx) + defer cancel() + + var rows pgx.Rows + if cur.IsZero() { + rows, err = m.pool.Query(ctx, ` + SELECT m.id::text, m.chat_id::text, m.sender_id::text, m.text, m.created_at + FROM messages m + WHERE m.chat_id = $1 + ORDER BY m.created_at, m.id + LIMIT $2`, + chatID, limit+1, + ) + } else { + rows, err = m.pool.Query(ctx, ` + SELECT m.id::text, m.chat_id::text, m.sender_id::text, m.text, m.created_at + FROM messages m + WHERE m.chat_id = $1 + AND (m.created_at, m.id) > ($2, $3::uuid) + ORDER BY m.created_at, m.id + LIMIT $4`, + chatID, cur.CreatedAt, cur.ID, limit+1, + ) + } + if err != nil { + return domain.Page[domain.Message]{}, mapErr(err) + } + out, err := pgx.CollectRows(rows, func(r pgx.CollectableRow) (domain.Message, error) { + var msg domain.Message + err := r.Scan(&msg.ID, &msg.ChatID, &msg.AuthorID, &msg.Text, &msg.CreatedAt) + msg.Text = decodeText(msg.Text) + msg.CreatedAt = msg.CreatedAt.UTC() + return msg, err + }) + if err != nil { + return domain.Page[domain.Message]{}, mapErr(err) + } + + page := domain.Page[domain.Message]{} + if len(out) > limit { + last := out[limit-1] + page.NextCursor = domain.EncodeCursor(domain.Cursor{ + CreatedAt: last.CreatedAt, + ID: last.ID, + Scope: scope, + }) + out = out[:limit] + } + page.Items = out + return page, nil +} diff --git a/app/internal/store/db/text.go b/app/internal/store/db/text.go new file mode 100644 index 00000000..4c9e30f1 --- /dev/null +++ b/app/internal/store/db/text.go @@ -0,0 +1,22 @@ +package db + +import "strings" + +var ( + textEncoder = strings.NewReplacer(`\`, `\\`, "\x00", `\0`) + textDecoder = strings.NewReplacer(`\\`, `\`, `\0`, "\x00") +) + +func encodeText(s string) string { + if !strings.ContainsAny(s, "\\\x00") { + return s + } + return textEncoder.Replace(s) +} + +func decodeText(s string) string { + if !strings.Contains(s, `\`) { + return s + } + return textDecoder.Replace(s) +} diff --git a/app/internal/store/db/text_test.go b/app/internal/store/db/text_test.go new file mode 100644 index 00000000..a957c8d5 --- /dev/null +++ b/app/internal/store/db/text_test.go @@ -0,0 +1,18 @@ +package db + +import "testing" + +func TestTextEscapeRoundTrip(t *testing.T) { + cases := []string{"", "plain", "\x00", "a\x00b", `\`, `\0`, `\\0`, "\\\x00", "\x00\\0\x00", "привет\x00мир"} + for _, s := range cases { + enc := encodeText(s) + for i := 0; i < len(enc); i++ { + if enc[i] == 0 { + t.Fatalf("encodeText(%q) = %q содержит NUL", s, enc) + } + } + if got := decodeText(enc); got != s { + t.Fatalf("decodeText(encodeText(%q)) = %q", s, got) + } + } +} diff --git a/app/internal/store/db/users.go b/app/internal/store/db/users.go new file mode 100644 index 00000000..11e372b0 --- /dev/null +++ b/app/internal/store/db/users.go @@ -0,0 +1,89 @@ +package db + +import ( + "context" + "strings" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + +type Users struct { + conn +} + +func (u *Users) CreateUser(ctx context.Context, username, displayName, passwordHash string) (domain.User, error) { + if strings.TrimSpace(username) == "" || strings.TrimSpace(displayName) == "" || passwordHash == "" { + return domain.User{}, domain.ErrInvalidArgument + } + + ctx, cancel := u.withTimeout(ctx) + defer cancel() + + user := domain.User{Username: username, DisplayName: displayName} + err := u.pool.QueryRow(ctx, ` + INSERT INTO users (username, display_name, password_hash) + VALUES ($1, $2, $3) + RETURNING id::text, created_at`, + username, encodeText(displayName), passwordHash, + ).Scan(&user.ID, &user.CreatedAt) + if err != nil { + return domain.User{}, mapErr(err) + } + user.CreatedAt = user.CreatedAt.UTC() + return user, nil +} + +func (u *Users) UserByID(ctx context.Context, id string) (domain.User, error) { + ctx, cancel := u.withTimeout(ctx) + defer cancel() + + user := domain.User{} + err := u.pool.QueryRow(ctx, ` + SELECT id::text, username, display_name, created_at + FROM users + WHERE id = $1`, + id, + ).Scan(&user.ID, &user.Username, &user.DisplayName, &user.CreatedAt) + if err != nil { + err = mapErr(err) + if err == domain.ErrInvalidArgument { + return domain.User{}, domain.ErrNotFound + } + return domain.User{}, err + } + user.DisplayName = decodeText(user.DisplayName) + user.CreatedAt = user.CreatedAt.UTC() + return user, nil +} + +func (u *Users) CredentialsByUsername(ctx context.Context, username string) (domain.User, string, error) { + ctx, cancel := u.withTimeout(ctx) + defer cancel() + + user := domain.User{} + var hash string + err := u.pool.QueryRow(ctx, ` + SELECT id::text, username, display_name, created_at, password_hash + FROM users + WHERE username = $1`, + encodeText(username), + ).Scan(&user.ID, &user.Username, &user.DisplayName, &user.CreatedAt, &hash) + if err != nil { + return domain.User{}, "", mapErr(err) + } + user.DisplayName = decodeText(user.DisplayName) + user.CreatedAt = user.CreatedAt.UTC() + return user, hash, nil +} + +func (u *Users) UsernameExists(ctx context.Context, username string) bool { + ctx, cancel := u.withTimeout(ctx) + defer cancel() + + var exists bool + err := u.pool.QueryRow(ctx, + `SELECT EXISTS (SELECT 1 FROM users WHERE username = $1)`, + encodeText(username), + ).Scan(&exists) + return err == nil && exists +} diff --git a/app/internal/store/memory.go b/app/internal/store/memory.go new file mode 100644 index 00000000..ad88d12e --- /dev/null +++ b/app/internal/store/memory.go @@ -0,0 +1,323 @@ +package store + +import ( + "context" + "strings" + "sync" + "time" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" + "github.com/google/uuid" +) + +var _ Store = (*Memory)(nil) + +type Memory struct { + mu sync.RWMutex + + users map[string]domain.User + byName map[string]string + hashes map[string]string + + chats map[string]*chatBucket + chatOrder []string + + lastTime time.Time + + idempotency map[string]domain.Message + + maxMessages int + messagesTotal int +} + +type chatBucket struct { + chat domain.Chat + members map[string]struct{} + messages []domain.Message +} + +func New() *Memory { + return NewWithLimit(0) +} + +func NewWithLimit(maxMessages int) *Memory { + return &Memory{ + users: make(map[string]domain.User), + byName: make(map[string]string), + hashes: make(map[string]string), + chats: make(map[string]*chatBucket), + idempotency: make(map[string]domain.Message), + maxMessages: maxMessages, + } +} + +func (m *Memory) MessagesTotal() int { + m.mu.RLock() + defer m.mu.RUnlock() + return m.messagesTotal +} + +func (m *Memory) now() time.Time { + t := time.Now().UTC() + if !t.After(m.lastTime) { + t = m.lastTime.Add(time.Nanosecond) + } + m.lastTime = t + return t +} + +func (m *Memory) CreateUser(_ context.Context, username, displayName, passwordHash string) (domain.User, error) { + if strings.TrimSpace(username) == "" || strings.TrimSpace(displayName) == "" { + return domain.User{}, domain.ErrInvalidArgument + } + + m.mu.Lock() + defer m.mu.Unlock() + + if _, taken := m.byName[username]; taken { + return domain.User{}, domain.ErrConflict + } + + u := domain.User{ + ID: uuid.NewString(), + Username: username, + DisplayName: displayName, + CreatedAt: m.now(), + } + m.users[u.ID] = u + m.byName[username] = u.ID + m.hashes[u.ID] = passwordHash + return u, nil +} + +func (m *Memory) UserByID(_ context.Context, id string) (domain.User, error) { + m.mu.RLock() + defer m.mu.RUnlock() + u, ok := m.users[id] + if !ok { + return domain.User{}, domain.ErrNotFound + } + return u, nil +} + +func (m *Memory) CredentialsByUsername(_ context.Context, username string) (domain.User, string, error) { + m.mu.RLock() + defer m.mu.RUnlock() + id, ok := m.byName[username] + if !ok { + return domain.User{}, "", domain.ErrNotFound + } + return m.users[id], m.hashes[id], nil +} + +func (m *Memory) UsernameExists(_ context.Context, username string) bool { + m.mu.RLock() + defer m.mu.RUnlock() + _, taken := m.byName[username] + return taken +} + +func (m *Memory) CreateChat(_ context.Context, callerID, title string, memberIDs []string) (domain.Chat, error) { + if strings.TrimSpace(title) == "" { + return domain.Chat{}, domain.ErrInvalidArgument + } + if len(memberIDs) == 0 || len(memberIDs) > 100 { + return domain.Chat{}, domain.ErrInvalidArgument + } + + seen := make(map[string]struct{}, len(memberIDs)) + callerInMembers := false + for _, id := range memberIDs { + if _, dup := seen[id]; dup { + return domain.Chat{}, domain.ErrInvalidArgument + } + seen[id] = struct{}{} + if id == callerID { + callerInMembers = true + } + } + if !callerInMembers { + return domain.Chat{}, domain.ErrInvalidArgument + } + + m.mu.Lock() + defer m.mu.Unlock() + + for _, id := range memberIDs { + if _, ok := m.users[id]; !ok { + return domain.Chat{}, domain.ErrInvalidArgument + } + } + + members := append([]string(nil), memberIDs...) + + chat := domain.Chat{ + ID: uuid.NewString(), + Title: title, + MemberIDs: members, + CreatedAt: m.now(), + } + m.chats[chat.ID] = &chatBucket{ + chat: chat, + members: seen, + } + m.chatOrder = append(m.chatOrder, chat.ID) + return cloneChat(chat), nil +} + +func (m *Memory) ChatByID(_ context.Context, callerID, chatID string) (domain.Chat, error) { + m.mu.RLock() + defer m.mu.RUnlock() + + b, ok := m.chats[chatID] + if !ok { + return domain.Chat{}, domain.ErrNotFound + } + if _, member := b.members[callerID]; !member { + return domain.Chat{}, domain.ErrNotFound + } + return cloneChat(b.chat), nil +} + +func (m *Memory) ListChats(_ context.Context, callerID, cursor string, limit int) (domain.Page[domain.Chat], error) { + if limit <= 0 || limit > 100 { + return domain.Page[domain.Chat]{}, domain.ErrInvalidArgument + } + c, err := domain.DecodeCursor(cursor) + if err != nil { + return domain.Page[domain.Chat]{}, err + } + if cursor != "" && c.Scope != "chats:"+callerID { + return domain.Page[domain.Chat]{}, domain.ErrInvalidArgument + } + + m.mu.RLock() + defer m.mu.RUnlock() + + out := make([]domain.Chat, 0, limit+1) + for _, id := range m.chatOrder { + b := m.chats[id] + if _, member := b.members[callerID]; !member { + continue + } + if !c.Less(b.chat.CreatedAt, b.chat.ID) { + continue + } + out = append(out, cloneChat(b.chat)) + if len(out) > limit { + break + } + } + + page := domain.Page[domain.Chat]{} + if len(out) > limit { + last := out[limit-1] + page.NextCursor = domain.EncodeCursor(domain.Cursor{ + CreatedAt: last.CreatedAt, + ID: last.ID, + Scope: "chats:" + callerID, + }) + out = out[:limit] + } + page.Items = out + return page, nil +} + +func (m *Memory) AddMessage(_ context.Context, callerID, chatID, idempotencyKey, text string) (domain.Message, error) { + if strings.TrimSpace(text) == "" { + return domain.Message{}, domain.ErrInvalidArgument + } + + m.mu.Lock() + defer m.mu.Unlock() + + b, ok := m.chats[chatID] + if !ok { + return domain.Message{}, domain.ErrNotFound + } + if _, member := b.members[callerID]; !member { + return domain.Message{}, domain.ErrNotFound + } + + idemKey := callerID + "\x00" + chatID + "\x00" + idempotencyKey + if prev, ok := m.idempotency[idemKey]; ok { + if prev.Text != text { + return domain.Message{}, domain.ErrIdempotencyConflict + } + return prev, nil + } + + if m.maxMessages > 0 && m.messagesTotal >= m.maxMessages { + return domain.Message{}, domain.ErrUnavailable + } + + msg := domain.Message{ + ID: uuid.NewString(), + ChatID: chatID, + AuthorID: callerID, + Text: text, + CreatedAt: m.now(), + } + b.messages = append(b.messages, msg) + m.idempotency[idemKey] = msg + m.messagesTotal++ + return msg, nil +} + +func (m *Memory) ListMessages(_ context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) { + if limit <= 0 || limit > 100 { + return domain.Page[domain.Message]{}, domain.ErrInvalidArgument + } + c, err := domain.DecodeCursor(cursor) + if err != nil { + return domain.Page[domain.Message]{}, err + } + + if cursor != "" && c.Scope != "chat:"+chatID { + return domain.Page[domain.Message]{}, domain.ErrInvalidArgument + } + + m.mu.RLock() + defer m.mu.RUnlock() + + b, ok := m.chats[chatID] + if !ok { + return domain.Page[domain.Message]{}, domain.ErrNotFound + } + if _, member := b.members[callerID]; !member { + return domain.Page[domain.Message]{}, domain.ErrNotFound + } + + start := 0 + for ; start < len(b.messages); start++ { + if c.Less(b.messages[start].CreatedAt, b.messages[start].ID) { + break + } + } + + end := start + limit + hasMore := end < len(b.messages) + if end > len(b.messages) { + end = len(b.messages) + } + + out := make([]domain.Message, end-start) + copy(out, b.messages[start:end]) + + page := domain.Page[domain.Message]{Items: out} + if hasMore && len(out) > 0 { + last := out[len(out)-1] + page.NextCursor = domain.EncodeCursor(domain.Cursor{ + CreatedAt: last.CreatedAt, + ID: last.ID, + Scope: "chat:" + chatID, + }) + } + return page, nil +} + +func cloneChat(c domain.Chat) domain.Chat { + out := c + out.MemberIDs = append([]string(nil), c.MemberIDs...) + return out +} diff --git a/app/internal/store/store.go b/app/internal/store/store.go new file mode 100644 index 00000000..42e1f214 --- /dev/null +++ b/app/internal/store/store.go @@ -0,0 +1,34 @@ +package store + +import ( + "context" + + "gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/domain" +) + + +type UserStore interface { + CreateUser(ctx context.Context, username, displayName, passwordHash string) (domain.User, error) + UserByID(ctx context.Context, id string) (domain.User, error) + CredentialsByUsername(ctx context.Context, username string) (domain.User, string, error) + UsernameExists(ctx context.Context, username string) bool +} + +type ChatStore interface { + CreateChat(ctx context.Context, callerID, title string, memberIDs []string) (domain.Chat, error) + ChatByID(ctx context.Context, callerID, chatID string) (domain.Chat, error) + ListChats(ctx context.Context, callerID, cursor string, limit int) (domain.Page[domain.Chat], error) +} + +type MessageStore interface { + // AddMessage идемпотентен по (callerID, chatID, idempotencyKey): повтор с тем же + // text возвращает исходное сообщение, с другим — domain.ErrIdempotencyConflict. + AddMessage(ctx context.Context, callerID, chatID, idempotencyKey, text string) (domain.Message, error) + ListMessages(ctx context.Context, callerID, chatID, cursor string, limit int) (domain.Page[domain.Message], error) +} + +type Store interface { + UserStore + ChatStore + MessageStore +} diff --git a/app/internal/token/token.go b/app/internal/token/token.go new file mode 100644 index 00000000..eb4cd80e --- /dev/null +++ b/app/internal/token/token.go @@ -0,0 +1,43 @@ +package token + +import ( + "crypto/rand" + "crypto/sha256" + "encoding/base64" + "errors" + "fmt" +) + +const Bytes = 32 + +var encoding = base64.RawURLEncoding + +var EncodedLen = encoding.EncodedLen(Bytes) + +var ErrMalformed = errors.New("token: malformed") + +func New() (plain string, hash []byte, err error) { + buf := make([]byte, Bytes) + if _, err := rand.Read(buf); err != nil { + return "", nil, fmt.Errorf("token: rand: %w", err) + } + plain = encoding.EncodeToString(buf) + return plain, Hash(plain), nil +} + +func Hash(plain string) []byte { + sum := sha256.Sum256([]byte(plain)) + return sum[:] +} + + +func Parse(plain string) ([]byte, error) { + if len(plain) != EncodedLen { + return nil, ErrMalformed + } + raw, err := encoding.DecodeString(plain) + if err != nil || len(raw) != Bytes { + return nil, ErrMalformed + } + return Hash(plain), nil +} diff --git a/app/internal/token/token_test.go b/app/internal/token/token_test.go new file mode 100644 index 00000000..ea6d8b25 --- /dev/null +++ b/app/internal/token/token_test.go @@ -0,0 +1,65 @@ +package token + +import ( + "bytes" + "errors" + "testing" +) + +func TestNew_FormatAndHash(t *testing.T) { + plain, hash, err := New() + if err != nil { + t.Fatal(err) + } + if len(plain) != EncodedLen || len(plain) < 32 { + t.Errorf("len(token) = %d, want %d", len(plain), EncodedLen) + } + if len(hash) != 32 { + t.Errorf("len(hash) = %d, want 32", len(hash)) + } + if !bytes.Equal(hash, Hash(plain)) { + t.Error("hash from New differs from Hash(token)") + } +} + +func TestNew_Unique(t *testing.T) { + seen := make(map[string]struct{}, 1000) + for i := 0; i < 1000; i++ { + plain, _, err := New() + if err != nil { + t.Fatal(err) + } + if _, ok := seen[plain]; ok { + t.Fatalf("duplicate token %q", plain) + } + seen[plain] = struct{}{} + } +} + +func TestParse(t *testing.T) { + plain, hash, err := New() + if err != nil { + t.Fatal(err) + } + got, err := Parse(plain) + if err != nil { + t.Fatal(err) + } + if !bytes.Equal(got, hash) { + t.Error("Parse hash differs from New hash") + } + + bad := []string{ + "", + "short", + plain[:EncodedLen-1], + plain + "A", + "+" + plain[1:], + "00000000-0000-0000-0000-000000000000", + } + for _, s := range bad { + if _, err := Parse(s); !errors.Is(err, ErrMalformed) { + t.Errorf("Parse(%q) err = %v, want ErrMalformed", s, err) + } + } +} diff --git a/app/internal/validate/chat.go b/app/internal/validate/chat.go new file mode 100644 index 00000000..62bf3f66 --- /dev/null +++ b/app/internal/validate/chat.go @@ -0,0 +1,42 @@ +package validate + +import "fmt" + +func ChatTitle(s string) error { + if !notOnlyWhitespace(s) { + return newError("title", "must not be empty or whitespace only") + } + if !codePointsBetween(s, ChatTitleMinLen, ChatTitleMaxLen) { + return newError("title", fmt.Sprintf("length must be in [%d, %d] code points", ChatTitleMinLen, ChatTitleMaxLen)) + } + return nil +} + +func MemberIDs(ids []string, callerID string) ([]string, error) { + if len(ids) < MemberIDsMin || len(ids) > MemberIDsMax { + return nil, newError("member_ids", fmt.Sprintf("count must be in [%d, %d]", MemberIDsMin, MemberIDsMax)) + } + + out := make([]string, 0, len(ids)) + seen := make(map[string]struct{}, len(ids)) + callerIn := false + for i, raw := range ids { + id, err := CanonicalUUID(fmt.Sprintf("member_ids[%d]", i), raw) + if err != nil { + return nil, err + } + if _, dup := seen[id]; dup { + return nil, newError("member_ids", "must not contain duplicates") + } + seen[id] = struct{}{} + if id == callerID { + callerIn = true + } + out = append(out, id) + } + + if !callerIn { + return nil, newError("member_ids", "must contain caller") + } + return out, nil +} diff --git a/app/internal/validate/idempotency.go b/app/internal/validate/idempotency.go new file mode 100644 index 00000000..68411a14 --- /dev/null +++ b/app/internal/validate/idempotency.go @@ -0,0 +1,12 @@ +package validate + +import "regexp" + +var idempotencyKeyPattern = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`) + +func IdempotencyKey(s string) error { + if !idempotencyKeyPattern.MatchString(s) { + return newError("Idempotency-Key", "must match [A-Za-z0-9._:-]{1,128}") + } + return nil +} diff --git a/app/internal/validate/message.go b/app/internal/validate/message.go new file mode 100644 index 00000000..acb0c703 --- /dev/null +++ b/app/internal/validate/message.go @@ -0,0 +1,13 @@ +package validate + +import "fmt" + +func MessageText(s string) error { + if !notOnlyWhitespace(s) { + return newError("text", "must not be empty or whitespace only") + } + if !codePointsBetween(s, MessageTextMinLen, MessageTextMaxLen) { + return newError("text", fmt.Sprintf("length must be in [%d, %d] code points", MessageTextMinLen, MessageTextMaxLen)) + } + return nil +} diff --git a/app/internal/validate/rules.go b/app/internal/validate/rules.go new file mode 100644 index 00000000..33335b20 --- /dev/null +++ b/app/internal/validate/rules.go @@ -0,0 +1,81 @@ +package validate + +import ( + "fmt" + "regexp" + "strings" + "unicode/utf8" + + "github.com/google/uuid" +) + +const ( + UsernameMinLen = 3 + UsernameMaxLen = 32 + + DisplayNameMinLen = 1 + DisplayNameMaxLen = 100 + + PasswordMinLen = 12 + PasswordMaxLen = 128 + + ChatTitleMinLen = 1 + ChatTitleMaxLen = 100 + + MessageTextMinLen = 1 + MessageTextMaxLen = 4000 + + MemberIDsMin = 1 + MemberIDsMax = 100 + + LimitMin = 1 + LimitMax = 100 + LimitDefault = 50 +) + +var usernamePattern = regexp.MustCompile(`^[a-z0-9_]{3,32}$`) + +func CanonicalUUID(field, s string) (string, error) { + if len(s) != 36 { + return "", newError(field, "must be a valid UUID") + } + u, err := uuid.Parse(s) + if err != nil { + return "", newError(field, "must be a valid UUID") + } + return u.String(), nil +} + +func Limit(n int) error { + if n < LimitMin || n > LimitMax { + return newError("limit", fmt.Sprintf("must be in [%d, %d]", LimitMin, LimitMax)) + } + return nil +} + +func codePointsBetween(s string, min, max int) bool { + n := utf8.RuneCountInString(s) + return n >= min && n <= max +} + +func notOnlyWhitespace(s string) bool { + return strings.TrimSpace(s) != "" +} + +type Error struct { + Field string + Reason string +} + +func (e *Error) Error() string { + return e.Field + ": " + e.Reason +} + +func (e *Error) Is(target error) bool { + _, ok := target.(*Error) + return ok +} + +func newError(field, reason string) *Error { + return &Error{Field: field, Reason: reason} +} diff --git a/app/internal/validate/user.go b/app/internal/validate/user.go new file mode 100644 index 00000000..cf97468a --- /dev/null +++ b/app/internal/validate/user.go @@ -0,0 +1,30 @@ +package validate + +import "fmt" + +func Username(s string) error { + if !usernamePattern.MatchString(s) { + return newError("username", fmt.Sprintf("must match [a-z0-9_]{%d,%d}", UsernameMinLen, UsernameMaxLen)) + } + return nil +} + +func DisplayName(s string) error { + if !notOnlyWhitespace(s) { + return newError("display_name", "must not be empty or whitespace only") + } + if !codePointsBetween(s, DisplayNameMinLen, DisplayNameMaxLen) { + return newError("display_name", fmt.Sprintf("length must be in [%d, %d] code points", DisplayNameMinLen, DisplayNameMaxLen)) + } + return nil +} + +func Password(s string) error { + if !notOnlyWhitespace(s) { + return newError("password", "must not be empty or whitespace only") + } + if !codePointsBetween(s, PasswordMinLen, PasswordMaxLen) { + return newError("password", fmt.Sprintf("length must be in [%d, %d] code points", PasswordMinLen, PasswordMaxLen)) + } + return nil +} diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..3b594a13 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,249 @@ +# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey и одноразовый запуск миграций. +# Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh +# Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v +# Значения вида ${X:-8080} можно менять через окружение или .env. + +name: mtusi-lab3 + +# Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены. +secrets: + postgres_password: + file: ./secrets/postgres_password + database_url: + file: ./secrets/database_url + valkey_password: + file: ./secrets/valkey_password + cache_url: + file: ./secrets/cache_url + valkey_cache_password: + file: ./secrets/valkey_cache_password + history_cache_url: + file: ./secrets/history_cache_url + +services: + # Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа. + postgres: + image: postgres:17.6-alpine + deploy: + resources: + limits: + cpus: "2.0" + memory: 1G + # pg_stat_statements собирает статистику запросов для диагностики. + command: + - postgres + - -c + - shared_preload_libraries=pg_stat_statements + environment: + POSTGRES_USER: messenger + POSTGRES_DB: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: + - postgres_password + # Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v. + volumes: + - pgdata:/var/lib/postgresql/data + # Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен. + ports: + - "127.0.0.1:${POSTGRES_PORT:-5432}:5432" + # Готовность БД: от неё зависят migrate и API. + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 10 + start_period: 10s + # Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют. + restart: unless-stopped + + # Общее хранилище сессий: поэтому токен принимает любая реплика API. + valkey: + image: valkey/valkey:8.1.3-alpine + deploy: + resources: + limits: + cpus: "1.0" + memory: 256M + # Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии + # возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча. + # $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле. + command: + - /bin/sh + - -c + - >- + exec valkey-server + --appendonly yes + --appendfsync everysec + --maxmemory 128mb + --maxmemory-policy noeviction + --requirepass "$$(cat /run/secrets/valkey_password)" + secrets: + - valkey_password + volumes: + - valkeydata:/data + # Только 127.0.0.1: для диагностики с этого хоста. + ports: + - "127.0.0.1:${VALKEY_PORT:-6379}:6379" + healthcheck: + test: + - CMD-SHELL + - 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG' + interval: 5s + timeout: 3s + retries: 10 + start_period: 5s + restart: unless-stopped + + # Кэш истории выключен по умолчанию (HISTORY_CACHE=off): его долг инвалидации хранится + # в памяти реплики, поэтому при нескольких API он не гарантирует чтение после записи. + valkey-cache: + # Профили: сервис запускается только по явному запросу. Тома нет: кэш не требует сохранности, + # при нехватке памяти вытесняются давние записи (allkeys-lru). + profiles: ["cache"] + image: valkey/valkey:8.1.3-alpine + deploy: + resources: + limits: + cpus: "0.5" + memory: 128M + command: + - /bin/sh + - -c + - >- + exec valkey-server + --save "" + --appendonly no + --maxmemory 64mb + --maxmemory-policy allkeys-lru + --requirepass "$$(cat /run/secrets/valkey_cache_password)" + secrets: + - valkey_cache_password + ports: + - "127.0.0.1:${VALKEY_CACHE_PORT:-6380}:6379" + healthcheck: + test: + - CMD-SHELL + - 'valkey-cli -a "$$(cat /run/secrets/valkey_cache_password)" ping 2>/dev/null | grep -q PONG' + interval: 5s + timeout: 3s + retries: 10 + start_period: 5s + restart: unless-stopped + + + # Одноразовый запуск миграций: выполняется один раз до API и завершается. + migrate: + build: + context: . + target: migrate + deploy: + resources: + limits: + cpus: "0.5" + memory: 128M + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: + - database_url + # Миграции начинаются только после готовности БД. + depends_on: + postgres: + condition: service_healthy + # Завершение — штатный итог, перезапускать его не нужно. + restart: "no" + + # Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик + # идёт через LB. Своего состояния у реплик нет. + api: + # target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update. + build: + context: . + args: + APP_BUILD: ${APP_BUILD:-dev} + env_file: .env + deploy: + # Лимиты указаны на одну реплику: при N репликах суммарно N × лимит. + replicas: ${API_REPLICAS:-2} + resources: + limits: + cpus: "1.0" + memory: 512M + # Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL. + stop_grace_period: 15s + environment: + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + HISTORY_CACHE: ${HISTORY_CACHE:-off} + HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30} + HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0} + # Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100). + DB_MAX_CONNS: ${DB_MAX_CONNS:-10} + # Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров, + # подтверждающих это, сейчас в evidence нет. + DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false} + # Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md. + APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB + APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API + APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым + APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с) + APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться + secrets: + - database_url + - cache_url + # Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок + # запуска: выводить упавшую реплику из работы должен LB. + depends_on: + postgres: + condition: service_healthy + valkey: + condition: service_healthy + migrate: + condition: service_completed_successfully + restart: unless-stopped + + # Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg. + lb: + image: haproxy:3.2.9-alpine + deploy: + resources: + limits: + cpus: "1.0" + memory: 256M + # Конфигурация только для чтения. + volumes: + - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + # Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети. + ports: + - "${API_PUBLISH_PORT:-8080}:8080" + # Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые. + depends_on: + api: + condition: service_started + # Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера. + healthcheck: + test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"] + interval: 5s + timeout: 3s + retries: 5 + start_period: 5s + restart: unless-stopped + + # Генератор нагрузки в той же сети: без накладных расходов проброса портов Docker Desktop. + loadgen: + profiles: ["bench"] + build: + context: . + target: loadgen + deploy: + resources: + limits: + cpus: "4.0" + memory: 1G + # Каталог для результатов замеров. + volumes: + - ./evidence:/evidence + restart: "no" + +# Именованные тома только у хранилищ. Реплики API томов не используют. +volumes: + pgdata: + valkeydata: diff --git a/evidence/failover.txt b/evidence/failover.txt new file mode 100644 index 00000000..5e8ad400 --- /dev/null +++ b/evidence/failover.txt @@ -0,0 +1,30 @@ +# Failover 2026-11-04T16:39:16Z, commit 0ab3a34+dirty +реплики: mtusi-lab3-api-1 mtusi-lab3-api-2 +## прогон 1 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 136, "failed_attempts": 0, "first_recovery_seconds": 3.228} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +остановлен контейнер: mtusi-lab3-api-1 + /mtusi-lab3-api-1 status=exited exit=0 finished=2026-11-04T16:39:19.677970305Z +работают: mtusi-lab3-api-2 +БД, сессии, LB: lb=running postgres=running valkey=running +восстановлено реплик: 2 +## прогон 2 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 137, "failed_attempts": 0, "first_recovery_seconds": 3.2} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +остановлен контейнер: mtusi-lab3-api-1 + /mtusi-lab3-api-1 status=exited exit=0 finished=2026-11-04T16:39:42.347037802Z +работают: mtusi-lab3-api-2 +БД, сессии, LB: lb=running postgres=running valkey=running +восстановлено реплик: 2 +## прогон 3 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 136, "failed_attempts": 0, "first_recovery_seconds": 3.283} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +остановлен контейнер: mtusi-lab3-api-2 + /mtusi-lab3-api-2 status=exited exit=0 finished=2026-11-04T16:40:04.899333506Z +работают: mtusi-lab3-api-1 +БД, сессии, LB: lb=running postgres=running valkey=running +восстановлено реплик: 2 +PASS: остановлена и восстановлена каждая реплика, прогонов: 3 diff --git a/evidence/failure-detection.txt b/evidence/failure-detection.txt new file mode 100644 index 00000000..4367e2d2 --- /dev/null +++ b/evidence/failure-detection.txt @@ -0,0 +1,24 @@ +# Failure detection 2026-11-04T16:42:47Z, commit 0ab3a34+dirty +timeout connect 500ms +timeout server 15s +timeout http-request 10s +timeout http-keep-alive 30s +timeout check 1500ms +default-server check init-state down inter 1s fall 2 rise 2 observe layer4 error-limit 2 on-error mark-down resolvers docker init-addr none resolve-prefer ipv4 +{"mode": "stop", "lb_excluded_after_s": 1.56, "requests": 2378, "errors": {}, "last_error_at_s": 0, "last_served_by_target_s": 1.48} +{"mode": "stop", "lb_excluded_after_s": 1.64, "requests": 2362, "errors": {}, "last_error_at_s": 0, "last_served_by_target_s": 1.53} +{"mode": "stop", "lb_excluded_after_s": 1.74, "requests": 2414, "errors": {}, "last_error_at_s": 0, "last_served_by_target_s": 1.65} +{"mode": "kill", "lb_excluded_after_s": 0.1, "requests": 1806, "errors": {"502": 1}, "last_error_at_s": 0.02, "last_served_by_target_s": 0.02} +{"mode": "kill", "lb_excluded_after_s": 0.12, "requests": 1805, "errors": {}, "last_error_at_s": 0, "last_served_by_target_s": 0.03} +{"mode": "kill", "lb_excluded_after_s": 0.13, "requests": 1780, "errors": {}, "last_error_at_s": 0, "last_served_by_target_s": null} +{"mode": "pause", "lb_excluded_after_s": 4.67, "requests": 1420, "errors": {"TimeoutError": 24}, "last_error_at_s": 6.26, "last_served_by_target_s": 0.04} +{"mode": "pause", "lb_excluded_after_s": 4.09, "requests": 1786, "errors": {"TimeoutError": 16}, "last_error_at_s": 4.2, "last_served_by_target_s": 0.01} +{"mode": "pause", "lb_excluded_after_s": 4.98, "requests": 1500, "errors": {"TimeoutError": 24}, "last_error_at_s": 6.26, "last_served_by_target_s": 0.01} +{"idle_kill_excluded_after_s": 2.56} +{"idle_kill_excluded_after_s": 2.45} +{"idle_kill_excluded_after_s": 2.41} +{"codes": {"201": 8}, "inflight_on_stopped_replica": 4, "on_target_codes": {"201": 4}, "confirmed_saved": 8, "listener_closed_after_s": 3.15, "ready_503_after_s": 0.12, "docker_stop_took_s": 5.83, "container": "status=exited exit=0", "log_sequence": ["shutdown signal received", "http server draining", "http server shutting down", "server stopped cleanly"]} +{"probe_serving": true, "state_transitions": [["UP", "UP"], ["UP", "UP", "DOWN 1/2"], ["UP", "UP", "DOWN"]]} +{"requests_routed": {"real_404": 9903}} +{"valkey_stopped_all_replicas_excluded_after_s": 1.36, "live_via_lb": 503, "replica_live_ok": true, "replica_ready_ok": false} +{"valkey_restored_replicas_back_after_s": 0.12} diff --git a/evidence/go-test.txt b/evidence/go-test.txt new file mode 100644 index 00000000..c29f5a2b --- /dev/null +++ b/evidence/go-test.txt @@ -0,0 +1,11 @@ +# Go-тесты 2026-11-04T16:54:14Z, commit 0ab3a34+dirty +# Команда: cd app && go vet ./... && go test -count=1 ./... ; app/e2e здесь пропущен без E2E_BASE_URL, он запускается в scripts/idempotency-evidence.sh +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/cmd/loadgen 0.559s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/e2e 0.683s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http 3.508s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/api/http/dto 0.891s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/cache 1.815s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config 1.103s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/password 1.411s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db 1.215s +ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/token 1.313s diff --git a/evidence/lb-errors.txt b/evidence/lb-errors.txt new file mode 100644 index 00000000..8df69e00 --- /dev/null +++ b/evidence/lb-errors.txt @@ -0,0 +1,7 @@ +# Ответы LB 2026-11-04T16:38:33Z, commit 0ab3a34+dirty +http-error status 502 +http-error status 503 +http-error status 504 +статус: 503, Content-Type: application/json, code: unavailable +X-Request-Id есть: True, равен request_id: True, X-Instance-Id: None (контракт разрешает отсутствие у ответов LB) +PASS ответ LB без рабочих реплик соответствует контракту diff --git a/evidence/level4/failover-kill.json b/evidence/level4/failover-kill.json new file mode 100644 index 00000000..d05418fb --- /dev/null +++ b/evidence/level4/failover-kill.json @@ -0,0 +1,350 @@ +{ + "label": "failover-kill", + "concurrency": 16, + "write_share": 0.2, + "chats": 8, + "seed_per_chat": 100, + "duration_s": 60, + "warmup_s": 5, + "successful_rps": 8974.783333333333, + "read_rps": 7188.1, + "write_rps": 1786.6833333333334, + "error_share": 0.0000037140962953746502, + "errors": { + "502": 1, + "net": 1 + }, + "writes_confirmed_after_retry": 1, + "read": { + "count": 431286, + "p50_ms": 1.106, + "p95_ms": 2.702, + "p99_ms": 7.162 + }, + "write": { + "count": 107201, + "p50_ms": 1.996, + "p95_ms": 4.041, + "p99_ms": 13.707 + }, + "requests_per_instance": { + "4c31c36b92fd": 269834, + "9a3daa315e5b": 268653 + }, + "error_incidents": [ + { + "start_s": 9.136290381, + "duration_s": 0.0014999580000001345, + "errors": 2 + } + ], + "seconds_without_success": 0, + "verify": { + "confirmed": 118247, + "lost": 0, + "duplicate_ids": 0, + "duplicate_texts": 0 + }, + "timeline": [ + { + "t": 0, + "ok": 10819, + "err": 0 + }, + { + "t": 1, + "ok": 11026, + "err": 0 + }, + { + "t": 2, + "ok": 11086, + "err": 0 + }, + { + "t": 3, + "ok": 10811, + "err": 0 + }, + { + "t": 4, + "ok": 10963, + "err": 0 + }, + { + "t": 5, + "ok": 10991, + "err": 0 + }, + { + "t": 6, + "ok": 10278, + "err": 0 + }, + { + "t": 7, + "ok": 10398, + "err": 0 + }, + { + "t": 8, + "ok": 10912, + "err": 0 + }, + { + "t": 9, + "ok": 6123, + "err": 2 + }, + { + "t": 10, + "ok": 5894, + "err": 0 + }, + { + "t": 11, + "ok": 5874, + "err": 0 + }, + { + "t": 12, + "ok": 5727, + "err": 0 + }, + { + "t": 13, + "ok": 5875, + "err": 0 + }, + { + "t": 14, + "ok": 5904, + "err": 0 + }, + { + "t": 15, + "ok": 5745, + "err": 0 + }, + { + "t": 16, + "ok": 5853, + "err": 0 + }, + { + "t": 17, + "ok": 5816, + "err": 0 + }, + { + "t": 18, + "ok": 5564, + "err": 0 + }, + { + "t": 19, + "ok": 5609, + "err": 0 + }, + { + "t": 20, + "ok": 10470, + "err": 0 + }, + { + "t": 21, + "ok": 11239, + "err": 0 + }, + { + "t": 22, + "ok": 11305, + "err": 0 + }, + { + "t": 23, + "ok": 11274, + "err": 0 + }, + { + "t": 24, + "ok": 10662, + "err": 0 + }, + { + "t": 25, + "ok": 11311, + "err": 0 + }, + { + "t": 26, + "ok": 11361, + "err": 0 + }, + { + "t": 27, + "ok": 11250, + "err": 0 + }, + { + "t": 28, + "ok": 11058, + "err": 0 + }, + { + "t": 29, + "ok": 11257, + "err": 0 + }, + { + "t": 30, + "ok": 11223, + "err": 0 + }, + { + "t": 31, + "ok": 6573, + "err": 0 + }, + { + "t": 32, + "ok": 5765, + "err": 0 + }, + { + "t": 33, + "ok": 5778, + "err": 0 + }, + { + "t": 34, + "ok": 5786, + "err": 0 + }, + { + "t": 35, + "ok": 5899, + "err": 0 + }, + { + "t": 36, + "ok": 5941, + "err": 0 + }, + { + "t": 37, + "ok": 5919, + "err": 0 + }, + { + "t": 38, + "ok": 5709, + "err": 0 + }, + { + "t": 39, + "ok": 5890, + "err": 0 + }, + { + "t": 40, + "ok": 5815, + "err": 0 + }, + { + "t": 41, + "ok": 5281, + "err": 0 + }, + { + "t": 42, + "ok": 9001, + "err": 0 + }, + { + "t": 43, + "ok": 11191, + "err": 0 + }, + { + "t": 44, + "ok": 11204, + "err": 0 + }, + { + "t": 45, + "ok": 10380, + "err": 0 + }, + { + "t": 46, + "ok": 8299, + "err": 0 + }, + { + "t": 47, + "ok": 10292, + "err": 0 + }, + { + "t": 48, + "ok": 11282, + "err": 0 + }, + { + "t": 49, + "ok": 10919, + "err": 0 + }, + { + "t": 50, + "ok": 11092, + "err": 0 + }, + { + "t": 51, + "ok": 11475, + "err": 0 + }, + { + "t": 52, + "ok": 11006, + "err": 0 + }, + { + "t": 53, + "ok": 11469, + "err": 0 + }, + { + "t": 54, + "ok": 11062, + "err": 0 + }, + { + "t": 55, + "ok": 11354, + "err": 0 + }, + { + "t": 56, + "ok": 11209, + "err": 0 + }, + { + "t": 57, + "ok": 10181, + "err": 0 + }, + { + "t": 58, + "ok": 9339, + "err": 0 + }, + { + "t": 59, + "ok": 9698, + "err": 0 + } + ] +} diff --git a/evidence/level4/failover-kill.txt b/evidence/level4/failover-kill.txt new file mode 100644 index 00000000..21498d0b --- /dev/null +++ b/evidence/level4/failover-kill.txt @@ -0,0 +1,21 @@ +реплик: 2, профиль: concurrency=16, запись 20%, замер 60 с, прогрев 5 с +/mtusi-lab3-api-1 cpus=1000000000 memory=536870912 +/mtusi-lab3-api-2 cpus=1000000000 memory=536870912 +t=10s docker kill /mtusi-lab3-api-1 +t=10s LB вывел реплику; работает реплик: 1 +t=20s docker start /mtusi-lab3-api-1 +t=21s LB вернул реплику; работает реплик: 2 +t=32s docker kill /mtusi-lab3-api-2 +t=32s LB вывел реплику; работает реплик: 1 +t=42s docker start /mtusi-lab3-api-2 +t=43s LB вернул реплику; работает реплик: 2 +## результат loadgen +{"label":"failover-kill","concurrency":16,"write_share":0.2,"chats":8,"seed_per_chat":100,"duration_s":60,"warmup_s":5,"successful_rps":8974.783333333333,"read_rps":7188.1,"write_rps":1786.6833333333334,"error_share":0.0000037140962953746502,"errors":{"502":1,"net":1},"writes_confirmed_after_retry":1,"read":{"count":431286,"p50_ms":1.106,"p95_ms":2.702,"p99_ms":7.162},"write":{"count":107201,"p50_ms":1.996,"p95_ms":4.041,"p99_ms":13.707},"requests_per_instance":{"4c31c36b92fd":269834,"9a3daa315e5b":268653},"error_incidents":[{"start_s":9.136290381,"duration_s":0.0014999580000001345,"errors":2}],"seconds_without_success":0,"verify":{"confirmed":118247,"lost":0,"duplicate_ids":0,"duplicate_texts":0}} +## сводка по фазам +исходный RPS (0-9 с): 10341 +реплика 1: RPS при одной реплике 5767, ёмкость упала на 10 с, вернулась на 20 с (через 0 с после docker start), RPS после возврата 10727, ошибок в окне 2 +реплика 2: RPS при одной реплике 5779, ёмкость упала на 32 с, вернулась на 43 с (через 1 с после docker start), RPS после возврата 10641, ошибок в окне 0 +секунд без единого успеха: 0 +ошибки: {'502': 1, 'net': 1}; записей подтверждено после повтора: 1 +инциденты: [{"start_s": 9.136290381, "duration_s": 0.0014999580000001345, "errors": 2}] +проверка истории: {"confirmed": 118247, "lost": 0, "duplicate_ids": 0, "duplicate_texts": 0} diff --git a/evidence/level4/failover-stop.json b/evidence/level4/failover-stop.json new file mode 100644 index 00000000..cb6eaded --- /dev/null +++ b/evidence/level4/failover-stop.json @@ -0,0 +1,341 @@ +{ + "label": "failover-stop", + "concurrency": 16, + "write_share": 0.2, + "chats": 8, + "seed_per_chat": 100, + "duration_s": 60, + "warmup_s": 5, + "successful_rps": 9238.216666666667, + "read_rps": 7388.083333333333, + "write_rps": 1850.1333333333334, + "error_share": 0, + "errors": {}, + "writes_confirmed_after_retry": 0, + "read": { + "count": 443285, + "p50_ms": 1.074, + "p95_ms": 2.7, + "p99_ms": 7.349 + }, + "write": { + "count": 111008, + "p50_ms": 1.958, + "p95_ms": 4.067, + "p99_ms": 12.982 + }, + "requests_per_instance": { + "4c31c36b92fd": 280102, + "9a3daa315e5b": 274191 + }, + "error_incidents": [], + "seconds_without_success": 0, + "verify": { + "confirmed": 121439, + "lost": 0, + "duplicate_ids": 0, + "duplicate_texts": 0 + }, + "timeline": [ + { + "t": 0, + "ok": 10851, + "err": 0 + }, + { + "t": 1, + "ok": 10766, + "err": 0 + }, + { + "t": 2, + "ok": 11321, + "err": 0 + }, + { + "t": 3, + "ok": 10699, + "err": 0 + }, + { + "t": 4, + "ok": 10446, + "err": 0 + }, + { + "t": 5, + "ok": 10904, + "err": 0 + }, + { + "t": 6, + "ok": 11087, + "err": 0 + }, + { + "t": 7, + "ok": 10785, + "err": 0 + }, + { + "t": 8, + "ok": 10849, + "err": 0 + }, + { + "t": 9, + "ok": 10591, + "err": 0 + }, + { + "t": 10, + "ok": 11076, + "err": 0 + }, + { + "t": 11, + "ok": 6361, + "err": 0 + }, + { + "t": 12, + "ok": 5752, + "err": 0 + }, + { + "t": 13, + "ok": 5786, + "err": 0 + }, + { + "t": 14, + "ok": 5833, + "err": 0 + }, + { + "t": 15, + "ok": 5722, + "err": 0 + }, + { + "t": 16, + "ok": 5689, + "err": 0 + }, + { + "t": 17, + "ok": 5842, + "err": 0 + }, + { + "t": 18, + "ok": 4980, + "err": 0 + }, + { + "t": 19, + "ok": 4776, + "err": 0 + }, + { + "t": 20, + "ok": 6578, + "err": 0 + }, + { + "t": 21, + "ok": 11320, + "err": 0 + }, + { + "t": 22, + "ok": 10916, + "err": 0 + }, + { + "t": 23, + "ok": 11301, + "err": 0 + }, + { + "t": 24, + "ok": 11178, + "err": 0 + }, + { + "t": 25, + "ok": 11514, + "err": 0 + }, + { + "t": 26, + "ok": 11040, + "err": 0 + }, + { + "t": 27, + "ok": 11479, + "err": 0 + }, + { + "t": 28, + "ok": 11535, + "err": 0 + }, + { + "t": 29, + "ok": 11450, + "err": 0 + }, + { + "t": 30, + "ok": 11054, + "err": 0 + }, + { + "t": 31, + "ok": 11533, + "err": 0 + }, + { + "t": 32, + "ok": 7234, + "err": 0 + }, + { + "t": 33, + "ok": 5516, + "err": 0 + }, + { + "t": 34, + "ok": 4091, + "err": 0 + }, + { + "t": 35, + "ok": 5775, + "err": 0 + }, + { + "t": 36, + "ok": 5544, + "err": 0 + }, + { + "t": 37, + "ok": 5730, + "err": 0 + }, + { + "t": 38, + "ok": 5862, + "err": 0 + }, + { + "t": 39, + "ok": 5898, + "err": 0 + }, + { + "t": 40, + "ok": 5655, + "err": 0 + }, + { + "t": 41, + "ok": 5408, + "err": 0 + }, + { + "t": 42, + "ok": 6551, + "err": 0 + }, + { + "t": 43, + "ok": 11036, + "err": 0 + }, + { + "t": 44, + "ok": 11117, + "err": 0 + }, + { + "t": 45, + "ok": 11318, + "err": 0 + }, + { + "t": 46, + "ok": 11301, + "err": 0 + }, + { + "t": 47, + "ok": 11246, + "err": 0 + }, + { + "t": 48, + "ok": 10271, + "err": 0 + }, + { + "t": 49, + "ok": 10554, + "err": 0 + }, + { + "t": 50, + "ok": 10936, + "err": 0 + }, + { + "t": 51, + "ok": 11205, + "err": 0 + }, + { + "t": 52, + "ok": 10482, + "err": 0 + }, + { + "t": 53, + "ok": 11694, + "err": 0 + }, + { + "t": 54, + "ok": 11431, + "err": 0 + }, + { + "t": 55, + "ok": 11635, + "err": 0 + }, + { + "t": 56, + "ok": 11319, + "err": 0 + }, + { + "t": 57, + "ok": 11661, + "err": 0 + }, + { + "t": 58, + "ok": 11114, + "err": 0 + }, + { + "t": 59, + "ok": 11695, + "err": 0 + } + ] +} diff --git a/evidence/level4/failover-stop.txt b/evidence/level4/failover-stop.txt new file mode 100644 index 00000000..de944e6f --- /dev/null +++ b/evidence/level4/failover-stop.txt @@ -0,0 +1,22 @@ +# Failover под нагрузкой, режим stop, 2026-11-04T16:40:25Z, commit 0ab3a34+dirty +реплик: 2, профиль: concurrency=16, запись 20%, замер 60 с, прогрев 5 с +/mtusi-lab3-api-1 cpus=1000000000 memory=536870912 +/mtusi-lab3-api-2 cpus=1000000000 memory=536870912 +t=10s docker stop /mtusi-lab3-api-1 +t=13s LB вывел реплику; работает реплик: 1 +t=20s docker start /mtusi-lab3-api-1 +t=21s LB вернул реплику; работает реплик: 2 +t=32s docker stop /mtusi-lab3-api-2 +t=35s LB вывел реплику; работает реплик: 1 +t=42s docker start /mtusi-lab3-api-2 +t=44s LB вернул реплику; работает реплик: 2 +## результат loadgen +{"label":"failover-stop","concurrency":16,"write_share":0.2,"chats":8,"seed_per_chat":100,"duration_s":60,"warmup_s":5,"successful_rps":9238.216666666667,"read_rps":7388.083333333333,"write_rps":1850.1333333333334,"error_share":0,"errors":{},"writes_confirmed_after_retry":0,"read":{"count":443285,"p50_ms":1.074,"p95_ms":2.7,"p99_ms":7.349},"write":{"count":111008,"p50_ms":1.958,"p95_ms":4.067,"p99_ms":12.982},"requests_per_instance":{"4c31c36b92fd":280102,"9a3daa315e5b":274191},"error_incidents":[],"seconds_without_success":0,"verify":{"confirmed":121439,"lost":0,"duplicate_ids":0,"duplicate_texts":0}} +## сводка по фазам +исходный RPS (0-9 с): 10830 +реплика 1: RPS при одной реплике 5518, ёмкость упала на 11 с, вернулась на 21 с (через 1 с после docker start), RPS после возврата 11300, ошибок в окне 0 +реплика 2: RPS при одной реплике 5696, ёмкость упала на 32 с, вернулась на 43 с (через 1 с после docker start), RPS после возврата 11186, ошибок в окне 0 +секунд без единого успеха: 0 +ошибки: {}; записей подтверждено после повтора: 0 +инциденты: [] +проверка истории: {"confirmed": 121439, "lost": 0, "duplicate_ids": 0, "duplicate_texts": 0} diff --git a/evidence/level4/idempotency.txt b/evidence/level4/idempotency.txt new file mode 100644 index 00000000..0b29d6c9 --- /dev/null +++ b/evidence/level4/idempotency.txt @@ -0,0 +1,16 @@ +# Идемпотентность 2026-11-04T16:46:13Z, commit 0ab3a34+dirty +## параллельно через обе реплики (20 раундов по 16 запросов, 3 прогона) + lb_idempotency_test.go:226: раундов: 20, запросов в раунде: 16, запросов по репликам: map[4c31c36b92fd:161 9a3daa315e5b:159], сообщений в истории: 20 +--- PASS: TestLBSameKeyConcurrentlyThroughReplicas (0.18s) + lb_idempotency_test.go:226: раундов: 20, запросов в раунде: 16, запросов по репликам: map[4c31c36b92fd:160 9a3daa315e5b:160], сообщений в истории: 20 +--- PASS: TestLBSameKeyConcurrentlyThroughReplicas (0.17s) + lb_idempotency_test.go:226: раундов: 20, запросов в раунде: 16, запросов по репликам: map[4c31c36b92fd:160 9a3daa315e5b:160], сообщений в истории: 20 +--- PASS: TestLBSameKeyConcurrentlyThroughReplicas (0.16s) +## параллельно в момент отказа реплики +{"mode": "stop", "replica": "4c31c36b92fd", "keys": 826, "parallel_per_key": 16, "retries_after_uncertain_result": {}, "instances": {"4c31c36b92fd": 3816, "9a3daa315e5b": 9400}, "keys_with_different_answers": 0, "messages_in_history": 826, "keys_without_message": 0, "keys_with_duplicates": 0} +{"mode": "stop", "replica": "9a3daa315e5b", "keys": 890, "parallel_per_key": 16, "retries_after_uncertain_result": {}, "instances": {"4c31c36b92fd": 10135, "9a3daa315e5b": 4105}, "keys_with_different_answers": 0, "messages_in_history": 890, "keys_without_message": 0, "keys_with_duplicates": 0} +{"mode": "kill", "replica": "4c31c36b92fd", "keys": 1545, "parallel_per_key": 16, "retries_after_uncertain_result": {"502": 5}, "instances": {"9a3daa315e5b": 22077, "4c31c36b92fd": 2643}, "keys_with_different_answers": 0, "messages_in_history": 1545, "keys_without_message": 0, "keys_with_duplicates": 0} +{"mode": "kill", "replica": "9a3daa315e5b", "keys": 739, "parallel_per_key": 16, "retries_after_uncertain_result": {"502": 2}, "instances": {"9a3daa315e5b": 2758, "4c31c36b92fd": 9066}, "keys_with_different_answers": 0, "messages_in_history": 739, "keys_without_message": 0, "keys_with_duplicates": 0} +PASS +## дублей сообщений и сообщений без ключа в БД (должно быть 0 0) +0 0 diff --git a/evidence/level4/limits.txt b/evidence/level4/limits.txt new file mode 100644 index 00000000..0b6fe55a --- /dev/null +++ b/evidence/level4/limits.txt @@ -0,0 +1,84 @@ +# Лимиты и изоляция 2026-11-04T16:47:08Z, commit 0ab3a34+dirty +## конфигурация, все сервисы и профили +api cpus=1 mem=512 MB ports=- secrets=cache_url,database_url volumes=- +PASS api: заданы лимиты CPU и RAM +PASS api: секреты только нужные +PASS api: том только свой +PASS api: нет container_name +lb cpus=1 mem=256 MB ports=*:8080 secrets=- volumes=- +PASS lb: заданы лимиты CPU и RAM +PASS lb: секреты только нужные +PASS lb: том только свой +PASS lb: нет container_name +loadgen cpus=4 mem=1024 MB ports=- secrets=- volumes=- +PASS loadgen: заданы лимиты CPU и RAM +PASS loadgen: секреты только нужные +PASS loadgen: том только свой +PASS loadgen: нет container_name +migrate cpus=0.5 mem=128 MB ports=- secrets=database_url volumes=- +PASS migrate: заданы лимиты CPU и RAM +PASS migrate: секреты только нужные +PASS migrate: том только свой +PASS migrate: нет container_name +postgres cpus=2 mem=1024 MB ports=127.0.0.1:5432 secrets=postgres_password volumes=pgdata +PASS postgres: заданы лимиты CPU и RAM +PASS postgres: секреты только нужные +PASS postgres: том только свой +PASS postgres: нет container_name +valkey cpus=1 mem=256 MB ports=127.0.0.1:6379 secrets=valkey_password volumes=valkeydata +PASS valkey: заданы лимиты CPU и RAM +PASS valkey: секреты только нужные +PASS valkey: том только свой +PASS valkey: нет container_name +valkey-cache cpus=0.5 mem=128 MB ports=127.0.0.1:6380 secrets=valkey_cache_password volumes=- +PASS valkey-cache: заданы лимиты CPU и RAM +PASS valkey-cache: секреты только нужные +PASS valkey-cache: том только свой +PASS valkey-cache: нет container_name +PASS API не публикует порты +PASS снаружи открыт только LB ['lb'] +## запущенные контейнеры +/mtusi-lab3-api-1 cpu=100000/100000 mem=536870912 peak=47570944 secrets=cache_url,database_url bind=- oom=false +PASS /mtusi-lab3-api-1: лимиты применены в cgroup +PASS /mtusi-lab3-api-1: в контейнере только нужные секреты +PASS /mtusi-lab3-api-1: значения секретов не в окружении +PASS /mtusi-lab3-api-1: API без проброса порта +/mtusi-lab3-api-2 cpu=100000/100000 mem=536870912 peak=29069312 secrets=cache_url,database_url bind=- oom=false +PASS /mtusi-lab3-api-2: лимиты применены в cgroup +PASS /mtusi-lab3-api-2: в контейнере только нужные секреты +PASS /mtusi-lab3-api-2: значения секретов не в окружении +PASS /mtusi-lab3-api-2: API без проброса порта +/mtusi-lab3-lb-1 cpu=100000/100000 mem=268435456 peak=118439936 secrets=- bind=0.0.0.0,:: oom=false +PASS /mtusi-lab3-lb-1: лимиты применены в cgroup +PASS /mtusi-lab3-lb-1: в контейнере только нужные секреты +PASS /mtusi-lab3-lb-1: значения секретов не в окружении +/mtusi-lab3-postgres-1 cpu=200000/100000 mem=1073741824 peak=400568320 secrets=postgres_password bind=127.0.0.1 oom=false +PASS /mtusi-lab3-postgres-1: лимиты применены в cgroup +PASS /mtusi-lab3-postgres-1: в контейнере только нужные секреты +PASS /mtusi-lab3-postgres-1: значения секретов не в окружении +PASS /mtusi-lab3-postgres-1: порт только на 127.0.0.1 ['127.0.0.1'] +/mtusi-lab3-valkey-1 cpu=100000/100000 mem=268435456 peak=19795968 secrets=valkey_password bind=127.0.0.1 oom=false +PASS /mtusi-lab3-valkey-1: лимиты применены в cgroup +PASS /mtusi-lab3-valkey-1: в контейнере только нужные секреты +PASS /mtusi-lab3-valkey-1: значения секретов не в окружении +PASS /mtusi-lab3-valkey-1: порт только на 127.0.0.1 ['127.0.0.1'] +PASS запущены все сервисы стенда ['api', 'lb', 'postgres', 'valkey'] +## доступность с внешних адресов хоста +адрес 2 {8080: True, 5432: False, 6379: False} +PASS адрес 2: LB доступен +PASS адрес 2: PostgreSQL и Valkey закрыты +адрес 3 пропущен: открыт и контрольный порт 59999 +адрес 4 {8080: True, 5432: False, 6379: False} +PASS адрес 4: LB доступен +PASS адрес 4: PostgreSQL и Valkey закрыты +PASS проверен хотя бы один внешний адрес +## масштабирование одного Compose-service +реплик=4 контейнеры=['mtusi-lab3-api-1', 'mtusi-lab3-api-2', 'mtusi-lab3-api-3', 'mtusi-lab3-api-4'] запросы_по_репликам={'4c31c36b92fd': 12, '9a3daa315e5b': 12, '9941c391009f': 12, '23e67c7b69d3': 12} +PASS масштаб 4: LB видит все реплики +PASS масштаб 4: нагрузка на всех поровну +реплик=2 контейнеры=['mtusi-lab3-api-1', 'mtusi-lab3-api-2'] запросы_по_репликам={'4c31c36b92fd': 24, '9a3daa315e5b': 24} +PASS масштаб 2: LB видит все реплики +PASS масштаб 2: нагрузка на всех поровну +тома проекта: ['mtusi-lab3_pgdata', 'mtusi-lab3_valkeydata'] +PASS реплики не создали своих томов +ИТОГ: PASS diff --git a/evidence/level4/migration-breaking.json b/evidence/level4/migration-breaking.json new file mode 100644 index 00000000..462474c0 --- /dev/null +++ b/evidence/level4/migration-breaking.json @@ -0,0 +1,199 @@ +{ + "label": "breaking", + "concurrency": 16, + "write_share": 0.2, + "chats": 8, + "seed_per_chat": 100, + "duration_s": 30, + "warmup_s": 5, + "successful_rps": 7114.933333333333, + "read_rps": 5691.6, + "write_rps": 1423.3333333333333, + "error_share": 0.007121625833220919, + "errors": { + "500": 1531 + }, + "writes_confirmed_after_retry": 16, + "read": { + "count": 170748, + "p50_ms": 1.059, + "p95_ms": 2.731, + "p99_ms": 5.626 + }, + "write": { + "count": 42700, + "p50_ms": 1.931, + "p95_ms": 3.909, + "p99_ms": 8.123 + }, + "requests_per_instance": { + "3d1290aedbe0": 106727, + "e1762beff514": 106721 + }, + "error_incidents": [ + { + "start_s": 10.857729007, + "duration_s": 9.841977129, + "errors": 1531 + } + ], + "seconds_without_success": 9, + "verify": { + "confirmed": 53799, + "lost": 0, + "duplicate_ids": 0, + "duplicate_texts": 0 + }, + "timeline": [ + { + "t": 0, + "ok": 11303, + "err": 0 + }, + { + "t": 1, + "ok": 11330, + "err": 0 + }, + { + "t": 2, + "ok": 10462, + "err": 0 + }, + { + "t": 3, + "ok": 10221, + "err": 0 + }, + { + "t": 4, + "ok": 9901, + "err": 0 + }, + { + "t": 5, + "ok": 9672, + "err": 0 + }, + { + "t": 6, + "ok": 9709, + "err": 0 + }, + { + "t": 7, + "ok": 10072, + "err": 0 + }, + { + "t": 8, + "ok": 10493, + "err": 0 + }, + { + "t": 9, + "ok": 10595, + "err": 0 + }, + { + "t": 10, + "ok": 7893, + "err": 44 + }, + { + "t": 11, + "ok": 0, + "err": 176 + }, + { + "t": 12, + "ok": 0, + "err": 155 + }, + { + "t": 13, + "ok": 0, + "err": 147 + }, + { + "t": 14, + "ok": 0, + "err": 157 + }, + { + "t": 15, + "ok": 0, + "err": 144 + }, + { + "t": 16, + "ok": 0, + "err": 160 + }, + { + "t": 17, + "ok": 0, + "err": 144 + }, + { + "t": 18, + "ok": 0, + "err": 144 + }, + { + "t": 19, + "ok": 0, + "err": 160 + }, + { + "t": 20, + "ok": 2433, + "err": 100 + }, + { + "t": 21, + "ok": 10953, + "err": 0 + }, + { + "t": 22, + "ok": 11047, + "err": 0 + }, + { + "t": 23, + "ok": 11209, + "err": 0 + }, + { + "t": 24, + "ok": 10392, + "err": 0 + }, + { + "t": 25, + "ok": 10928, + "err": 0 + }, + { + "t": 26, + "ok": 11151, + "err": 0 + }, + { + "t": 27, + "ok": 11403, + "err": 0 + }, + { + "t": 28, + "ok": 10986, + "err": 0 + }, + { + "t": 29, + "ok": 11295, + "err": 0 + } + ] +} diff --git a/evidence/level4/migrations.txt b/evidence/level4/migrations.txt new file mode 100644 index 00000000..5fc3bfe1 --- /dev/null +++ b/evidence/level4/migrations.txt @@ -0,0 +1,64 @@ +# Миграции и замена реплик, 2026-11-04T16:48:44Z, commit 0ab3a34+dirty +PASS исходная версия схемы +## 1. Совместимая миграция (expand) и замена реплик под нагрузкой +t=10s начало: версия схемы 7, реплики 1126e6de74648e2e7f3a147c1a335ddd3a03d4e30b6515c98edbb0f8e4427530 cb0ec5115de30b5d7e85aa2482b1ad79fa0dd6407a6d1ad0c84f1dd0e68c24d1 +t=22s заменена реплика cb0ec5115de3 на 3d1290aedbe0, версия expand-20261104164846 +t=31s заменена реплика 1126e6de7464 на e1762beff514, версия expand-20261104164846 +PASS expand: скрипт замены завершился успешно +t=31s конец: версия схемы 8, реплики 3d1290aedbe01d39a8658ddb34a680f648c5e78b0f1da74343f9645f67749c85 e1762beff514486d4b45ec1e5cbc0e35388fb10ac2261ec897b92abaeb88aee3 +схема изменена на t=13s, старые реплики продолжали работать до строк замены выше +RPS до обновления: 10709; в окне 10-31 с: среднее 10630, минимум за секунду 8589; после: 10668 +ошибок в окне: 0, всего: 0 {}; секунд без единого успеха: 0; записей подтверждено после повтора: 0 +запросов по репликам: {"1126e6de7464": 137239, "3d1290aedbe0": 225348, "cb0ec5115de3": 96905, "e1762beff514": 178941} +проверка истории: {"confirmed": 139415, "lost": 0, "duplicate_ids": 0, "duplicate_texts": 0} +PASS expand: миграция применена один раз +PASS expand: нет потерь, дублей и секунд без успеха +PASS expand: ошибок клиента 0 +контрактные тесты на новой схеме: +python3 tests/smoke.py --base-url "http://localhost:8080" +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +PASS expand: make test проходит на расширенной схеме +2026/11/04 16:50:00 goose: no migrations to run. current version: 7 +PASS expand: проверочная миграция откачена +## 2. Контроль: несовместимая миграция ломает работающую версию +2026/11/04 16:50:17 goose: successfully migrated database to version: 8 +t=11s переименована колонка messages.text +t=15s LB считает рабочими реплик: 2 +2026/11/04 16:50:27 goose: no migrations to run. current version: 7 +t=20s колонка возвращена +RPS до обновления: 10375; в окне 10-20 с: среднее 938, минимум за секунду 0; после: 11052 +ошибок в окне: 1531, всего: 1531 {"500": 1531}; секунд без единого успеха: 9; записей подтверждено после повтора: 16 +запросов по репликам: {"3d1290aedbe0": 106727, "e1762beff514": 106721} +проверка истории: {"confirmed": 53799, "lost": 0, "duplicate_ids": 0, "duplicate_texts": 0} +PASS контроль: нагрузка замечает несовместимую схему +PASS контроль: readiness не проверяет схему, реплики остаются в LB +PASS контроль: схема восстановлена +## 3. Упавшая миграция останавливает обновление до замены реплик +миграция не применена, реплики не тронуты +PASS упавшая миграция: скрипт вернул ошибку +PASS упавшая миграция: реплики те же +PASS упавшая миграция: версия схемы не изменилась +PASS упавшая миграция: транзакция откатилась +PASS упавшая миграция: тег образа возвращён +## 4. Реплика, которая не стартует, не снижает доступность +новая реплика не стала готовой и удалена, замена остановлена +RPS до обновления: 11059; в окне 5-40 с: среднее 10276, минимум за секунду 8603; после: 10502 +ошибок в окне: 0, всего: 0 {}; секунд без единого успеха: 0; записей подтверждено после повтора: 0 +запросов по репликам: {"3d1290aedbe0": 259687, "e1762beff514": 259687} +проверка истории: {"confirmed": 114264, "lost": 0, "duplicate_ids": 0, "duplicate_texts": 0} +PASS плохой образ: скрипт вернул ошибку +PASS плохой образ: старые реплики на месте +PASS плохой образ: ошибок клиента 0 +PASS плохой образ: нет потерь и дублей +PASS плохой образ: тег образа возвращён +## 5. Однократность: повторный запуск и масштабирование +goose: no migrations to run. current version: 7 +PASS масштабирование не пересоздаёт работающие реплики +PASS повторный запуск и масштабирование не добавили записей о миграциях +PASS в образе API нет goose и миграций: реплики не могут гонять их при старте +PASS обычный compose up после rolling не пересоздаёт реплики +## 6. Что будет при параллельном запуске goose (отдельная пустая БД) +раунд 1: успешно 4 из 8, итоговая версия 7, записаны дважды версии: нет; частая ошибка: 2 goose run: ERROR 00007_create_message_idempotency_keys_table.sql: failed to run SQL migration: failed to execu +раунд 2: успешно 4 из 8, итоговая версия 7, записаны дважды версии: 5; частая ошибка: 2 goose run: ERROR 00006_create_cache_invalidations_table.sql: failed to run SQL migration: failed to execute SQ +раунд 3: успешно 6 из 8, итоговая версия 7, записаны дважды версии: нет; частая ошибка: 1 goose run: ERROR 00007_create_message_idempotency_keys_table.sql: failed to run SQL migration: failed to execu +ИТОГ: PASS diff --git a/evidence/level4/resources.txt b/evidence/level4/resources.txt new file mode 100644 index 00000000..46f65347 --- /dev/null +++ b/evidence/level4/resources.txt @@ -0,0 +1,11 @@ +# CPU и RAM под нагрузкой, 2026-11-04T17:30:42Z, commit 0ab3a34+dirty +реплик: 2, профиль: concurrency=16, запись 20%, замер 60 с, прогрев 5 с +## результат loadgen +{"label":"resources","concurrency":16,"write_share":0.2,"chats":8,"seed_per_chat":100,"duration_s":60,"warmup_s":5,"successful_rps":11156.166666666668,"read_rps":8927.1,"write_rps":2229.0666666666666,"error_share":0,"errors":{},"writes_confirmed_after_retry":0,"read":{"count":535626,"p50_ms":1.006,"p95_ms":2.573,"p99_ms":5.158},"write":{"count":133744,"p50_ms":1.858,"p95_ms":3.734,"p99_ms":7.321},"requests_per_instance":{"555a39b59bba":334679,"8afe287695f7":334691},"error_incidents":[],"seconds_without_success":0,"verify":{"confirmed":144686,"lost":0,"duplicate_ids":0,"duplicate_texts":0}} +## docker stats за время замера +mtusi-lab3-api-5 замеров=31 CPU среднее=104% макс=112% RAM среднее=22 МиБ макс=34 МиБ лимит=512MiB +mtusi-lab3-api-6 замеров=31 CPU среднее=104% макс=112% RAM среднее=14 МиБ макс=14 МиБ лимит=512MiB +mtusi-lab3-lb-1 замеров=31 CPU среднее=80% макс=93% RAM среднее=109 МиБ макс=110 МиБ лимит=256MiB +mtusi-lab3-loadgen-run-a439af7f21b2 замеров=30 CPU среднее=78% макс=84% RAM среднее=40 МиБ макс=61 МиБ лимит=1GiB +mtusi-lab3-postgres-1 замеров=31 CPU среднее=177% макс=191% RAM среднее=213 МиБ макс=216 МиБ лимит=1GiB +mtusi-lab3-valkey-1 замеров=31 CPU среднее=16% макс=19% RAM среднее=12 МиБ макс=13 МиБ лимит=256MiB diff --git a/evidence/level4/rolling-bad-image.json b/evidence/level4/rolling-bad-image.json new file mode 100644 index 00000000..234e5492 --- /dev/null +++ b/evidence/level4/rolling-bad-image.json @@ -0,0 +1,291 @@ +{ + "label": "bad-image", + "concurrency": 16, + "write_share": 0.2, + "chats": 8, + "seed_per_chat": 100, + "duration_s": 50, + "warmup_s": 5, + "successful_rps": 10387.48, + "read_rps": 8318.24, + "write_rps": 2069.24, + "error_share": 0, + "errors": {}, + "writes_confirmed_after_retry": 0, + "read": { + "count": 415912, + "p50_ms": 1.08, + "p95_ms": 2.732, + "p99_ms": 6.002 + }, + "write": { + "count": 103462, + "p50_ms": 1.976, + "p95_ms": 4.053, + "p99_ms": 8.808 + }, + "requests_per_instance": { + "3d1290aedbe0": 259687, + "e1762beff514": 259687 + }, + "error_incidents": [], + "seconds_without_success": 0, + "verify": { + "confirmed": 114264, + "lost": 0, + "duplicate_ids": 0, + "duplicate_texts": 0 + }, + "timeline": [ + { + "t": 0, + "ok": 11080, + "err": 0 + }, + { + "t": 1, + "ok": 11128, + "err": 0 + }, + { + "t": 2, + "ok": 11149, + "err": 0 + }, + { + "t": 3, + "ok": 11385, + "err": 0 + }, + { + "t": 4, + "ok": 10553, + "err": 0 + }, + { + "t": 5, + "ok": 9793, + "err": 0 + }, + { + "t": 6, + "ok": 9757, + "err": 0 + }, + { + "t": 7, + "ok": 8603, + "err": 0 + }, + { + "t": 8, + "ok": 9319, + "err": 0 + }, + { + "t": 9, + "ok": 10645, + "err": 0 + }, + { + "t": 10, + "ok": 11265, + "err": 0 + }, + { + "t": 11, + "ok": 10906, + "err": 0 + }, + { + "t": 12, + "ok": 11064, + "err": 0 + }, + { + "t": 13, + "ok": 11156, + "err": 0 + }, + { + "t": 14, + "ok": 10570, + "err": 0 + }, + { + "t": 15, + "ok": 11191, + "err": 0 + }, + { + "t": 16, + "ok": 11176, + "err": 0 + }, + { + "t": 17, + "ok": 10450, + "err": 0 + }, + { + "t": 18, + "ok": 10492, + "err": 0 + }, + { + "t": 19, + "ok": 10329, + "err": 0 + }, + { + "t": 20, + "ok": 10593, + "err": 0 + }, + { + "t": 21, + "ok": 10224, + "err": 0 + }, + { + "t": 22, + "ok": 10108, + "err": 0 + }, + { + "t": 23, + "ok": 10329, + "err": 0 + }, + { + "t": 24, + "ok": 9954, + "err": 0 + }, + { + "t": 25, + "ok": 10347, + "err": 0 + }, + { + "t": 26, + "ok": 10063, + "err": 0 + }, + { + "t": 27, + "ok": 10373, + "err": 0 + }, + { + "t": 28, + "ok": 9707, + "err": 0 + }, + { + "t": 29, + "ok": 10531, + "err": 0 + }, + { + "t": 30, + "ok": 10358, + "err": 0 + }, + { + "t": 31, + "ok": 10349, + "err": 0 + }, + { + "t": 32, + "ok": 10030, + "err": 0 + }, + { + "t": 33, + "ok": 10525, + "err": 0 + }, + { + "t": 34, + "ok": 9331, + "err": 0 + }, + { + "t": 35, + "ok": 10289, + "err": 0 + }, + { + "t": 36, + "ok": 10368, + "err": 0 + }, + { + "t": 37, + "ok": 10496, + "err": 0 + }, + { + "t": 38, + "ok": 9398, + "err": 0 + }, + { + "t": 39, + "ok": 10059, + "err": 0 + }, + { + "t": 40, + "ok": 9795, + "err": 0 + }, + { + "t": 41, + "ok": 10190, + "err": 0 + }, + { + "t": 42, + "ok": 10432, + "err": 0 + }, + { + "t": 43, + "ok": 10700, + "err": 0 + }, + { + "t": 44, + "ok": 10488, + "err": 0 + }, + { + "t": 45, + "ok": 10617, + "err": 0 + }, + { + "t": 46, + "ok": 10476, + "err": 0 + }, + { + "t": 47, + "ok": 10506, + "err": 0 + }, + { + "t": 48, + "ok": 10639, + "err": 0 + }, + { + "t": 49, + "ok": 10088, + "err": 0 + } + ] +} diff --git a/evidence/level4/rolling-expand.json b/evidence/level4/rolling-expand.json new file mode 100644 index 00000000..161faa16 --- /dev/null +++ b/evidence/level4/rolling-expand.json @@ -0,0 +1,343 @@ +{ + "label": "expand", + "concurrency": 16, + "write_share": 0.2, + "chats": 8, + "seed_per_chat": 100, + "duration_s": 60, + "warmup_s": 5, + "successful_rps": 10640.550000000001, + "read_rps": 8503.966666666667, + "write_rps": 2136.5833333333335, + "error_share": 0, + "errors": {}, + "writes_confirmed_after_retry": 0, + "read": { + "count": 510238, + "p50_ms": 1.06, + "p95_ms": 2.634, + "p99_ms": 4.989 + }, + "write": { + "count": 128195, + "p50_ms": 1.97, + "p95_ms": 4.005, + "p99_ms": 8.085 + }, + "requests_per_instance": { + "1126e6de7464": 137239, + "3d1290aedbe0": 225348, + "cb0ec5115de3": 96905, + "e1762beff514": 178941 + }, + "error_incidents": [], + "seconds_without_success": 0, + "verify": { + "confirmed": 139415, + "lost": 0, + "duplicate_ids": 0, + "duplicate_texts": 0 + }, + "timeline": [ + { + "t": 0, + "ok": 10206, + "err": 0 + }, + { + "t": 1, + "ok": 9447, + "err": 0 + }, + { + "t": 2, + "ok": 10891, + "err": 0 + }, + { + "t": 3, + "ok": 10867, + "err": 0 + }, + { + "t": 4, + "ok": 10415, + "err": 0 + }, + { + "t": 5, + "ok": 10951, + "err": 0 + }, + { + "t": 6, + "ok": 11138, + "err": 0 + }, + { + "t": 7, + "ok": 11264, + "err": 0 + }, + { + "t": 8, + "ok": 10941, + "err": 0 + }, + { + "t": 9, + "ok": 10972, + "err": 0 + }, + { + "t": 10, + "ok": 10018, + "err": 0 + }, + { + "t": 11, + "ok": 9235, + "err": 0 + }, + { + "t": 12, + "ok": 8589, + "err": 0 + }, + { + "t": 13, + "ok": 9839, + "err": 0 + }, + { + "t": 14, + "ok": 11186, + "err": 0 + }, + { + "t": 15, + "ok": 12159, + "err": 0 + }, + { + "t": 16, + "ok": 11888, + "err": 0 + }, + { + "t": 17, + "ok": 12571, + "err": 0 + }, + { + "t": 18, + "ok": 12161, + "err": 0 + }, + { + "t": 19, + "ok": 12666, + "err": 0 + }, + { + "t": 20, + "ok": 11234, + "err": 0 + }, + { + "t": 21, + "ok": 9512, + "err": 0 + }, + { + "t": 22, + "ok": 8655, + "err": 0 + }, + { + "t": 23, + "ok": 10025, + "err": 0 + }, + { + "t": 24, + "ok": 10327, + "err": 0 + }, + { + "t": 25, + "ok": 11278, + "err": 0 + }, + { + "t": 26, + "ok": 11023, + "err": 0 + }, + { + "t": 27, + "ok": 11207, + "err": 0 + }, + { + "t": 28, + "ok": 10525, + "err": 0 + }, + { + "t": 29, + "ok": 10495, + "err": 0 + }, + { + "t": 30, + "ok": 9976, + "err": 0 + }, + { + "t": 31, + "ok": 9303, + "err": 0 + }, + { + "t": 32, + "ok": 10026, + "err": 0 + }, + { + "t": 33, + "ok": 10069, + "err": 0 + }, + { + "t": 34, + "ok": 10302, + "err": 0 + }, + { + "t": 35, + "ok": 9669, + "err": 0 + }, + { + "t": 36, + "ok": 10897, + "err": 0 + }, + { + "t": 37, + "ok": 10834, + "err": 0 + }, + { + "t": 38, + "ok": 11108, + "err": 0 + }, + { + "t": 39, + "ok": 10981, + "err": 0 + }, + { + "t": 40, + "ok": 10872, + "err": 0 + }, + { + "t": 41, + "ok": 11010, + "err": 0 + }, + { + "t": 42, + "ok": 11135, + "err": 0 + }, + { + "t": 43, + "ok": 10864, + "err": 0 + }, + { + "t": 44, + "ok": 10517, + "err": 0 + }, + { + "t": 45, + "ok": 10438, + "err": 0 + }, + { + "t": 46, + "ok": 10635, + "err": 0 + }, + { + "t": 47, + "ok": 10660, + "err": 0 + }, + { + "t": 48, + "ok": 10839, + "err": 0 + }, + { + "t": 49, + "ok": 10795, + "err": 0 + }, + { + "t": 50, + "ok": 10716, + "err": 0 + }, + { + "t": 51, + "ok": 10595, + "err": 0 + }, + { + "t": 52, + "ok": 10518, + "err": 0 + }, + { + "t": 53, + "ok": 10634, + "err": 0 + }, + { + "t": 54, + "ok": 10254, + "err": 0 + }, + { + "t": 55, + "ok": 10415, + "err": 0 + }, + { + "t": 56, + "ok": 10448, + "err": 0 + }, + { + "t": 57, + "ok": 10480, + "err": 0 + }, + { + "t": 58, + "ok": 10954, + "err": 0 + }, + { + "t": 59, + "ok": 10804, + "err": 0 + } + ] +} diff --git a/evidence/level4/rolling.json b/evidence/level4/rolling.json new file mode 100644 index 00000000..9d8ef726 --- /dev/null +++ b/evidence/level4/rolling.json @@ -0,0 +1,343 @@ +{ + "label": "rolling", + "concurrency": 16, + "write_share": 0.2, + "chats": 8, + "seed_per_chat": 100, + "duration_s": 60, + "warmup_s": 5, + "successful_rps": 11146.5, + "read_rps": 8910.3, + "write_rps": 2236.2, + "error_share": 0, + "errors": {}, + "writes_confirmed_after_retry": 0, + "read": { + "count": 534618, + "p50_ms": 1.007, + "p95_ms": 2.517, + "p99_ms": 4.687 + }, + "write": { + "count": 134172, + "p50_ms": 1.859, + "p95_ms": 3.821, + "p99_ms": 7.512 + }, + "requests_per_instance": { + "1126e6de7464": 185774, + "4c31c36b92fd": 104603, + "9a3daa315e5b": 145686, + "cb0ec5115de3": 232727 + }, + "error_incidents": [], + "seconds_without_success": 0, + "verify": { + "confirmed": 145172, + "lost": 0, + "duplicate_ids": 0, + "duplicate_texts": 0 + }, + "timeline": [ + { + "t": 0, + "ok": 10893, + "err": 0 + }, + { + "t": 1, + "ok": 11041, + "err": 0 + }, + { + "t": 2, + "ok": 10727, + "err": 0 + }, + { + "t": 3, + "ok": 11241, + "err": 0 + }, + { + "t": 4, + "ok": 11479, + "err": 0 + }, + { + "t": 5, + "ok": 11214, + "err": 0 + }, + { + "t": 6, + "ok": 11381, + "err": 0 + }, + { + "t": 7, + "ok": 11653, + "err": 0 + }, + { + "t": 8, + "ok": 11325, + "err": 0 + }, + { + "t": 9, + "ok": 10992, + "err": 0 + }, + { + "t": 10, + "ok": 9531, + "err": 0 + }, + { + "t": 11, + "ok": 11160, + "err": 0 + }, + { + "t": 12, + "ok": 10465, + "err": 0 + }, + { + "t": 13, + "ok": 9204, + "err": 0 + }, + { + "t": 14, + "ok": 11065, + "err": 0 + }, + { + "t": 15, + "ok": 12031, + "err": 0 + }, + { + "t": 16, + "ok": 11284, + "err": 0 + }, + { + "t": 17, + "ok": 12437, + "err": 0 + }, + { + "t": 18, + "ok": 12474, + "err": 0 + }, + { + "t": 19, + "ok": 12514, + "err": 0 + }, + { + "t": 20, + "ok": 12215, + "err": 0 + }, + { + "t": 21, + "ok": 11261, + "err": 0 + }, + { + "t": 22, + "ok": 8877, + "err": 0 + }, + { + "t": 23, + "ok": 10391, + "err": 0 + }, + { + "t": 24, + "ok": 10765, + "err": 0 + }, + { + "t": 25, + "ok": 12103, + "err": 0 + }, + { + "t": 26, + "ok": 12341, + "err": 0 + }, + { + "t": 27, + "ok": 12183, + "err": 0 + }, + { + "t": 28, + "ok": 11658, + "err": 0 + }, + { + "t": 29, + "ok": 11997, + "err": 0 + }, + { + "t": 30, + "ok": 11526, + "err": 0 + }, + { + "t": 31, + "ok": 9968, + "err": 0 + }, + { + "t": 32, + "ok": 11317, + "err": 0 + }, + { + "t": 33, + "ok": 11594, + "err": 0 + }, + { + "t": 34, + "ok": 11627, + "err": 0 + }, + { + "t": 35, + "ok": 11763, + "err": 0 + }, + { + "t": 36, + "ok": 11830, + "err": 0 + }, + { + "t": 37, + "ok": 11904, + "err": 0 + }, + { + "t": 38, + "ok": 11720, + "err": 0 + }, + { + "t": 39, + "ok": 7462, + "err": 0 + }, + { + "t": 40, + "ok": 11742, + "err": 0 + }, + { + "t": 41, + "ok": 10516, + "err": 0 + }, + { + "t": 42, + "ok": 11729, + "err": 0 + }, + { + "t": 43, + "ok": 11589, + "err": 0 + }, + { + "t": 44, + "ok": 11900, + "err": 0 + }, + { + "t": 45, + "ok": 11151, + "err": 0 + }, + { + "t": 46, + "ok": 10992, + "err": 0 + }, + { + "t": 47, + "ok": 10457, + "err": 0 + }, + { + "t": 48, + "ok": 9164, + "err": 0 + }, + { + "t": 49, + "ok": 8941, + "err": 0 + }, + { + "t": 50, + "ok": 10726, + "err": 0 + }, + { + "t": 51, + "ok": 10739, + "err": 0 + }, + { + "t": 52, + "ok": 11324, + "err": 0 + }, + { + "t": 53, + "ok": 11342, + "err": 0 + }, + { + "t": 54, + "ok": 11475, + "err": 0 + }, + { + "t": 55, + "ok": 11214, + "err": 0 + }, + { + "t": 56, + "ok": 11296, + "err": 0 + }, + { + "t": 57, + "ok": 11552, + "err": 0 + }, + { + "t": 58, + "ok": 11050, + "err": 0 + }, + { + "t": 59, + "ok": 11278, + "err": 0 + } + ] +} diff --git a/evidence/level4/rolling.txt b/evidence/level4/rolling.txt new file mode 100644 index 00000000..a9f5828e --- /dev/null +++ b/evidence/level4/rolling.txt @@ -0,0 +1,18 @@ +# Rolling update под нагрузкой, 2026-11-04T16:47:24Z, commit 0ab3a34+dirty +## до +/mtusi-lab3-api-1 id=4c31c36b92fd version=dev started=2026-11-04T16:46:51.630939958Z +/mtusi-lab3-api-2 id=9a3daa315e5b version=dev started=2026-11-04T16:47:03.138723756Z +t=10s начало rolling update +заменена реплика 4c31c36b92fd на cb0ec5115de3, версия rolling-20261104164726 +заменена реплика 9a3daa315e5b на 1126e6de7464, версия rolling-20261104164726 +t=32s конец rolling update +## после +/mtusi-lab3-api-3 id=cb0ec5115de3 version=rolling-20261104164726 started=2026-11-04T16:47:54.63181446Z +/mtusi-lab3-api-4 id=1126e6de7464 version=rolling-20261104164726 started=2026-11-04T16:48:03.925269839Z +## результат loadgen +{"label":"rolling","concurrency":16,"write_share":0.2,"chats":8,"seed_per_chat":100,"duration_s":60,"warmup_s":5,"successful_rps":11146.5,"read_rps":8910.3,"write_rps":2236.2,"error_share":0,"errors":{},"writes_confirmed_after_retry":0,"read":{"count":534618,"p50_ms":1.007,"p95_ms":2.517,"p99_ms":4.687},"write":{"count":134172,"p50_ms":1.859,"p95_ms":3.821,"p99_ms":7.512},"requests_per_instance":{"1126e6de7464":185774,"4c31c36b92fd":104603,"9a3daa315e5b":145686,"cb0ec5115de3":232727},"error_incidents":[],"seconds_without_success":0,"verify":{"confirmed":145172,"lost":0,"duplicate_ids":0,"duplicate_texts":0}} +## сводка +RPS до обновления: 11194; в окне 10-32 с: среднее 11250, минимум за секунду 8877; после: 10994 +ошибок в окне: 0, всего: 0 {}; секунд без единого успеха: 0; записей подтверждено после повтора: 0 +запросов по репликам: {"1126e6de7464": 185774, "4c31c36b92fd": 104603, "9a3daa315e5b": 145686, "cb0ec5115de3": 232727} +проверка истории: {"confirmed": 145172, "lost": 0, "duplicate_ids": 0, "duplicate_texts": 0} diff --git a/evidence/persistence.txt b/evidence/persistence.txt new file mode 100644 index 00000000..6d06b165 --- /dev/null +++ b/evidence/persistence.txt @@ -0,0 +1,19 @@ +# Persistence 2026-11-04T16:38:57Z, commit 0ab3a34+dirty +## до +/mtusi-lab3-api-1 running started=2026-11-04T16:37:26.009734419Z volumes= +/mtusi-lab3-api-2 running started=2026-11-04T16:37:25.934785794Z volumes= +/mtusi-lab3-lb-1 running started=2026-11-04T16:37:26.083425961Z volumes= +/mtusi-lab3-postgres-1 running started=2026-11-04T16:37:19.725963139Z volumes=mtusi-lab3_pgdata +/mtusi-lab3-valkey-1 running started=2026-11-04T16:38:34.979304715Z volumes=mtusi-lab3_valkeydata +## тест +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +## после +/mtusi-lab3-api-1 running started=2026-11-04T16:39:08.458263217Z volumes= +/mtusi-lab3-api-2 running started=2026-11-04T16:39:08.349346466Z volumes= +/mtusi-lab3-lb-1 running started=2026-11-04T16:39:08.526865008Z volumes= +/mtusi-lab3-postgres-1 running started=2026-11-04T16:39:02.13568113Z volumes=mtusi-lab3_pgdata +/mtusi-lab3-valkey-1 running started=2026-11-04T16:39:02.134824297Z volumes=mtusi-lab3_valkeydata +## volumes +mtusi-lab3_pgdata created=2026-11-04T14:12:08Z +mtusi-lab3_valkeydata created=2026-11-04T14:12:08Z diff --git a/evidence/track1/bottleneck.png b/evidence/track1/bottleneck.png new file mode 100644 index 0000000000000000000000000000000000000000..120e03a12abd5aea7a8ed43e8c39fa1ff729bdb8 GIT binary patch literal 49064 zcmdqJXH*ky7cLx7L_oj-@(5BC>CFNnL5k8r=|wsgln&BD0s#aS8%04-kPgxbAe{sR z3nJ2+v_u36BtU2(k`Qw4_`JU7tn=fnb=J4m_v6f3>SWAhX71Vd-q*hNweQE~rUu-c zf}9Wtgxkna*AfERrwxIyp5DI?9Kl{M3IYE>gY~WjTlwD(hFuSIhg`iL9N^<0?BjVu zEYv+P$kX5NoZ^|&imLKr9>Ku@K~NoE?Z2Sjxbr0#DGTx_Tbk>*v)4)?kcfxNsha(=oUU{8Gx>MmGTxx0; z5>iS)_G0ZLG_(7_E&RLPFdX&p|N8-=?IjLj{rl+#56i*7`v-&eNB`ZAex(E1`}f1g zN9LRkKOI1>li|9Ah9+FtFy``X`5{J(OEH?e1Ke!i9}Z*Qqwq5u(tgMn4? zo4T;lQX8?oUee5EmI-y2Fiv?CzC*!9X_bfeY0`Y&lc+x9HREu6<{dldke3?t&7t~m z%F3xp|M8knXD7VZX{5Hv@6|V#cWI=CZpD^wfxo`KeA|cr_WIm;`1&m(7Sm!=X4~`R zsDhVT;9S*>Pfx~wrMdd?YHTJUDbuhn>T++oN*TYR(|5vXg*TG6RTnR$y3Yp{g7EE_ zX>0Xwqi?;*QiT)@Gj=Ij;p7p!7#Nl_K<-Kj_A>iwp@1Y9HTejKIrsN%k3C|GaeXoZQgKVz5fM_ua__5JwhkS)qZ zLr5*KV5G!Ks$9D_S0~Qr(-VF_1U?hCG!4VmiD)1S2F|fW*B0S&@!3&WwhIZOT3H^u z3Bu}A1-Le;tgw!iW};&Fa^0A`S=L4LMF>Pp@-*vSLy7FD-6mnRz*BPt?huH~1~_?Q zHc@K@K`ra_a_E=d7iE$vU(GFa{uJ>{ByG8&kwlMW=bb3EDJyqvi}bsHZ`ZADdp^T= zW4`C;Q{yy6-{r}MhKJljZ^wy4d3sy|J72OiTF6V|L$`a<-J^Ea;6^>_M2Xy6qufsqT&$D3wr`jRk|EFlFjPY=q0Sy`fsDOkt%i3a9L z@k0ux_V8Z(!OF=gXvy>B2`8jBBy^i8A|lZ%x$m z_^t&meLo{~-sjaP&cff+rFVT!2o!k07RblCF_#Pi(HtzzW^V%EsB)d4aLBp`c*ZD9!&eMwHXRgE3NUA%05;W2fAa zZ&hU4<&v$RRE$XrG`V*W^2P9|g2UY4ZzFJD%UX3t9ddC;SbhV|h~HJj?YHimVcw(VMz!BiZMy^nolqxj zUsGUGn1^kz^BM`n^o?|@6-JrLawm*d@a-`g@P6y=-}EcBk+x}2xC^o64e3#`EHHFh zbH!*H-^`(lKC-*$K&sQ;M2}=Rc00j;y;M}VatiCpQRIfoMD(`ptan%D)SC9bd^_L4 zr4%glp!N4pE_H$32k~SVE;4(KKIej3csKiGcAl20N{n`taalv5Cf7tKLcuyiJ8D5v z5A{@&Hh~kg__6FyUo6jB!4eBtyJwbg_me4^vlg-^=!+<=1Ub9PrO_g!WxbDm0}5Qz z)huv2~zOW`+Jr^YIwOGUF@!j!lp^4MC>Wb)!r zCtG!$2>mVb+H6+%3dglcnS;Vo4}&6(^fu|A-tDx8M)K-*x*BH`-@GlHc&9s6;Ya9R z^@kV6wsNn$I^8auUAiw7D!uUgoNH^uO2gGo>)gR`f(l|bUUf>^Sols^g$v$mq_pWK z9lUxC569)QfJ7}i#k+%Efpdt1=a{$4EO8GD_&x%TsHu3{to; z#om%s0xY~~1JW}V#9`gN;d7b*kY~XP<*DV=N38wVQpLkmW(oFEZhBob3%N1` zi*9(ci{}`zH^qOZat}rAz2`zSr?I|{=GA@@FQVbV_}Q|U;ooW$2v?X@K-F`E5J!7@ zyoZaQlVW)_S3$T?@Pji-+}dMWKRp#-ckY|(N=AY^;Q4NwEJCShz#6ZsJxH%?{K<)X zd_;;>^D|+j49PERy??y*YR382o1F;{oEYoBx{-QMk8*$41XH4Q=0hC26XRUp#o1ID zyGo}#xIv-_c?9K(W19RUe-LCIr)~oe`yyhOjgxN`3HDo4Jh14d@Mjz8DuK{+Li7VobB&Q;)LTG#&}O38bgJt-@FP6UQ9HQ&_N}XdQ!pHI zrP{A`dtR6HOPlmE<=VU3SEtVN9y|MS8U~zjBLzWOnbxVNw8E4Zx7n@0|2AC7x(K%% z)|7EYl5M8WgE%wU;E!v~!3|;YbP$?g*^J>7hrZ4sF!YU`lQr%px{)np^{}dlT`*HT;C;bwsxg|#jlU?-A4$gHnneh&7y|~PS8K6mn%k%RT6>ShsD*EpqW~WA zYckD*7Jk*_B4vw{)d7Pz7Qa`aFf`g7`40OHy*{H;aIfxv}?8)DI6ha7O*bYyQz;^&O{T%8La|8O8oG)OJIk6xO{judf7afQVOy8mNeFHZL?4 zr={r=Je1=!O$29-csM6&Y`r43mxQ<=77JJCC}d7&zowvyS4#La8mlFHQP?Aj=bzK> zd&c%BXm611SBv^82UTSJe}8=`H%+@t9Km1G$Q&+np}j9lPDs^*%tHS)@4+wiH0 z?_uW&?hMMid6PeNENHD>eE3YHSFPETNQNu?7e6I^;kyq0EHrd4>3$H z@mFTUVq~T$mDryfE2JlWuh&9jLKJbu=mM4Ov}G>_t+z`IDhwD=tEdtCojp|eNz*K0 z(yv8f!27Vz{dg^mYh7kwr!cHB$YEIyDYbB}a^vub=TPx2UszzlXW~DPS_NVrK&Hm64;zl|9T~bT76EyYD~fZrHDu(d$Te^;W7l zbGFIDz%BZje1(3rN2x{rL(-S$;w<451g3pN4tj!IzpAgg_sQon)hbnJzIBP^V??*q zNQSn?AVx&(9wNHIck;a7-pf@YM?i`IM_Y)rk7ld-yNt=H=Vq$IsK%-C#~QK%^rIKx zAcKLf+*N5lSqPj9zv`2@#iDG}P+HXPcBdTx+GDN2d9tJpcxNlQYBqecGShfj-bq0m zbBsi5lqH6?5#^7l+!BR;>+ruex6 z!tCK;FKcUK^hU4x-NYi1Yo02sy4n1gMDhg=1OCGK{Rc5oiU1N&!UzLLmuRxqeJug{ z7d>u0ZukcBj^w4SuH5AVQX=d9V+^kK+sI=#`2?V%YOeNb-o02p1c*LTzjde*h zoOOF2-Pmd0;OAUJVLQvK9}QVdK}1WF?p!9k9t2rPBX(sMe$1xU9HTJzSSoA(HG@l- zYa`*^PfN?DGNS_w)Csn79mEeI{a_Cn3V%D(siZrRJm>?WReU^&eeQ*}-EY zR+lu6TpoCIAEZ#K4P_<9baoY zGMNO!!lec-qT(JmToFSoqq98wv=|ZnB7TIfP+~>Hz8(36bEl{x{f0s#aE{O6*yn>4 zjtz|y|J++YLB!f0oHbzCGO(RMfJ9Jg-40!ShqL^dFy! zLtK$zROl;|G!!j_8>$2kzG%HOvd0*wN}VD!=x7uGK=D(PB8VyIYq7(h)YuShKkRYK z!E1nKgLC}qONt*Jf>r73uxRVQu*GFS_l=!#6GLIP(rG;$!$FQ1lnUZnrw&!)fG(~9 z$~Z(0wDVtgLp#8*)V%8?EM{e}Ozxk>EqsT%ouQX<&}nS7rEza;$K9c;suHDUQiAP_ zK@+7WqTt<}L#W-AR+=BIWcGL_MWP_<2lV{mOxJBv+%WbIwAYH84O1^zUGa?te^Q0A z-4qdt-VllxG{<~%>zh_@z0##-?*))F{yTKbwClXbecc?=$@mwm`chKI@8v!JAfges zDXG$HC4T0K1tWQ3BY$??9QPaxE732P7GgVifaRc=uw}ZOQlXicEb9vWH;o|{uGR6= zRayN+Vf8vs*v{nryxdlh7CjYOFV)g``A}v?^nqYyrB>2rKI%GJ@UWoI`oq)SUwn#B zR2ePr8OTN$acgYxys$2>fN#uS7nmN2v>v#Dk=$jgMaO)bIqH4o3oYoXPV*i%4)hTN z;hi!_MDds&%}R;|sy!6yd7-l2;?qPjRBg1iKghhw7?nNf%a)u?PSt16pP0CC%vYLy){Z8cie6!MyD}6X;+g1h)?IXbM5G|4zFJBj*OCJ?62e z5s9nth}Bos3fD_VNpw_SEF;kK(g#M!jlvTP#&s{>BoEK6vkJ*xS!7I~bZ8S;wJwz| zoHcnexCt_rVNJ0Ss<9NF$I*H=2 zsPR^dlHy{K?TQHn5WU&t5Cn2Mty%V3+yQ#Mve&TmkLsqh8e3cubwlO*ndi{Kg}X1H z2CJ3_7gbdp(970@QU>wM@$s#h!RolJie90YXAPqa!yiP4$O{$gBo`;&hoTq4^zO0K z^$~4pgrrjh<($r|zPY_DBkdo;r;oJud5xAY_FjrDG_#Z)pY2SP8gG{`qQn(wt~w64{~{GYqnl#LCd3(mlg58>bi>jRC+}Eo7IylerH zI}u_!wA)WiS$$)k?TZrkc3|V^(_;or38j&yEtF-sGf3U9Bhy5n!CwmH*<%3rTA=gQ zxme33W{p&xvD#-pke&RMEc%QGB5POqrWkp7H|jSru^k#hXw(`Smb;H76}yGudA}26L~LFeLYuP>?y|d5FUC>j!&FRmw76WR zg*mK?Br6t?1yEm9Q=?{eIVJc6Bbp2J+K z>`)j6#i()f&U4L;uTRVSoQi+gds#uQZkN+##LCB1^QA$En zo&DUDpg57`b}7B~0?z@mrd8Z=R2nR27KuuJ4V9NzLZT?y0*|cy7E564=zF+I$lIomLAc`{S(BS7fOi!#^i!2wS4K(koCiK}@gVRT zrA_&Qg}XHM?{N9E0!$(-Wtg{?5y21@yR|A)E+qaUm%+HkU;`H zNk$J6b5Dk)5AQLgc)Cc-Y|AgK(ala@#3KT;ojCoxPCb7ZUpAI#%Bn&&krJIyTy|tE zZtd>cvhvP_t7f*ITB3MH(y)- zu#*~mUJy;_R%$y=YV8yWm%qAOWhlof2G^UlYPpjZb*#TY!mx*F>yP6u{%SD3qRfc(e!4ItmD1iq|wmD zu)+MCju#Rp9g69hZ;~2Av&$x8vtfkUeI52v zL5_kWB6OolqcN3D&5~Twu9P1YeV+zjElztarC`Z*Kkr9YyC-t*Q}-lMlyp<{i&FK1LqS-W zp7K!8LSh8jZ6sR{LFbFMKtRc7ZG4lT@$L2eUX|N2?5}T(IJ_@^tTVh~v-!aXt?bAP z8fA2b{9}EnI^=bt<-;&?I~vzLd~oINwGOQ+%p~FJ@s%^rEe-bl%-&VCPX8Y8JDYgw z4WAgV9$tN-0qSSgmHiq&q3J}Z&8L^#R28<9`JRV}f_66jd?I&P_zt3O#roalD5{rk z1jtWkGuaEt*}3>YG>V2s2w@Fb7(}Y@7QyrFsHTZwXR@(MY0y5@kYn+Cqf>tXkY%80 zYL#=~Xh*km#S9;{7OE~?p=pt0h6P_hl zI&0TqwDCfRp|Tj^n2)AzE*=S0XSQ|< zg1y*nv}(OZPPJ1yX+b^7$Wr29Yz}=nD*TZcvN0k3DOr^&kvkk2^`M(^<^}YTWs+ju zXhzjP&8h?`>$MGSDZX8HT$kDc<;i#NO}$faqE+>_Th#ud&onI!^Bf5YjTlSI0~&*y ztwTl`Pg=s+`d;=LVK~Ve#mRdM+c!jelC!q)d(4b3^$gExJ&}4dd=%?nzx(XK%Tg95 z1vkyVkO~O#QMQj(I+i#%mg3wodz#cJEzzmV0na>`vP*W_Besi&aufwXPZxJqL%YK| zC!zYAyYkj?1+{+J#~sr2txE4;ut%VuhoCz|p@p3u;&|35{*nwbTSof%F#Mt2dk2z1 z$k8Eqo$3>9yi2>6UBRtviGmGN|G5hNWWsR=e5eck%l(s>K1^Ster;K=YhZC~>ezGf zsi3p;wd}#?4tOdQK@!J2-1TI!s^NwjjGd|5#s3ERZ-=o>1)1>5My4~xw_WR1(nL0C z?!wr{u(@#CVbhsV#dWL|cDo+xD*+o0o^B4Aosj-f*q7SShM`)2nF7_X#U#WAJMD(`(yfL6!C2dp{~80It`Sa`bZ>qz0B(DEitcS#rFIx;bQ)JjMQ# zThz>u-H~u_)I6MeE$?N8ICbgc93XdFBJKe z$S>@{raoiC&C1xrLJnSc(PDF9C3__d)8uji>GYA@$W!N%=@eFHWqA{mm*t2x+{Q!N7qf>EF37PhD0&5S>f$IepJ##Go9#(w7dhX`?4D zGgBZFokKiG-nXF>@(hvy689jF@;HrpS?V^&hVCA1hXKRe1Ee&spAQ^89HZ9RXwI+H zg5Ij{^6D-k&;ybji9KXT@lp$c@*vX-o5#^N1L(blaV{f*$WrV2(#JnSq@UcPrI;rM zqaMaGnw&1+FEwkGK>zWC^AzK(QIVIcg0$nK2e)I#x~_<0F+8`8=$@HV$fMF5(NR5L z8?cCO=P~KS@seiJgS4r#@S<4{RMzdrO}JI_2@8W}w|vV@HFEFxrt1U7mvLYOV;1=V zy287b#`#y24|jGC=8RqHbIf$G&QTXPj^7xr%}H?J3?Mjt64H2ioEou+1U}hCPTyJl z1T*3kS{%JcIJ5AvT|HnRu`=qGQ&eTxrx=?E1#=~&UdPM0LE7wT>)a)`ouRhhl!QTZ zXVO{IyBD>>y3_Xx~TM>z#Ogm zVC|y3Z$`hOxYJ^eyJW%nWw+L!ZY>Ome@a};&bLP0ZKUaAUI#~)9>KATgozF87-HI3 z$*t>Kai(Z`&<`r3tEAS|#Y+;^(AzY~VvTaa{PY9(ma8Z(rGcB!z77h$_nlnw6Ly|r zp4vs&v#7EaUM|cu?n$wBL5Z>d&+8tU_BQ$4BU5H=)&E|r^?Y&%1#N%Jo zU5t$;x`*FtwY-!y={!ljsodnL)K^Du3Qk!?EYPy$JT|Lg5&ZJ+8KAs){{W<5Ur6xK zqo?abdBg0M}pHs7Nw*ZS1~%8_{u zYPi9s*`lb8tOVaI1fe9l`+%tC#g*@0XgtOxDXj@qCpg1CjHV^QC%rl-ySUS-&OW&2 zZcKPmz+Q4UEB$CTJoBALl-yIjz(sUtI7+6lA+7nqqfU0QPk^egsI>N@&S&_)aB}Gm z>n`)X3>;L@29slR?R}$$1eGmv&+BuY4KR`mE>*!X;=@DkjbDA)I0dU(4+|U+V6^Eb zR)?+KaINSfvBO#){g~WJ4bX$VzCE zS6=$k@jIpkIH z;}*I2y}@flmXcW;PVu84r$EuSk?aHr&DNnJv!dVdJ=(@^F5EqdJ!AR$tb2sc!vkyd z-?ND;EylP`YDE~}_af|Eks9f_phYqPDuB&ogXq>E#%;8s^IbTgbjWnh67 zgyGLpmrc8>iy3go9Gp86Pkd#)0jiKANu8JPMSAzvA*Hd^YoNq6=UDIa+8@X&R(@}! zxklb?v%@x}_o@ZE@GXR08`9y`m~*+4>Ai3l4d3m&$3eMj+%OpxMMS=(ME4@ew8~lY z%p+q!O62#NSM#^n+^lB?2IuK7s2LHKzVxmDYc&yxLUzn{4u8iR4QxNna@}74>b7@{1vez(<SP{bPi8?gyRDKO(P? z@7BJvy)oNkmGoJ?ol|+yOd+%OLC`uMPv&np%dxAf)4^6>e$jbf#9meL8V+bLPTBbl z>cLnAD|Fae^riY?M3h7tPX{Q@3$4R(cRPh;H2ZmuLO3K!=q2xy8m?F-W0UXkEb#4J zi*aaw>&D(G!x8O~3032&S7d7q4tzeaM-0%)cc#vRGVYnBQ0mQ2b^BFDL_r+n5mU3U z!dqDoBPxTXMp$&O}ks)$b!*!EEW92KkKa zInP6ofe_*Dy_5Tdh2rvq@V$3^H{-&JaX*8`@64c!f_sSy`C=wsD;ov(gI50W;@re< z|0ylU$JlVz6g-?mCvfz|=`5Gcy%A*+a(5HMcenBE+@<&Brrt-h-UDTj3vl5YWwvxw z7x8q;QIK69f;9bz;bPr4^@20HSUh9?S5L-RX8yj*kiC~V<;5}wt8}^PzGIb{ChYmS z1F~7AQ@;f*35B@*wzx|lZqYUuZwfdEKkrtnJTdY$yE6BlY~E4nPZrXGy=Cd*#^>^t zEsd}8`v`%-jcSV6$&Ofm+?`Q!(ps>$7@y-*JmwN!QTC}i@RxB55RU1*jiZ9e;5>0q z1E%qCeVlm4rtz9gqNTB~in3)}i{KMdHu2hGfHkkSPJ|8misy}57vBaiQIGw87d(?X z3Tv%|)kB}PWLmEUVM0rN^Q>J2V=CySNGl*UObavyU&jTjOQa0y_1WoU?BRAaeM+&r zkOH&QTYbnQObG1oYFn%u2sfsg!LPp@lx|`h8hr6kpBPl0a#+@<_(uGM-Gn|j+)l(9 znFWNHKP}573MjAFFNKo~mT#i^onFe?O!Y@$r25=FU^yYOpYA^tC2mxv@H=F0wGC#J z7&Z@1yWcX-o%?m&_Nq7|Z`7!1xqkBJU_xOC&r(W1CH+ZkX@dEMO`&{i@vd?9fwxct zDtG#YyLl#yd3`ahyeT3kdWz(9*#~b3TMG>xZML>v{&AK!7S5Ftsc7Q63X<-!Ss}*! zt0sT%70T@7 z6@BO*QBgJp;|Tju~ssXQF@8B>%5EgFG$GE4*SVrXCh}l;7dMqRT&Aw!l4mU$`)F?=(rUWke)0-sZ#qh*gs%&a$V#8sq|Ft^a-~^rBUHr5 z+dT{TVnav!T}H7`bg(wN9(2F$^-^uP**T{C_TxzSmn*JjUpdNR^)l}h=FX|?kq25; zZDV*;zZ?Up?B%cQH}#$Wn%(LtwI~m-mXXI^z>9e{BQL<96!Q9(6eWa5Uqy@$z3Mf& zn7HN(;W8od2B4!^{DSk^0jtCPTS$qqo{7N&FwRD3!`q_i1?+~%C*4Mtt4VLY( zjuB-lo09@v+6e%dG(R`{@@nt{altoMU+>@!aM4x8k?)kZRX&7sR)AWQ~@c%^twqsq57`{6SWC|LDINeL&!3S*yOo#U{Qn+`LKw zHLwTr>6yohdkfyqQI{KV^6y#`T&7Pjf+);Xj(~vL@ zImj6p<4lQfYTrw_G;dVrHgL^4^-N(IkdzI3ja4o`%omWc{3xjE=L1|U$4y@5{WG_N zj%PpZPXbc0F>J&}PgNQNXrRj@>C_d(K%QO&sAwzZ+Jjh~#&myj8f<`{wb4 z+(H0=g%gWIMawnaib3tqes!l!I{IVWfqB+5@%W#*(KH~YE3SWdsAy0bPJdn{H3WUe=G;K|I`+_V>@gGn;aBYn41e0$G zsC7cb<(V>UCCsK}UVTgGat%<`HT~!Wr;;YFyty#Irs@a8qpBVGCTWU~^^+Dt@x7VT z)LNv2%kr>GVtyx6u}ueK`gnBv;}NsQA94B(KHsa_*>2bNfHUdlZ+^{i%fkG&c2jXZ2yuAv&yUD`OtKQP|~z3D0RTHMm+by&e}QJO=t; zrRy46e}CXClvS*&VAJ+P94~B4J#^_Ge=Gf3ER&KWiq|I# zCLTE4v1Ccs4kckTJ?8%FSQfd(wO`CU5OApilimU3l)gY$9g2nH3#aA&nj6IO*&(s( z2+%&T1jIe{PECPLF~9C{CJ0EIi>)*hg85{vr3cOe?Py3Eu-7ZY%$#zK5Wd$dt*WA- z*KPT7#kp4i>J)ec|F`dDkxg8?`-x+y>|ftr54||>$_c=bKp)PM z#uR_HfF6MeGz~LpRM!ovHfZvxkzTEw=K-02NARO8tC&$3=uTM9jT3po6c8$XSxy9&j(GbIfq7ke2K(_|6i!;(NTN5eok42yN$6loTlXdP+ zZ)2xA2!qa{znGy&X&yh@l}zYf1KI~b}9Z=dWFS1K-hri}b#lu51*j z#wNs9z8?nXsHa6z7o~(QhE*vz)PCUsj0UTmpx)VlAKC(YIp%>Jr}k3pzHy+k^#QV8 zThPlPz&Efz;eLqDPUc1UpiB6&3JoMhPSFP9cFcfa88!_ZeyYQT0p^%>ru;xN-x&T0 zWdESBDKlKZKO=EL3H+g=eF?h>$J3`at->DvLtq)=&-v$a{ijx)@56LcsfU(deSP*5U6Pq-mTWG8>ql=UGJEk#u9eO9=jyEa zF?p)t-;n4lrTX!LTMPM#4w=x9au6sLqt^gg7w7X11Rkc#0*2mmyZ4Q!f@6I!MXvZR z2wKcJS^*v9pB3x@=Dk^mPtQEZX#Bq$fpYTpuC0ovOX{B~cRxykH) zvMn^`Ph;)Q_ABcF2*Y=(@$P7u9m*OW$sAUM!GGW5moU?;i=IG?9y-<%y!gVSl@L7) z6#j)D($D**3oXtJ_%2R01?6c!^@9;;JTc7j`n*Hx@3;{+k-~DN6SDo z>8u1Ot1qFTFRl(4qdj0@dy%nySt`J5ucr0A>@E-d^^xK~<+0VLHKS#^_Vc!c@y9k2 zsjcU{Z_TX|>n?fN%5Tc@cz!0|?#S%jasFp&Kb1_k(q~Q zD35Vd*EG&UkrVRa6Az^U*!>`lV=x9;#6sRowWwg1=TQn(Z$33tgKiBULp(kl&$)9=Lgpr0W>F`alB?ly7Fjn?#uqYbdh zv}dYj?TLL^Q~&HzUcRmiudeZJKE0crkvUIlpuLS_;O9Sc1=`cv8OFhkRn-RjU(Pe^ z@8G7nu03QEf+yJGx6px=J^8V^{j%NL#4++9mN-BzKawTG`9`6KcbfxwMsYE!*>}qOo|s>fdP@0FJ+-zE+p$;i6n>f$18ucFNgUzn-ss$@CrK?^gz3kW@t%SXVfVtk3s&19qzcfOtoM%MUB$(+a`F z2PkeCXabwIeJ5%;TBg;y(pBzeEu`$XmOj^HU3E^SUXM-p$k9VrIkK$W(57h0?~4*d z^&3O$dp|v*7r%mcAVg$xe-b#j%8PV!Iu^P<1##ZP75(_#)APNpX?#fY;w7ewhCmG2 zL0g+A(2ItSft$$o*d48KWM)Jw2oSSpdp7*cKr2*lmWGgjmY*2_>&_(LuhM;)Ffs`X zQo~1=1hDFo6QF4t63w@OYinbAI#7u51-PpgBof$Zl*I`^qSrF92CdAd>?q0^gve!( zA=Cn8;v_(9(;Gl3fcT#~G!-Ux{2d2DIrQ$C|iWN;?DEc)J1c(9Ke3K9|V9J=4+30l!zT(`MpC4^OwMWP9G?M6v7BcXP!{aT;do~{W(v=4YqHCAs&wDQ&Y zg20vWq72aW=Ru_7t2hGAex&jzh7R?@TBO2VmtX(3e$kymqcBWjL97N_^zd_)mm*9b z`DYWGcH0Xg&GlwxSeN^ADEdGQGx*HxdRUhI8-K+N8dSvp^f?S0+~gU!SW6Rl)IO zGfhvBjc|`M5r`iW0G~fOi^=pZNbE1ytAn7VvG(zZZJn1*gJwkoz&Tq$oEhf>+gh>@ zXV59jPvk1Am~F8}W1yPnshO?Rh5v8HCEvxz@`o!BK`fkLVhX15f^_?c?H`1auIldx zD6u-Gwl?Fu?-H1%OoReLa~8-Ul-yc?9Xc*g)J;=41r&Y$q!rE1Ag+VnaL@OlfPlH1 zsDA6qL4o}P)LJZP_5uxSJx&Lu4r*kBBGNeMR$I<;1@38T6HICcP#7-<6%|G8e@za| z)7#HwSj9l0q6(CWhBde6j?h5)Y&k)F#jvIa3=!zQjs)rD`3#NldWCCM?Nxc)nq`lZ_KlAF94nR$iNfmh^Vy&}W-$pWeVwBySCWXU zxM8hk1#Gn3K2^ormN-_Us<6N*vI{tNxNE6s{>*2M=^&BicruTJSdz8BoczvI>wvOZ^|O3>j`HYx^5t}Upo zz>t6(Seu78sKZv?NcZPW8XHImRv#+P6tPRpPHGSa?z9%Xflt%GY;cpz+BD%=FaX0A z>eFfG?wAUsYy-d5f&H%=xOHomk-7aJTU<+OcHj*|rJ0rl}sY2c;aY5~2E z&2IV~A^W`Ts@yKAN;uuIT#oVm*V}-ntdDumq2O7 zSg$uxL0|y6K*evQgBs^hA!_N9U`d zmpz8w#{UAG&&n=P?|tnB-5@lugn|!X6hM1sD~MzhYywVhc20NoswjVL9&+Y^px7m* z5D%n`H}VY<>%lS&6HIaVidN)KBXhL`;7w*%P(aC!4h7@iz|@a|Dd*4ZYa7#OuAtc% zkVp~utY5oOF{5V%uofbltSljKVueRK`wR>mAOJ=t^@#Dd>*x+ zf#AI2@&iskEYp}a4%Q9T{25lU*I5c56}!u`H29VkAdok)!0$2%)a6#%%F`B%=a3|9 z8#HfDg4FuwO7`E7?>zi}9r6{EEb{fa9WjWyjFb+q^|`LQ?c7n~1_`ymvwsH(PdOmc zMysytOuoC5$n;QPWMl>4kZ-R1O{2J)bmANpdPRmG#7K(*r}6u-~n{Ty>m5TSTaU z#HnH+<7&cZh0BBfYm@P)_djREfzGxgU_wQn0(0EF=G_W#R5GbcqLa6oFygLLhD(EPWYZjY=~IPh)a&Axx{ zL+rfnMaWqsHCPUe6VSFm7tR9D4;a}e7q)tx$9RtV>laG7EK>K+Wki|$ey-Do?M3Zj)U(X2nnEHra z8<07^%%w^|JY{#*->7{y==R_FRzQOorYSlvfp+=PTpe~ASY6~u&lr*kjG2A^?*IMb z3%M4(Yk=4C*<2W?2jZhLuwnvJy91UxIcg_H2j?{aN@3E*&e@$=vM*5mYjco~(cm6{ zMcoEzc0Gt&-@!omfDAZQ!sMuGAAX~$8@RP*F{7=eLpZSb%75PHp1i}?rLR@xT+M`z zfXVL8gbg4AXr_Uv=MC5nOxcmYaUGK6w@0kVESm@VA|HI!@4v^tnCtbMq)1<9`Uz%t zvle3~dGrsOjDA%GdN{*>++!~Xm?%}sOr$$gy@9zt$%qXIZtne|VAYm);K%F%8{?!t z;uNvoCAGXTkbh{JNg;^M?-4VGF&FJ&mMr*{T&AF~6(1%m2(rOKG7#8;@90p$EGuVH zB|wba5>y1xeq+urtppopp&-U+NM1z4S#Uera9P1XS) z*i;X!F9Z+P-2v$1;B&|$E$$DI^RMqrv4HY2aoT(dEU7XHT>lJ0+%v@xK)xlg#6u0h z2KtB%a1KPQ6r>~kTQ#K{CxFx@IA61XS+_}LvT)259GroZb}0Q5`;)TtE<%2qHVCxOU#>`{@=!X_*h8(6;(@c3p0*NC!Tfx+DIE|S^{FGm1ZyG-k(fL=-=lU0nZ`aNC9hpfW~zXW|av{mCj1c zmIDox4tzjHJAnN&10MZT$XXrMHwQOT?lQkn-LBu!|dLGOO7_&xXi+|T=N-}Zgqf8V#Z`~IP>b**(> z*Lfc2aqRnk?B}x0Cr0{0OHZ8rAcMH&cVBibOQftbJx1QuFpAih`{$4 z75H;p$aNzFmN{(E?~1XMm;>g{mpxb^BH3Am)xb-s3*=u@9Jr)yxFwgP%NNl3Z-QP2 zFyFDCh0QUFZ7j;J*%F?n6}H`D)(5Y4;nFTXHw8#z6d)`M+U=uc@T}5AfdDjr zD zqzYb}q?qJaBZuPU@Awu!p%}NZBSjz4$OLrC8^atsTf`P;*$p!$sE{WXg87k}U{iXo z#ZxOb^YkK*YeMy73&1rKNJ7oL4tiWFR^^ktF+lTVbTBiVon&G`Bv#`t=JN0_l_a`Y z-L|Oxswi%U^M@ys^FhS7Sh*AfhV2A?a3n?*a=pEjKs2sZoX%k<^Yu6wup3u@KF>;{irAnL0QGzbHgzVvj>T(gMO^(BSgnm&&H;z@hBLAymoJ4#cFt(V=Xk(=8NeoszZX zAm;U7AB7M>a(SSlhco1i4IMO@gul$J_~M^hIQSfenmon2%~48C@YOm5A?@LLFHly_ z3T~yRVP4O}T&fa(O;hk@a$}a(NvHCS{B^kgd7Yc-*WAJ~k2VOGDRM3@#?u^grrL36 z!@N66qr(n9*@$=fjyp@LApVh~(HUlPcQ#w}f<}2Boo|n00+A&;O8- zhU@E2xvsL`12vgn=@}+Q@K}IbeNfRsWIe6pXo157X4Y&>{_PkiR6G;5D#yr4eMVFlTw{Sl1l(7@(gCw}{@m4NmI`-D5BWb|dDYSja+rS)50*-;Un4H-C@cfYm

l^RK%PQ$3rq zYl{77)|p`P8A-oGsWH|go~Bjw4tjCVS*XPRk)TSf_;tuGIuPvdF2v~;E~VriEeuUdTUPGOL{P@*9spa21Sb4@vgsL%Uq9Vx~B#uQDE2l@nG|n zJNWco>w%DRiTW&i=xt+kCz$FqH2u_~1h=JfirQ(0c2G+(8;40D{NzG})u*|PLVRTM{s~yZ zJU7nOqMpJ)AJU-yfkQ`~4Q5U?ES_9Ozqb^1LL8C_!p8`7rY*Aj@6~a?avJS@^5+6| zo)Y3Jld<6;*UQ~NE9bnwd|06dC>gu9*8C7Goi3xm1-h#1Zf%`U$oQ0Kx|dap71vO=zv<{n6hZjcYlUq8RQ&7mei41)N&( z{pahk@>NwSe3!F$F&kDXp>sH5`hLB!ZMuJK$XV{klV-r<#`ViNjC+5Ye%l~pxUuaH zZ(6xC-4A;C8>q@MqLqhXSu$Er%hqBO7@FORn|S*^k0jhK2);np*VG4R4G}}wMEwUK z*5M`c+c6($Y}eqesN;fZe?c)pUwc3xX{=?F+q&|gXrq`%e>_(Rp42{HnZ;*z2&w{N_o*pGRV+=0{UhKPyC8Lt)r})s8{&9( zMu*Qm`Q^CcP2K&!dhE_wwcaf>pBPgOAjfXQp&{X6Mwb60b!`J~kjkUFF%V z?>tQM5fp!+czoEEsO&`T8)nVndJN-%W0(*r-anBI?JMtnIC1_iOcdLX#g|E6M&%FD z+7NTuAgj!1g2r3YyQQwc?M}Yl`yYUb#~>%56^ob_SB_OO_J+cVRq0}t6nGK9e@^1|?f8l8n8h=vT`xT?EJ)5#A>|pQ z?%JsR-?Lgt-&jk`BICmkrsPh8FjyeJ-5`_l^i2Y=5E~->ZY-$)D=h(yOh3%b>g1Y_ zw$!^GOdZ~?x5%;gi;hd1vi%cflbvbVrulnp1M^=|s?6hP)=M8GeHZX%1A@Fs(c*c{ zNG^JI!j&!pD0QYBEmSIM(>&v!ozvg6mRDlt%YuC3#ve}SI(MJ?d|wXSKLNkjBTIBm zzdcb-4!%#hf>HGpGhPY9N)t2^85KKoPWyE$|A)|$T?(U>`oCGIqI5nIga%AFmO=_h zg#l7%3K+4@wC-{X16a{n@%_vcelnZ#l8nK^QmW>|zipDNRWy1Px^xew7lbbmsMEW0B#ni=s@}UjUhAY1{){LrP2YbeLK`aXJg|3x;$ymfgx2 zE38J&4YoOXJhLXZDIGFJ{k6=Hx~^RE0K+IiBNYAXHro#%8Tsv|*VWdXsq)#Rw^HN= zP=|Wlct~zx&d{{8De$!LZbzf6?XerqO#}Enq|v9v?#uo?I|kMBUf%+WAZAr~iUN-A zkd7tM(hd5eW(3Tq2WlWR!0ijRDkGX*j#wb>8ey{(mcU%ImoqmHknqU=ZCmYZ{HgMp=R3puf_I{2?u84GF1#QD5xSEjJ&3^h zdbV5~nzSaBN59=oj2PTom6{^~IruxV^p z+iR&?-UHWD_(ZmyZ5F?BWHn3pekEndrJN*-{^x# zR{k!>ZI~XJth8PwX`;&T=(nv>4=?QjY!?}Q&Fp2ktiyKu9Vy0j&o0f2=x|D z<#V_yhIBr1Et=P?mv^j2s~cIx4TG3jFk+-t~djQ2bq zohve%ok{O}#{ZpBOfI~**>@t9j@5(NYvnweD0&ydr>7+2CSfYnq$R|46V@Lq2lpIQ zA={G+jqLKCqQvCs+)Q(ZTbs?F{F#xi>?2Jq&?%|%Vboa7rYA<6T%3o+=w;+F9fNGbI(?Ips;gRwxG%uL}XjSdOyK}97*zkJPlz-A}vl`H# zZEBGxu(s_)M~Mfpr6erkco1@g#YB%)tkUj`kD%2gb1(C9XlAl1pV$yA`wc*wtf(@g zoWE+`)#ZD=OpgEhM4VWJf{UaAWm(=lNCZjNn|-MH+DChg_)Mg=YUUC69m8Ddw%ls0 zv~o*7o}4IjnC&ux{*w9#%AT1q6I6os4ImA^17LrR}Z#hEp}0O zPlpY?Lrt|{(jcUVwpfm{s1}Ppg&>;+fFjq8gokhht>s(Xfx@WCp-l1e7{(O#0C(Gt zl(ih?$CRRoCKfvWb1!sO27gxqE>ClytzED&yWe$F<*jQAm)tMNOnva65br~IFUpbp z^7)GHy=jo!Z}hlBzkQ;`_=r1v*>n;8E0>2UxZ^m8N7B+Y@?H#S$UHccrLr%6fJKAO z?P*ya{{u04ao$zdm}E$=`t#=*$m7*L2%cc5a*uh^hpk5{AAOI7kDIMw1OPBe3$04) zp)SX^emas~p0$CBf@@sfm=SKrdU?j*eDD>e09|SME)oht1&7kCM9{Yo)u>Dptz(RX zK7vg8Q~C_foBKd*weZUM>8F?;WJ?Qo;Ch<6eSI?g>^$X0O1Eg1l8lrF_26pAm;Uw?bm0s2^&MaO#Yu5oOF3fGKZCHUSl*R;2~<8uSLF0_hzS%)lU(R#L2g z56C7xxRnN*`E5oqCBn@|dwenGUQL^?G}m$VAd2sp43->~d-Ls$_DxPTc@NHc2_b~# zP$LP^@9!U->2iO>D8^i}16t+Ostf1%Oym{ykTkR8K2Bfts1>GhAAL~RIz4tKs>nNt zYIP7YpOTF6ob>04%8?``0VvN#+M=IN{(x!dOL_9LM#CSUSY-V_$S^M&?c{jdS{8MP z0;SmYo2tVU_!(f`GVld+O|^ikWs?@+_(-3AI}}pj+aDIf7+r2*EXD~En6|$di4zOR zO_JY7s)OkL#r_KK3A8Cg2&8DM&za3~k-?=vO^wA#rpM@U$8 z`JdZ}qRI*+^N|>p$|;%?TRA-o&;)Mx`|UlCWQ4I*;Av}4vF54nW7eu8ylt?lmzS}| z>1)tE+^4R=eSV6woRj@gpys!m+;!BH+3lnfv|hU{%~A5EI}=x@k_7z69B%Q>NZRw? zsWUMUbAX)hg6zE$$=Dr~R^k;A#33@(#3o%Y|J+swl#UM zm_8?V-ry0!BIIiwj8|4=k1OB%^&A{?QqZJU%^ zF3m(p@5dNQMtEhLpR*}U`uiAY-89-R&AUK;wlWLy<4{n&7dD*mfQ$eH#=sKK_Nn zh6v6wYJl=iXLwHw0sk-L(jZ<)8!|j;x^?O&5JM6h3y&?B+&kV{PLJeoa&J$Tlt}Xu z!U~p&W|cgqw^|vv+xoca6L2d3ExLPTEnl-};TjLk80AW9&4X#cciJoV9Go-&NU+J< zpR8ajA}As<&qBOXP9aC`!&+omDL2nr*;2Mg#>VQk* z5q0ATuyGv68iDEG)#lKB1mydY|GWmA(X&?)fE_e4b*Q6gYl;+ZcL+H;FqIB-l+8z` zmn*bYo<{)ov13H0%2XrlXAm(%ce!d7CxY&l{E_|!iExbU+27o+?=R5PgEG=3bmDX& zM;5K{UG0MhYt2rl4}yTG9!ukgrhykL%XT3G*@D_9xhFXeByEjSI>Ir6Z^d|L?Dn(_ z{d6rA+L5b|JgRD_1>`{J6#?KiI_*TV0%}pWJy(-#RD%Yw5AtVGfk~yf<|#LI@2-g< zF7scw2)JPe#QSy)2q_DTH=l4uim8+FDXzN11CO9^9P^>$m)8$jkfHx9s3GS$USpql zJNbLp=A|EW~ z8n~R1;ncnp_~-fjw`gJTR%G=nZ0BPosGhxQF-v%Rx7{_Z5}nGo?EHA&fKb}60(p2# z7e+5BEz79>3H^K<`m`fGg9F{&YL_e<`qmDgQh++sQFyn!bB84gexGkFXj!^$l0PvY z85S?Up0)D8IQ!IfA3?;Vo0U6wi&Rxx)@8&&^R)Q3f@#93-LCIB=Bz$^UDl@dwQuk1 zVt-7MIv^5eB#k3mjh(oqxvS8i4EnFVAt#k`BH(o9*o@_{u%@24YO5(K8dJR}x-RZF z!YVSxMh_7Nt#VahRNTlD>Zh-mg0cLxe8)1AHHRpUGXv0fyOJ>FN|!a)Do}%T8R`7Ug0m$QEZ=703HsZyw(3LO+`IpHzGC5sWkiq-nttM%5KD z1U8DTK{5WBiU{T%f>=0YL6`2QR)*wV>5qVqcK)cxd}~>?|2eM*S_e%0#C?BnV^Z?L zsJQU;plByGa(LFx#KMiiodkH0YTSHku~IUMd-@fOd!sa!9RODAkmmgf57Gj<-E;}* zV%9QeuOzxg6^Yk}9xisHcIz>z4ShnJ5KR%*&4GPlR*G$+NyD9m6z%_@O%KAly$9Bhk^?v~!+63X~!vwS-iR zU4CRRrhn%5V%=mz+5FGp*3tI_=&fc87(W0|=swC73nFqF>%369EnO_@1-@Zy_4Ymum}7C?MYWq)j+;@k?*p9X zQ_KP$y~}xb36z6>BXWy!Gmtd#pI${a@Ht?cpSaCeSFhL;frZ}y!=q7C4_5rfcJG%& z9j$=6OwitBj+|X43@7r7sK+zEvJ<73uz5b@L$x!vuHB3N2&eWp?g;<3@aE`Sqv(P! z#*85uFY&9`BR9CS^7UxhQLImI~>L}D85VvQxSs=X&J-MAf3dXLHkigan;%Z zo9Q}oZmPfs_63Gf)e2bssUL>?U>0=~EX91>^Xur|t+#i$0>Lo=+7a{T>#?!A(TxcXyC7GG*b@b83(ir>GpNk9!H}Ah{>DC z`R33yuazWnW8+sWtZvcal#DB@(2UF`Oiab>He0k#GrWd*bL6i9;2o&jK|h|L&JgiN zWl@JJvpq$*zjoi=8qV_g>1a*Xj{c<;5yxvN4N1RiPeB7Q$Lj)IrF5&4uo^6J8G-VH zt9FZDV$s&(hH1XW6iNJ> zBGki=FDdftCDALFp^$X-n>mI=#}+&@3}IDj^l{9U-i8d-6UC#g%A-d%l=j^!roz&ORt^!FM`qOMg&W+kVY;F@7R=*~wlA$g56zK?9%OQwd-GqN z6tcV4vMkK4BR1 zeDYd}P?wF=SJhU5hH30I7huv8iBVkfKll9FpAcQt%WSs4UQ zdVJ*U5qzNMt{C~_S|^8){?tn3G@1b|oa{OcpG$?CD`ye}Obx_(Ba&o81(7=hA7S1@ zVNe6qFA6m_gKQ_$vV2moO3gTln9Oaue+07YLc^DCo9EBMpm$~(L#xw?LJURoszksa zubnBdhIVQBLFR15?|tH{_$UkiN|%Iwuf#6ql>zMlL2LbHmS9e0sviSl%0rFwhfTi; z>&@eoO5^4N2=AnL-yC2oHOdZrbs%Z2ukmH1dlPNY?Nzijw=mP@*7ftcuB`cg#!H|i zOtSE&*$_N3Y@w+xf6H<<5I8d4oAa6+O68JI*o$kPbnO1o!#RxH?mic_K11$o7UJKI1Nkw${2PLdwL3VHTe zK9~Qm=H-5L8;YmQgaxHZnBevP6f3x!B?5 zS*dvAoda8mE+P_$q=1J^NNh*d(;rbT`m=JJ?yEg@?5vl4TR_5pVE;`mU%#VKhez%Z z(7shbn)x>gEZ?KDw2RhW<_PK}oq#vk;c8!~sr$joGL}~8$%9GUaW;k!JUuAqyoNED zKRAD~x~8fjs$^Ct3)`emjB1VPzEgEx`T~F1h2^mWYjkSxG6U(iJ+xI>UuQ!N5|U3_ zZaYfHT^7-5i<2>+gf7}i%&8i;ISHHpq-=Q(DG|x`>~>q~rpov(E0>=si2dbAI`7L& zfb6lM8rf(r&r-qXqZlrRz+Ebio}j1S7Ob{I{ERKwK;v61urOT;95wAOr$2s#CMKYR zmE}hxgDeF`j--}aZg)?RD*X9~)=fh0psBfAK1(qDhKjeY>7rg3tkh!i?yoU%i6rWi zbo*aVTk<{wocDz@Y@#lbO8%eaqSN_QqtN1+UuoNP;#08x1e;q7AFE@Qz2~cA`VQVR zyzjLTyZmjt-OWnIg|~5<&dcY=K7UwB_Tzd9C9Fj!e9RbJWM(_Q7`9I4gy+tAdA*!- z@Xc<$#~+B?C9_Z@8dfOTmMQ!qUH@A&gj4Z)YWy!eN2vVRi)tf z49_6lrMs#sw#yq-4Qvmu8y#*{PT3y9zK|@~r<|oDyf^dAXIn@sI%$Z6j`iwLK4!e) z$fu78_ZJiM*Ridq<65;6_BwTa2cr&Yb>D}s?us}cTC>$I&VDbyw+ZXw7>+t&<08ff zG1U1^*yJZXg5JthqkN~Tyl47xR}xt3PgE6FrC&U`86W$AmOjr+XJFWgFf)1Jw)C{* zZDkgounHGf3^_|+)-c9#phW{6%5+Y6bxwB=M*w=m`Z#)|E>Q?%WS%X={XD zO(!Uf($UFQiynxUE^BOQ1vj$C=)n`HvZb^8uRvIo`1^(oL-}tQ+~9nB(23ee`USv@ zQLtvyUuE{h+wzbg-oknnd*bBgsC`2qp&Ei>o~49VPYXO4&D8MDbMuews3w@&%YuUjb34;L$a~%klG^vN6VpbL_Yxhqd!MdN0NLLTc z`~aY%t=M|32b?d-ZB2~m?E*%3CwcxnssxbSs9*>w8GTI^t)qZ=B(v=7FWex@vk>Us zL9fnIn1^2$zr!71)hD_Qh=r_PDqwe~o7758@oh<3`@@TMYU3x?o{iYDgspoNsLh9$ zG2fW@xu*lGm?JHCQwoyxu3i4J@xt|d3wVYMjqIGc-fY|q`&hR9_+0N z0OSrqB18zoEhvjL#GV@K?;e7GGmRc2dd48+Xs4K9TNYq+a{Hbp+>E_aiP!X@@zZ+K zNduQVAJ&w62xZ0pDRW82quq&3Rft23xKBG^LLk-jWje=t5-4CRtBd^>^o)wV+5BMw zHGZn2#-q2p#;f2*jH^Cqzarl$i|K2>d5)kdB#T@#KbJ*CeVHqQ;-WfEn;#;Y(^CTI z@Zz6;?qflN{QKAO{u8(accF+8zPE;cYi3MM3oCjd#(sq)Y(L@d)PLkgSa@4H4O)sA znQ~M|6XouR2~~cK)6+8E?YbMC!Cw%<-#z3(s6fHASVYu|q6O>qf3Z6d%pg(n4~C$$ z6g+H-I4PV)=|Ahm3_;kTOp4_jGUVui`p!j*0<r*_CG> zH^pmw3x`03Hsd3d(d6s|A$1Tj-~e@_IE?LZZOD<7aVsNUUS0DBrX~V4zyF(xisv{D zf0f0Yo~OmH>MW#B^`8sQJ{wuC#g)iadmb?0D|G7RHN^(>1n@fMk(a`Q&3ND+yylZE zc@8!-)0RroVIskBI+%|4L%-fM_B5GUCUBkXM^bL?JrBH0bGkjBX0;EzXFMHqDmL5ba=X2UC{EAlbJa0}@L(8Mw+7r6HR4-!1k!2;Sdm z(Cp+7O&41GrD89~?Qt29u(`DTxlL`W7!=nT37zD2x^5cZxUE;N4G<}afnATjo=(U} z&s%v~AR?`6rR}0OBU^LG0fuCSkI15~9h}~Txnx0;6xQ|4k0od+t_V#ke@o|Oc%LT4 z4w}+Cka(ueSfo{pliLt+9H_e$$#n&p=TMR={$n1O;L{rqHeD~#e%}WJ=G+EOFAZe) z$vAD-AZEc##m}Ip|7qP99z2Tkds;4JT>*3ZY%kj(x(lWb0DdP`+o1+$BR_R${Aa0J*TPP^V-OVw^l*^w9` zVRBbyPd?R8Mf0T1y{DYEJZ6|`KR0op2C*lgM+VEf=atGVYkh?yA5JT%{l>~N^JSE* zb%?^HQNR;TER(dQfzqdb{I(^rQgyBhzb1C!=2;vb&eq zOeWogT~yn5Sua&!s7~ym|I*c6H9(1!|78+rbzO0zdgskHu#TPJ@>~K_+E?#J%N>iX z^G`>C5&cdLk-rl{%1nI8d`BHjc;ARr<~l3{wh(rNn2Jui5qJXwz!03jm*g#-*?-!j zuAN#!wpiG3ir@c=ypvTytN8Oz`G|&zxX$QGLo~n2>YezX`@A{puL1zKr5eyb%q=n~ zsCpIJKC-DltMF)Egrmv8$WZg>rFIS0ID_s|XM{vRx(Z^8Dlz7*X&X?saVG?MqLqL2 z6&-i~hUMa}jIQ8>)a&b)Q;XFSJq)o>)t()1V#yqE5bMMTICG#NSW{jS!m`gX!R8lR z$7R21nQ%MogKZIdggPOv*{igVhW08_NMb9_MGb&#N&n@0w;D3;t@F-hPQ~w0z<9*! z$IH(KJ45@~V@t{WvLT1&n3j%CbqqyCpvXrr^%jX0iVONS}zFn7kRyU>1>b>XbCjr5e9$2=bT?V(-U37WI? zfbN4fa%aU2C@|McCVo;qQ#yrLl>0E2tmjXRcIxFCZ|I6cY+2BdpdbDp`c`}ripC5G zNz3Q|Lix+mKH5-p&_>sXEh~LRnCgK99|A7wVyb9RN8+-3m5Yp%b#3^r*&v3dXn3IO;E`2J+&xZN`;D?2pJ;1;Y9yoFy#sm$^~{M?NoF45BSt8stkrifK9GY*v5fi%5D4U=zWAZgEe z0qt3%ZCr5xEo`NyCQg5*ZT*Rwz`lp{dCdka;Z(yno3m=m!`Y*b`v2AG&bkQvhjkzG z+HOX4AXa4~Q85BC&N8L^jRd>FSMIGP$qnbEA4XwPM}%5=th@;3{UrGlm}Yk5J(+I; z%BU3X3FN~Dk8V3MQ>#=P@DScR+}2MKbr=hqNMaMIx8;;~VP6?Yg=ajwLm3&pm@RbY z1(c5$kVeF$Ch9jeK%vwNAv-nV8umTAm~L4iI?Z?eWEm`hFC}{Z+oE`+Y{ftF(!SGe z_X-+lv4`aLS;Vadt*48?(|gO6iN8u==w8=hzI7Ij4?r5r+x<^(t#m;Acvf#MaHQx& zS;7WbJ%VwerWs@mI&yyWxp->se(7jrs4QO)wC^5C$WV=0uctSH8Hjc;bz}m6n(6-o zxBGhNe~;Tq`Uj!)FV~ZW_0SCoTlZx9o?p;OXhidH2}J6W!sP{-l3`WO0H9`ou0-mn z%tljT=;C&S746C`33rgVnq$JJ5eWPTdP`vzERIXlttT<6h!reJG>jm+n6o)1(+ua# zq~)X6MDWIsKk(baOcr=>aUb0ER>2>HT4RjWZ$e#F37x#yze?KXvdw50a{I_L^ffWn zm@5zqd>ypV64Wg653m;PE(*liF=j1P+?)xE`OQ0aNF0{PqH*1fWLElf~m!pdS}@e z;P(va6v&#52L%gsG+pFpeQ>Bk~_WGwUi4h})n{O@gkhBjiXxSA*XoWF3b`P$JvbP(kl6}{x z!zv$CHbJy|g|?iaN{b{{5yR?7MMa}8F92whQx&iCn6_=70|*w4s3oSbr;E2!zzIC3 z%8$AJF1!I14fPtb-Hapso2DBAZ~x#xXK`p?xZ{(-PN_=S2__qGLe+kBfNdl-GjX}97AE*lsi-e{U~Q-;3Kx746}NP_OjZ0LivIO5NK|KGbOT{#%n9sFZ1bB29(H`E?V|7+)b1Woz5Q`-Fe@SrAHS*V4YF(O zk|yv0m{aJWmXi|t3%SR}3b(ebO5yMiZIbvHA8*l_|$vtGN@`(A+Kz9z7MB+%2u?qfa2Tz~H(BVvif@pD`F(K_pF8{RXrHdiKqAoLa zkCk*r^Rv9WV3Fpsp)4?ZKQvu4F8{j(!5^7o9g69IkM>KqXuMxX@1d7JHb2rj5x2Gg z;g0L>3oLn7NK0v_p2g7(e-}J_UsTi2??(WHfxaY>tVh0A7`M^hn$*_6VY(vkzc=Wy z`GcP%-+&I(%+)!Ec9WoiWGI{OrVQyVF^5T&Gca29v8H|cA}Ui!LPxC;7(`{%$>9vx zxdFrh<)~sDJBj*FKS+nti#fsEulfS1Mdi@GKY9mXQr?gZXDp!6@_Lc6V=&8vE5L5T z_rM6vkf&bhKR9*$Z~DY2-X@ktX&&ipPK-LkR>I2`pF(nvFcWT^w0_bT+5CGNgoNRFSY#@fC% z#j;>@)?1%=V|`hR5sL!pt^txmmht!i3{io3g;A#$wWRWkP`qQkin-bR5$@{AVGOkZ zD=_tUHy^@slumJrU;`2alFoF(w7Ii=|Erl(z_?!{g>EhwgGuz{jW3A%{@fujWMqUgL9lt!+NReR(q!q zTfurU*(Z7a`727_4GdanSg-&4M)qyR(CyivQwU?kuWo;+i3I{_HhI?*o`lYp7_40i z=0ks^M3Baqkp&9!z;MN19|N6{BYG>+3}Gs=%yogI6+}EQ6+tm6N@#9RH(VFpK1pwNjjRP>Ja(JFdk~E!uYjI==_3X*RCQTKm|3{ zehK5;*MRSA0eNIV=3Ect){1gs)Kzs@2}tC2spca&Pu1~_K?v$+&t0c@= zD~T%Y$beU|3LHh=Noof#<#TC9WzhMb<{;R+hmMr?ruISV??_49;(Y)mXIBQ18pz2! zZA)3Uu{erZz2C2YEG!2&5B44;H7cn#s23hjLBFv8WkPN#q}?30QQ)6k+#o1R17=te zck0#lBhI5dqBx6+J9ed~4=rYpc?5L7IYfc*X_kSB&Xl8EQln;)=lCOEE5%&wS-Mb+ zrO#&rT8l3~COV%cB)qs>Mm`{A?3k1AT4pfX6Kl#J%HlpORhjkI}zvWenLbKyS_+U$%4Vbzfj zszV^GZDFHM;-(zfqo#V{Zo5i5@}#erJlRa>mbpRc~vXBE-67PQ+w%zdro0jgs>ClR)Yb{o?> zutLjwcTQf3Bl_|?+$*P=P^sNQhXuNSV^zQTeil_VZ4=r2ndD#-s-FYY^!#V)^@@uN zz%JBJBLH0q@>RsBPqzm5)Hot9Q10)<60}ir;ag*e-O@-|FBfzSi2$tRvb*&Cl25l& ztw$~z)SLZQ(@&HmG`k1btX)3cS@XG&pyZGvB8PHNzgB|VDIG=bxCg<&(w2nZ|0_RE zx%?T&s#vHnM9viKZGF4kehp9~V_Sb}*S6Y@-VR#$@|FHmK1!|0R52A-sw=hQrhCaSP38<6mfxyw>U#iysgZF^b|CHTx)*gxVXpsfb# zq=cW9{gPP_U0mQV=9XH`qe1PfaqKfDH=MC*&+4gnFFljLCF}d{1ENS6rpa$rEE-n7 zhqEv=Om4TdR?XdX9_(ozMWW)4c(#B|)V=~_tO0CO>xJ0FS|%M!FOA)^*#f4LK9$;1 zU~BS$lZTSFw?_}H&N~}6(SiD+6EgM2K6py?s=W58`;iZc3I0X0m@R|%>Nl3Z9j{ul z(fWj6$+5CY{>#B+m7SeFzw4{VQRJz}cOq3wgHThN2(5KpZfYog0()fm=3D}T9GsRfR9H*4T>X;b0@mwo0T#8qQXpj$=W=|oRYw843|6k1 ziY9+Q%ZweW+W*~fe@U#%Z+x5)`0mdCXBZM`zX&g&F5@;A3Mj1C3a^D<)*(7PHa+@% zqsu+WRj9piqVX2lHHhq0uB?vX|GnuCO@&47bK_o714Nc(`6DvUsNVhW){4k@uBqCR zg)Iq(DHS3N5iu+qx&b4sBS>^T;2D*S8bs_EE2`6X^MB9HnEU}c!|z`$$0w%iU`=yn z<95TGNWxH+Q^<(%$F1&8hzjS>U*n#+1F z&RN<0qF`lDVXI>6@T*_*Gy_ENKQWi7o*JybX$HhLu3#)2`>|$#eG$W(4xs-%pEr*A z=a~Qh4ga6LO93lELs(~^R$q)|M+=!sNYb5G@+D{=zXGS9)GU|H7$mw=(oL8cGy;s0 zVDu5LszZSg08Vhx9NSDCbl<)H2sl$~%bHI?=84JKS^#oNtKV* zYwXQ`dVEc|wHOO*Qr>-Rk5K~TTIlyNxGgTGEF`fr2A>uCd4IkN-aI&e9CHorY`=t1 zn$fq&48E={th0z%R4SQoLycJG$c~fK&f(aA@Q6-!eBXps^d9hT=kEJRWbev=i^r@c zi&I>y;A(C7oKL2=oYj@U953Q=NE|1sSelG24)HQnVw&+u9 zBW+d^h~}}ZpF^J`JJ~;(Bvx}+jN~*WJAZMJXddOcH~Mrax&N(|$;d0qdo5k<1BzYs ziLa7hH#f}aWFN=8t$|#^Fgd;c)`5n$ZFb_K=4rrKa{5!^`P}Se70V>tOx;Wqj#nDl;g^fbBn}>LmDRSo(&=^d&fK7)$oiS3Yuy?X z5^^VKOiN08#QDA(EP}S(%=tbITDWV^`5QR!hpz1e75hE+`l_d#z{4@HzudFrn(M-0 zIF;@3>58D+AF_As_P%6jY`MvSBKqw6W^&w%EW&C%+ro1hcC9LzrqJ=4(?gV=W?r47 zKi+4xk`XWyAf5Y9kB1!mBG~Is@8!q~P66yv`*Q%6Fp<5;m#g}9=sWcM%ZRH56&8s8 z@6%6TP2>^`nmT9IvN|x^fe<8!pfE7b0HwAVnl(G??wj=WEX@CF;7P-w^CSAdHL;jp z-E?j38UY1on=2E_lKjzEAOfbqw$mgCZ>oG@!%wk#v}(cTH@%~y5;TnHe?e1TF)ok& zRYWsyA4B!e&qY36V&nejAcYAke~;1an*D!xgKY(XpKHUtx0E+44StC+93T*SYZq9h zoeffdPS-PW98*_u=dQhH$gG9tqL0#VolIAr?I8K~f<(?AkF^y;VLaRxCHagrEmrCRqXFvzC1nmlTKSqwCK{yZy zwsIZ1UIXJo43|*XIyNXWWm%dEiX%UB z@Ijl7_r}a$1fWCoS5xqy5SIUP`Lg$Yb(gx+uXcxZRyp%3EWXfme58H1+@O=;huZ6# zT8**8^VHd|zr6c}7Ks4#zR0v88C|W9cEW2(cfZ~)VVgMDzY$mXzTULsXvy2!D3F5k zzupcMhLTdj>22#o<)7P*f3b3*RLhqmeF z=Sn`iTlnLagLSuOWyr{PzZ09_5|&r}*4H@!8Au6Cup_QI*B>mw4s`(lUzQ*>oIXz< zS+2fy_cg;w>n6!d$AF9!af8W5fHJt15>kbF%}^I|GY>4NfgM8R)VZsd4@XRU16Ri7 z1*4dJ0ccV`tblLjr=B=w||%e!ze+6*DU${a`l!m=3)CoG$}BD#C35#RI+Qv z0C?Ogo{2GB?KrJRaV>T+kZm3}uL-toM`s?LVx^r?q`G2!_45_jna>hJM??vvL-V~t3;Ho$LK>kdc>gSK#P7s#%&VRn zg9DM~X!PeA{k(P&(;c(tbOT9PK-9>&&tIe&P(O2m@kqx3W$jmMTCYx+ctBG(3rWn5 za2Vg)Ljid11no3dLLRm*b&tN-d_@vJJ6!?g^XsqypWVaJ<-(_{oRhNat(+`;F(Bni zG?zpMVbh$Yj)OCoGgYd2zbse$6tq16PD5+Pi!Efo0XX^C7nx6rAa}Nxw-ZmcVB2HM znWm(=n7&du!_@Wtnb)GOXc4$j_-y)#pN|b=Ufze}`A2WzOOw`x0YY6b{; zaUaT(vJ<~uiJw)}Vi94xvt8-Z(~wD?!;s)_{S9txF(iDB|b09#HA;oNVdG9vv2&H50vweqvWS*&1wQ8o$Ao&%)w7K`7 zF=q3RyBB94*vY{bZ1ZiLb#m5DdnoJ9o`BHqC12blGv|phMc*TuhZn~>i%&hi$5*y` z(!4vLE=ljUym4mznvMScTbl0=f0EkY9eDZ*=k2VUCui1vKKkxz12O`^V8csc^RG_4 zYMsQlWA-rPV9O*m?E4qFzf5)QK%+xo@J>Uq;S&iD&WmI%W}iQGb{jksluwIjT7}X> z{)t--Z1niA(%sehow&1MbB}&|Sc081X3LB48`-4$tDWNcnq-~4LwxeHE6hHcJ2tYodfWN-}AsCYWwcOA6JG7 z4x1lO7}6FCK9OEnaB)+l)8<)6Ql84_ZN4mjYc7n+O@C@XzfCr29j!WNxtHHCUJXEa zPUG+V<`KKP)Oj_lRNm(;lRa&{ed_Nl8Lv=d1%rLJR;*Nh(4#p;{k8Cfr4e7}3cnV7 zW9D{A^Y-{VYGF4tpO@x#@h8X{7=3{-Pc+YhyYC=-zWO{Ty-AI_1Gl&iHy$Zkgl^>{ zk*#?Xyu%*>#k*>QevuoIn*HN08CB%mwk^(%O3nKmzC1B{ZVY<$0pRmH2 zT`>i*$-rOwZ@t=ObuYYQB*~{(Nh1BpjJ@32*;~EJ9;(o$cW1g!*WBXTD6rYhXzIbU zIY^nzfwxSLx_p1?u6<2v7E+1Qy$8P=9ZC8Y5i(=wWik7VJ0geY`VWQ*_!(>elK5#G zZhv^jG5Zz!#+{lkaC%O8v&wC&OLEUOQc8PA(~mhT(B^&bWs8M$o+Bfic}cALo`lnI zg8c-Q*rl)cYOYh=fAWE<*!{t()b*eId1ZK?#1=7qCq+hn{CEQUvp#m__2+$MY?Gid z+&u5y+&fC36czw5bG>~|^*S~aY+$aO*E`%k2(=e8(RKR5HA z?^H8$%j$Qg%hh)TU;coZ<=wbRvgpKem(jyT_yiq=Dl89 z-U+6o-_9wY-Xk!=>&U*+C-mW>7l#krJnFnteq`EI_HiffjPTU;COX=``To*+<eX>tGkxO-U*ZLgUoSilut`US&0gB(80BN^@$1M9kF>`qt{m}q<=&+h^MP&V9SYGO+*JO)4Sl3QMn z$)Y;F2NR37){U19Xn$;4kd`nDuRS z)Sb!$QJ}PvhklLfmYtsl^Hup~^E|)?&wvrI`-XFd_Yd2 z^{T_8egw3Q$wSJZj(|RYZ^O5pBh(CMARncu*6*uR-|(&;K+-tZ)Bz=c)R5cvxgTlw zaG75&>H-@Lp0+?HmGHACbnsemYEMGtiYAa(-{fg&cv_^ktoxTy0t&M;EzY4P&Ix(l z&`nNFt+{_<^nxiUCO6sE2gnhkcE%L;oRNRH&}Z2UA!VfT;=hN7)woQyFZwjo>F9I+ z^~ltw_5B9;8w-oO`0b{LApzJXk3Ag1i^%7|F>v#$$$p*C*6`Id#hKaOcO7Y21qF=Z z?h26FL4eC-*E(YY{^EGm`k}k{keZQLJJc9c{mN6nfl#e+w}GMcG`~*l%-n{jx6@%1 zPWb+i4=rCyt~yojuMqlo-I~7WLthk(JENVR57saGeowR+7CVXILt?`E7#-nd>c>`y zdraL8SZ`x{K79QSx(;KmYae(Sz9Vs(+oQ=#P8Xe>DxmA2++8+Mi)Y@8%;$DbIMLtb zckc)~BauAa?SUsOHTVNaH&4ql*FrF~=f2p9ZF)S;$9|>!bvR>yvgtD%Sn_x9MydE{)+q8SpJpP#buW)|Dm?D9M2gmk&T)*Oo)n1`l8_l0^#^`&$m@Xh4 zo8_V|aau>NE}`N@^um!jF&?|dkDy0l+2C4TwdK;W3A5A>Jns(@+rIv}SoJbdedi#H zed>7!bR;iAPIb|9@4R#HA(|V;Qh)H)@*h41fy?BjG(SPGw5wb? zfF~_B$4u4X>cgGhKUOF-1Px9X-YnK0wnGV<&77DdE1$GLt+Vh;Mmpa~ae1?#{E5)Y2U0U#Yq*;Q&$S$Tq*ySMR*z zeV%4M{It-i3I-y4^#)0Yu0+1neja0gNmfzMs z7Bh$2caPo<`=$MSS+%E6!r43V)+-~{1;_Y4`u?nAlEu~iM>ZE=`(CU1)pZ%7DMg`A z4?VtU-w5V<$H?4R>3tSuHz>Upnj7MowJ-cTRedZ&)J%!(tOH&v$C#nnKR)#(~inWDdlJtVO|Mof0>Grk08Job`t< zGT$NqaaSu`co?*-zBV&?_G^ExYx^&|OLz=>dQOfC?1?=rvB>MF<%Q#%Rn5r=#kp+qI(6TJrf5r_SDXXWHb*jPctK zF5}(#r6q5u*`P4)X;H*J+ZnRT&nq9vuFgHHbMnB=3TOg0OxrIw72YoHd%{9!hG*H2xq+43U%95f6Pr6?VB>ou zY4GdawQ75+1(;S^ahLL3m1Evd{w(`xlXljtLtzpMf?ur}>Q`ARPoIgsFS#Ie)sv@t>fou-6(us&l4BqE@?1Mr73sUM3;oHA;(v53e86*+f`0B zP(Pi;{CRP6@c!$H(Y7xKwC5-*^jv)Uc*=njo_#WTsfAA;`QYh2TCpkryulLl6A9fv z7Z^>+8RShVlLfQ9+~c%o5o*tt!}Hh4vOga`HzIK~T5%;~Vet93sAaVq4_Fj+Z#}iMh%Wh-6Mmg7rbL_XIdA>NwNkfYLS&3D&aemAL-ECy0Ul5}d`fdH$+P_k)f9 zpuEWkOTqtD-FXEyy{%DP1StokNiWg`LL$8d4kaj6LJ>4HL8>T73kWFEgm4K2)X*g& z9chL@q)1Z`h=3fL6hS(KVx zVlD9*$<#!5I?hsbyzg&V!YK}x=AapDQAy!Mc}c9Om`A25(Pk*&X%;%8pRy!UWa9`M zwtK`#5&_fZ`kV3_>+)<2g#?6n2GY>m>x_X+16!J=n)NgM&8M>V?>x?n5 zql1lCPfC^1G~@yVJshGs?U>>5_H_HHBi(zod46?f0$p8xti$_{AbN!^22;?u7yZT3 z)`q`w$qMuZT8w}t`t=-l%iAKTYFM*dk7q*_+rzQN#b`c;IpM%Z&+8kn9QfEHDQ7uo zmx+WD7%DII0?$8j7?T`II9Hj=M4hwIjn71eWWap(2~a_v(bWUc0^`P<0MAH#-2m^6 zF#9TQOkn*si>`X>k3AJ?F!N)0g+*;VTQ@jLSUL1y7B_+r5aLQr#5XM6~tuT8Uq% z>#p?l*4cl(gW)=S+=K*$nLmFfPv7<`TTQJM-6IOr8QMveDwfoQgDU+i+s<(iwmK~R zmcYD~K0BQs<6HX{t1Zz^=s_~GuF^*Q96d=XJJpb!?$@l!7|eAz7hWh<@#vPXHc5@8 zINd!z<^w&4uCT<;MGh;*RW7H|B7uv8H4GZw3mEq0y<#q~9|Z=#1lE3V zGG^72wIEqX3wPySe(SB`GG2ak$A*$@*jP$vHMoeS@UO~uazMVNb~agdq)``BZUmTa zX5UU}{5cPBAESc$QOSv*XPd9PxyQ&s{>iDmenRBU{-@zj8kW}7anW!F>Pb$VWdu$+qt&k9VGbc0D1f*86)U2W=<&$|U(XE*|H$MwYIpIJ=todx;Bkr70`z`MrQ1JEGZw7Llrx))|?+v!RQgcJCgdril zg`H4Gc&$UbYN_Kz5h`-}dG^n#O{T5Ki2i1|uxM>}F$9~rCS&MLK1(K2PUVd3(H#R= z5AOzF@GHD|wEd?B{HMnWeU%sW1^v&&Irgi~Yb}KZ)|b(cF|6ld@OsKDvNSOz+jK!&$rnUTktuy=L)aj|X%`*rdeVGNTR_ zw&_jc>q5hp**HfJV>_KD69x_S>HTHL*L%lJnEh-xiU$#S7~EP?q^BQ~a*S%Gwx3Z; zX<%!-R>uPk#){u{s+J4wEDL-_J*x2*@(O~Zh+WJYPz+gEA6~_3ux~v6x=)RkCx5~> z)cv$m5HtU7S;dd%$3R-%e#qf zEt{_w$KXH>GurPVDtq>(djk4ZJ&lNiefS7iSXn?x-u=tLyuK`F(gvE;D{fjdBjOY^ zAD+1!qkhU5mEOz>E_^J%&*^)FsoiU0E#zAA#qHRP!pq&PJD~|7QhARs z9zE|li{g+rTnD#_hj##7ZSwlSA{N=w~_z#)`9%+ z-9k*iTH&L!I?!JIyct4)_;lA>r;3ehB6Pg(4Tbt9{e2$<;&{UjU-H?S&jO1^;-{IO zD_pdR9CS42*q5TLr$fFf0REiU< z+Ljs8wrqhqtqdV0#XC>*1M^b>Z&ttM`;>+%Ul%@r)v2aC6vc*d7R^;yeHYoq)Fbd2 z_@L1WlvHdR2Sw*>QCi}WcnQCQYPpkr^X-%I9^s!rYC?JRG}W~1$W%D#JtA4LO$OuYmxfB`8q1tT_7!a3_vl&WD4&U2>?BFGd- z{P}Y(euO5t?V&)9XasN}#UPIulK5;QsUg*E(}0Q=AnOCgCRuMVqDz|$@clC2 zKOt!*K;f4j<$>K-$fgCN>tL#XfU^3!4PHOL zKVu*A3c%<+R4|5*&~(<|_%F4fRFMiu-#16PHHS~EXf9VHauXc=RA9|HtwwZH)`A0c zUryZOoppr`MqR4~NK)lnU8d2$razT}{&=s(@gU?L*!toU(7H1`g4BTlYwM2iPK0!Wi}Mcvv7MzffVOcZ zfNuuKVQ8L6?m;A(ZD4i}=t#vTB0(4AM&x@k0ZE1KO5&mdm}%pcm3HVI`Ek*@&tfVT z0uH`jjs`HZ`t)F~x&kc@U=)>m%sh1yEOKNG?TcrJ%SC}XYduOa1M}%Y*q`mLz)T+o z##^iB3}Ml2%>L@>9@+M3u)<8}K4#*6@2-zJ+66kslpuV&Q9?xc)qBvN;}Y^4{1G3| zqDL&Lz>!Wr-!N+X%nG-dq;V*L5qUHV1gFr0uXP$Adi#|C^sEewiRyYsbgpWLr0?-- zKkhhKj$HFr}uo; zw`F7pTv*DG&pGFLD4p+p16Y#M#88`9TVipVD5{%4&hXVzjlGtR#E-gjK_zFzkZR8o*8A)+RNKp-TtGLk9~$W<{2 z1poQU3GvRz!{zwh9a^sVXwmk%LKMD7TC+p}J1A+8r$V!TAR zUW-v(8E@YsA>clI+H~_ev-~Xtg(M+c5V`xGIT|;Lh7*ZDcDHX!Sx$sq$0s6!a^Aaw z7x^&AVMD6$P=tHl4f^Uq*W(c;tIL+Eim2q|=;W?a`CL)q znHK!_6C`5(y3fBKe7;CPuKfGqF)cphzwa3rZ$a?>{cs}ya{b@;GOwRt zzaQ?9;@$f9eZ;5#*G|FchdDn%B=TBpp<1x3vt8FVHa4maJ4nwD21H#&|I-sb*TLy5Es@QU>VmwpoCgt`2cDB+k=s8=XR$s#7NyG4| z8%)XX$BHzaKL>&Kr}jD+Y{Es*`F&}kqKENDk zS{w%&EG9VO@g5cw6uh)w?G$m%?a zq&oaE!lHS^QQsbgeKP#cltS_;7`|x6_{L|uV@IvkeUNoP(jYq^|GF&aJCguFF~N)dE+Vlr@qFi8d9 zt5V5%`{cLH!SB0@4&v8SdOa~m6Z)|B(E`=&H0(v*IX|M>Dk*PGb5Q1*B9U9?MqZk= z^NekPJCsh#&Ee-#Q_D9SG%YC=*KcP7Z$*KhV@p!P7NM;V~*k*E>2poj!gBU*b95g;?AN8sCyqt^GlmK+GF09^BqCTA8Lad zNTiXs#vwQJ_bkSI4uY%1KRBCD9}c9QUF3S+!5H)h26Hw~V)TF+Vs^R9q~KuKB%@sA z4{dTY{@%GJ|7FN{I9t{_b0EPa)y$@G&tI@EHMX*n$9bmYMF>Y(<9?7QSPa&$CQbf>KL zFA?R%;5#DEy^ZY5inrv%L+@<#?>sqOqM}u#C~Y=uQOgeZOQ949}#hfR~{y`Eco8E z1XJT4TO5b}=A0a%A$QW(I4X?d2=Py_y5@+Yus3$(+0Xn_v4YJ+roFjjjhXfd|&J^>w!E*vpfacTDXU zzydTcJvNpqBCb>zMBZ1MB2CoFS{l~Mc;O#ER74y!V+w9Mw<9>s^H@7>ATlcIZ-1<5 zW7OR_7YRHTV+*!61H;>dB|Hi5I(E1|{{CiZ5@VF3S7*0##;eg6LOD5vj?CV(atd3b zd1-ln2=n?uBq?LAzVobOVcIgsgn_pwy4mymb!pxT-^?dJ8~s_*m1BgBbNED&CZ{I` zeYElQ&*oUs2xr}L)ZuWBTtiw5Fy9+w!iP%exhD66!^R?wlDCQq3QhxOzix6aBQ76S zAFU6yVfxvC`MM1EzG#~*)vd91)6vn%MLg55A3dSMO-+eX`1@A;`FXWJK@e@5qT^q|1PPJC#Yc&0Hh@$dNbbvqOIpnp|%z z<^->&tm#;1{@}|9++^U#c`-IXXD&k`z;fH!3Ch`kK0%>U*J4x^y7sE)Jr3m2HZ7Pq zuZ5qV@z2jY2hw}JuIZrMvpS2!3S3Zg8P-|mE zQS?aI1h~QxFnba<(BNDOHeibQ4+MuLHLeZqsWB@GAH~?D2=3HAT6jT6N zUO($isNH~SgVQ#x4HBbJ;cm&$oh=(Z>WI$d%tz?3+Aj+ob8m zaxXkGwuz2}^+s_;T|#VBcWUlJ_<9Ot?={eSAl+)#3Yo0hW9N!DziBvfi&S%?r)a z(Z|Hy@Wnh?$he!_nM*Ic=&_2m*Hyx$%6T2>4a8!;WRgM<1MojPMzwR&nBvX(%sKM2 zA+={reWlzt-2%Pl(Y^TzDd4olqOtV{UkcA?tf;TMh<^i7)!HV%8b?2pJ9Cb9s>Ho$ zAogk+|4M9jaL$Pu9tVj=mOA3qoyMmz37)HJ{zK=Mu$r!?ko4VQNlQA)Ld)ECuFbkU z;Kc>$!OGg1)P3T+|ImdtLq&p4z~NI_&eBJDF{QxF*#>8mGd+Ic=03AWYg=9cZX_k} z`YU{8$D(tj6O%f^TZi_>Fa3K8%bVs5LshH7yz3ssCLC3(Q?2)!zK%Mf-OQm3S3{2p zx?&DT6itdyDeGDSd^vs>HNmllMn}v;vKNvfZ{k+_lFqHyoZeB;Rt}+5?uzi9ag&!> z!rOmnhqg3gsS;9{>UQdp`^F(8RVB@j#LTP=m zo9Iz}b`b^D%go#&OBtmLUpS8Lu9`(miY8~a24lA70i8TP9;nSX@t6zMrSfCkpS0d@?G zTe<0hFYP8~-Jqv;SzTHPWVVi+}i@L`&GqPFHaV!6Z ztboQ?;GYZg{i0~^#KTPLOSfl)!lU8umTuGCyn6CAxMK;?IDCc4##hPOl(_Ijo2l9H zwR$vGNIh$7y>RezakY2wlW7qu|kZxk2$?A&(=JWAlLsHyO2Zy z$3m2x4m{NE7cjXvw9Bz4spe@8Kl87e5&5sbfAho(>UC!9{5v)mSTGE-ncooQ=D$tJC<@vR?GP?g>fcF8ZBls*&O>$d>pdw}quik#!=AAX|xP zHFn>9BPYJTMV`=+TxRg65-JJSZswmn@oA3jCKJ)}SF~%)i%00X*TSjlhP9t~kiAI- zYjk>O2C>55iOwHIIam8rkPRih#adZE=c1m-dEiwf>omHQ%QeN#WN)td!zwqN8RSqK zlm;G=yWEJ1%;C>d3BoraKGM;44j~uqG&Z$eue~qN@@RUPnKO(NwbF}&cV-(9slx92 zhwU4WGs6tVLUcNO-00{|+_i_y**%A(D8CBXCL@**$uI4W!`$I=+RLp2k@5S2i3Mr# z+q@4Xnb4}Ls`{$7v7W~aoTjwPg!nvfNSq()wh(YONVd2elXTF~-R=ASqHR{=ET{MF z@G2!?se>hba7QP#^lFaL5lAR^@FTi!jYv`HQAb-0e`LQRd6D#E4fc*As68Kj!Tc>7 z8`_GejR`Gy;STM1k8YfGoX~%9mxrL@H89D_b6tNH>|RYRwlrgJoGfrM;&}XI~du9qtv*8cPv|4PlSP zBWgBc(iMYO!~{O1K6Jg7yJ+f@fAX5CK6bxM+#sL2kor3mMDROJqdxCG*W%(dotnb3 zqWSQvf}3&=n%qy0Nno*m={MK*NMnxdzq-w^X~(M05mO46@tIN(I-8H?-~ORsy}?~X z^*K{pk^18I9ZYKDLOv|ml{d)#7Z$7H1V`+@eR4$zT9$1(Y%<)l-y@F=mrTcgAiBSa zVr~#;Y_cKZaidI88$Q8EJA?m1-Hnha>9;?$2-d95fdOxjP15?jog2?h~QfGECDeAr|%2R0g3tbtJ zM0QxDdffPV@1I{U?4a(;XCsoY3Grg^{?1MqNfF*q6X8sJ(!!%Lenr}5IQ6n@1-Z&tSvh{Q_*di2R3=yS74jHyy>YTf?9ug5R&lu5RvKRdcmMmp*l+UUuQGA`=%uTWNXj1TEF`Wy(QFi3iW*(nM+{OcW=L<_yP{& zc|NwFp{60?Cd zfB#4?hjA^7X(3fcW;Ce){~aspU5oY{-yCWmikIkFW-)fOC$0Nd`4lOX?fJU?p|{k$ zroe+76?2f+x}}<&<3ou0UDr}5cfEy1rI5>Cn`s)O_gt+uiw(~gnuAh17`$f+HOuHL zcvRWx=iQjb?cFRB#=7i{$?~;pyyB9TI3-dR#!sqYXtvJfP;tM4vP_PI*w+0DQ=SIl z(LfJ%k=?LJ!zxX2Fuc5_L*KPLCl8&sF#0a7#ilClP3;kA-A*edG4Jq1m;AyTL_r%i z@7APvo^DT;XX#2ap?I}9MY}22V%mpUNw!mpl*hhZT={OStTi~K#Cfs}I2W$FMS zw|<#UIy&auCip&-hfd5L{^g>_z_pP;7DMl6f-o98)utq|K#!9sj~XD-Pb&u(g|MXQjT?uuUBeJW`7P!ej|n2st`;whK88!Opyav81o zaqo0IX(i2oNoP!SIH|St1`+?phji#OB8QD-_|sq(RiUCl9q7GptoN>*=nvh{E+a0P z5Td8*D4JW7@Q$u8TXOS^<9RcB`sZ9Xo(9d!`K!T zrNe$f)L|?g=|oxuBg^12CVa4&S&&_HLoeL7rjYfoyw)g66PtA?Dtnjw;I%g&(JsB? zsIn_*qFLIZ9$L>Lqy(etL>w_sH2;m}+ucipWAnK9yU?k}H=KW#wofPQ!5l4MGQ~;< zVkti3jM8R*>oN#PQXpgEY4O653>D{Iu;Wx#i=Rm(i?I)S%I0GyY{UmrG`nB!xv8z& z$a7b#4NMC9C|3u^Czev}K;@@;VQ1eIpfKJ?gGGT!DeQ?CtFhI?5b*+ZtHbbE(w|iA zmkO__LrklqxZp9zB~c`3!B7e`hFM>y#gJ}mlaaTEz!Zy>soj$e0P*9OpU@VX4OW$KMGIVQEt$g1%1oLwv-# zV@NJV={<%75{9~LQg|i;tvx}O!=pFFUS?omZLIF!DX1`kJPmKfjbjhT_4wEn)x?Ng z#xOU=P3OqyX5vKGvh=Tf+_Oo=u~bKR%IR_m?5)wEF~XT^gV|BZTXMyL%P%UP5^bP# zsp`-vMlUxws8`B}Ht%a2a>%bApi^9^E+aDoMdy~;2}NQsk@Ma0oT!`qZc8dC?z`p> z4HVYBlUV(~`AYK_JkMZ%hQ%HcL6F$oOGP*1O7iQ+ZkLd=K*;r5Sv-#(sYxtv?HbHu zT`yFF-~zXIgm-vJ!d~`4ci%!;NQC(kh%cXLj@F1BxgT`9E5gscR#%1l%p;;w=3`-| zvKoE;aKR-Bvo50Hjo%f%Dp1yX-&X>i!=EGKrLy;5Cgj{(gT1HTxWngWL-FeFnC19D zS%O6?Wm!xleVTxyd7Ln`u|1kvXcMLC7^?oX4=hBA#IbzwZ@va-8Wl$6*2I~8Y|C;A zV<+b&iLfJ=q&J)SbZM)s5b}ZP}CdR-R05&nKLSA zyxImAAU*M(!Dm0$a_W zv5?E>&)O;bn!1RU=6BDX9t8-8=sNtb@u>xIx{50y?_yt(LOL{aQ?+ofz{^^ls`Dmh zK>d~qm7eRi?q79rrQERYXxGrGBT>)ettnSGYsULHSDNB5EZfW}Q8wr09C=KOs8PqHuAq-MNvi=Cp*Syra#rgFgSk zR;7F^`|}3$cFnwp{Luburl=;dn9?yxj#D3P?lST#%IFF-4KueC90jL-Rd}JQ!HwV4 z!!%7Fq?ZgeJ&Fks@bcMoB(=%`8jksZjM`DV*C zLmRP4utt~_gBPXRojmk~`batwC;qXA6}uS!aNsgnacUC#>^v+4O-gfj(97q7&%Han z5PDIz)^9fAj=Im^fG3P)&!3@XV#|{AHt0*@Bm4eb{nmvX52ZtO==$kIQb@sFOrl== z#AR}Va_m)12zsi~D|-_jiP#G^O`}L2^jdRX4QjtKx2F3lOxi2B5B>}?gICGNt<^+V zq1&Q?bakYU)hWJPM343Rw$Mz{s+Od0hcJ00ioxm01wUL_baSR2Z`Lsqd3|9ciBp|( zPnSW6PZ|Yo=~tRYHk8=m)#Xq*P^+!$gw~fe>+} zgcZq6hto%C(*1kB?fP<+>%m2f-oIg{{_RT8=aSQ+iz($@A3~`Tj5Usj9J%z#IzE&T zk2T%*bwShg_7n4=xT&nG^_&P8zm{CYD(sk!f4^E?C|_K^dDho*BMZw&3yHYzg*nok zw<6yydH+9wX`CY<6N>nd8+x)*3Tsb@l~d7yOEy58 zhuMw@*>GZW5=j&dD_?eW?c1vHR%x%jZXuR!Xu)ZM@vU#Zub>Ipy{4<-n$Ql5b;=+W zi6(j)Xt(L}ShfAjr!nHuy5^7b#PfX3ZJN(uKR=giw!cZhn+th9Bpwe-T>p{>bNC`q zS1gtipA$7=XA_w|Uo!E2?%c!JX-`B~;B0g3N2oMWBFkxp-JNa+mGqvLczLf2?}N*B zUK-X0V+Nk!F1C$0gT{fdOOYn+oJG^0Whypx7;JtBb4rYIw{vl<0GnxHdGVAU^=?7T z2l2j7N6VV&G>}_@7fkWlxw-y&((@x{u^$SDUqCnV-wRmpy18wf&b1J$71PbTMaz>r zbZ%cEMV%g(chK9{q`CYJ)QcTaVR?tWo6?;=e#5?L;F9}i+a3(gW(ZwLZk)TS33WAY z=5+~wY7BQ%zZxTzHtRo#wp@1p+2`%CLCEw=nT*C}+{-#FlEP?@+Rqu3i-@Ay>7WB| z2}kWzp@K}>ce`VTU9?)ILwO&n8@GurWDGQSYpjd|U3k6y4|>bZxN-k~1~GS^c`iOq zg~Tz6Uyn}r*~F5LB9AJzazx>#mh=;+##~JSEi!e6Svj-ugAK;Z+$8G?5a0$3Cmww* zfz{Pz%n{G^G8#WzHtC`mOFG$1+I(!CPlbJJF#e8ZV<;=&T)QIE?;)?$0qIM}eSWo1 zGVlVaYv&m-hxL(5Y~CUTJKEs5ntq6x=I>{dPsPKkC~Z#xnGUsQi@U)oyaQxX4V1 zoSToid`ZsS!-~=KV=cQT=QWHP>xml?8?or7+LV+ogEo0!73~kOLo`CHG;E^gpE_>F zUUyy32$-=NGcHrjQ~2B%rukN4l=2EBLhGWZ&R^g`(UM_`BpD@bS6|@pf~+z95#<3a z@>)DJC}&AGMeVTtVK+yoY)jaCBDeJ~jSAH6OA*OLUY_z=yT^(h$v{GP%0(cJD%uU) z6nV@0dZ+_W_BH84AMtoaIU>jF?$}&1`AZCySNc-SWtUvAXD!DzgQ}^`q^t~DP_xS% zrT5iac6e*pmG}rXa>I!ZwH7B5o#1)t*ev1QFgG76QbZ`#N_sRicn)e@cTc$A*!e0X zy|kLCBRBRjtAJUfD>{Lt@SK7IRmmf+Dbh{?+c594L^AIgwiJmY0$wOE**8*=Cpym8 zJ6bp^R^RXGgFB~&P$x~(yx+w|*lSyZeXcJdTipf&G(DK`5qrP}~ z^`G{Ka<*Iy>syH0CnXk&g_CwW?B3>(dsxHsV-KyHfB1dQoo>?feR^~!TG;enQ}ZBi zw6r$)RF0URvx_$zxJLg7 zwwB#(gi2V4(~pR$_;DS@><#R8l8#Z0e~xlqpw;7e2X9qB(E7|m7#x$cbYwBa&K=7+ zGLYV4Lr588oiy@hzb+?j_U1>^>SS-llux71uRn93(lyT+WQjb?-zOkiOZWzdKbMk5 zjV-9aV}D_`jnrubxj|em-owbhj3uJ8n_M6>v zpqQ#L0rqUbdll{4h*iF%#PpfBr*}Vbp|Tfv5k1i!0`Zv~skYKJxFu;wAs;tf?Ci<3 zSu3|f;mBUvdvcMEdM2Me{OWadA`=Amn=p0fypZ7F>V@*?AnXU+lVsF_% zX|~>PG9hALzpovQJe(GI1FEl8=SfN%)}d65fl}t?DF{O&W0|!lGI=MGX-uIkJk5jW zIqwrn9h39z*`Pn=$DSNE`)AJU@1nQ`I~M3uXa?^?J4(&1%L<9nEw`+NauyWD2j|1W zf)BXPWW1fb2bFVmq4;kE(iX7XNbl5kkHqAnmV`9#%c+vQ^88B^{4-WMv0en+L=kOO zGaHv06O#=e{lMvVfveadO3`{|ZYda2d~FfR6mtgG67a#yTZ6F_C)TWN+LR6qdM!G|HgD^Gi8$ z@d^fYcE+7+pls}?yEbi6CO<&3jlgB{8|T^p8#!cA&HXZS*~OIRfHd{?!=Sve_9%PU z00t=V*?BoRgqA0uvTRZ>uR)1Du?N*RYi&C_J2XHpBA3#{E4_hra7HErZ}Px94GUqpZnLURxrRt^)AYzvX z*yiCE<{B5_h7xp3ir=5N^37d$woINd6t|(xSQ{#ruAML+FV;pIcw;DzUH9!gke&gs zBRcvWlOxfm#Y!2k(Ll$GE;-SgZ&;)s0sYJIAgv91E-;GXhtC&S&eo5eG^aUDn^Cp% zT{d5$kv^VoM`M~J@V`xpQy4+w4)2hJu_v5mkJ3E$W!?G`dErMoI1&R5Do$;ey{#=1 z$)~4F;UjXftg$O1dX8i28x78={=EZatvVi<$C}W`X!>M&_0rJ zIdFx6fO53F9*cT4dX}^mrY(UfL1W2=>QVr85#W*9d#Sl{*eD6go+A@w25DJo1f8T@ zVm`0Z_umwT7AACU8fPRZCZ1(#^Reb-Z;|!A8Ml0F9Acz?J}UQBZQLhSF5yO3SC=*H z*B?rQE!ePmdzEIIC~aTRAo2D>FrT~lMotF(#GkCrmK`>UhqQfhDs>5sgXg*LzWAnl zj`ZH|3sJf&+7ynf(QGml>W4|67HH^|M=q$7^O4v`VOO4m& zN*L;OZgS3i7eCXVJ92538(Q&*2i|58wxbB2=UIY^hI5%6@|CuT_r)l~d|=KNacM9V zxkFaHQr`ev^|CvQiXCdTG{d9BX&K{RI!uNxwz!)9w%9B#Q$)J(Mu{a8re&B|(Ri6$ zZL{{R-ugifN+mWeEj)lGuU9VXre; ztmYwB-!b$W8U0rCP5bB+0?0SA#8zReX`cAlj9#bEK!?V3!|Q!-PAUWrg2RMk2s7U) z(fJh`_*5*%;$>=|B*a#RtnQV(Wie~7K347E>wY`H7AgTs-Zq5d=S3$|J%iVIp}XrQ z1%T2*y%Jl>l+13irNcHK^b1-imu@kIUOVC|Ysqoio<8d*0FF$vl(of-HoL_z)Z&PL zkpDV{&cXncPny{apJsRgk#c!7hDB9R<7*h!aVCvYVB7=LM`q4*maI_Rc@^^A#6$Bz zmx}qBzTTYFMha9qXZm-v53y>7qL{fDsq7GHOux^ChNNw@F(853OC(8|Q0M@JGEAjsVBzFE^!x>fCrv-gZRq7qg5G~#<>Loh7(+%Lh ze3*4xyqYLDp)-JXqT1FMPkt{1pgtd&FsAE1jMC&6GV=1F>kV;najT`l_nv&Xv2Xx^ ze9JM+m0_TKc=;j~k{P^r1(N*?!zzLOr&XTzu@{AjK8Hxs%x$%AY0;6Q&TrA`audLuByQQXBLc2RFxHC zoRGZI{8Go-Yy-h+xm<4xGRG?7`rKd94)c+|=# z@^pbxcg%-|uQw@m&X2eCBeDS%IbLOE^%+3yz-H?mdw$H8>Nn`UetC*u&NhohmlDfL(pX(4D;wl;L2Z{Npz3 zmp*BF*WZMqF|!q>Lk}sx4~ZzI2#j^duo!~Dus^@~pR0t3eNbk`XT)KbO{af@Id%st z%~aWRcn%mEfXZ|XM6~*MLD|{aJ{+eA=(WyohpftpY=8OFvjz?J_QFA)z<2#Q- zy2b>mG<&$7gId`ZAUSVLDzwG{5Vejt4D=~sV`*xhVMiE8(W6(sAToJS(`VkWUPK#nMDPw?LR$bLYw1$sZruwg3jpTsu$v z@1=M0a*0&{j|Z*5tzH!s6}`57C6W%ngn=@@2;E9g{J@X?Fgn2*$2z+eF3X}~BJ3r7 zM)l3PareGY2;<|##bUq)_H5lME0cLFwZ!{b>(3e<OXhgjl-ANVA%?sU|!OWP%f#QIO)A;GMmg-*GGdKuD9i;mlK>5x= z)}z1LA$&4(_lG{f2)C;d*7h}3vw+z12*;`Vsos~a&gX!w>l?rP$G3t`j<_C_otKxV z>#NEr)`~X(aw{`{dpnRcS&S8~=$5Xo@|utS0Ac%BY}~N!2w1>^d%y3tiJX9|i~leM zX!-5^9!_U*VymJ#nwE?GU^Z!-*G%Fuiz-u#YazUOPYW17t2Td<@pN$lN@i_f`~WlC zhXdolmj}i{r-&+xc*o7ruH1JCfAJrhB-{G;JX9Vu!d_y=0dk3hrdO_&-Ef124j&|G z{tC_=fTUf6h*{EcOD#>_+6&#ga!Ws?3=i_vN=Uhv=(81~dJ5Rq=k@A9OEo}dAh`L{m$Fyr}A4h^ImWO z2TlV+Bu5#+V$j^k=AJ_ww$S{5-Z=RJ;5Wy^a-37Z>RST4sRJjFI5V-Y#F;-rb*Ik}J7%+&%pN5w#>}{doVGg!a{-+wqp! zGo8vGAO8etM?RF=0)#ecotKVIqI{~*RI1D08x|9#DRj2KZ)-HV*cR#4RiwDCCLDt~ zqpMMJ-=z2Z2SC@9gXp90Z4C1VV8pX=JW90}2K}xE%-@t*P*%6b#Ke%-G^LuX_9g(w zYBMk54j`oxaF7Owi;A?$GgCk&c06U0wpRmg*r!$<1Wo_ggz~MU34b zvg9TIwRkuM6b?$I!F^C%Zs-}zkg)pw?RH#pa`FdvLOPC?3p>EF`_KW-j^q0aPqc$O z$m^_5cNcLnp~Yyvvj6ry4n0#`J}e$}m4sRg)WEGk2ETJA0$6fD@O}pZ+p{(&fRoyN zrXsXrRm*?BmTVseit%kY6(i~S2j5vh#U6tUT(AR01FrLym5~qba>bq|^4VCE3GMpy z%zWpwN!17FVnVY)H!1&82)E@-tu4p>y?N~A1fdXEKrqpZUB8|mr(m*g1DvYo$2M+1 z2{0&*t>M7IwOJj2k*Hs2SJ%{E;SwsX{ToC~^|;=9$~eAm0wh|VR(ab;LT=3#rFHEf zeJvv{JL`NDUb_%bp$qb&Wqj`GwF1>V9UwjwgUH_68`rNc|J}aBWxEv0H;vPG@yWo_ zsmhe%W_ZJEIXT#jIo6GrjRd2$s}(>>R}3cm&ha${kBAQl-1Z1#BL}dmtbwXNZzmki zr3?z8HniS&cVun1NBToiMlF8NiwJO^Ux*0c|TLu(5>nED;wCjF11oI((}G0`@?1fLci(=1guJbw_4jOe#!zy@%)DI_H-54cf*T| z-KE|-ozO57p9(=BA2$RaK7018=hDp;Y!$$@D*3;2p9`MXz<&|lqGH7TMCm8gZR3gi z-#{kzCr|$HvXhN{Y6P2xnh~2L%FP~U#7Gc$wCTsQX>znxcNgxWP`7cOylH~CMjuv2 z)eo4BieAz^bdaP9&;KM4yL8HfQw%%2L>CmeQ>5RbdG#qBw*tVDvwZX>_x zjV3;?vlU9sutE^E;mo2z0lW9jd+a}sw-E@CLKNe6TPamIY^Z>mKq3X3MlbkswTFDK z25kC5juu4ACvg2Cl*D21@lu)TU6+`196dT-W+2)_7Q*DS{?UU3!fd$|_>u6q7k5_? zkZLOg47XRue}y{#jBNaPXBJr+`*pF8J4w{LxncP+#12S?4Ul$_Mp=NpIF-0q{AV{1 zs6T{@Ue@09{er7gfX44A($6<6sS^OT=+I*9yV#3)|+;%0LZ$f~qUVpV4 zsHIzPUCeN?pN|WWD(t>c>4F^C@FwJz-2CmYPYAA@1^nafnSg9zB_vMvzeoW8nE<$} z|3BIG_$RZ80OGSXRd?cpX@)gyPsf{&Ig^*Sk9F&8kY9%WCstxSaeBJTpZEKe1;Y6G znO@DT$oGogH+_0mf+soXxOfGH3TrF#DPE=tXM=aR3jvqXQl;x0;3*MjIr-rcthl-i zd)h-NDwGoyy_F0bE9tPUDi)9BdQelM+-#)RICMn}!sy>5Y#S)d?Ub66XX5d$H6lE> z^hdZi^h0>6bLH%0vpA2_?fVsp89e#M1`P~uI$&Njy)yL&184*@(SHu#HwaC)mnidW zc_rOSHiR}9&^Ga`*C_wTd;P7XH)MWfQtCuGa3Qj$75G>7Y=7oIhka|TtaL!wGmbg! z$XCstt5{835|k=-lr|MqTg>AjnhYk~E`DZokd@S+e2@>2vvcKZKA3VR-O}R^%f0I3 z=QFt)0#BM>6YW*iKq43qzgBvTaOjr1<~>7H7X5_gZ7dn+o<;pBF`ptY(&6}1824<^ zTGRG~Y;HV9r|ypJ3E|a$F5?#4@W_Z2>T_k==Wi0?HwfwV(ti;?AtmH!TxnkTy?8!X zkwRqYa&nUQ=DdTOP~~39{D+S5g7^U~W z49swW!J&gjj3W{fM)BmG%EcafH`X!JO0PcbW$$Y~~G-HQQB=h~r80wmX?Y^>#T4;$%8E<=n2S1)ZRY zX+r38sTP~wF4AjfYs#t64S>sB$k}bIamK0fXaf2Z_sW#`{N<<57hjTVdTB(c<3$mQ zYv&rZ?7>Z5;a^!#DmllD%^p8APT=t zjVUU{rjzD$7B%!D-dXb#r>@A^^W-E?PThxHAYuHet6nOvv$pdco3+wYTO##!S zJAa}wRalmAwxQ=>-FdEjKD_z7ClzVA=L5O!^ICb{wx<*mfVSB>Bou6XM`|pwtiG51 zkYhnfG5*opb6>i8{f3WSv}v_1tIO!)y#Y3M;cK?n2=A1N)Imv)>+*xgO(@DWcMT8v zJvn4DPs}})e3sv91mZKf+w)3Dh-Ue+*Z1~3ys1hui-F4&o|?p*#x4eR#Qb9q#TJ+6 zg#^_WKA0$B0~bO9iAky`mM3Wh``|ZU+o=pmi2JuC+?w;mswidP-~POk5k%Kpzgx|g zY9t$Tpun8`06*e6H?_mVInBau(P+aF1w=Iy3iImliO$LOmMxN&ccg^3_YZDX*j7~> zue(YkMhyCTj$i5+AXfM=dgdXea!&a2$hIr8FPTS{2lr>_eOyUqDNB1AGa4$)Nnzoq zCr|nHoaDsGjpJh2#3h_@{V!&nXmX8^j*Dkh#04ShvUpUmYm>Tdto!)AE|Dg+paWIj zN3YMpZJz`DK7aeD(cRN1!%trO%3&U9n9;$Klj5mLFY>6ZLNT}Ghi0>W^7dM7gW;ow zi!b%}!hyT`M#DOl9i^7R#XlPUNK}PWJ!s?or$>fQ1L$vRDwZ?OOg4XR@PchMzT+0J zlq2$TK}rYDB?aX~&*sP;RV2{!>`c1!o+4?4)kmISsJ7T{j|J^Wej*LOgX+f1y%Y*$f*aubHt=& z9cCc9{;Z!+-8BD_e=&sYeX3C^xmU}-7DEZV({FM*CFbvoXkaoMj#>8{ z&-oC`rF|)U+HLKM7j^6N-PrYR62d+W>$zWmhB}ShkA~&Ktc*9<`rukQ9_q;!$%f2Wg!t7 zGmGl(kUvFMYt1}G%5|A^>Q%%|9Hdju3rZ5sEsUVg+jpR{93`p|cb$0bb5%C{#BUpv z-NC|knh{{}M%?ds2LOLb4?`h5Ny;UQsKTiSDLLY5=Z%nJPELNr(!x+wWntRJC(%m>94|u z2Af_N{B35B@|$`R@Yeb)ewj7?FR3ps&%Ah5cXXb(y|Zk8L?<;9GAENf^V%rM1lPR? zDgufJaoeJwo+JM%9awTAA4Vpb#J}a&8fJm7PJRANlxXs(JXT@BUcqAouQQgQz^oe9 zlNymg%c@&t;yq_#ug0!^@#)y#;Awy_oqBh6L}nnZ>ieztpEABA#12$soY&tHzk`j^ zLsoBh9nIIL8pIPKt4->mQ!yVk{gzgMYHpNmG%C4v?IAwSpl+%z#>+=$DE`S1x%V~S)oCOB-8ZE^I6(!AX(|ch zbzsgvY)^UrUOx`UwKN1mi--Pd>kqx__zb8FX@gKKy(K^y#m~ z?LfI-FKgAGFJ~37Z7ro~{`T}kTqLhMKVQE!DTE+=L`wLu@#+-R{|jgSBCzeG&@1sF zZx2_euKC?b;2YqGwPXG+eqaf?EeW~8ysQ@1jcl=fK56?Zda2CHecyQe&34ceG7}p$ z0j-L+HAuCfc`sTY<_M)yNn2+#HD09u&gJJw;uS>%OOa10s5bEDqQ}eR1u3(DvU7 zEeL2Avpz~rzPFkD(m46;Io}_V(dVEzd9byhqQo3+VMM<7_}OnB34Qo*d_dQ-(v8%{;Vlx*+S|!p z%JA1W*g$Y$;B}8N)ok$7E?illXY`cBe0^u)w?4`2#Mw3ZYE+eco#lGz+*6C{9ozU` z=Hm=TnNJbFML%Wk>k{SWU&B>BJ{E1oa*5i#My5^IzHN?aBeG7Vqy5&YaIh8P$x0gM zo$2b7|4(=MyrzS=f`>0y0Z5mBuGAZQi4!|1g-qw0n{e{nQ-x$xoJM(5=^dyf;huc) zp#f}}?dlgmvf~6(p!E0R>SbWlemN)*&4b5Ha8r`=Z)8VvS=M-A+)e~;QgT#+qQoR2 zrQUm>U&C#e+UtV7`~e5U*5*XCst2Ad^3rZu2A3f_0`2G71aii%=h==MKw2~^nVItM z@XI@Ij|&GRh1tv*_q?QU9GAKl?3&}>hv)e!rc1f5Qa6`NFlH2QKfw1!6>E$`e6h$$ zlJm~N5tA)mR5~Mw35ar+t1}vW^Xe}m|J1V<{@BOf`(U}(eP8!= zo#$sd0r<86{JLDKmZS0cX^U)tLQx`#7rAWSKS&<}tst9Xg#0K6q$s>0G=sI(%H$*$ zSNZ0-l|FZ(8>M)K$FG|Z?2<$DnaUAP9@2;uIGW;M6*f^K9VxvK+BEZRq)~;>Ky>bB zCoJ^o5DsedN9;1alwy_u*35{{0_ZRWq9Di_5jDpLQ|zu7R06ieIA{#;K944V$0kEW z>K^RJUDJ^HF;n^bt913VP;NHA+{MDP`>b3hO37IblQ@-)?o1_lhC4TWy&cobeFR60|f|z-6sk z#Yd;4NCh2b(EzARs(jXKZ9#fKq~m zDx<{-5>Au8SMOv?&6L$KOFB=p|K4UQ*#feG6vBFE_x^oHA7whm6e=>ft^r?Sk|`9} z8wq?!gD`$tbR8_idg~>DuorPeUG zeR;Fr>~QW_&x68K8%4q@92IJ}L8tMuW$*c6h89uzrwk`D@4W~jK z1V>C~C zb9IFMlyYYhoq+Vvtz50`S-tk=>aE&HfOfkQPd<;$+#gC63V=+}OE5Ox_O^-Q;5iCS zW?aht2XS9g+$3&aPxWq-uR6O^BWSjVe~+Y)i=`uq<*jFn?imU>*(hk>#oKfeCv#s% zbjZ9l)x;o{Q`7aQ`LCQi7oXZ!Pd}{-es)6T`!_b_lk=yNFhL4Wy2g5H(~~RL`96h< zKB2@MICyY>P{y&c#T|UDrFVB_z8W7TBU2SfZaytA?ue@Z7NE=;Ezp(Zn ztAQ8p8te;{vWkr6O%de{*0ENNw39K}6U0#2QS4zt%x8s0xF- z0gEZOl8N4%NptQ8>g1v)nB^|Ezb^?Gy|ev5v}i?cGDX{Hx0sT|s@0S1-!v~Ad&?#D zn4H(OzoQ;>=IQli!ol=s6oty~qUjvRW|%AE)Q&0Behl_L3NOHGwcD$-10-2pml77) z=TD}_eSSUF#X7#Ej@34<`n4~1j0(ePswj=oE_F1Bi-J*ZcVk&XMY;)2>r6}A34-qLXIa8E!g}q;W)hJ~*R>V!G z`+VOAm=zJlwX&+yLdA1+JJUa0PE?=F>8q6D^sN&xC|Q^_DYrk%dX;CyuZJZ@rJVDD zUg^6_nLqv3&S8={GwrNN;pu%`S@&lWJH8QX!tiEMA8B6jK7X1RphSJuH)5!z)T+Xn zi&AAH&t76gJZX*2C@DgI6?}QdL%728(y}dC?!I?zm?kj#Be{p8_Vf!EIaQG=ovM}! z*AsfVI~>M5%!;o03PnSS4WQ%?Kk=c3n=hpf9`0Re!8XelM+@wt2%RwO;D zkC_e`yPj>D{+@dw$=>Rkpln9{<~t!@rysF0GldJYGNlXONB{>In98$WQS^vPxLG0) z?HYH!A~%D;r;GOsJGFVXUC^m@AEA;bQsi-246*g}0T-R_0$o0n@WkuitLg^gl8P5S z2o>u=PTd8q5;J|XD%5`lF8EcoF0+3o2HM3O@8D{>Kf`xLxBP11b>JwxOg@?L7>$a4 zB9_c#3GRyeJaBMQDXxp%J?t#3f7|w5Rj-dLx|KMsNR%MG(IJ(O6r7V*^S~Y(tjrKi zWNFghtY4F*S<2CT^-yzDGV1JCe}C)8IIUAZvt%VIRL_cWNS`BYp55yAd`~HEY(6q8 zAN*MU;y#&JJ$R$^a~2+uvkI5pI`uwbL|H~Q9hD|(P9Ro+FPW0lsjlW$}s@2T@9$9!Np z=N=;?I_X6ik$iFr&mdO*=jS6Cpsqu0;0-qRC6z1#fM4NLNyj2l45|bpSkL}+bPbQ$ zrvA8O=zRhL&!ufJrb;{Pohx>_dnosMEWbCtxpb+N2Iu5#Cia$KWep)&2G$RB-sya~ z8M9rTIsL^9ker1Gsr}-t`yJ2c3Px7)XZ^Ja6O^LeTD%_~X(2YVaEcXdFzvcod(c`} zBr*NS{@A|rIzCMfV>1IkWi;rB-~ED@n@=(d*n=j}v3Dk>_uZJd`-;&UQ*OUJ&e-Y` z$6sz96dBoz3B4RYw#_2ebz$qaV(zPvw%?DjR&U8L$|vFL!8zUoQckNb6R(#LPu7Tv zqJc+BE#1*HB9-6h?86T~RB!q6XK4yQ1x$L`p=&9Bf_QWK15Mg|m|fpVcK|7E>=RH% zf^v&hvs9&3%zf-C&V+X>J#WM8JD$xM@4C+Hpw?^o$&l}w5$r+Kye$_DYURAUhuDY31kXWXPX-k5Nhw;h#W|5un|Hd{J9MaDwstX zc4sL{HD<{R#;bL{Ngz3{16!R1mrC@WZfAHAW(qX(m{iqzf0oQLj+f=#@0?wm5xL#Z z$Ys}&ttra+EG@|_`3{vUMzbvQ*X@@oe{E#^d86bfE*hMy7Ni%)4it1*@r^~78oZ^N zCwy3GTTr(Iyo|NGS%z16xKOpR{TtgnUuOgCWqkCEPWgD*c&os5tE^ZxKI`r3*D(&( z!f(Yh?K#v9W*RNl;P=QIn}~f;FgS+#rt~*&Dn?DKZfLY7$&esitpN0Fy(5vbGtRyq zW=%hoMj$E>*fL;%gs*P{N$uJy>$7MpV6b3*|6|#$k!i@}bFYnlz!7lPTuR6nJUG)p z%e!}>tf6UC5=Wv4tWDNbQmR(kIXtxZNmG}Lx6XX$I$Jhm<)$N|B)bp99-18cV=~)E zkJ1dJsgC-Uk}eD~9_SejFw##`E^;_g8re`Mxot5r}`m;3jol!q#-eJZx4a zhJTKR9K%4Z*j{z1oKnG`C%P@UqLP2W1ET)QYaixr`kFJGT_TqgLhZ2!&d(I|94 zZW7K|{4VGghVTP5fq_#$vf>CU``FHx)pmUhqj!Q5Huq{Lq+J<{M4C4ae;d47`xNqh z@J%nyx%Vl`7KtjTpa1ommXKps(~r74kW0F)w^jT5;v7HR-8-}Ea}XH?B4EGfzYIBz zlpKV>n3+kS_>6M9+AbJ-v?&VzJ}FDiX-dD?%$z=6|5}lS^v)~b>(a7@=ec@eTZ8ZX zG3swPb{|Ucq1~(YjqI+rSNWGbt#OEs=L)u;_j*!$>~gWIx{cb3rX|`5smEK>5+q1ndoaHJ{(q<0G-d@ zxWF%!YkbMckHR%u+GIcuP$lvD^ImJDpp>fChMfV20>6td#iqSqSqIFi8(i zqVnW<;Tj?{_nxA&z@j0akXZ>*swyjRW|e|WvQ^A`c^j{Uz_ee-)w$y*y24oXWl+ZkNuO^hVlOSZFrw}hSxVA6q;Y6Qr=K;%lw5` zd6+V{Pygl(>EI2}XMC=@@m;TXCBptCx)&1;a-j|No8)NhBM@6k; zb>?ZFzhSxD^ohTD|u=KrrqX zS=2K4q2YK#|1JqmgDCoU%x7#5VDTWjv3ahUZW@FXsJ@Yf37Sg~f7AdmJ}jqFCc!Nj zzP9&z{Lt#&uv52(%q+I@0qLgI@88O3lo%}R%sq4oI}gG_&@U@M@l?Be>HMiKt3Qjs zW|9r95_G6k?vRT!tcYmcn`nZY@TaP#FeHDv{43=`rJSHSJcdr*)q>mO)pasgHvT+g z6>jj%*ZWf4@j}w0b+5Qb-q=7hakextHq1Vm=jPtxUk`QhUrzoI(DR^kIWg~kdBhTX zrk)uq<)RlcN%T`~4MX(M#^BS5*q+droYn=A`z>-kA97N0b5n z$$@uk8FGSpVJCiWhp_}R4z}-BLwRy7ASKg%?ya6phdVT{t-uS@Nog0|GOQ8F0eKds z)-B9&T&Z0PC_+dWp9X!9bD&Br?FJkF`Y77%$sU2`25)}<5t~$J)td_sdh+i73IIb zpTikRl?8-GUDg&xb05WooZ)}_0~C(~7I&!V3jd93v{rokqr~A~+%$Jo+B=^Js9AM` zPN_=I@hexZEQ6M%LfdGom}9o`_hS=Cmt6)~!!GH!yGmkpXU2iZTp4dkv>3(O&KR_vWQ*;~U zO=3akQqcs4N+-~Kgf9!HVD3`uES@h4ixJT3OJb4|8I%)w&TVnQr@swru|BsHNrsX0 z)4qQ>p5N+&weT)U4_RaTCJ{NeiE8$NVlgi|;txyg=ospv<-Ow6+%kB=@@VxmTMsRX zrlj}|9o3j7;95anZaz2}E|B|qt}KN9?F+Z?rczA{FDoB!4>N|0J^Lgkwm=I!NiIS? zx4K)dlC)S^Tf5&ymI0$B(TFrB5d7=BhWs*f@@k_oPYzve>e#Jd!1*7r2F7x9_T~C? zzeZrmUK+_=f;FpUy`66z+y%5MU01+|!Fi0FbBkX$dqS93nxW%t$*sfdu8nS};~^~y zjBB1h_oV`t>7@6{xb;UV@cZ}T)X9Hj>NJ{&7R|m-xj%F9;-Ri)V%`^g2v_;9@c>RC zVy824MA$l5ymyoD%4-km|->8DNzJzY1fZ9yft6S zoR+J6k&(|ULWeatuRv&G5Yc#;l=05$P~j~;h*&-QMBv1X+zJ5Yx+NOgsur@WciYNdC^yNx!MH^H~>t1!i!%pz5G>CDvynvwnFSQ=lm z>{ao#U*sSg5CKfMxGT@zLdZdHkOc5b-0=YJHK+!gmMeD2C7Ub#X5PI!B8LCgH=w$y z)wSD>KOm=LvZ>wuDxN>hFXAmqS1Uc~+?Sy-M+8x?~3IO4)XQ3vtzll?r;KGu0( z3Z|V8p-+kCb3etRL>4wk5+!sJz7jf(MDTf;PM4~z)mOx&N?ynt;IT-&+M;K1{!k%) zK<-S&3yXnmp_0??;+paAAi-4t4F_vGEuRW00+&PrQ_23Q{fu<}4pOHP0x+Dd~#Jo)A-T7TX3I%{} zEVqgr>He^^TXiff+?eR6;)MUjQIf;Ul?M{{8qDXCE>o6YaY&(&dWe_LD76fKra5(` ze#U<{ONB2PtjI654a>b_#u6SY(|tyB!LcDn;Cbau$EfJsD}oqvube`iT7p$+4$hm5x6|fK^1Nu*pEONVjW;m(IXsS zp^|IH)8AzFsmc3No`_MY<1MZ?mzKy3z*O3%Dk-=@MMEy!nc($*6*57IT39ai+mn6&{{)H{EmTq{r_PZgZXX{lMG=_zs0e^Ma@9`ChN(e%Cw$=e*?le5%A^^PyN}Y+5v51L3 z`=YijM=i&=ij7FcUi-$`l9t(Nf9=k~5^M;Z)l zUXF%vK`Y`Fcg}sR?4gQ&rb4Vr044Gj0*LxGX4m(CVwZt_AtYFr+MC7B=QZH(b)Up= zrW~wO#H}n3J)lDS+^QZg52Zd7c8lj(JBWcM%Trz6h`s9t^Xnd;U3CuflVV#RxRN;B5@-Sl$Z{Q_hcfV*YNz1L$E}nPMH1 z$7J=t2dv`3dX^1o@kk5mRlC;$**%>w|yf78$J$HU`6Y#_BU~!wzi6%utXWko$B1d;;)y2SflgNby^A zGNO|f^e;f{AJt9s`*M{-DqZXFl=~1_Vu5!FsV~l2oL{dv?Op7Z?)&4I16liCzv+26 zAeb-7Ex1>||D8Ie?`ETfZqcRH?Qu|Kn=AO~yk49%S9#kx{id(k73tZir6{F9)1j{p z5*6y$&p=s(DzX6MjNqAP(6gsKiT2q9od!7#d`Q-v|{U^zyii?YtYfhqXv8&dbTrT_DuGST9 zks_OFP&u{l(^$?9RN!OrTe{U*>{FgG!vUAN`>)X;a*q*>;S;$*tZz1@&)>+lc-K=S zVrK=U%{UuucvRn*{!*oKCLYNfxPkLOQwK`PAtT-5(4ITvXG)CJo#f8B06VVSrd%@! zCEzqzAaFo7JTO5S+-_4>6D5RFcifGfrNF!$P_qa$b6~7K&&Ro{1%SQ3$4D5~;lce~ z0P68hlSM&R!1w#KOgAG~B=_MTv#-O3LISbz423-eIo%=(SsD&c|ru(EfezbTV(|7~x98=y@)C44}LE zQ3AU7<4&8UGT8Ab0|}>|v7k|zZLIHUN3;#eK-%ApuC=b3tKgfJX)ojRii3(r&1NgdK8_rQ9X^H2g?G z!+8#;Jd?Kj=v&-+qg=6Y{)Do>3}V^AMTB6*ZZ%1wCG?!0kucC?pdYfWSY&*PV}y)4 z!Bu1dJKp1;GskH9XDxtCIOv-v;c`LW0S%`(=&Q!5i(mufM?CYGj!EOAWIcVTmDxr` zuTSJE5j(4~B$TBs@rm++`dQJ_^=YVA1Tpx*`9u2XkOSSkQ6#&}G}?G-_XUPG@UEtK z?g0h|g8|ESGABtY%DVOOOPg6W(s^_uO6VUCI zkF%o*EXZnXg81y%Uj<^V(qhbb^k_NjVVOpmLI2eH*I9rXEWYn_If}uXt z5c8K#m$O~R$9L{7*Ya@SxKV+0$;Foaol|E z3*F=VV7=nfMyux@dogmy1(<&^Zb0aI4vd9Z29KAd{G2?5y*PoJucXkbsp60U`lR=; zNvh}c7ZRYru)japki*8@`#|!A9D2l;IETri5EPC^q=0E%q1zK!qv=kAeDjM6D|GPN za*pW6NpTDJnvd6rwgGQ5Y@{oZ{=DiI?663_F330hRvv!t25)c-$fQ0!WNdYl$)WG# zM5ZLUp?di1*6?7QzU_aQGq8Qc(C5$4s9IKBNmt(auaC2h6C@A7Wt@b|I1wq`9GeAKbtC1 zfyw-fh|1Lib+CH(Sbd$$!ER;IQ-pAQdKRw#Dz_zPfGY>RTbjy;uV}1jPz!m((Ta2M zs0K?e(iI`EZuQkjWCet#mLw_%gEMSkZ4?8muHd#3bq_FZ{1o(NiqloS|F0~BgAo?; z_4LT&N&O-JmjG$Lb-cTu;z5&b7q8g|DwCdi!>*jqi8J5|*$G#Gw>JxHJIml;L*^Oe z+bMz~SRa;XpM|O57}APCb$wt1-5T_Cm3^1r_SV#I+<0}>h$+9)Bn=^#7Nk&7zDjo} zHQZoHhl*Z!qyExfc60IBCSca3u+`%#!2kvp$hSRUa6A-2L| z`!96{NsfH|&eG#=BT@P~bvKV8IpD!U{A33r$=P=8xFtbn5oIzUqVKY@Z}Ug#O#iGA zNNrC~1^z1NoS(3-d;*({kJ`5p4KDc;b7P5u~dxP4|5NA**`j%B`-7ye-~%ps4UN0OnP1c1(c= zuLl+O#@o~Aj$l590|qs07gFm+a$At*_OUSu(Y-5ggd$o=AcNw-@F~kyOkx zzl34sdDej>^T30l5p@hloOYlb@S6&kB`+8^uz9`U0zww}M|;TgDS-!5ZpsCu#jW?) zf9mCaZorsv@Vh<0j*#Fd-N?crd#N0wcq(R>)KqqnBiKCwsuXkRuPkqg7i$2I?tTH2 ziej2~FTnl9REo|m-&S&gm(RNpp4i_ z2R}Nh!HL`IFK?aMT+~a+6K>?%E>?*i#Ff~N-;Tu>CJph|pLse2#^=C2*Id5^&LP9M`5JrU5j3#Nz zaNt!mABY!sh^2{U5Hjq5U@8k_-!{rkMwZEGxTz&b32F1n|Hz!7&qhYt<3c#jc9fAw z1~_}#3cE-mbOG060oE^9CiX4V|MhH&TCw8#y64djm4$14XS~hASd9Yo#~j*xROQR{ykP+sGkHj zwjN|5gGGjo>Z`!A3c4G<_)jE-Lbkkt^1E^^ar>+|q#bX&!lSfl8tqya`ML9mRO zll|*)TS*6hgU8L|Q8E0?PJooz7T8_gab{q_@UTknlwL_eY>B|!{jmd3w`6isjoPbUmqxo05f1G|_*M?hEjwn(Y9seWWOc`Rm7G|G^YNw_M)dZAWfx%>I`jSbuV`)?IKW+HPN$+_ zZO+#5(lAbrtd_#cQW`2a;dObgT%81!9gH%y$2P^g>H5>gS6(&ArG#?#xA2?1EVAd| zPanV!TfynD66?}yN2F3KZM9}iqI<`$w}L(2*iX7$d0p^jGXXTMh3U@~pOf!peq^b5 zhdIV0oI57}JYd^9XK*|lHFriwbjUuaLQ0WXZ;5I?<8(!aNNA(Qy4?#&g*Wf z&^#vo!h)vPwU$;~aV0Rxl@KGK_tgYI#Ia5ppyu3`Owk5Zz?p<<0q2cAPwYUxnbUd_ zMYYvomBY9=5t&YP2kjUf1ME^*jDo)ixK`uA;&$qcUHiw>D|xaoLWXf-bu7`P@4{^c z<+Ctd&e*k9HtLwE>v3c2Fka4sl_u5%AHr>d&y>}QcuB;zgZ0~GLtgt;Q!w+Isg)^z zo(Z71N4A59`77~?oiFoqxcKlb)DqLGYO1)nE!=z4^$Vw5ds208vv^psWL?W-aDm!0 zbn}qD{h$okGNE(7)a|+WocYKf$@Rxn>CFz<9^iEyL27_PQ_AVLO=TlkoXcu=PG*J6 z(h)ou%hoq+zNFsmt4#+s%D@>SvC;Vq>5YO`zhKILy-9S0)PmeALl7)y4^T-28!#y| zr(@~ccoEdR4`qTgqaXLfPQ_9eqOnxk?Xz7bMEb;Ky4+ zkOj!pvhoSnp<_?(i`mH~aK>wHsG6<)S;+1%)p5D4V{|#t>}$zpCbUYP0x^XM zfo`#n9ftz|b6fWe^X_xyRT=fJuf56cH5YO>#>slijV;w_Mht1E@9X4xiHyun|1vU* zWB~qR2T1_kub?}?gzlafh32$>#y_*uq1(}SL++=DCeo>UD z&NPiw%`UP_70d)QJF9%FCs;GqxevC4P0KXvoMj;a!;jOiY$OYCxpoets;8adPOR}P zDEf|kgdBvaLT{Ccjk`oC3CkeupmW2jDxbE;A z5*6)bd=_0Pjs`MEcVruUM*$Du8}@#0QIR*wT$xc{Py?lX4-AK#NYZP~+gy6YBKZ~a ziDmQ>*C5B}Yu5_84{~ELJI4kU235ThX}*FHtXK?#MguDCjGpEB6dO zP?cn=HxdTKXAkt|Yu8VhZLCDrWH-IPBC(xEsVp&t?0S0 zx@K;nxrqSZNtp#S{Vf8K%=>s$?G+h%jl0iVhu0U}kk&dij2j4WZ|O#}49zZ=ifa9< zR0+B?vdilJ=WK(b>9Uc>?iLZqi63T=div7eWr`>LJCM~C1$DKLKuS(@jzLkqT7Y)` z$F$~sl#>50PihTD&HU!?A!h+3;E)8SAkj*HC4u>xZ4HCM7lC^Ed*6crpqWpkT&}H$w>@+Oq(L`p*1`rGUkIHaBOxTmQrZ99Je@IAy__#o}_ICICN zqo+Suz2P-a_4geN-rXn1U31EuEcGE74F-t}A%X{I_nmv-HIJHl`>iTjD^~~OWLoE# zPAABUG79*@6<3xW^-l>y%jL;(#&(dL_xD%}&1Zg&GqzDgh@8rueZ_ta^C@i!>Tuh* z>laW?&}gg?B=EeH>az09DBnOCJFp07ywykzkl$_*XM&AKBLHLd9`R7WLRMHJU<7=s z641E+dF`{@y{2TOQtWOU;rC;^eW=9AzD5A&BMjmetJip4fgnJ=!Z^Vz1Ts>5pd zoSrcrolqixNkxW~s0`Q~Q?^)oMk!Tv>{sB7cEiDF%5d5#zO%PrLTB0Z0;*S{%YXQ5 z{YSwPri&u5_5^toe%-!vhXeQpOsXTp(#6+#oNhPk7h14jhjt>CR#jVZg)^4e;7jsn zoc1Nn!5>u4VCQU1{yf9QtVX@l-RDBt36NiX%$pdbqNCg|-J1tkMWa<<#>W_yYhj{i zbQ)DUo}GZe4;AgT-!qII*hYK3FD9H)i)+3sZ_}~ASgt|KxfIE3mF6sa42;LhfR4!AuKRzyc&FB32gyfO$^Ct7lSY9kHOA2Y;)j@) zr4X+Eiq!g1{&FtB{Fe-Y%p&pF&DsK<|0KDzs^gWaK`Q?((4C5h6|`)VpwE#Z$6Fs!?h3^Q%?Dg zR*|CSLwUQ+=dkfkQ%>VfQ#o7!KMHNxmvm?gU^1fXiB&Mn`~rxw}cVI{^I?C9&9pxD8l z7J6V4%mxsz^w!AbI7&AVGX7zg0(!uNDm3H-vQqQ2n_r=CqI`qE;~v1mZ-svD(ck7e~rBUDJGH} zWzeYrY7b&b*M4~!c_1=Ioi$!vkohUmzW_bWF2NPF9;p+~zy#Lm){qb5<6Mc^zhUop z>KO_UMnMiSO-6)kCJ6>^r`2I7chDt6@+m0xO19T)wwv5!e(XV**NH+6v{HuUr62J? zvpbqQ-ulV~?(q_(l=LK-D5#9R){z#n3&LPK%iV2IfZ!BUYN7rXYLa$%!0V<>uVw_E z{ad0+uj&3}N1}>i#@=K95veW-XnlJFQ9ERj4zfT0E*!?^O)eh){{WKNguei$dB91r z-E;BK#h%Qm^x$x;Y8MQPKG-8-8L3w!SyWNI){=NoDMC94J*v{j@u{~QkAfT<2IZK` zSBaxs#;&O}G&{NgPE7+yU`M2<`$bC1D>{c%85rycr8(>8Abm(x3XtW#1-M*;|LS{v z{@wQiq;<1Z`uC&R0ub7CB*CE9m36~1*AxVA$shO$y;(jwk)iYTkBo%sfbznkDH>B~ zSn3!*zH)C~!H-aFQzNt5<09ew)r_pE)j^AxG~3qR7|W@AWa{tJiU8R~JXwz6DJFMBcK zNdnVMoS`oNnJyLz=Xzy4kaAU!owy9OMn&?2`(~&(fH2!0uq`-&KJwCM62l`+PD?m3 zg&!)UX9`zL9QR!vdSLSXx9brRQ%7)W-XaLlfNI1FD-C_UaM{7f%r92}cewoM=#a_{ zzQ2#nY`{rl&5mk(d@B-Q;#8%y;f!D5_?qz!V0lw~YQ#%d%b#20oU?$4{dI^#k_#El z0TWvNoq*Gen7@M1uFd?fVEn?y`bEos#Dh8s$q0mm@@1*3QwE(pj$`3MWKAyifv;t} z)vpO8MSIGkJ33eOA`<9EmY06(N;1#~d^R~`}fo&rXtFH{9%3CUwvpar`j`s+h(S`hLL!#_yN`TXsy z-@l;w0oG6d3C-)l<}!?&BH!O?;2@2=gIGOX*fb5bZ9b5WM4y!zCnRFnhB$EH6F<>d z<{y}yuZAwFrxX_KDaTTOF)x$%3p9p5ipMK(`R#l<-{9q(=NVQyh2lJgfKayzhA7id zXq_@*0By7BLz9g2QM6cn1d9#KXAfVTK}T=s4Y=M7Nf(j?NRF6F9lr|?6y8*P*lqDL zveW^1tm`)Dhm;P^8ZN_rj-0Y1Asi`yBz=Md(_YGJrZ{kO%Irx$Qea?CKbqeaRdcz; z&Rk zs)_i|D=S!$d$+XamWvWI-Y-03)+r2*!xivbUGvUDj{!bU876@uO00UF8v7aCh~%9D zrj=!2oBbbGfF)dRqvJV*Al|(vhRF_yOF&Y4`fLC|Im9Ip`^_4a z25tu=!k|sSorT)*P)Ay10(q69|MAgoJfQKX+RX3% zv+0tO{+7eE|Fxk3Vp_45qwOfhnR7_N&t3_zPGWWr+6dOsi;E&wOCb>rgaA0-4X9%Z zp;76EC&l(3sQfvcXIB9J*PUO>vo7R!IEaQ_g<4)4cXp~I{e!KTUoeyoVLs+PpbXhb z4n)aPpgAW&Us#IZ1FJjm%@A40={1(!Z;$hru0t^lM!M3Op)$8Fis2_eR-nAzenY4x z^N+J*_Pzyi$;{3f4eP6tMZ!N_W^0X=;LF*9%f7sJNMfQ3$lny+940!HzhnftmqvVU)5; z+!V+y`*2}nP96^(A}KBM!a|N$EhS?&=r%Hx;O8+xu%_w$cMSdkaJb*XyfHszx7Q*8 zmi!7F@$d{plzjwa_0JH_NwU;YLka8Vqqu2sL4+*|qi-6j1$X5UB5vN}9!|&19x*_~ zO+yE-%^e_aCfT*ZaX=3-s3@M;457A%_*-O_cLb1IH&tQp6sRW9IBArw*na|^S4Tzev-C1QC&k_61rOs<&2>W$R98l9wPVc zP;#PGfpgW8?!b8j{{S@H4r62ga}7P%EVY05Qr7jUntoX=PVii22Izr4n3iRv$M7b7 zBtXNz^U2`4b%d3^Ld?@8nX|RS7-y>NuCiMeIAQc~;L`TFAEpm5y}?*@;gc@Jm>QX8 zUAnS9UHXi)KtI{8K@ZEESw;?}5W?27NEFe29f}t=Jag*EvxJ066)Uu3!73a~mRY|> zDgdI#MogEol8cR5uK=Nc{ITj|IdFeNb*VyC%uw6uwGB6^1gzRZbv__4Td;!1wet}S zSOE!A;mjTG-MeJZyq)V;SL(sbMDn0pbby3WhAns+HUeC6@fj~Oe>vDzj^sa9G24U{ z1F!)>c}GnabQJivdp~f$JA2kBczXLv2!2ic(fl*y94lCRN5zNi*}3qyf_SOq(3IV{ z`JtF+eMW^?H`M)Y!%;&!U1)a;OBfvWpMYl^1J`?WZ!T(0f_+yHZumI4q$jL3Z zS0CxgId^{eV-VzXk)CMP5Hbw1C}Ll=6~9}m`Kd2p_RhOw8P+lJC2UHSDl~Xtv>W)6K+YU(m$7wy1g|YhfX}F0pIty?3SGqskqj7>m2|Jnj7Qt?*B@fX@-eefr z`!Q{C(ZkneLDY9F>oyj|#kk6?gXz;tS&xg-9HJlY+|rW?scqhEs7nNgg}E2eGmZ{6 zlX{57_&wgbB2#T%OD+X51Wt<+ZAWMjo|ad+5ROh9h{E_8A`1TvyS@sH^ZmZdvfm-9 z)dqT=QiK4)=|%#peF-#UmVXS9X(ma=w_;plhxV(nykf4_Z4Lv6aOg~dc6HcPBM;aB z8{n{J7Z!`qN-f~-ucr?}I-eQ#KUtd&&3!?G4F(N5MQwlc5K()`qJXI}Kp-<13U;y) zF(KBqt5N_5A^vF@l6Ccqf%I=gR62Z(NEYRnZjF2>^BmjId>JX|&rsAMMC6_t7(h>vlX=)ln(XuNl2rDTgKW?99tS@c<+kJ2=sb5Z z_J09F`4^IK25=r!G3VQp4k zWR{|v@_9`+=7N8r$o6vKKq$8gQT_<%+8mpopLQOL$2tGg*?Iqy3$t~!70z-V?vjru%@UodrW z@G~9QI6%pKCZD?hve-9NIGWAX8LdDbbwR4)!(MQTl4~!H!k;Yy&QTv21QM*Veco4B zO8j6;Tdv*Bu}fOQYsOfzNR5n9riO9jK+K@_S~hH;I5W6Jxk|*7P~$c;?Uong+)awy zw+EG=#h-4%_tK+6O!*@wlsRe2GC&uF<)gyVwg<*5Q~_~3vkYfztK$mw8YFo1k>J2S zUN^#@n10Am6lO;UHB_!6bd2Wd>UVz^UBc%lC*+;qj{o?*`}eYZ5AUCN`0ya_BhZL4 zIRD-3_w*+fpE1AP8rXqLk$mO&qbV-57sKeY67k75&#`ilt_D*&l%N?&gK zoFl5=sR8*Gs+^yZR^VDNq2fRh$PF$1eyWBY=P7cmTLy>>!35>(LOH5g30g$7Uw`0+ z&J)5?3qa4(4gCIxTo6UD>gBBzV8d23z1TmXfe%&i7;1T{&k>USw#YArgh08BmjR}vVAt!s*V$H^mYep8 zMwz$nCUlQjAosgblKOHNKCc0?V5bWeJ2(`AY57blJi5n)uDyAL?}t6qB_5J$|1Z|< z^2JxKI!fgb8}Q!=^mlz)DC1m&Y zyN)BEZw1hE_aX`)b{m8}o$0EK4&Rc4X-;K$eS&?(sV$Z4S%%AfD!shwKku@{vmL_` zegGYntbkVP-9!@!kBM&?Bp&!&&F3G1lD*fE>Pg6H%6bM2&y~M>rmkFDc{GzG`IJ=< zkb3gQW)Uc78Mg1)*i6}b!hqgjw>MV^Aey&n`)T%JGSiwCwUaA6Bz3&KhhzQ> ztg2H!%gj?U!;*v&ksr8hl^zDh)w4s&^&)W5ZAW4bs%mRLm4QinGYaboDp9FFDzi&qZ37Waix10-Oo_ zZ;D0}w0@+v+x52ckW%<#76fUm!Wr_a3c^`BVF-a&U*1(WHNo?+)03bpp(~FdmqNUg z)RqXyt;L;sJ79`%TTqx*iXeD4*yrD+21!VzF-zirgx)MEVRnNOs+&{O9`)Xt# zP|=_{SpY8e083ATb9^uR0 zTqVR#x*fDCjILT=`q8OH8Gfe!?0+XRmCb*K+8G6m&-|lPpCS3YU4+pfgU+v9KkS_`{I#6GHJU!U z+o;;F9Ob|hXF!?q-lE@siC#?owJZ-SB@oVH3v zkV}vB^h~Cz7b8`L%RibR&3?7%y^2o%nC2fNy>HEtE`}yxVlC!kYS;HE*jM6mn|sh1 zR|EOw!PR>6Hy2*9kT!ymuq^%AGXRF2rrW+Y?5MOtPlJHpdEj8Gf%>^ysOBp6g91Bu zsN6a>0vv~uMw5UJIA89B|1??S|H0guEf{~!{SBJgLdS5%{44?+-RKlLqP1Fk(vq}P799Q|Z!u!Lds4BWTH#khY{mvauL|GBKz|pwQ-sLC+prSyh9EuLO z9iUOk&KbY7_lrxSqzkrdQ5v)Ja!x(xgTNqoIbl*8Pc{I@!tdwmSzIg~SSb1a@e@`p zbs8~o>txdAaVsM$a?Ga%TIMsKAzFQ3+)_@%#(I(MCbXu#5nNRJ*;&7hXx1`WJ>(rs z~6jy&e zcmCd?!Z8X)z*9$`hBH17PuSiVmn|X+C>U_Kq2V&## z-G`_bFBIXVbD>KXGwk$soNix$_j(F=GxZk54%cTdIQcFUDC(>Ul1S1jTVqA%Tdkxj z@bb`)#&&p*KP!BU>^MUqfTxJnPmcDWynq_Bby%h(Bvrb2K>Uy&qz{l=o7{$?_W~kH zXzqgUyd^!cE61pdPSZoHQ<<09qZtZ5x~mM$n*IY&ba#t)8IM>;@|7J7Cl{PtYQwph z;UWqzGMv)N8A79XC{cV~kir3|K-3bnTi-)7X$WCYsK4~8-EHM3P-pxswqqAjRzHQ7 z&g%Zd!bW)%mJ~fi`nO{+!Y+C(p!sxz{teN8Lv^(S4;g@YXD9g;FKsAomaQ5=GsxQv z@C%~A1^amg4Ue0@+a)G%w+S^wDWj=(t(A>0 zn*D($-uQzk#JMn95Kqcrc|EBx@|)d<{tY|qbre;Gt{#0jOgYg1c>GQQXYTBbWy+ze53 z-aA&dm$)39Dc0;7VYS8@Yk%%RYTb3J~OpK6lK|RF#nQO>e*;8 zAgt7LFnxd5XR2W}by=XgKUf$sRG;X`5(XL1B`P_TV4mQab+K$5i2?jiK@dpV-|}`N z!N)w6j{BEd$^bbh!Dz%KnKxJG5k{LUoBU@J$)nL|rHpAF@*HAm7yF-^DJ=&06HsE( zJM@xBQxyw(=u2{(K8R^Emy;3c7&MBg8E;7(r`m<4UO{gl+xs`l_-WYtL(Sco!0)#r zcZvd;jpA8q;8-&huAh~{vch2PLY)-T|Eb6MD{6;f?U1%X)!0WxmgyOd09=h1X+=mN zQM-A||B8SVL^|!6K6c<-+bS(NkWA@&0(Sg-zH|@CkmL?(*&ZNZjni(4lj~8J?ikSI zDkFH1$$tTx;i+>(WwI-8HW%mEb4atZaR7v*6rD>UNBiYGL3z%kr>?9|#Fvpi1RwQsNCM~=8) zXJpK4@_L+QMF=;+zDAl^Csa7p5EpAb)>kBHTJn^tJRMA$E)(bXOBK4U_Vc1A;*Xxl z^c$o{SC059NQY*BU~YO!r&y0uH-@ShQ(kk4LSQQaB}d?OYYxSHdWyVv-IwY5c{Gxy zoxOH~VP>oUgk{9PmL;OPl1Ks*;BINu(t2$|(Q~gE1Um9Ex*ZuZrh*U&&%VClB{dX3 zk0mL&PnX{KolQvoGE*HpHGeJ(*SnUdUJR)tD^7X>?ziANplLq-=3Ag7M#i%@(xNjO1Z&OWPTP>T15=>v z$+$9s+O>fruMkanKy(4r!zEzGsW3gp|4iI_Zjd%Fz1;we$VD)`p$Sof$Wh|3M;2Nq zuX&%;3Gq8sU?D?&YFuV}{tbCt9`I^jO#IZx>5iUyuV*UA9>Sp!7~}a%>|VY0_kFuR z_lm!Bq!5dVYh7!<+@>w+TKBNxp zawubBXNUrX5?e|i9H3rsxm+cq)6f4_XFh`X3m01HRg)(N|Q5hp;7T)t- z)${DrniUZ~6-haH5i{6+7mr~^JLr3vPiP^ca@(uG}+D*SSxw)Sz8_xGkUoB*F%s<7) zaVINoW|D1$@&aj}$OqedK|WQxFofUY*QjITnm645A1K$$|E?|2kx!G$_`~lXM^TM+ z+>tvQ@#%plH+x=!6v(g-iwkMjarxs91QNKa6hjam$ zcvTsP83Iuo>f?c0Gg6?(y`%sA$Uk(+!{WyJNVllKJYHv#h@dDg7Nl^)3{B~*8K zg{3F&x0OmEbjwYl!zds4 zU;*N`|6^0~%)X0AnHB7j9VHgMqIBgq^nCA~18&r|?d%i?;+u=Ekhjg*L8Hb?cpXLa z;Gt7L?wl-2e8K?b1uAPc(<|vIzc2W4VYAMj)_=6Jqm(WAiR9vXWWC zfS(`JM^QwJ!R+=0CIcJL*yi!Xk1AGrJ5CC>)oHuWC_*n)p7E~q<9W5r&SdC|H#iT1pj_} zKY9<5-&2qGH3SNPyej?!b*}Ls0dQIN=efdA%2t4JdFwF!aT437P92nw^bo7%l z;)5NHKfANcTfm4W&^l1Nn9T66$6852BR1>5?O41;Mh|$;wNVvvqlznj+|=>as&7vB z;$~gq@?FlMn&DZxxaaq?;H`a2h0m#*bzI4|B_~N{y7vJM3EsnzUO$PZDJF$96nW*@ zwwvLac<5!9v~!*Nu#yzjxyuwgpw|5}n2N9Z0)AKkj7=L!;G<zUy)LnIvTK9ny8`Lk>6q#xPc zH6)FT!uDN*)W5;RP>3zbg5yDNsfdn3IjG?%i2Mw_s%2B(LyeuU7J7n{VPAcJFF+{` z+$I21mjE2hQqO24mR|Rv?{BfRZq7-~LRdF|hMun`Cdj1wUOu~?zUg=u&>{Q$*9$G> z+W^>)1J*T!1$-=dk5E$iW>DKApv${B6Jo9Ii00BfroJ9)I>K?;GXljk)yoQ`r_Vw0 zY{TlnHNxidk148zglm*-tY2uAb))~J>gR)@}#*ZkJNodqO}8b04p>q za*iKJW(iT&ze;t!)Fr5gPD>rL7hBY}0w{Q{5%De&WAIo?DBK`V&UUc_^{aO4WF)-qPE!xtgtpJaRDnj z(KO2CV`;tmDWGRN^pg7C3mK z_lcE-g3fL^5?}1LdQCLqFPR)#)R){udaR+mHK_~dI9*0=mTqU|&45u{~%MNfNKde|A zj<0uxxInu6nUSfunqZ=xl(XNVLr;==K0+P?&{;A2bkdZ)%DxsU;RbMRHJ87aHkSF#1qB=_Xn zr0++FQ)B^ceur+J<^&kxYcVZwLqe>LVHQF%gQ%0rfc!&ij3u0F-Bf*Ha&nP=k_@3l zs5I@t1@EC0`P-xz#Kf^VYg<%mNGWX0!qfpK;i3yRd3WtP+?bzFh8BK};AwNCE3*>Q z;(G`wgD(>x?d7F@{hRez8t6MNiv>S62qEqfe?2r56ct;t{P4fp4O1DfU5>J(CU0h9 zxaN~OaoNf)zff-$$tDJ#QzJ$)C#G3LIkRzpsaA>TpL{L#5}HY!PgXZP3n4(-49*JI ziH2Qo!h}UhFWH(tLB0MGbnV@5pAeitC(@{pYqFyvkPZpSddVSEnkzy#yj6E?lfT}9}?<`u9M)U!>yT)EW(oVtW zOTd>uQ;3g8t59@x_WqhrfC4p3mtw7gpP7R{5!#LBQ3(=?=ZM1x5*HP5Gd0XMkGPZ?3`>;n}oo8y-+m*}^D33Nh#OWjoFViJ|tJP?K zQc`&woKcBqZv5eKR=&x{zQbcFkUNNq0CIj0#W1{t*zEZy%e)Bb)7CU`)T?1Xnvxe2 zfzOa0t;>}le5PUvt)vp;MX_ryXi(KiMie+OPs{}OR|5E9C{E|hB_%}IjC?}5ZZ^t3 z^5lHi?&2>u=KEOr^vyP7$-=d))c`I-8nt#=puMWYPk|kn}Y*c^dUn_+tRX6}uf(liSWYgk;0Ve%Y&+}%o2SVbRMV)Mrml|p@(#wfh zn9RQ;j*A!c0Omp{q0W6wAC*Q5m8DtzZ)IVuF>@+Uee?M$=8{AKdkJs| zPKToICVz%MG^IALe`6xcFrXZnXJUp!Asu50GtBY-Iag%eHaXu~xSBVm@|)*(R&nI9Re_6=HZl7Xa9C%6JKWHt}s-=sW{gl~L zeKq{q*jV-#ZM$f`CqsUv_SSD^!_{7s!n=OkZT#te^S7x~*T#K4gT*zTJ@@a5N`L!! zzT+AHh|X^mIYCxAHK=n;mJ4}m`l`S*h#IRV^3)34@Wa8!9X1wj*x3QZXI*3`1e>~Y z>eOB}&bb42qb-*6oS*5efNPdLgB83ZTS!KYLGhlFbDgSqh&4|jN9f_Syr8Pp{_5AV z6NFK$%M->FWH{l#@4rPUS{Y6*tvejf@6+ZnRT{=HF&I1CGOZ9)m?w9j%KE≧TSG zaTnxZ4@>n0i1uAV~UYCqY$V4`FDh@1lK-T4kAO7h0!!T1XRO_sp zAjwLDfljvg*jyF{N>n`G3l_q%r3D*mp_-eYpsu|joQ)1P@3x&1bsryuQ>DcU=LI-cG=Tw&-kw;C`&W^L){)4v-_2cet!|~JB)rJD5G8ndO&aKF} zUqz918O-PX++lt`zN^Ue9D+cX2g*q5C9J&hccGy$W;l$(w&5< z5nI{~aJY&?L`WTUkZzdq8mn`$Om6`d-nXyo9`yh*rcy?TNx(WSV9(4}6CM*G6LAw+ zpUoJ?mU1)rqJwMcU!nb=UYEa}M$`yiJLojP`rDnqncM;{W;Yskzj8p}x0-$-ZYTdp zASbuAa487go?#Vn<@4Yx7zkS6Jh53g247zzhv5a>!QgiORpjmyc`#csta5WbUULZr zLI`0$T%zJ)-WE#iiJFLp^GetVJoPv+2LQAO8J1*QKd=a))nuE{7!{E+o`lwZViZp4v!_t&$3rw)AaS;{?h}8zdQIGU0(!s}=}dgV)ti4^ z-G?niBB)Fpba|-pw?MkuA5r9qM=r85q0`eH5CI(tANGJ_21Cv!{Bv#;MUKA+ydz?% z40gdLF}rsw&@ZLNq0f`LGxsqhjP*BNUWlvr(y!(mdmsmfczFBVmn*VmNE<}Tgj!t~ z1SQ31Er2zRKj@QtaS^u}@>(P>%RZ!j;mR9W1Nz{ICNt@R1!<1f*_psNOwRLRs!#ly zIlSWs0n;t;j8~yBK^IvrcRhmFy;$;V8P#~reM9%5^BxEUg{^C2B~Vq~-P$?l22zq3 z!s`K(^XD)X3y=Jq3erGm1V~po0^AiaF4vIMeh$`s7lO(ge=e8gb-+oC9b2Bxg@@Gm zEs4H1m&qw_Ky?(Ep0jWQEWo393%_s@FmM+lVE;ds@7;=u{-U!;6Q|fpU|}qa`8i{J zAy((xFyon6n0Yu#9w5)32{dYrtfz+yie~Zs94Ka0gvTCTaOIx^o5P@(Bs2bQ3-Rys zz+HF%xV!l@q$x%Q%;qI`=KXcC7Yl(S=-2*PyV9GKkUD{8ehA~%g;wwWa6u2^Ad7*2 zB@8I~9oeknrBkZJ$gOyWIq*^gZs)yo(NVhX?KSc;kDlM0Xwv)^n{vi162Cp&xOzSrE; z+l*t+M0#THZo0C;O}_}Th(4yCi|MtJ%h7-EZd>V1|ACUfg@TX8%lQxmLxk6d z8x#UlVDW8W_<{WdN-+j9qx1Pbm^aQpF0)((x$Yoj8)L8&ogOnRk_YV4l$2g_^vprU{suHD`Qp_hxlj(PeIG@5neZ*v>~%hlB8_e2g4^y@ko=QJ{Ahs| zQ3ik2J~S(}3*$NilYkWUN9P)%UzXie{F&C8#l01$#sp;cUzS`3IOcw+*?GEy>_y~vUXCXi zZ01vhD4{tjmZY4XF5xKylE#VTWLp;%5Qskl?;WknH|~?BpPiD{VO(CoMw{ng3hkYS zSUtb|NzU`}Y3qeb1*QcKYfn#0rWbv!)XzKhzIr->KDpj8Jd~uza8x&9*8FhD+GP&o z7^rU1+J<8Ven-_)#q0y9H;Rz}%S3!%Da22n|HdjE$n-nP+ipN1D0uHMI?emB%6{Lq zTxu{Q4<)megDL@a-{7vbc2SWexdEuo>VgV&)+JmkiAis5PvqQaf*p=-xv@7|tAQ@5 zQ?jr}`-AO|@M`uGOeat51!~j_%l87IIz>!G;XH;qv{`R@^8V@Smj{AGHfpsO81x1a z1&xmpp{C-+bDxweZnn6^ZAJ|EZY-ys3Es~tZ@UD@74B%I*)=$JqvMD<&=9$`=JGlwx?X;5Y-d|R?-5uUx`P$KT9TNMw?;fLF|3n-L~ zfx8S^Olba9JvVU#sjqI##-*0i?d$MxvAIOsgg z7sWBz`Dri^QYYfcMw`-?lvkqcu>6bE)4_myty+&<7M`;->W}9<*!K>Fg3eMUxE)>= z2E}bAr>jIq>LTa%>^O)7VYB~{Mse2{o30#h1(|ryjsulD43!h|Lb<|XyS1Y4wJ4K- z zeMoj%69c`^VDfF8N~m*y6i81NH8K;ghibyaAGTR2M-IbdxZ9($aX9&#*2%1?>p#F_h4#PHj~vI~p2)bZ7!)Fh?GD}47cIwO=Fb}yso8{!I(3yzc1)D4 zMhW}t^iCWl2nocqjQF)`Uk4#nac~-fku*n|qM0QKMZWTI8N1+M-+*5Lv#x}8ev-&P zXB2mCfo&0`)vL~*7Ssg2a`)F`dD*{A<3K*$~s;`Pok<#a! zX{s=Gh>Lbi6tQK*3dc9|^hx$n`wIG|lNN)j@n-z|8H`>-ht`=oU7C({QdsQmf+U}z zcv^#&IG=q|;a)*k21??~{@_?XMh&H;WqMh}foFX%%F6^o3|mv_UFH$TXZISl#H;v) z?A>+l-Y!7VL5-DftQZY@^BUmwZSMQ3nEL<>y}rM9w{244lvkPZ46DrOn@Q-+bmK^D zl?ao`hbx$E@Tu>ca+<4nq)x;p0}B>O8i9?e_Fq z?-pJ4lNaDcWZa_f03ROW61*!HbX95k>s=d?OU72JPik)$035Dq0gb8{T=YkoA+9aDH{H{3)i98tNYR_ zwRh1I@HdzhmI@@71-tSJ9BE|WjqhA(cvN#$$%*eXONixjA6RnjM|J6c*H0l4Dm?2m z|IZH3|9lV`$bah;DpnICNTgX0Vr4#nKn1bVaA>8>5oq{ut%b+=frK_6u2QxhBEE&-G`^S-W@XMQFuv@j{t9^oJB%) z>8=Af8}vzh^kN5t;&K7~4DMFY>)g2qi`-WpcE1i%Y0A} z92|VS74DLDt7x?T)HzDj9nV7uQM`O%UZ*r{B*qrhbK#+FjAS-ZqLph|<)-5gZ&GwM z00u)NB~ZC0tNcR1eevr%BR_rS7*GxmUhR8SMrIWm208l_o(0@{GXP3kwhEO@#yqtE zh4_{|?t9q2q~q(yR}bz4S1a<-oc3>;JV$vvyx2|b*Y~v!FShmm@Oaae^+EQbf=0UU zh2v(F17JKzm>YP4F>pNz*JwzZS^8YNkK3 zLJmZ5oHX2QW(mX*A%myW@m@)0NSVx#DQ2h(mhBa7er|Z43l_0+(&HYxGs4dk6GSM5 zNb)g@9mEVt&}V21gQ6Og_{0}3TN^Cs)&YSh;?Z^w&kYU7AlO1GH3nrw?rjL8eYm#c zt}oFS>P;+E2;ppiN{{cb=R~3KnV~i^`PqGg*19iH-mwvAmB8o<27nH6h_$#K`!PYm zY}6lSf+BT`lbh@p%Kv?YrO*et)azJJQVUtu5DHcRm{y12DR-ehfp7Fplp)aQ|5N1k z^(rOfEj*uWuiaB;R^^6M8Rrm8%Gp2U>0eEyXhcNL4xSK3=G$?3ZU^{eU9q>+Dm$*Q zQAq&x7E4hdqKMLPaGO6blAYY&hO@d^h=*eHF#mMVbG)6^xd;Kd57%6~MIJnhE!zcu#}_mL1vF<(IqyMXyMhwx z3V10Yxd-nfs*1ky8&g7rw=80Djn;uBUOEdCpU}e)vU+=?DH_};#W+B7Gh}}14z;J# zl&D&KYf<1g>H!L)#-DL6`;?BbF(jVH4p~J~;so*;xfS_6_RTYfsLPt_lzInSoBcA; zOdN8{#!%!}P6%b~>I0W38Z)t?b=XqHXF=(EfDV2bK#Hg@mC@VQcE8NAg^T5ujbiT0 z5aw<~1>Ox*6jnegQMY#!gGLo`kO_>^jZo++3hAix42gTNeQFwm=r{J;-+cRP5ald) zDEv(SOMfj2Q9>diah7K>MT5P6iFb>=t6(xu&SS>JV}!+y#F3ns=*Ta3|IHtaQTI&H zB9A~fcOa98;Js~zRW1%YDldzpVHM*F@3kLD2{j4n-a`AzF4-KuD6`B~3N!auFV?4L z8y>US{)ozLftNHsfkQ{W)KDyC2|$PP;5+Krx+49LAqeA?DX3JbC|uCPXnNA z%SKg%YP{DBmL-4Nd|~J8&cY1Y`w-B>B_L{bQg{Hawp}&gqrIN2S>{OfVE)04_0?TV0j4 zwg}PfhWGl+pHw@5E&qRf4-LL6>zx&0tP@__1M3R_URr@#tPRku9arPHizJl8_xsRs z%x|z*#Ih!%yoc}wU_TXzwyUs1TOJwr)78KiGe-2`FRmSvuX+HXhA7YIMHIQJTCm$s zf-U4WkL-;<&f#*%r*&h4_>&&zBztgx^``IHu?9T?<2SpH0J5(T@|t>uu1#OWI-w)o zQiiL;+vhPuh!8q_QI2=~5kVOuU6C>_sz5?+HNF$r*H>5wO7aH+1zzEz@)oKB+k*bN>hCpvNiCu2Ewq@nO<{-7=olZhVJ7_%b+0jvB%78o2Y-65ZEN z;@BQUjv*68^F%tW%WHnZ>(%+j|X)7qK-Qc^S8Kx zLw4ydRsL`dhU(QxOFpT#biS%xO4kY#T=&55(vCBa!)dO=EE`03JG|z;PhRnwyppQ( zZk#BDcVX%?PcHARqDI=3ExYPiD!OuPpZAG-xu(?FQCup8$jSe+!a#M%`}|2t*)Mc z48+!L$*oo1^djC&PeH3N3AV_dMV+9sAYr7}kL`m)K}6VM@P@GShZp{{0V(`GLe|eK ziJ>5g##e)_SnLn<9-2aSN&R@XJOn!$?bE}8kUa=Y0j$t`J;((oi`yk?j0a}f@eO-%aWP8HSAAII6u(Hm9-Qv~r8x)kShJxy9g+&Rf49%JEdN zG}5r|M`p0b(0O*Cbk0`HJub`h>#fM+?+*pFSj~Pko3n)4%65>GwBGMcD%b6M+S7O6 zK9{-m9-By9(@a?DR9LEyp28!xA#GP-7ld36{Ya2KuI7fV3RPU{-RV-N+PtxSW^5p| z%H^H$^q;fDbqB@kt6KgiV3}P(Dm!1AP5>J0$m4dm1RZb>iR3WAe;7NJv+GEnsr#~7 zaLwE+vpEr4;gI;r1kTm$J{(I|@4OBgwS%61c2Z6{Zq?CV6?@_?jwm%Vcf>w!9Ail2 z9z8*Z`&I0UW3VG5NS7%9x{5&>40UOplTe(Skw95t7UyQ7^;HCmD&>)8w) zAOh4JJrGRGmV^sNyxUgk5*H3%F}MP3QuN_CRL{pZTpEkx53l;8R^Id<{s+nVul>6h bVe_nWU3r5?WxF1e!BSFClTSZz^x}U2#}HN7 literal 0 HcmV?d00001 diff --git a/evidence/track1/summary.csv b/evidence/track1/summary.csv new file mode 100644 index 00000000..792ed2d5 --- /dev/null +++ b/evidence/track1/summary.csv @@ -0,0 +1,15 @@ +case,repeat,rps,read_p95_ms,write_p95_ms,error_share,lost,duplicates,api_cpu_mean,lb_cpu_mean,postgres_cpu_mean,valkey_cpu_mean +db4-4,1,11660.849999999999,5.094,8.006,0,0,0,67.8525,96.7296875,238.769375,19.4109375 +db4-4,2,11694.599999999999,5.158,8.141,0,0,0,66.833515625,97.0121875,234.3340625,19.7028125 +fixed-1,1,9963.05,4.929,5.127,0,0,0,182.7,78.78382352941176,168.9385294117647,16.86911764705882 +fixed-1,2,9679.65,5.211,5.391,0,0,0,182.693125,79.4125,163.615,16.64625 +fixed-2,1,10654.05,6.371,8.927,0,0,0,103.99602941176471,82.25470588235294,186.9244117647059,17.031470588235294 +fixed-2,2,10692.699999999999,6.363,8.668,0,0,0,105.6771875,86.4184375,192.4509375,17.303125 +fixed-4,1,9290.5,13.212,16.762,0,0,0,51.793125,73.246875,175.84375,16.05375 +fixed-4,2,9635.25,11.767,15.899,0,0,0,52.12984375,74.9853125,178.6371875,15.5428125 +grow-1,1,5628.75,40.907,27.483,0,0,0,102.7090625,43.2296875,90.21375,9.260625000000001 +grow-1,2,5633.6,38.987,30.913,0,0,0,105.9440625,43.9678125,91.610625,9.2228125 +grow-4,1,11105.9,5.127,15.436,0,0,0,59.215,88.50031249999999,208.5990625,17.4409375 +grow-4,2,11381.050000000001,5.062,15.901,0,0,0,59.25860294117647,87.31382352941176,208.59911764705882,17.510882352941177 +lb2-4,1,11429.05,5.037,14.467,0,0,0,59.29639705882353,87.33941176470589,208.53970588235293,17.145882352941175 +lb2-4,2,10918.1,5.265,15.4,0,0,0,59.40640625,85.4759375,207.1703125,17.35 diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 00000000..99fae45d --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,54 @@ +global + log stdout format raw local0 info + +resolvers docker + nameserver dns 127.0.0.11:53 + accepted_payload_size 8192 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 5s + hold obsolete 5s + +defaults + mode http + log global + option httplog + option dontlognull + + retries 2 + retry-on conn-failure + option redispatch 1 + + timeout connect 500ms + timeout client 30s + timeout server 15s + timeout http-request 10s + timeout http-keep-alive 30s + timeout queue 5s + timeout check 1500ms + + # Ответы самого LB в формате контракта: схема Error и X-Request-Id, совпадающий с request_id. + # Контракт разрешает таким ответам не иметь X-Instance-Id. Ответы реплик эти правила не меняют. + http-error status 502 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Service temporarily unavailable","request_id":"%[var(txn.request_id)]"}}' + http-error status 503 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Service temporarily unavailable","request_id":"%[var(txn.request_id)]"}}' + http-error status 504 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Service temporarily unavailable","request_id":"%[var(txn.request_id)]"}}' + +frontend public + bind :8080 + # Идентификатор для ответов самого LB. У ответов реплик свой X-Request-Id. + http-request set-var(txn.request_id) uuid() + default_backend api + +backend api + balance roundrobin + option httpchk GET /health/ready + http-check expect status 200 + default-server check init-state down inter 1s fall 2 rise 2 observe layer4 error-limit 2 on-error mark-down resolvers docker init-addr none resolve-prefer ipv4 + server-template api 1-8 api:8080 + +frontend stats + bind 127.0.0.1:8404 + monitor-uri /health + stats enable + stats uri /stats diff --git a/migrations/00001_create_users_table.sql b/migrations/00001_create_users_table.sql new file mode 100644 index 00000000..34e3184d --- /dev/null +++ b/migrations/00001_create_users_table.sql @@ -0,0 +1,22 @@ +-- +goose Up +-- +goose StatementBegin +CREATE TABLE users ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + username text NOT NULL, + display_name text NOT NULL, + -- Строка password KDF (Argon2id/scrypt) вместе с солью и параметрами; никогда не отдаётся в API. + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT now(), + + CONSTRAINT users_username_key UNIQUE (username), + CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'), + CONSTRAINT users_display_name_len CHECK (char_length(display_name) BETWEEN 1 AND 100 + AND btrim(display_name) <> ''), + CONSTRAINT users_password_hash_not_empty CHECK (password_hash <> '') +); +-- +goose StatementEnd + +-- +goose Down +-- +goose StatementBegin +DROP TABLE IF EXISTS users; +-- +goose StatementEnd diff --git a/migrations/00002_create_chats_table.sql b/migrations/00002_create_chats_table.sql new file mode 100644 index 00000000..7b5cdd4d --- /dev/null +++ b/migrations/00002_create_chats_table.sql @@ -0,0 +1,16 @@ +-- +goose Up +-- +goose StatementBegin +CREATE TABLE chats ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + title text NOT NULL, + created_at timestamptz NOT NULL DEFAULT now(), + + CONSTRAINT chats_title_len CHECK (char_length(title) BETWEEN 1 AND 100 + AND btrim(title) <> '') +); +-- +goose StatementEnd + +-- +goose Down +-- +goose StatementBegin +DROP TABLE IF EXISTS chats; +-- +goose StatementEnd diff --git a/migrations/00003_create_chat_members_table.sql b/migrations/00003_create_chat_members_table.sql new file mode 100644 index 00000000..91aaf572 --- /dev/null +++ b/migrations/00003_create_chat_members_table.sql @@ -0,0 +1,16 @@ +-- +goose Up +-- +goose StatementBegin +CREATE TABLE chat_members ( + chat_id uuid NOT NULL REFERENCES chats (id) ON DELETE CASCADE, + user_id uuid NOT NULL REFERENCES users (id) ON DELETE RESTRICT, + + CONSTRAINT chat_members_pkey PRIMARY KEY (chat_id, user_id) +); + +CREATE INDEX chat_members_user_id_chat_id_idx ON chat_members (user_id, chat_id); +-- +goose StatementEnd + +-- +goose Down +-- +goose StatementBegin +DROP TABLE IF EXISTS chat_members; +-- +goose StatementEnd diff --git a/migrations/00004_create_messages_table.sql b/migrations/00004_create_messages_table.sql new file mode 100644 index 00000000..4466222f --- /dev/null +++ b/migrations/00004_create_messages_table.sql @@ -0,0 +1,25 @@ +-- +goose Up +-- +goose StatementBegin +CREATE TABLE messages ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + chat_id uuid NOT NULL, + sender_id uuid NOT NULL, + text text NOT NULL, + created_at timestamptz NOT NULL DEFAULT now(), + + -- Отправитель обязан быть участником этого чата: FK на пару из chat_members. + CONSTRAINT messages_chat_member_fkey FOREIGN KEY (chat_id, sender_id) + REFERENCES chat_members (chat_id, user_id) ON DELETE RESTRICT, + CONSTRAINT messages_text_len CHECK (char_length(text) BETWEEN 1 AND 4000) +); + +-- История чата с keyset-пагинацией: +-- WHERE chat_id = $1 AND (created_at, id) > ($2, $3) ORDER BY created_at, id LIMIT $4 +-- Индекс отдаёт страницу без полного scan и без сортировки. +CREATE INDEX messages_chat_id_created_at_id_idx ON messages (chat_id, created_at, id); +-- +goose StatementEnd + +-- +goose Down +-- +goose StatementBegin +DROP TABLE IF EXISTS messages; +-- +goose StatementEnd diff --git a/migrations/00005_escape_nul_in_text.sql b/migrations/00005_escape_nul_in_text.sql new file mode 100644 index 00000000..2aede12c --- /dev/null +++ b/migrations/00005_escape_nul_in_text.sql @@ -0,0 +1,45 @@ +-- PostgreSQL text не хранит U+0000, а контракт допускает его в display_name, +-- title и text. Приложение пишет эти поля экранированными: `\` → `\\`, +-- U+0000 → `\0` (app/internal/store/db/text.go). Ограничения длины проверяют +-- раскодированное значение: regexp_replace(x, '\\(.)', '\1', 'g') сворачивает +-- каждую escape-пару в один символ, поэтому char_length совпадает с числом +-- code points исходной строки. + +-- +goose Up +-- +goose StatementBegin +ALTER TABLE users DROP CONSTRAINT users_display_name_len; +ALTER TABLE chats DROP CONSTRAINT chats_title_len; +ALTER TABLE messages DROP CONSTRAINT messages_text_len; + +UPDATE users SET display_name = replace(display_name, '\', '\\') WHERE strpos(display_name, '\') > 0; +UPDATE chats SET title = replace(title, '\', '\\') WHERE strpos(title, '\') > 0; +UPDATE messages SET text = replace(text, '\', '\\') WHERE strpos(text, '\') > 0; + +ALTER TABLE users ADD CONSTRAINT users_display_name_len + CHECK (char_length(regexp_replace(display_name, '\\(.)', '\1', 'g')) BETWEEN 1 AND 100 + AND btrim(regexp_replace(display_name, '\\(.)', '\1', 'g')) <> ''); +ALTER TABLE chats ADD CONSTRAINT chats_title_len + CHECK (char_length(regexp_replace(title, '\\(.)', '\1', 'g')) BETWEEN 1 AND 100 + AND btrim(regexp_replace(title, '\\(.)', '\1', 'g')) <> ''); +ALTER TABLE messages ADD CONSTRAINT messages_text_len + CHECK (char_length(regexp_replace(text, '\\(.)', '\1', 'g')) BETWEEN 1 AND 4000); +-- +goose StatementEnd + +-- +goose Down +-- Откат с потерей: U+0000 непредставим в text и превращается в '0'. +-- +goose StatementBegin +ALTER TABLE users DROP CONSTRAINT users_display_name_len; +ALTER TABLE chats DROP CONSTRAINT chats_title_len; +ALTER TABLE messages DROP CONSTRAINT messages_text_len; + +UPDATE users SET display_name = regexp_replace(display_name, '\\(.)', '\1', 'g') WHERE strpos(display_name, '\') > 0; +UPDATE chats SET title = regexp_replace(title, '\\(.)', '\1', 'g') WHERE strpos(title, '\') > 0; +UPDATE messages SET text = regexp_replace(text, '\\(.)', '\1', 'g') WHERE strpos(text, '\') > 0; + +ALTER TABLE users ADD CONSTRAINT users_display_name_len + CHECK (char_length(display_name) BETWEEN 1 AND 100 AND btrim(display_name) <> ''); +ALTER TABLE chats ADD CONSTRAINT chats_title_len + CHECK (char_length(title) BETWEEN 1 AND 100 AND btrim(title) <> ''); +ALTER TABLE messages ADD CONSTRAINT messages_text_len + CHECK (char_length(text) BETWEEN 1 AND 4000); +-- +goose StatementEnd diff --git a/migrations/00006_create_cache_invalidations_table.sql b/migrations/00006_create_cache_invalidations_table.sql new file mode 100644 index 00000000..852dddb9 --- /dev/null +++ b/migrations/00006_create_cache_invalidations_table.sql @@ -0,0 +1,23 @@ +-- Отложенная инвалидация кэша истории. Если после COMMIT сообщения сброс +-- версии чата в Valkey не удался, строка фиксирует долг до ответа 201 и +-- переживает рестарт API. gen берётся из общей последовательности и при +-- каждом новом сбое получает ещё не выданное значение: строку удаляет только +-- тот повтор, который видел актуальный gen (compare-and-delete). Счётчик +-- внутри строки не годится: после удаления строки он начался бы снова с 1. + +-- +goose Up +-- +goose StatementBegin +CREATE SEQUENCE cache_invalidations_gen_seq; + +CREATE TABLE cache_invalidations ( + chat_id uuid PRIMARY KEY REFERENCES chats (id) ON DELETE CASCADE, + gen bigint NOT NULL DEFAULT nextval('cache_invalidations_gen_seq'), + updated_at timestamptz NOT NULL DEFAULT now() +); +-- +goose StatementEnd + +-- +goose Down +-- +goose StatementBegin +DROP TABLE IF EXISTS cache_invalidations; +DROP SEQUENCE IF EXISTS cache_invalidations_gen_seq; +-- +goose StatementEnd diff --git a/migrations/00007_create_message_idempotency_keys_table.sql b/migrations/00007_create_message_idempotency_keys_table.sql new file mode 100644 index 00000000..e4c1b49d --- /dev/null +++ b/migrations/00007_create_message_idempotency_keys_table.sql @@ -0,0 +1,32 @@ +-- Идемпотентность отправки сообщений, общая для всех реплик API. +-- Область ключа: пользователь + чат + ключ (метод и путь у эндпоинта фиксированы). +-- Строка ключа и сообщение пишутся одной транзакцией: конкурентный INSERT с тем же +-- ключом ждёт её завершения и после COMMIT получает конфликт, после ROLLBACK — вставляет. +-- FK на chat_members не даёт появиться ключу постороннего, поэтому существующий ключ +-- означает, что вызывающий — участник чата. Это и есть проверка доступа при повторе. +-- FK на messages отложенный: ключ вставляется первым, чтобы захватить право на запись. + +-- +goose Up +-- +goose StatementBegin +CREATE TABLE message_idempotency_keys ( + user_id uuid NOT NULL, + chat_id uuid NOT NULL, + key text NOT NULL, + message_id uuid NOT NULL, + created_at timestamptz NOT NULL DEFAULT now(), + + PRIMARY KEY (user_id, chat_id, key), + CONSTRAINT message_idempotency_keys_member_fkey FOREIGN KEY (chat_id, user_id) + REFERENCES chat_members (chat_id, user_id) ON DELETE RESTRICT, + CONSTRAINT message_idempotency_keys_message_fkey FOREIGN KEY (message_id) + REFERENCES messages (id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED +); + +-- Для удаления ключей старше срока хранения. +CREATE INDEX message_idempotency_keys_created_at_idx ON message_idempotency_keys (created_at); +-- +goose StatementEnd + +-- +goose Down +-- +goose StatementBegin +DROP TABLE IF EXISTS message_idempotency_keys; +-- +goose StatementEnd diff --git a/scripts/failover-evidence.sh b/scripts/failover-evidence.sh new file mode 100755 index 00000000..67f86d84 --- /dev/null +++ b/scripts/failover-evidence.sh @@ -0,0 +1,95 @@ +#!/bin/sh +# Публичный тест отказа для каждой реплики по очереди, с восстановлением между прогонами. +# Какую реплику остановить, выбирает тест, поэтому прогоны идут, пока не будет остановлена +# каждая (не больше MAX_RUNS). Результат: evidence/failover.txt +# +# Запуск из любого каталога при поднятом стенде: sh scripts/failover-evidence.sh +# Настройки через окружение: MAX_RUNS (лимит прогонов), BASE_URL (адрес балансировщика). +# Код выхода: 0, если остановлена и восстановлена каждая реплика, иначе 1. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: compose, wait_lb_up (ждёт реплики в LB), git_state (текущий коммит). +. scripts/lb-lib.sh + +# Файл с результатом; при каждом запуске перезаписывается. +OUT=evidence/failover.txt +# Лимит прогонов, чтобы цикл не шёл бесконечно, если тест не выберет какую-то реплику. +MAX_RUNS=${MAX_RUNS:-8} +# Порт берём из .env, если он там задан (при нескольких значениях последнее), иначе 8080. +PORT=$(sed -n 's/^API_PUBLISH_PORT=//p' .env | tail -n 1) +BASE_URL=${BASE_URL:-http://localhost:${PORT:-8080}} + +# Имена работающих API-контейнеров по одному в строке. Остановленные compose ps не показывает, +# поэтому разница двух таких списков показывает, какая реплика остановлена. +api_names() { compose ps --format '{{.Name}}' api | sort; } + +# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). +run() { + # Шапка доказательства: время и версия кода. + echo "# Failover $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + # Исходный список реплик: с ним сравниваем после каждого отказа. + all=$(api_names) + total=$(echo "$all" | wc -l | tr -d ' ') + echo "реплики: $(echo "$all" | tr '\n' ' ')" + # Healthy контейнера мало: тест должен начаться, когда все реплики видит сам LB. + wait_lb_up "$total" || return 1 + + # covered — реплики, которые уже останавливались; run_no — номер прогона. + covered="" + run_no=0 + while [ "$run_no" -lt "$MAX_RUNS" ]; do + run_no=$((run_no + 1)) + echo "## прогон $run_no" + # Тест останавливает реплику, ответившую на его первое сообщение. Число запросов до + # него постоянно, и round-robin выбирал бы одну и ту же реплику, поэтому сдвигаем очередь. + # Каждый прогон делает на один запрос больше предыдущего. + i=0 + while [ "$i" -lt "$run_no" ]; do + curl -fsS -o /dev/null "$BASE_URL/health/live" + i=$((i + 1)) + done + # Публичный тест: останавливает реплику через stop-one.sh и в это время отправляет + # сообщения. Проверяет восстановление записи за 10 с, сохранность данных и отсутствие дублей. + python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url "$BASE_URL" || return 1 + + # Какой контейнер пропал из работающих: это независимая проверка, а не слова теста. + # grep -vxF оставляет строки из исходного списка, которых нет в текущем. + stopped=$(echo "$all" | grep -vxF "$(api_names)" || true) + [ -n "$stopped" ] || { echo "реплика не была остановлена"; return 1; } + echo "остановлен контейнер: $stopped" + # Состояние контейнера от Docker: статус, код выхода и время остановки. + docker inspect -f ' {{.Name}} status={{.State.Status}} exit={{.State.ExitCode}} finished={{.State.FinishedAt}}' "$stopped" + echo "работают: $(api_names | tr '\n' ' ')" + # Отказ должен затронуть только API: зависимости продолжают работать. + echo "БД, сессии, LB: $(compose ps --format '{{.Service}}={{.State}}' postgres valkey lb | tr '\n' ' ')" + + # Добавить реплику в covered, если её там ещё нет. + echo "$covered" | grep -qxF "$stopped" || covered=$(printf '%s\n%s' "$covered" "$stopped") + + # Запустить остановленную реплику и дождаться, пока LB снова увидит все реплики. + compose up -d --wait >/dev/null 2>&1 || { echo "восстановление не удалось"; return 1; } + wait_lb_up "$total" || return 1 + echo "восстановлено реплик: $total" + + # Какие реплики ещё не останавливались. Если таких нет, проверка пройдена. + missing=$(echo "$all" | grep -vxF "$covered" || true) + if [ -z "$missing" ]; then + echo "PASS: остановлена и восстановлена каждая реплика, прогонов: $run_no" + return 0 + fi + done + # Лимит прогонов исчерпан, а часть реплик так и не была остановлена. + echo "FAIL: за $MAX_RUNS прогонов не остановлены: $missing" + return 1 +} + +mkdir -p evidence +status=0 +# Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через +# return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче. +run > "$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/failover-load.sh b/scripts/failover-load.sh new file mode 100755 index 00000000..bbf755dd --- /dev/null +++ b/scripts/failover-load.sh @@ -0,0 +1,90 @@ +#!/bin/sh +# 4: под постоянной нагрузкой по очереди роняет каждую API-реплику, восстанавливая +# предыдущую. Показывает RPS, ошибки и время восстановления, потери и дубли записей. +# +# Запуск из любого каталога: sh scripts/failover-load.sh stop (SIGTERM, штатное завершение) +# sh scripts/failover-load.sh kill (SIGKILL, аварийное падение) +# Настройка через окружение: CONCURRENCY (число клиентов, по умолчанию 16). +# Результат: evidence/level4/failover-<режим>.txt и .json. Файлы перезаписываются. +# Данные синтетические. Расписание рассчитано на 2 реплики: сводка считает фазы только для них. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: compose, ожидание LB и контейнера, запуск loadgen, отсчёт времени замера. +. scripts/lb-lib.sh + +# Режим отказа: первый аргумент, по умолчанию stop. Он же подкоманда docker: docker stop или docker kill. +MODE=${1:-stop} +# Любое другое значение отклоняем: оно попало бы прямо в команду docker. +case "$MODE" in + stop | kill) ;; + *) echo "usage: $0 stop|kill" >&2; exit 2 ;; +esac +CONCURRENCY=${CONCURRENCY:-16} +DIR=evidence/level4 +OUT=$DIR/failover-$MODE.txt + +# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). +run() { + # Шапка доказательства: режим, время и версия кода. + echo "# Failover под нагрузкой, режим $MODE, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + # Поднять стенд, если он не запущен. + compose up -d --wait >/dev/null 2>&1 || return 1 + # Запоминаем ID контейнеров: по ним же реплики запускаются обратно. + ids=$(compose ps -q api) + total=$(echo "$ids" | wc -l | tr -d ' ') + # Healthy контейнера мало: нагрузка должна начаться, когда все реплики видит сам LB. + wait_lb_up "$total" || return 1 + echo "реплик: $total, профиль: concurrency=$CONCURRENCY, запись 20%, замер 60 с, прогрев 5 с" + # Фактические лимиты реплик от Docker: без них RPS нельзя сравнивать. $ids без кавычек + # намеренно: каждый ID должен стать отдельным аргументом. + docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $ids + + # Запустить генератор в фоне и дождаться начала замера: от него отсчитывается время t. + # /evidence — каталог внутри контейнера loadgen, он смонтирован из ./evidence проекта. + start_loadgen -duration 60s -warmup 5s -concurrency "$CONCURRENCY" -label "failover-$MODE" \ + -out "/evidence/level4/failover-$MODE.json" || return 1 + + # Секунда замера, на которой роняем очередную реплику. Расписание: отказ на 10 и 32 с, + # запуск на 20 и 42 с. Эти же секунды заданы в failover-summary.py: менять только вместе. + at=10 + for id in $ids; do + name=$(docker inspect -f '{{.Name}}' "$id") + sleep_until "$at" + echo "t=$(elapsed)s docker $MODE $name" + # Отказ реплики. docker stop блокируется, пока реплика не завершит запросы и не выйдет, + # поэтому в режиме stop время следующей строки — конец docker stop, а не момент вывода из LB. + docker "$MODE" "$id" >/dev/null + # Дождаться, пока LB оставит на одну реплику меньше. + wait_lb_up "$((total - 1))" || return 1 + echo "t=$(elapsed)s LB вывел реплику; работает реплик: $(lb_up_count)" + # Реплика лежит до 10-й секунды от начала своего отказа, затем запускается. + sleep_until "$((at + 10))" + docker start "$id" >/dev/null + echo "t=$(elapsed)s docker start $name" + # Восстановление считается завершённым, когда реплику снова видит LB. + wait_lb_up "$total" || return 1 + echo "t=$(elapsed)s LB вернул реплику; работает реплик: $(lb_up_count)" + # Следующий отказ — только после полного восстановления этой реплики: + # в каждый момент отказывает не больше одной. + wait_healthy "$id" || return 1 + at=$((at + 22)) + done + echo "## результат loadgen" + # Дождаться конца нагрузки и вывести итог. Генератор сам сверяет историю сообщений и + # завершается с ошибкой, если нашёл потерянные записи или дубли. + finish_loadgen || return 1 + echo "## сводка по фазам" + # RPS до отказа, при одной реплике и после возврата, время восстановления, ошибки. + python3 scripts/failover-summary.py "$DIR/failover-$MODE.json" +} + +mkdir -p "$DIR" +status=0 +# Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через +# return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче. +run >"$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/failover-summary.py b/scripts/failover-summary.py new file mode 100755 index 00000000..b0e0dd93 --- /dev/null +++ b/scripts/failover-summary.py @@ -0,0 +1,51 @@ +#!/usr/bin/env python3 +"""Сводка результата loadgen: RPS по фазам отказа и время возврата к исходной ёмкости. +Секунды отказов берутся из расписания failover-load.sh: отказ на 10 и 32 с, запуск на 20 и 42 с.""" +# Запуск: python3 scripts/failover-summary.py evidence/level4/failover-stop.json +# Вызывается в конце failover-load.sh. Только читает JSON и печатает сводку. +# Рассчитан на 2 отказа по расписанию выше: при другом числе реплик сводка будет неверной. +import json +import statistics +import sys + +# Результат loadgen: путь передаётся первым аргументом. +data = json.load(open(sys.argv[1], encoding='utf8')) +# Посекундная шкала замера: номер секунды -> число успешных запросов и число ошибок. +ok = {s['t']: s['ok'] for s in data['timeline']} +errors = {s['t']: s['err'] for s in data['timeline']} +# Исходная ёмкость: средний RPS за первые 10 секунд, пока работают все реплики. +base = statistics.mean(ok[t] for t in range(0, 10)) + + +# Средний RPS на секундах от a включительно до b не включая. +def mean(a, b): + return round(statistics.mean(ok[t] for t in range(a, b))) + + +print('исходный RPS (0-9 с): %d' % round(base)) +# Фазы отказа: секунда отказа, секунда запуска реплики и секунда конца наблюдения +# (начало следующего отказа или конец 60-секундного замера). Реплики нумеруются с 1. +for number, (fail, start, stable) in enumerate(((10, 20, 32), (32, 42, 60)), 1): + # Первая секунда после отказа, где RPS ниже 75% исходного: ёмкость заметно упала. + # None, если RPS так и не опустился ниже порога. + half = next((t for t in range(fail, start) if ok[t] < base * 0.75), None) + # Первая секунда после запуска, где RPS снова не ниже 90% исходного: ёмкость вернулась. + # None, если до конца фазы RPS не вернулся. + back = next((t for t in range(start, stable) if ok[t] >= base * 0.9), None) + # RPS при одной реплике считается с 3-й секунды после отказа, а RPS после возврата — + # со 2-й секунды после запуска: переходные секунды исказили бы среднее. + # Окно ошибок сдвинуто на секунду назад: часы скрипта и генератора расходятся до 1 с. + # Конец окна тоже сдвинут, поэтому окна двух реплик стыкуются и не считают ошибку дважды. + print('реплика %d: RPS при одной реплике %d, ёмкость упала на %s с, вернулась на %s с (через %s с после docker start), ' + 'RPS после возврата %d, ошибок в окне %d' % ( + number, mean(fail + 3, start), half, back, back - start if back is not None else '-', + mean(start + 2, stable), sum(errors[t] for t in range(fail - 1, stable - 1)))) +# Итоги всего замера, которые loadgen уже посчитал сам: печатаются без пересчёта. +# Секунды, в которые не было ни одного успешного запроса (полная недоступность). +print('секунд без единого успеха: %d' % data['seconds_without_success']) +# Ошибки по типам и записи, подтверждённые только после повтора с тем же ключом идемпотентности. +print('ошибки: %s; записей подтверждено после повтора: %d' % (data['errors'], data['writes_confirmed_after_retry'])) +# Эпизоды ошибок: начало, длительность и количество. +print('инциденты: %s' % json.dumps(data['error_incidents'], ensure_ascii=False)) +# Сверка истории с подтверждёнными записями: потери и дубли. +print('проверка истории: %s' % json.dumps(data['verify'], ensure_ascii=False)) diff --git a/scripts/failure-detection-evidence.sh b/scripts/failure-detection-evidence.sh new file mode 100755 index 00000000..33b1dcd2 --- /dev/null +++ b/scripts/failure-detection-evidence.sh @@ -0,0 +1,40 @@ +#!/bin/sh +# Замеры обнаружения отказа и graceful shutdown. Результат: evidence/failure-detection.txt +# +# Запуск из любого каталога при поднятом стенде с двумя репликами: +# sh scripts/failure-detection-evidence.sh +# Сами замеры выполняет scripts/failure-detection.py, здесь только запуск и сохранение вывода. +# Реплики и Valkey на время замеров останавливаются, затем восстанавливаются. Файл перезаписывается. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: здесь нужна git_state (текущий коммит). +. scripts/lb-lib.sh + +OUT=evidence/failure-detection.txt +# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). +run() { + # Шапка доказательства: время и версия кода. + echo "# Failure detection $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + # Настройки LB, при которых сняты замеры: период проверок, число неудач и таймауты. + # Без них измеренное время обнаружения не с чем сравнить. + grep -E 'default-server|timeout (connect|check|server|http-request|http-keep-alive)' infra/haproxy/haproxy.cfg | sed 's/^ *//' + # Сценарии замеров: + # stop — docker stop (SIGTERM) под трафиком: когда LB вывел реплику, есть ли ошибки; + # kill — docker kill (SIGKILL) под трафиком: LB узнаёт об отказе по ошибкам соединения; + # pause — docker pause: зависший процесс, обнаруживается только по таймауту проверки; + # idle_kill — docker kill без трафика: обнаруживают только активные проверки; + # graceful — порядок завершения по SIGTERM при открытых запросах: все ли они завершатся; + # notready — неготовая реплика: LB выводит её, и трафик на неё не идёт; + # deps — остановка Valkey: реплики становятся неготовыми и возвращаются после его запуска. + python3 scripts/failure-detection.py stop kill pause idle_kill graceful notready deps +} +mkdir -p evidence +status=0 +# Вызов через || отключает set -e внутри run. Код запоминаем, чтобы вывести файл на экран +# и при неудаче. Код run — это код python-скрипта, последней команды в функции. +run > "$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/failure-detection.py b/scripts/failure-detection.py new file mode 100755 index 00000000..9179ecc7 --- /dev/null +++ b/scripts/failure-detection.py @@ -0,0 +1,353 @@ +#!/usr/bin/env python3 +"""Как LB исключает реплику: stop, kill, pause, idle_kill, graceful, notready, deps. +Стенд должен быть запущен с двумя репликами. Реплики останавливаются и восстанавливаются, +данные только синтетические. Запуск и сохранение результата: scripts/failure-detection-evidence.sh""" +# Запуск отдельных сценариев: python3 scripts/failure-detection.py stop kill +# Каждый сценарий печатает одну или несколько строк JSON. Токены и пароли не печатаются. +import collections +import json +import pathlib +import socket +import subprocess +import sys +import threading +import time +import urllib.error +import urllib.request +import uuid + +# Корень проекта: docker compose должен запускаться из него. +ROOT = str(pathlib.Path(__file__).resolve().parents[1]) +# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается. +BASE = 'http://localhost:8080' +# Клиент API из публичных тестов: нужен сценарию graceful, чтобы создать пользователей и чат. +sys.path.insert(0, ROOT + '/tests') +from client import Client # noqa: E402 + + +# Выполнить команду и вернуть её stdout. check=True: при ненулевом коде выхода будет исключение. +def sh(*a, check=True): + return subprocess.run(a, cwd=ROOT, capture_output=True, text=True, check=check).stdout.strip() + + +# То же для docker compose с настройками стенда. +def dc(*a, check=True): + return sh('docker', 'compose', '--env-file', '.env', *a, check=check) + + +# Состояния всех слотов бэкенда api по мнению LB: "UP", "UP 1/2", "DOWN 1/2", "DOWN", "MAINT". +# Берутся из CSV-статистики HAProxy, поле status имеет индекс 17. Строка BACKEND — итог, а не реплика. +def states(): + csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv', check=False) + return [l.split(',')[17] for l in csv.splitlines() + if l.startswith('api,') and l.split(',')[1] != 'BACKEND'] + + +# Сколько реплик полностью работают: ни одной неудачной проверки подряд. +def fully_up(): + return sum(1 for s in states() if s == 'UP') + + +# Сколько реплик ещё получают трафик. По этому числу измеряется момент вывода реплики. +def serving(): + # "UP 1/2" (one failed check) still receives traffic, so it counts as serving. + return sum(1 for s in states() if s.startswith('UP') or s.startswith('NOLB')) + + +# Подождать до t секунд, пока LB не покажет ровно n полностью работающих реплик. +def wait_up(n, t=60): + end = time.monotonic() + t + while time.monotonic() < end: + if fully_up() == n: + return True + time.sleep(0.3) + return False + + +# ID работающих API-контейнеров. +def containers(): + return dc('ps', '-q', 'api').split() + + +# Сценарии stop, kill, pause: отказ реплики под трафиком. Измеряет, когда LB её вывел, +# сколько ошибок получили клиенты и когда реплика ответила в последний раз. +def timing(mode, target_idx): + assert wait_up(2), 'LB does not see 2 replicas' + cid = containers()[target_idx] + # X-Instance-Id содержит короткий ID контейнера: так видно, кто обслужил запрос. + short = cid[:12] + results = [] + stop = threading.Event() + + # Клиент трафика: запрашивает /health/live через LB и записывает кортеж + # (время начала, длительность, код или тип ошибки, какая реплика ответила). + def worker(): + while not stop.is_set(): + t0 = time.monotonic() + try: + with urllib.request.urlopen(BASE + '/health/live', timeout=2) as r: + results.append((t0, time.monotonic() - t0, r.status, r.headers.get('X-Instance-Id'))) + except urllib.error.HTTPError as e: + results.append((t0, time.monotonic() - t0, e.code, e.headers.get('X-Instance-Id'))) + except Exception as e: + results.append((t0, time.monotonic() - t0, type(e).__name__, None)) + time.sleep(0.02) + + # 8 параллельных клиентов и 2,5 с работы до отказа. + threads = [threading.Thread(target=worker) for _ in range(8)] + [t.start() for t in threads] + time.sleep(2.5) + t_fail = time.monotonic() + cmd = {'stop': 'stop', 'kill': 'kill', 'pause': 'pause'}[mode] + # В отдельном потоке: docker stop блокируется до конца завершения реплики, а засекать + # вывод из LB нужно уже сейчас. + threading.Thread(target=lambda: sh('docker', cmd, cid, check=False)).start() + # Опрашиваем LB до 15 с: время, через которое осталась одна обслуживающая реплика. + t_down = None + end = time.monotonic() + 15 + while time.monotonic() < end: + if serving() == 1: + t_down = time.monotonic() - t_fail + break + time.sleep(0.03) + # Ещё 6 с трафика: запросы, зависшие на реплике, успевают завершиться или получить таймаут. + time.sleep(6) + stop.set() + [t.join() for t in threads] + # В расчёт идут только запросы, начатые после отказа. Ошибка — любой ответ, кроме 200. + after = [r for r in results if r[0] >= t_fail] + bad = [r for r in after if r[2] != 200] + target_hits = [r[0] - t_fail for r in after if r[3] == short] + last_err = max((r[0] + r[1] - t_fail for r in bad), default=0) + out = { + 'mode': mode, 'lb_excluded_after_s': round(t_down, 2) if t_down else None, + 'requests': len(after), 'errors': dict(collections.Counter(str(r[2]) for r in bad)), + 'last_error_at_s': round(last_err, 2), + 'last_served_by_target_s': round(max(target_hits), 2) if target_hits else None, + } + print(json.dumps(out, ensure_ascii=False), flush=True) + # Восстановление: приостановленный контейнер размораживается, остановленный запускается заново. + if mode == 'pause': + sh('docker', 'unpause', cid) + else: + dc('up', '-d', '--wait', check=False) + assert wait_up(2), 'not recovered' + return out + + +# Сценарий graceful: SIGTERM при открытых запросах. Запросы завершаются, порт закрывается после drain. +def graceful(): + """Requests in flight across SIGTERM must finish; the listener must close after drain.""" + assert wait_up(2) + c = Client(BASE, timeout=5) + alice, bob, eve, chat = c.bootstrap() + cid = containers()[0] + short = cid[:12] + # Адрес реплики внутри сети Docker: к ней обращаемся напрямую, минуя балансировку. + ip = sh('docker', 'inspect', '-f', '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}', cid) + + # 8 POST через LB с заголовками и только первыми 5 байтами тела. Сервер ждёт остаток, + # поэтому запросы остаются открытыми, сколько нужно. Round-robin делит их между репликами. + socks = [] + for i in range(8): + key = uuid.uuid4().hex + body = json.dumps({'text': 'inflight-' + key}).encode() + s = socket.create_connection(('localhost', 8080), timeout=30) + head = ('POST /api/v1/chats/%s/messages HTTP/1.1\r\nHost: x\r\nAuthorization: Bearer %s\r\n' + 'Content-Type: application/json\r\nIdempotency-Key: %s\r\nContent-Length: %d\r\n' + 'Connection: close\r\n\r\n' % (chat['id'], alice['token'], key, len(body))).encode() + s.sendall(head + body[:5]) + socks.append((s, body, key)) + time.sleep(0.3) + + # SIGTERM одной реплике. В отдельном потоке, потому что docker stop блокируется. + t0 = time.monotonic() + stopper = threading.Thread(target=lambda: sh('docker', 'stop', cid, check=False)) + stopper.start() + + # While requests are open: is the listener closed for new connections after drain? + # В течение 5 с спрашиваем readiness реплики напрямую из контейнера LB и записываем + # (время, успех, текст ошибки wget): так видно сначала 503, затем отказ в соединении. + probe = [] + while time.monotonic() - t0 < 5: + r = subprocess.run(['docker', 'compose', '--env-file', '.env', 'exec', '-T', 'lb', 'wget', '-qO-', '-T', '1', + 'http://%s:8080/health/ready' % ip], cwd=ROOT, capture_output=True, text=True) + probe.append((round(time.monotonic() - t0, 2), r.returncode == 0, r.stderr.strip()[:120])) + time.sleep(0.25) + # Finish bodies 5 s after SIGTERM: past drain (3 s), inside shutdown timeout. + # Досылаем остаток тел и читаем ответы: достаём код и реплику, которая ответила. + res = [] + for s, body, key in socks: + s.sendall(body[5:]) + for s, body, key in socks: + data = b'' + try: + while True: + part = s.recv(65536) + if not part: + break + data += part + except Exception as e: + data = repr(e).encode() + head = data.split(b'\r\n\r\n')[0].decode(errors='replace') + code = head.split(' ')[1] if ' ' in head else head + inst = [l.split(':', 1)[1].strip() for l in head.split('\r\n') if l.lower().startswith('x-instance-id')] + res.append((code, inst[0] if inst else None, key)) + s.close() + stopper.join() + t_stop = time.monotonic() - t0 + + # Из проб: когда порт перестал принимать соединения и когда readiness стал отвечать 503. + closed_at = next((p[0] for p in probe if 'refused' in p[2] or 'timed out' in p[2]), None) + ready503_at = next((p[0] for p in probe if '503' in p[2]), None) + # Запросы именно на останавливаемой реплике: главное, что здесь проверяется. + on_target = [r for r in res if r[1] == short] + # Код выхода контейнера: 0 значит штатное завершение, а не SIGKILL по истечении срока. + insp = sh('docker', 'inspect', '-f', 'status={{.State.Status}} exit={{.State.ExitCode}}', cid) + # Какие этапы завершения есть в логе приложения. + p = subprocess.run(['docker', 'logs', '--tail', '30', cid], capture_output=True, text=True) + log = p.stdout + p.stderr + msgs = [m for m in ('shutdown signal received', 'http server draining', 'http server shutting down', 'server stopped cleanly') if m in log] + + # Сверка с историей: каждый ответ 201 должен соответствовать сохранённому сообщению. + items = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages?limit=100', actor=alice, schema='MessagePage')['json']['items'] + texts = {m['text'] for m in items} + print(json.dumps({ + 'codes': dict(collections.Counter(r[0] for r in res)), + 'inflight_on_stopped_replica': len(on_target), + 'on_target_codes': dict(collections.Counter(r[0] for r in on_target)), + 'confirmed_saved': sum(1 for r in res if r[0] == '201' and 'inflight-' + r[2] in texts), + 'listener_closed_after_s': closed_at, + 'ready_503_after_s': ready503_at, 'docker_stop_took_s': round(t_stop, 2), + 'container': insp, 'log_sequence': msgs, + }, ensure_ascii=False), flush=True) + dc('up', '-d', '--wait', check=False) + assert wait_up(2), 'not recovered' + + +# Сценарий notready: появляется новый адрес с неудачным readiness. LB не должен слать на него +# трафик ни на миг, даже до первой проверки (за это отвечает init-state down в haproxy.cfg). +def notready(): + """A new address with a failing readiness: does the LB route traffic before any check passes?""" + assert wait_up(2) + name = 'lab3-notready-probe' + sh('docker', 'rm', '-f', name, check=False) + image = 'haproxy:3.2.9-alpine' + hits = collections.Counter() + stop = threading.Event() + + # Клиент трафика запрашивает несуществующий путь: настоящая реплика вернёт 404, + # а поддельная вернёт 200 с текстом FAKE. Любой счётчик 'fake' означает провал. + def worker(): + while not stop.is_set(): + try: + with urllib.request.urlopen(BASE + '/fake-replica-marker.txt', timeout=2) as r: + hits['fake' if b'FAKE' in r.read() else 'other'] += 1 + except urllib.error.HTTPError: + hits['real_404'] += 1 + except Exception: + hits['error'] += 1 + time.sleep(0.005) + + threads = [threading.Thread(target=worker) for _ in range(8)] + [t.start() for t in threads] + time.sleep(1) + try: + # Поддельная реплика: отдельный HAProxy в сети стенда с DNS-именем api, поэтому LB находит + # её как новую реплику. На /health/ready отвечает 503, на всё остальное 200 FAKE. + cfg = ('defaults\n mode http\n timeout connect 1s\n timeout client 10s\n timeout server 10s\n' + 'frontend f\n bind :8080\n' + ' http-request return status 503 content-type text/plain string NOTREADY if { path /health/ready }\n' + ' http-request return status 200 content-type text/plain string FAKE\n') + sh('docker', 'run', '-d', '--name', name, '--network', 'mtusi-lab3_default', '--network-alias', 'api', + '-e', 'CFG=' + cfg, '--entrypoint', 'sh', image, '-c', + 'printf "%s" "$CFG" > /tmp/h.cfg && exec haproxy -f /tmp/h.cfg') + # 8 с записываем каждую смену состояний в LB; свободные слоты (MAINT) не учитываем. + end = time.monotonic() + 8 + seen_states = [] + while time.monotonic() < end: + st = [x for x in states() if not x.startswith('MAINT')] + if not seen_states or seen_states[-1] != st: + seen_states.append(st) + time.sleep(0.05) + # Защита от ложного успеха: поддельная реплика действительно работает и доступна, + # а значит, отсутствие трафика на ней заслуга LB, а не её поломка. + running = sh('docker', 'inspect', '-f', '{{.State.Running}}', name) + check_ready = dc('exec', '-T', 'lb', 'sh', '-c', + 'wget -S -qO- -T 2 http://%s:8080/health/ready 2>&1 | head -1; wget -qO- -T 2 http://%s:8080/x' % ((sh('docker', 'inspect', '-f', '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}', name),) * 2), check=False) + assert running == 'true' and 'FAKE' in check_ready, 'probe replica is not serving: ' + running + ' ' + check_ready + print(json.dumps({'probe_serving': True, 'state_transitions': seen_states}), flush=True) + finally: + # Поддельный контейнер удаляется в любом случае, даже при неудачной проверке. + stop.set() + [t.join() for t in threads] + sh('docker', 'rm', '-f', name, check=False) + print(json.dumps({'requests_routed': dict(hits)}, ensure_ascii=False), flush=True) + assert wait_up(2, 30), 'not recovered' + + +# Сценарий idle_kill (или idle_<команда docker>): отказ без трафика. Срабатывают только активные +# проверки LB, поэтому время отражает настройки inter, fall и таймауты. +def idle(mode): + assert wait_up(2) + cid = containers()[0] + t0 = time.monotonic() + sh('docker', mode, cid) + while serving() != 1 and time.monotonic() - t0 < 15: + time.sleep(0.03) + print(json.dumps({'idle_' + mode + '_excluded_after_s': round(time.monotonic() - t0, 2)}), flush=True) + if mode == 'pause': + sh('docker', 'unpause', cid) + else: + dc('up', '-d', '--wait', check=False) + assert wait_up(2), 'not recovered' + + +# Сценарий deps: отказ общей зависимости. Реплики живы, но не готовы, поэтому LB выводит все. +def deps(): + """Readiness зависит от общего хранилища: без Valkey обе реплики выводятся, live остаётся 200.""" + assert wait_up(2) + cid = containers()[0] + sh('docker', 'compose', '--env-file', '.env', 'stop', 'valkey') + # Время, через которое LB вывел все реплики. + t0 = time.monotonic() + while serving() != 0 and time.monotonic() - t0 < 15: + time.sleep(0.05) + excluded = round(time.monotonic() - t0, 2) + # Что видит клиент через LB: ожидается 503, так как рабочих реплик нет. + try: + urllib.request.urlopen(BASE + '/health/live', timeout=3) + via_lb = 200 + except urllib.error.HTTPError as e: + via_lb = e.code + # Напрямую к реплике: live должен работать, а ready нет. + ip = sh('docker', 'inspect', '-f', '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}', cid) + probe = lambda p: subprocess.run(['docker', 'compose', '--env-file', '.env', 'exec', '-T', 'lb', 'wget', '-qO-', '-T', '3', + 'http://%s:8080%s' % (ip, p)], cwd=ROOT, capture_output=True, text=True) + live, ready = probe('/health/live'), probe('/health/ready') + print(json.dumps({'valkey_stopped_all_replicas_excluded_after_s': excluded, 'live_via_lb': via_lb, + 'replica_live_ok': live.returncode == 0, 'replica_ready_ok': ready.returncode == 0}), flush=True) + dc('up', '-d', '--wait', check=False) + # Отсчёт идёт после завершения up --wait, то есть это не полное время восстановления + # с момента запуска Valkey, а только остаток ожидания после него. + t0 = time.monotonic() + assert wait_up(2), 'not recovered' + print(json.dumps({'valkey_restored_replicas_back_after_s': round(time.monotonic() - t0, 2)}), flush=True) + + +# Сценарии выполняются в порядке аргументов. +for arg in sys.argv[1:]: + if arg == 'deps': + deps() + elif arg.startswith('idle_'): + # 3 повтора: idle_kill вызывает idle('kill'). + for _ in range(3): + idle(arg[5:]) + elif arg == 'graceful': + graceful() + elif arg == 'notready': + notready() + else: + # stop, kill или pause: 3 повтора, отказывают реплики 0, 1 и снова 0. + for i in (0, 1, 0): + timing(arg, i) diff --git a/scripts/idempotency-evidence.sh b/scripts/idempotency-evidence.sh new file mode 100755 index 00000000..9d03c64a --- /dev/null +++ b/scripts/idempotency-evidence.sh @@ -0,0 +1,66 @@ +#!/bin/sh +# Общая идемпотентность: параллельные POST с одним ключом через разные реплики, затем то же +# в момент отказа реплики и сверка сообщений с ключами в БД. Результат: evidence/level4/idempotency.txt +# +# Запуск из любого каталога при поднятом стенде с двумя репликами: sh scripts/idempotency-evidence.sh +# Нужны Go и Python. Реплики на время проверки останавливаются, затем восстанавливаются. +# Файл результата перезаписывается. Код выхода: 0, только если пройдены все три шага. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: compose и git_state (текущий коммит). +. scripts/lb-lib.sh + +OUT=evidence/level4/idempotency.txt +# Порт берём из .env, если он там задан (при нескольких значениях последнее), иначе 8080. +PORT=$(sed -n 's/^API_PUBLISH_PORT=//p' .env | tail -n 1) +BASE_URL=${BASE_URL:-http://localhost:${PORT:-8080}} + +# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). +# Вызов через || отключает set -e внутри run, поэтому каждый шаг сам возвращает ошибку. +run() { + # Шапка доказательства: время и версия кода. + echo "# Идемпотентность $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + + # Шаг 1. Гонка без отказов: тест app/e2e шлёт одинаковые запросы через обе реплики. + echo "## параллельно через обе реплики (20 раундов по 16 запросов, 3 прогона)" + for i in 1 2 3; do + # Вывод сохраняем в переменную: в конвейере с grep код выхода go test был бы потерян. + e2e_status=0 + e2e_log=$(cd app && E2E_BASE_URL="$BASE_URL" go test -count=1 -v ./e2e/ 2>&1) || e2e_status=$? + # Оставляем только итоги: объём раунда и строки результата теста. + echo "$e2e_log" | grep -E 'раундов|^(--- |FAIL)' || true + [ "$e2e_status" -eq 0 ] || return 1 + done + + # Шаг 2. Та же гонка в момент отказа реплики, с повтором неподтверждённых запросов. + echo "## параллельно в момент отказа реплики" + python3 scripts/idempotency-under-failure.py || return 1 + + # Шаг 3. Независимая проверка по БД для сообщений шага 2 (текст начинается с parallel-). + # Проверять повторы самих ключей бессмысленно: их запрещает PRIMARY KEY таблицы. А вот эти + # два нарушения БД не запрещает, поэтому их может создать только ошибка в коде: + # первое число — одно и то же сообщение записано в чат больше одного раза (дубль); + # второе число — сообщение записано без ключа, то есть мимо защиты от повтора. + # Для второго числа берём только последний час: старые ключи удаляются через сутки. + echo "## дублей сообщений и сообщений без ключа в БД (должно быть 0 0)" + db_check=$(compose exec -T postgres psql -U messenger -d messenger -At -c " + select + (select count(*) from ( + select chat_id, text from messages where text like 'parallel-%' + group by 1, 2 having count(*) > 1) d) + || ' ' || + (select count(*) from messages m + where m.text like 'parallel-%' and m.created_at > now() - interval '1 hour' + and not exists (select 1 from message_idempotency_keys k where k.message_id = m.id))") || return 1 + echo "$db_check" + [ "$db_check" = "0 0" ] || return 1 +} +mkdir -p evidence/level4 +status=0 +# Код запоминаем, чтобы вывести файл на экран и при неудаче. +run > "$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/idempotency-under-failure.py b/scripts/idempotency-under-failure.py new file mode 100755 index 00000000..ba652ceb --- /dev/null +++ b/scripts/idempotency-under-failure.py @@ -0,0 +1,146 @@ +#!/usr/bin/env python3 +"""Параллельные POST с одним Idempotency-Key в момент отказа реплики (stop или kill). +Неподтверждённый запрос клиент повторяет с тем же ключом. На каждый ключ должно быть ровно +одно сообщение, а все подтверждённые ответы одного ключа должны совпадать. +Каждая реплика отказывает по очереди и затем восстанавливается. Данные синтетические.""" +# Запуск при поднятом стенде с двумя репликами: python3 scripts/idempotency-under-failure.py +# Обычно вызывается из idempotency-evidence.sh. Код выхода: 0 при PASS, 1 при FAIL. +import collections +import concurrent.futures as cf +import json +import pathlib +import subprocess +import sys +import threading +import time +import urllib.parse +import uuid + +# Корень проекта: docker compose должен запускаться из него. +ROOT = pathlib.Path(__file__).resolve().parents[1] +# Клиент API из публичных тестов: проверяет ответы по схеме контракта. +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, Failure # noqa: E402 + +# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается. +BASE = 'http://localhost:8080' +# Сколько одинаковых запросов идёт одновременно на один ключ. +PARALLEL = 16 +c = Client(BASE, timeout=5) + + +# Выполнить docker compose и вернуть stdout. Ошибку вызывающий увидит по пустому результату. +def dc(*args): + return subprocess.run(['docker', 'compose', '--env-file', '.env', *args], cwd=ROOT, + capture_output=True, text=True, check=False).stdout.strip() + + +# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy. +def up_count(): + csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv') + return sum(1 for line in csv.splitlines() + if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP') + + +# Подождать до 60 с, пока LB не покажет n рабочих реплик, иначе завершить проверку ошибкой. +def wait_up(n): + end = time.monotonic() + 60 + while time.monotonic() < end: + if up_count() == n: + return + time.sleep(0.3) + raise SystemExit('LB не увидел реплик: %d' % n) + + +# Возвращает тело подтверждённого ответа и реплику, которая ответила. tally считает ошибки +# по кодам: это запросы, результат которых клиенту неизвестен, поэтому их и повторяют. +def post_until_confirmed(actor, chat, key, text, tally): + """Как настоящий клиент: повторяет тот же ключ и то же тело до подтверждения.""" + deadline = time.monotonic() + 30 + while time.monotonic() < deadline: + try: + r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=actor, + body={'text': text}, headers={'Idempotency-Key': key}, schema='Message') + return r['bytes'], r['headers']['X-Instance-Id'] + except Failure as exc: + tally[str(exc).rsplit(' ', 1)[-1].strip('()')] += 1 + time.sleep(0.05) + raise Failure('запрос не подтверждён за 30 с') + + +# Вся история чата постранично: с ней сверяется результат. +def history(actor, chat): + items, cursor = [], None + while True: + query = '?limit=100' + ('&cursor=' + urllib.parse.quote(cursor, safe='') if cursor else '') + page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages' + query, actor=actor, + schema='MessagePage')['json'] + items += page['items'] + cursor = page['next_cursor'] + if not cursor: + return items + + +# Один сценарий: 10 с гонки на ключах, на 2-й секунде реплика cid отказывает в режиме mode. +# Возвращает True, если нарушений нет. +def scenario(mode, cid): + # Отдельные пользователи и чат на сценарий: в истории только его сообщения. + actor, _, _, chat = c.bootstrap() + retried = collections.Counter() + instances = collections.Counter() + # keys — обработано ключей, mismatched — ключей с разными ответами, + # expected — тексты, которые должны оказаться в истории. + keys, mismatched = 0, 0 + expected = set() + start = time.monotonic() + fired = threading.Event() + # Отказ в отдельном потоке: гонка на ключах в это время продолжается. + def fail(): + time.sleep(2) + subprocess.run(['docker', mode, cid], capture_output=True, check=False) + fired.set() + threading.Thread(target=fail).start() + with cf.ThreadPoolExecutor(PARALLEL) as pool: + while time.monotonic() - start < 10: + # Каждый раунд: новый ключ и уникальный текст, по которому сообщение найдётся в истории. + key, text = uuid.uuid4().hex, 'parallel-' + uuid.uuid4().hex + expected.add(text) + # 16 одинаковых запросов одновременно; раунд ждёт подтверждения всех. + results = list(pool.map(lambda _: post_until_confirmed(actor, chat, key, text, retried), range(PARALLEL))) + keys += 1 + # Все ответы одного ключа должны совпасть побайтно, иначе ключ считается нарушенным. + mismatched += len({body for body, _ in results}) != 1 + instances.update(inst for _, inst in results) + # Дождаться завершения docker stop/kill, затем считать, сколько раз встречается каждый текст. + fired.wait() + copies = collections.Counter(m['text'] for m in history(actor, chat)) + out = { + 'mode': mode, 'replica': cid[:12], 'keys': keys, 'parallel_per_key': PARALLEL, + 'retries_after_uncertain_result': dict(retried), 'instances': dict(instances), + 'keys_with_different_answers': mismatched, + 'messages_in_history': sum(copies.values()), + 'keys_without_message': len(expected - set(copies)), + 'keys_with_duplicates': sum(1 for n in copies.values() if n > 1), + } + print(json.dumps(out, ensure_ascii=False), flush=True) + # Успех: ответы совпали, нет потерь и дублей, сообщений в истории ровно столько, сколько ключей. + return not (mismatched or out['keys_without_message'] or out['keys_with_duplicates'] + or out['messages_in_history'] != keys) + + +# Каждая реплика отказывает в обоих режимах, всего 4 сценария на двух репликах. +# docker start восстанавливает её, и следующий сценарий ждёт, пока LB увидит обе. +def main(): + ok = True + for mode in ('stop', 'kill'): + wait_up(2) + for cid in dc('ps', '-q', 'api').split(): + wait_up(2) + ok = scenario(mode, cid) and ok + subprocess.run(['docker', 'start', cid], capture_output=True, check=False) + wait_up(2) + print('PASS' if ok else 'FAIL') + sys.exit(0 if ok else 1) + + +main() diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100755 index 00000000..4eabce55 --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,71 @@ +#!/bin/sh +# Создаёт локальные секреты стенда в каталоге secrets/ (он в .gitignore). Запускается один раз +# на чистом clone, до первого docker compose up: compose.yaml читает секреты из этих файлов. +# +# Запуск из любого каталога: sh scripts/init-secrets.sh +# Настройки через окружение: POSTGRES_USER, POSTGRES_DB (по умолчанию messenger). +# Повторный запуск безопасен: непустые файлы не перезаписываются, значения секретов не печатаются. +# Не удаляйте пароль при существующих томах: PostgreSQL задаёт пароль только при создании своего +# тома, и новый пароль с ним не совпадёт. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu + +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +DIR=secrets +# Должны совпадать с POSTGRES_USER и POSTGRES_DB сервиса postgres в compose.yaml. +DB_USER="${POSTGRES_USER:-messenger}" +DB_NAME="${POSTGRES_DB:-messenger}" + +# Новые файлы и каталог сразу доступны только владельцу: секрет не открыт ни на миг. +umask 077 +mkdir -p "$DIR" + +# Пароль PostgreSQL: 24 случайных байта в hex. -s: файла нет или он пуст. +if [ ! -s "$DIR/postgres_password" ]; then + # hex, чтобы пароль не требовал URL-экранирования в DSN. + od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/postgres_password" + echo "init-secrets: created $DIR/postgres_password" +fi + +# Строка подключения к БД для API и migrate. Хост postgres — имя сервиса в сети Compose. +# TLS выключен: подключение идёт только внутри сети учебного стенда. +if [ ! -s "$DIR/database_url" ]; then + pw="$(cat "$DIR/postgres_password")" + printf 'postgres://%s:%s@postgres:5432/%s?sslmode=disable' "$DB_USER" "$pw" "$DB_NAME" > "$DIR/database_url" + echo "init-secrets: created $DIR/database_url" +fi + +# Пароль Valkey, в котором хранятся сессии. +if [ ! -s "$DIR/valkey_password" ]; then + od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/valkey_password" + echo "init-secrets: created $DIR/valkey_password" +fi + +# Адрес хранилища сессий для API. +if [ ! -s "$DIR/cache_url" ]; then + pw="$(cat "$DIR/valkey_password")" + printf 'redis://:%s@valkey:6379/0' "$pw" > "$DIR/cache_url" + echo "init-secrets: created $DIR/cache_url" +fi + +# Пароль отдельного Valkey для кэша истории (необязательный профиль). Перевод строки в кавычках +# ниже — это символ для удаления, как \n в блоках выше. +if [ ! -s "$DIR/valkey_cache_password" ]; then + od -An -tx1 -N24 /dev/urandom | tr -d ' +' > "$DIR/valkey_cache_password" + echo "init-secrets: created $DIR/valkey_cache_password" +fi + +# Адрес кэша истории для API. +if [ ! -s "$DIR/history_cache_url" ]; then + pw="$(cat "$DIR/valkey_cache_password")" + printf 'redis://:%s@valkey-cache:6379/0' "$pw" > "$DIR/history_cache_url" + echo "init-secrets: created $DIR/history_cache_url" +fi + +# Каталог закрыт от других пользователей хоста. Сами файлы открыты на чтение: Compose монтирует +# их в контейнеры с правами хоста, а процессы там работают не от root (API — uid 100). +chmod 0700 "$DIR" +chmod 0644 "$DIR/postgres_password" "$DIR/database_url" "$DIR/valkey_password" "$DIR/cache_url" "$DIR/valkey_cache_password" "$DIR/history_cache_url" diff --git a/scripts/lb-errors-evidence.py b/scripts/lb-errors-evidence.py new file mode 100755 index 00000000..851f509c --- /dev/null +++ b/scripts/lb-errors-evidence.py @@ -0,0 +1,51 @@ +#!/usr/bin/env python3 +"""Ответы самого LB соответствуют контракту: схема Error и X-Request-Id, равный request_id. +Останавливает Valkey, чтобы LB вывел все реплики, и обязательно запускает его обратно. +Запуск и сохранение результата: scripts/lb-errors-evidence.sh""" +import http.client +import json +import pathlib +import subprocess +import sys +import time + +ROOT = pathlib.Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import shape # noqa: E402 + + +def dc(*args): + return subprocess.run(['docker', 'compose', '--env-file', '.env', *args], cwd=ROOT, capture_output=True, text=True) + + +def get(path): + conn = http.client.HTTPConnection('localhost', 8080, timeout=10) + conn.request('GET', path) + resp = conn.getresponse() + return resp.status, {k.lower(): v for k, v in resp.getheaders()}, resp.read() + + +def up_count(): + csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv').stdout + return sum(1 for line in csv.splitlines() + if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17].startswith('UP')) + + +dc('stop', 'valkey') +try: + end = time.monotonic() + 15 + while up_count() and time.monotonic() < end: + time.sleep(0.2) + status, headers, body = get('/api/v1/users/me') +finally: + dc('up', '-d', '--wait') + +error = json.loads(body) +shape(error, 'Error') # падает, если тело не соответствует схеме +print('статус: %d, Content-Type: %s, code: %s' % (status, headers.get('content-type'), error['error']['code'])) +print('X-Request-Id есть: %s, равен request_id: %s, X-Instance-Id: %s (контракт разрешает отсутствие у ответов LB)' % ( + bool(headers.get('x-request-id')), error['error']['request_id'] == headers.get('x-request-id'), headers.get('x-instance-id'))) +ok = (status == 503 and 'application/json' in headers.get('content-type', '') and error['error']['code'] == 'unavailable' + and error['error']['request_id'] == headers.get('x-request-id')) +print('PASS' if ok else 'FAIL', 'ответ LB без рабочих реплик соответствует контракту') +sys.exit(0 if ok else 1) diff --git a/scripts/lb-errors-evidence.sh b/scripts/lb-errors-evidence.sh new file mode 100755 index 00000000..6dbfcdea --- /dev/null +++ b/scripts/lb-errors-evidence.sh @@ -0,0 +1,17 @@ +#!/bin/sh +# Ответ LB без рабочих реплик по контракту. Valkey на время останавливается. +# Запуск при поднятом стенде: sh scripts/lb-errors-evidence.sh Результат: evidence/lb-errors.txt +set -eu +cd "$(dirname "$0")/.." +. scripts/lb-lib.sh + +OUT=evidence/lb-errors.txt +mkdir -p evidence +status=0 +{ + echo "# Ответы LB $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + grep -E 'http-error status' infra/haproxy/haproxy.cfg | sed -E "s/^ *(http-error status [0-9]+).*/\1/" + python3 scripts/lb-errors-evidence.py +} >"$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/lb-lib.sh b/scripts/lb-lib.sh new file mode 100644 index 00000000..d904a4c8 --- /dev/null +++ b/scripts/lb-lib.sh @@ -0,0 +1,91 @@ +# Общие функции скриптов отказов. Подключается через: . scripts/lb-lib.sh +# Сам по себе не запускается и ничего не делает: только объявляет функции. Вызывающий скрипт +# должен перед подключением перейти в корень проекта. В sh нет локальных переменных, поэтому +# все переменные функций (want, i, status) общие со скриптом: не храните в них важное. + +# docker compose с настройками стенда: все скрипты работают с одним и тем же проектом. +compose() { docker compose --env-file .env "$@"; } + +# Сколько реплик балансировщик считает рабочими. +# Читает CSV-статистику HAProxy изнутри контейнера LB: порт 8404 снаружи не опубликован. +# Поля awk: $1 — имя бэкенда, $2 — имя сервера (BACKEND — итоговая строка), $18 — статус. +# Считается только точное UP: "UP 1/2" значит, что реплика уже провалила проверку. +lb_up_count() { + compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' | + awk -F, -v n=0 '$1=="api" && $2!="BACKEND" && $18=="UP" {n++} END {print n}' +} + +# Ждёт, пока LB не увидит заданное число реплик; healthy контейнера для этого недостаточно. +# Healthy проверяет Docker, а трафик направляет LB по своим проверкам. Ждём до 30 с (60 × 0,5 с). +# Подходит и для ожидания вывода реплики: нужно ровно заданное число, а не "не меньше". +wait_lb_up() { + want=$1 + i=0 + while [ "$i" -lt 60 ]; do + [ "$(lb_up_count)" = "$want" ] && return 0 + sleep 0.5 + i=$((i + 1)) + done + echo "LB не увидел реплик: $want за 30 с" >&2 + return 1 +} + +# Ждёт, пока контейнер с заданным ID или именем не станет healthy по мнению Docker, до 30 с. +wait_healthy() { + i=0 + while [ "$i" -lt 60 ]; do + [ "$(docker inspect -f '{{.State.Health.Status}}' "$1")" = healthy ] && return 0 + sleep 0.5 + i=$((i + 1)) + done + echo "контейнер не стал healthy за 30 с" >&2 + return 1 +} + +# Запускает loadgen в фоне (LOADGEN_PID, LOADGEN_LOG) и ждёт начала замера (MEASURE_START). +# Аргументы передаются генератору как есть. Парой к ней вызывается finish_loadgen. +start_loadgen() { + # Свежая статистика делает прогоны сравнимыми. + compose exec -T postgres psql -U messenger -d messenger -q -c 'ANALYZE;' >/dev/null + # Вывод генератора идёт во временный файл: из него читается момент начала замера. + LOADGEN_LOG=$(mktemp) + compose --profile bench run --rm -T loadgen "$@" >"$LOADGEN_LOG" 2>&1 & + LOADGEN_PID=$! + # Ждём строку measure_start, которую генератор печатает после прогрева. Выходим с ошибкой, + # если процесс завершился раньше или прошло больше 2 минут (600 × 0,2 с). + i=0 + while ! grep -q '^measure_start' "$LOADGEN_LOG"; do + if ! kill -0 "$LOADGEN_PID" 2>/dev/null || [ "$i" -gt 600 ]; then + cat "$LOADGEN_LOG" >&2 + echo "loadgen не начал замер" >&2 + return 1 + fi + sleep 0.2 + i=$((i + 1)) + done + # Время начала замера по часам генератора: от него отсчитывается расписание отказов. + MEASURE_START=$(sed -n 's/^measure_start unix=//p' "$LOADGEN_LOG") +} + +# Секунд с начала замера. +# Точность 1 с: часы скрипта и генератора могут расходиться меньше чем на секунду. +elapsed() { echo $(($(date +%s) - MEASURE_START)); } + +# Ждёт секунду T от начала замера. +sleep_until() { + while [ "$(elapsed)" -lt "$1" ]; do sleep 0.2; done +} + +# Ждёт конец нагрузки, печатает итог генератора без служебных строк и удаляет временный файл. +# Возвращает код выхода генератора: он ненулевой, если сверка нашла потери или дубли. +finish_loadgen() { + status=0 + wait "$LOADGEN_PID" || status=$? + grep -v -E '^measure_start| Container ' "$LOADGEN_LOG" + rm -f "$LOADGEN_LOG" + return "$status" +} + +# Версия кода для шапки доказательств: короткий хеш и +dirty при незакоммиченных изменениях +# в отслеживаемых файлах. Новые файлы, ещё не добавленные в Git, этот признак не учитывает. +git_state() { echo "$(git rev-parse --short HEAD)$(git diff --quiet HEAD -- . || echo +dirty)"; } diff --git a/scripts/level3-evidence.py b/scripts/level3-evidence.py new file mode 100755 index 00000000..2839486b --- /dev/null +++ b/scripts/level3-evidence.py @@ -0,0 +1,34 @@ +#!/usr/bin/env python3 +"""Уровень 3: запросы одного пользователя с одной сессией обслуживают разные реплики. +Заголовок сам по себе не доказывает разные процессы, поэтому рядом печатаются ID контейнеров. +Токены не печатаются. Запуск и сохранение результата: scripts/level3-evidence.sh""" +import collections +import pathlib +import subprocess +import sys + +ROOT = pathlib.Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client # noqa: E402 + +REQUESTS = 20 + +# Один пользователь входит один раз, дальше все запросы идут с этим токеном через LB. +client = Client('http://localhost:8080') +alice, _, _, chat = client.bootstrap() +seen = collections.Counter( + client.call('GET', '/api/v1/chats/' + chat['id'] + '/messages', actor=alice)['headers']['X-Instance-Id'] + for _ in range(REQUESTS)) +print('запросов с одной сессией: %d, по X-Instance-Id: %s' % (REQUESTS, dict(seen))) + +# Сопоставление заголовка с реальными контейнерами. +ids = subprocess.run(['docker', 'compose', '--env-file', '.env', 'ps', '-q', 'api'], cwd=ROOT, + capture_output=True, text=True, check=True).stdout.split() +containers = {cid[:12] for cid in ids} +for cid in ids: + print(subprocess.run(['docker', 'inspect', '-f', '{{.Name}} id={{.Id}} status={{.State.Status}}', cid], + capture_output=True, text=True, check=True).stdout.strip().replace(cid, cid[:12])) + +ok = len(seen) >= 2 and set(seen) <= containers +print('PASS' if ok else 'FAIL', 'запросы обслужили минимум 2 реальные реплики') +sys.exit(0 if ok else 1) diff --git a/scripts/level3-evidence.sh b/scripts/level3-evidence.sh new file mode 100755 index 00000000..dc5dffc2 --- /dev/null +++ b/scripts/level3-evidence.sh @@ -0,0 +1,23 @@ +#!/bin/sh +# Уровень 3: контракт, публичный smoke и разные реплики за одной сессией. +# Запуск при поднятом стенде: sh scripts/level3-evidence.sh Результат: evidence/level3.txt +set -eu +cd "$(dirname "$0")/.." +. scripts/lb-lib.sh + +OUT=evidence/level3.txt +# Вызов через || отключает set -e внутри run, поэтому каждый шаг сам возвращает ошибку. +run() { + echo "# Уровень 3 $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + echo "## make check" + make check || return 1 + echo "## make test" + make test || return 1 + echo "## реплики за одной сессией" + python3 scripts/level3-evidence.py +} +mkdir -p evidence +status=0 +run >"$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/limits-evidence.py b/scripts/limits-evidence.py new file mode 100755 index 00000000..99be9bfc --- /dev/null +++ b/scripts/limits-evidence.py @@ -0,0 +1,209 @@ +#!/usr/bin/env python3 +"""Лимиты CPU/RAM, порты, секреты, хранилища и масштабирование одного Compose-service. +Сверяет файл конфигурации с тем, что реально применено в контейнерах. Значения секретов не +печатает. Масштабирует api до 4 реплик и возвращает 2. Запуск: scripts/limits-evidence.sh""" +# Четыре проверки: файл конфигурации, запущенные контейнеры, сеть хоста, масштабирование. +# Каждая отдельная проверка печатает PASS или FAIL, в конце общий ИТОГ. +# Нужен поднятый стенд с двумя репликами. Код выхода: 0, если нет ни одного FAIL. +import collections +import json +import pathlib +import re +import socket +import subprocess +import sys +import time +import urllib.request + +# Корень проекта: docker compose должен запускаться из него. +ROOT = pathlib.Path(__file__).resolve().parents[1] +# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается. +BASE = 'http://localhost:8080' +# Порт, на котором заведомо ничего не должно работать: им проверяется честность адреса. +CONTROL_PORT = 59999 +# Кому какой секрет нужен: всё остальное считается лишним. +EXPECTED_SECRETS = { + 'postgres': {'postgres_password'}, 'valkey': {'valkey_password'}, + 'valkey-cache': {'valkey_cache_password'}, 'migrate': {'database_url'}, + 'api': {'database_url', 'cache_url'}, 'lb': set(), 'loadgen': set(), +} +# Именованные тома есть только у хранилищ; остальные сервисы их иметь не должны. +EXPECTED_VOLUMES = {'postgres': {'pgdata'}, 'valkey': {'valkeydata'}} +# Имена проваленных проверок: по этому списку считается ИТОГ. +failed = [] + + +# Напечатать результат одной проверки и запомнить неудачу. +def result(name, ok, detail=''): + print('PASS' if ok else 'FAIL', name, detail, flush=True) + if not ok: + failed.append(name) + + +# Выполнить команду и вернуть её stdout. check=True: при ненулевом коде выхода будет исключение. +def run(*args, check=True): + return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=check).stdout.strip() + + +# То же для docker compose с настройками стенда. +def dc(*args, check=True): + return run('docker', 'compose', '--env-file', '.env', *args, check=check) + + +# Проверка 1: что написано в конфигурации. docker compose config разворачивает все переменные, +# поэтому видны итоговые значения. Профили включены, чтобы не пропустить необязательные сервисы. +def audit_config(): + print('## конфигурация, все сервисы и профили') + config = json.loads(dc('--profile', 'cache', '--profile', 'bench', 'config', '--format', 'json')) + services = config['services'] + for name, service in services.items(): + limits = service.get('deploy', {}).get('resources', {}).get('limits', {}) + ports = ['%s:%s' % (p.get('host_ip', '*'), p.get('published')) for p in service.get('ports', [])] + secrets = {s['source'] for s in service.get('secrets', [])} + volumes = {v['source'] for v in service.get('volumes', []) if v['type'] == 'volume'} + print('%-13s cpus=%-4s mem=%-5sMB ports=%-16s secrets=%s volumes=%s' % ( + name, limits.get('cpus'), int(limits.get('memory', 0)) // 1048576, ','.join(ports) or '-', + ','.join(sorted(secrets)) or '-', ','.join(sorted(volumes)) or '-')) + result(name + ': заданы лимиты CPU и RAM', bool(limits.get('cpus') and limits.get('memory'))) + result(name + ': секреты только нужные', secrets == EXPECTED_SECRETS[name], '' if secrets == EXPECTED_SECRETS[name] else str(secrets)) + result(name + ': том только свой', volumes == EXPECTED_VOLUMES.get(name, set())) + # container_name запретил бы запустить несколько реплик одного сервиса. + result(name + ': нет container_name', 'container_name' not in service) + result('API не публикует порты', not services['api'].get('ports')) + # Сервисы, у которых есть порт не на 127.0.0.1: таким должен быть только LB. + public = [n for n, s in services.items() for p in s.get('ports', []) if p.get('host_ip') != '127.0.0.1'] + result('снаружи открыт только LB', public == ['lb'], str(public)) + return services + + +# Проверка 2: что применено на самом деле. Конфигурация могла не примениться, поэтому данные +# берутся из самих контейнеров. +def audit_runtime(): + print('## запущенные контейнеры') + expected_names = {'lb', 'api', 'postgres', 'valkey'} + seen = set() + for cid in dc('ps', '-q').split(): + service = run('docker', 'inspect', '-f', '{{index .Config.Labels "com.docker.compose.service"}}', cid) + name = run('docker', 'inspect', '-f', '{{.Name}}', cid) + seen.add(service) + # Фактические лимиты ядра из cgroup и пик использования памяти. + cgroup = run('docker', 'exec', cid, 'sh', '-c', + 'echo "cpu=$(cat /sys/fs/cgroup/cpu.max | tr " " "/") mem=$(cat /sys/fs/cgroup/memory.max) ' + 'peak=$(cat /sys/fs/cgroup/memory.peak 2>/dev/null)"') + # Только имена файлов секретов внутри контейнера, без содержимого. + secrets = set(run('docker', 'exec', cid, 'sh', '-c', 'ls /run/secrets 2>/dev/null || true').split()) + # На каких адресах хоста опубликованы порты контейнера. + info = json.loads(run('docker', 'inspect', '-f', '{{json .NetworkSettings.Ports}}', cid)) + bound = sorted({b['HostIp'] for v in info.values() if v for b in v}) + # Был ли контейнер убит из-за нехватки памяти. + oom = run('docker', 'inspect', '-f', '{{.State.OOMKilled}}', cid) + print('%s %s secrets=%s bind=%s oom=%s' % (name, cgroup, ','.join(sorted(secrets)) or '-', ','.join(bound) or '-', oom)) + # Значение max в cgroup означает, что лимита нет. + result(name + ': лимиты применены в cgroup', 'max/' not in cgroup and 'mem=max' not in cgroup) + result(name + ': в контейнере только нужные секреты', secrets == EXPECTED_SECRETS[service]) + # Секрет не должен оказаться в окружении: его видно через docker inspect. Значения + # только сравниваются; в вывод попадают лишь имена файлов. + env = run('docker', 'inspect', '-f', '{{range .Config.Env}}{{println .}}{{end}}', cid) + leaked = [f.name for f in (ROOT / 'secrets').iterdir() if f.is_file() and f.read_text().strip() in env] + result(name + ': значения секретов не в окружении', not leaked, str(leaked) if leaked else '') + if service == 'api': + result(name + ': API без проброса порта', not bound) + elif service != 'lb': + result(name + ': порт только на 127.0.0.1', bound == ['127.0.0.1'], str(bound)) + result('запущены все сервисы стенда', expected_names <= seen, str(sorted(seen))) + + +# Проверка 3: реальное подключение с внешних адресов хоста, а не вывод настроек. +def audit_network(): + print('## доступность с внешних адресов хоста') + + def is_open(host, port): + with socket.socket() as s: + s.settimeout(1) + return s.connect_ex((host, port)) == 0 + + # Все IPv4-адреса хоста. ifconfig есть на macOS; в Linux его может не быть. + addresses = re.findall(r'inet (\d+\.\d+\.\d+\.\d+)', run('ifconfig')) + checked = 0 + # В доказательство адрес попадает под номером: IP машины в нём не нужен. + for number, host in enumerate(addresses, 1): + label = 'адрес %d' % number + if host.startswith('127.'): + continue + # VPN-туннель может принимать соединения на любой порт: такой адрес ничего не доказывает. + if is_open(host, CONTROL_PORT): + print('%s пропущен: открыт и контрольный порт %d' % (label, CONTROL_PORT)) + continue + checked += 1 + states = {port: is_open(host, port) for port in (8080, 5432, 6379)} + print(label, states) + result(label + ': LB доступен', states[8080]) + result(label + ': PostgreSQL и Valkey закрыты', not states[5432] and not states[6379]) + # Без этого пропуск всех адресов выглядел бы как успех. + result('проверен хотя бы один внешний адрес', checked > 0) + + +# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy. +def lb_up(): + csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv') + return sum(1 for line in csv.splitlines() + if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP') + + +# Подождать до 60 с, пока LB не покажет заданное число реплик. +def wait_lb(count): + end = time.monotonic() + 60 + while time.monotonic() < end: + if lb_up() == count: + return True + time.sleep(0.3) + return False + + +# Сколько запросов обслужила каждая реплика: по заголовку X-Instance-Id в ответе. +def instances(requests=48): + seen = collections.Counter() + for _ in range(requests): + with urllib.request.urlopen(BASE + '/health/ready', timeout=3) as response: + seen[response.headers['X-Instance-Id']] += 1 + return seen + + +# Изменить число реплик и проверить, что все получают трафик поровну (разница не больше 1). +# --no-recreate не трогает работающие контейнеры, только добавляет или убирает лишние. +def scale(count): + dc('up', '-d', '--no-recreate', '--wait', '--scale', 'api=%d' % count, check=False) + arrived = wait_lb(count) + names = sorted(dc('ps', '--format', '{{.Name}}', 'api').split()) + seen = instances() + print('реплик=%d контейнеры=%s запросы_по_репликам=%s' % (count, names, dict(seen))) + result('масштаб %d: LB видит все реплики' % count, arrived) + result('масштаб %d: нагрузка на всех поровну' % count, len(names) == count and len(seen) == count and max(seen.values()) - min(seen.values()) <= 1) + + +# Проверка 4: api масштабируется до 4 реплик и обратно. finally возвращает 2 реплики даже при ошибке. +def audit_scale(): + print('## масштабирование одного Compose-service') + if not wait_lb(2): + raise SystemExit('LB не видит 2 реплики') + try: + scale(4) + finally: + scale(2) + # У реплик нет своего состояния: новых томов появиться не должно. + volumes = run('docker', 'volume', 'ls', '--filter', 'name=mtusi-lab3_', '--format', '{{.Name}}').split() + print('тома проекта:', volumes) + result('реплики не создали своих томов', set(volumes) == {'mtusi-lab3_pgdata', 'mtusi-lab3_valkeydata'}) + + +# Выполнить все проверки и вывести итог. Код выхода 1, если хотя бы одна не прошла. +def main(): + audit_config() + audit_runtime() + audit_network() + audit_scale() + print('ИТОГ:', 'PASS' if not failed else 'FAIL: ' + '; '.join(failed)) + sys.exit(1 if failed else 0) + + +main() diff --git a/scripts/limits-evidence.sh b/scripts/limits-evidence.sh new file mode 100755 index 00000000..34712d8a --- /dev/null +++ b/scripts/limits-evidence.sh @@ -0,0 +1,25 @@ +#!/bin/sh +# Лимиты, порты, секреты, хранилища, масштабирование. Результат: evidence/level4/limits.txt +# +# Запуск из любого каталога при поднятом стенде с двумя репликами: sh scripts/limits-evidence.sh +# Сами проверки выполняет scripts/limits-evidence.py, здесь только запуск и сохранение вывода. +# Файл результата перезаписывается. Значения секретов не печатаются. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: здесь нужна git_state (текущий коммит). +. scripts/lb-lib.sh + +OUT=evidence/level4/limits.txt +mkdir -p evidence/level4 +status=0 +# Шапка и вывод проверок попадают в один файл. Код запоминаем, чтобы вывести файл на экран +# и при неудаче. Код группы — это код python-скрипта, последней команды в ней. +{ + echo "# Лимиты и изоляция $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + python3 scripts/limits-evidence.py +} > "$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/migration-evidence.sh b/scripts/migration-evidence.sh new file mode 100755 index 00000000..0c7e38ac --- /dev/null +++ b/scripts/migration-evidence.sh @@ -0,0 +1,298 @@ +#!/bin/sh +# Уровень 4: совместимость миграций с работающей версией и однократность запуска. +# Проверочные миграции живут только во временном каталоге и откатываются в конце; +# каталог migrations/ не меняется. Результат: evidence/level4/migrations.txt +# +# Запуск из любого каталога: sh scripts/migration-evidence.sh (нужны Python и make, идёт несколько минут) +# Реплики заменяются, образы пересобираются, в сценарии 2 API намеренно ломается на 10 с: данные +# синтетические, но ничего другого со стендом в это время делать нельзя. Код выхода: 0 при ИТОГ: PASS. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: compose, ожидание LB, запуск loadgen, отсчёт времени замера. +. scripts/lb-lib.sh + +DIR=evidence/level4 +OUT=$DIR/migrations.txt +# Текущая версия схемы. При добавлении настоящей миграции 00008 надо менять и её, и имена +# проверочных миграций ниже: они тоже 00008. +VERSION=7 +# Отдельная сеть и БД для сценария 6: рабочая БД в нём не участвует. +RACE_NET=lab3-migrate-race +RACE_DB=lab3-migrate-race-db +# Станет 1 при первой неудачной проверке. +FAILED=0 +mkdir -p "$DIR" +# Временный каталог внутри проекта: Docker монтирует из него проверочные миграции. +TMP=$(mktemp -d "$PWD/evidence/.migration-test.XXXXXX") + +# Выполнить SQL и вернуть результат без оформления. +psql_q() { compose exec -T postgres psql -U messenger -d messenger -Atc "$1"; } +# Текущая версия схемы по таблице goose. +db_version() { psql_q 'SELECT max(version_id) FROM goose_db_version WHERE is_applied'; } +# Напечатать PASS или FAIL по условию true/false и запомнить неудачу. Выполнение не прерывается. +check() { # имя условие + if [ "$2" = true ]; then echo "PASS $1"; else echo "FAIL $1"; FAILED=1; fi +} +# Вернуть true, если два значения равны: результат передаётся в check. +is() { if [ "$1" = "$2" ]; then echo true; else echo false; fi; } +# ID работающих реплик: по изменению списка видно, заменялись ли они. +api_ids() { compose ps -q api | sort | tr '\n' ' '; } +# Версия образа, на который сейчас указывает тег, и версия образа работающей реплики. +tag_label() { docker image inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' mtusi-lab3-api; } +running_label() { docker inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' "$(compose ps -q api | head -1)"; } +# Добавить к каждой строке время от начала замера. +with_time() { while IFS= read -r line; do echo "t=$(elapsed)s $line"; done; } +verify_ok() { # файл результата: нет потерь, дублей и секунд без успеха + python3 - "$1" <<'PY' +import json, sys +d = json.load(open(sys.argv[1], encoding='utf8')) +v = d['verify'] +print('true' if v['lost'] == 0 and v['duplicate_ids'] == 0 and v['duplicate_texts'] == 0 and not d['seconds_without_success'] and not v.get('error') else 'false') +PY +} +# Сумма ошибок за весь замер по посекундной шкале результата loadgen. +errors_of() { python3 -c "import json,sys; print(sum(s['err'] for s in json.load(open(sys.argv[1],encoding='utf8'))['timeline']))" "$1"; } + +# Подставляет каталог с миграциями и, при необходимости, настройку api. +# Рабочие миграции и проверочная копируются во временный каталог. Он монтируется в migrate поверх +# /migrations через дополнительный файл Compose, поэтому migrations/ в проекте не меняется. +# COMPOSE_FILE действует на все следующие команды compose, в том числе в rolling-update.sh. +use_override() { # файл-миграции [блок api] + rm -rf "$TMP/migrations" + mkdir -p "$TMP/migrations" + cp migrations/*.sql "$TMP/migrations/" + [ -z "$1" ] || cp "$1" "$TMP/migrations/" + { + echo 'services:' + echo ' migrate:' + echo ' volumes:' + echo " - $TMP/migrations:/migrations:ro" + [ -z "${2:-}" ] || printf ' api:\n %s\n' "$2" + } >"$TMP/override.yaml" + COMPOSE_FILE="compose.yaml:$TMP/override.yaml" + export COMPOSE_FILE +} + +# Запустить goose с заданной командой (up, down-to N) в контейнере migrate. +goose_to() { + compose run --rm -T --entrypoint sh migrate -c \ + 'exec goose -dir /migrations postgres "$(cat "$DATABASE_URL_FILE")" '"$1" 2>&1 | grep -v ' Container ' +} + +# Выполняется при любом выходе, даже при ошибке: откатить проверочную миграцию, удалить +# отдельную БД, сеть и временный каталог. Код выхода скрипта при этом сохраняется. +cleanup() { + status=$? + if [ -f "$TMP/override.yaml" ] && [ "$(db_version 2>/dev/null)" != "$VERSION" ]; then + goose_to "down-to $VERSION" >/dev/null 2>&1 || echo "не удалось откатить проверочную миграцию" >&2 + fi + unset COMPOSE_FILE || true + docker rm -f "$RACE_DB" >/dev/null 2>&1 || true + docker network rm "$RACE_NET" >/dev/null 2>&1 || true + rm -rf "$TMP" + exit "$status" +} +trap cleanup EXIT + +# Создать файл проверочной миграции в формате goose. +write_migration() { # имя up down + cat >"$TMP/$1" </dev/null 2>&1 + before_ids=$(api_ids) + start_loadgen -duration 60s -warmup 5s -concurrency 16 -label expand -out /evidence/level4/rolling-expand.json + sleep_until 10 + begin=$(elapsed) + echo "t=${begin}s начало: версия схемы $(db_version), реплики $before_ids" + # Код выхода сохраняем в файл: иначе конвейер с with_time его потерял бы. + { sh scripts/rolling-update.sh 2>&1; echo $? >"$TMP/rolling.code"; } | with_time + check 'expand: скрипт замены завершился успешно' "$(is "$(cat "$TMP/rolling.code")" 0)" + end=$(elapsed) + echo "t=${end}s конец: версия схемы $(db_version), реплики $(api_ids)" + # Момент применения миграции: до него и какое-то время после работают старые реплики. + applied=$(psql_q "SELECT round(extract(epoch FROM tstamp AT TIME ZONE 'UTC'))::bigint FROM goose_db_version WHERE version_id = 8") + echo "схема изменена на t=$((applied - MEASURE_START))s, старые реплики продолжали работать до строк замены выше" + finish_loadgen >/dev/null + python3 scripts/rolling-summary.py "$DIR/rolling-expand.json" "$begin" "$end" + check 'expand: миграция применена один раз' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version WHERE version_id = 8')" 1)" + check 'expand: нет потерь, дублей и секунд без успеха' "$(verify_ok "$DIR/rolling-expand.json")" + check 'expand: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-expand.json")" 0)" + echo "контрактные тесты на новой схеме:" + # Публичный контрактный тест на расширенной схеме. Код сохраняем, чтобы set -e не прервал скрипт. + make test >"$TMP/test.log" 2>&1 && test_status=0 || test_status=$? + tail -3 "$TMP/test.log" + check 'expand: make test проходит на расширенной схеме' "$(is "$test_status" 0)" + goose_to "down-to $VERSION" | tail -1 + check 'expand: проверочная миграция откачена' "$(is "$(db_version)" "$VERSION")" +} + +# Сценарий 2. Контроль чувствительности: заведомо несовместимая миграция должна дать ошибки. +# Если бы их не было, 0 ошибок в сценарии 1 ничего бы не доказывал. +breaking_under_load() { + echo "## 2. Контроль: несовместимая миграция ломает работающую версию" + # Переименование колонки, которую использует работающий код. + write_migration 00008_breaking_rename.sql \ + 'ALTER TABLE messages RENAME COLUMN text TO text_v2;' \ + 'ALTER TABLE messages RENAME COLUMN text_v2 TO text;' + use_override "$TMP/00008_breaking_rename.sql" + start_loadgen -duration 30s -warmup 5s -concurrency 16 -label breaking -out /evidence/level4/migration-breaking.json + sleep_until 10 + goose_to up | tail -1 + echo "t=$(elapsed)s переименована колонка messages.text" + sleep_until 15 + # Readiness проверяет только связь с БД, поэтому LB не должен вывести реплики: это ограничение. + up_during=$(lb_up_count) + echo "t=$(elapsed)s LB считает рабочими реплик: $up_during" + sleep_until 20 + goose_to "down-to $VERSION" | tail -1 + echo "t=$(elapsed)s колонка возвращена" + # || true: ошибки здесь ожидаемы, их оценивают проверки ниже. + finish_loadgen >/dev/null || true + python3 scripts/rolling-summary.py "$DIR/migration-breaking.json" 10 20 + errors=$(errors_of "$DIR/migration-breaking.json") + [ "$errors" -gt 0 ] && seen=true || seen=false + check 'контроль: нагрузка замечает несовместимую схему' "$seen" + check 'контроль: readiness не проверяет схему, реплики остаются в LB' "$(is "$up_during" 2)" + check 'контроль: схема восстановлена' "$(is "$(db_version)" "$VERSION")" +} + +# Сценарий 3. Миграция с ошибкой: обновление останавливается до замены реплик, транзакция откатывается. +failed_migration() { + echo "## 3. Упавшая миграция останавливает обновление до замены реплик" + # Создаёт таблицу и падает на делении на ноль: таблицы после этого быть не должно. + write_migration 00008_fails.sql 'CREATE TABLE migration_must_rollback (id int); SELECT 1 / 0;' 'SELECT 1;' + use_override "$TMP/00008_fails.sql" + before_ids=$(api_ids) + label=$(running_label) + if APP_BUILD=failed-migration sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi + tail -1 "$TMP/log" + [ "$code" -ne 0 ] && stopped=true || stopped=false + check 'упавшая миграция: скрипт вернул ошибку' "$stopped" + check 'упавшая миграция: реплики те же' "$(is "$(api_ids)" "$before_ids")" + check 'упавшая миграция: версия схемы не изменилась' "$(is "$(db_version)" "$VERSION")" + check 'упавшая миграция: транзакция откатилась' "$(is "$(psql_q "SELECT to_regclass('migration_must_rollback') IS NULL")" t)" + check 'упавшая миграция: тег образа возвращён' "$(is "$(tag_label)" "$label")" +} + +# Сценарий 4. Новая реплика не стартует: старые продолжают работать, клиенты ошибок не видят. +bad_image() { + echo "## 4. Реплика, которая не стартует, не снижает доступность" + # Подмена команды запуска на /bin/false: контейнер сразу завершается с ошибкой. + use_override '' 'entrypoint: ["/bin/false"]' + before_ids=$(api_ids) + label=$(running_label) + start_loadgen -duration 50s -warmup 5s -concurrency 16 -label bad-image -out /evidence/level4/rolling-bad-image.json + sleep_until 5 + begin=$(elapsed) + if APP_BUILD=bad-image sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi + end=$(elapsed) + tail -1 "$TMP/log" + finish_loadgen >/dev/null + python3 scripts/rolling-summary.py "$DIR/rolling-bad-image.json" "$begin" "$end" + [ "$code" -ne 0 ] && stopped=true || stopped=false + check 'плохой образ: скрипт вернул ошибку' "$stopped" + check 'плохой образ: старые реплики на месте' "$(is "$(api_ids)" "$before_ids")" + check 'плохой образ: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-bad-image.json")" 0)" + check 'плохой образ: нет потерь и дублей' "$(verify_ok "$DIR/rolling-bad-image.json")" + check 'плохой образ: тег образа возвращён' "$(is "$(tag_label)" "$label")" +} + +# Сценарий 5. Миграции применяются один раз: повторный запуск и масштабирование их не выполняют. +once_only() { + echo "## 5. Однократность: повторный запуск и масштабирование" + unset COMPOSE_FILE + rows=$(psql_q 'SELECT count(*) FROM goose_db_version') + compose run --rm -T migrate 2>&1 | grep -v ' Container ' | tail -1 | sed -E 's/^[0-9/]+ [0-9:]+ //' + ids=$(api_ids) + compose up -d --wait --scale api=3 >/dev/null 2>&1 + wait_lb_up 3 + kept=true + for id in $ids; do compose ps -q api | grep -qxF "$id" || kept=false; done + check 'масштабирование не пересоздаёт работающие реплики' "$kept" + compose up -d --wait --scale api=2 >/dev/null 2>&1 + wait_lb_up 2 + check 'повторный запуск и масштабирование не добавили записей о миграциях' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version')" "$rows")" + image=$(docker inspect -f '{{.Config.Image}}' "$(compose ps -q api | head -1)") + # В образе API нет goose и миграций, поэтому реплики физически не могут запускать их при старте. + has_goose=$(docker run --rm --entrypoint sh "$image" -c 'command -v goose || ls /migrations 2>/dev/null || true') + check 'в образе API нет goose и миграций: реплики не могут гонять их при старте' "$(is "$has_goose" '')" + ids=$(api_ids) + compose up -d --wait >/dev/null 2>&1 + check 'обычный compose up после rolling не пересоздаёт реплики' "$(is "$(api_ids)" "$ids")" +} + +# Сценарий 6. Не проверка, а демонстрация ограничения: у goose up нет блокировки, и 8 одновременных +# запусков на пустой БД конфликтуют. Поэтому результат печатается, но на ИТОГ не влияет. +race() { + echo "## 6. Что будет при параллельном запуске goose (отдельная пустая БД)" + image=$(compose images -q migrate 2>/dev/null | head -1) + [ -n "$image" ] || image=mtusi-lab3-migrate + docker network create "$RACE_NET" >/dev/null + docker run -d --rm --name "$RACE_DB" --network "$RACE_NET" -e POSTGRES_HOST_AUTH_METHOD=trust \ + -e POSTGRES_USER=race -e POSTGRES_DB=race postgres:17.6-alpine >/dev/null + until docker exec "$RACE_DB" pg_isready -U race -d race -h 127.0.0.1 >/dev/null 2>&1; do sleep 0.5; done + for round in 1 2 3; do + docker exec "$RACE_DB" psql -U race -d race -qc 'DROP SCHEMA public CASCADE; CREATE SCHEMA public;' 2>/dev/null + for n in 1 2 3 4 5 6 7 8; do + ( if docker run --rm --network "$RACE_NET" --entrypoint goose mtusi-lab3-migrate -dir /migrations postgres \ + "postgres://race@$RACE_DB:5432/race?sslmode=disable" up >"$TMP/race.$n" 2>&1; then echo ok; else echo fail; fi >"$TMP/race.$n.code" ) & + done + wait + okc=$(cat "$TMP"/race.*.code | grep -c ok || true) + dup=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT coalesce(string_agg(version_id::text, $$,$$), $$нет$$) FROM (SELECT version_id FROM goose_db_version GROUP BY 1 HAVING count(*) > 1) d') + ver=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT max(version_id) FROM goose_db_version') + err=$(cat "$TMP"/race.[0-9] | grep -i -E 'error|fail' | sed -E 's/^[0-9/]+ [0-9:]+ //' | cut -c1-110 | sort | uniq -c | sort -rn | head -1) + echo "раунд $round: успешно $okc из 8, итоговая версия $ver, записаны дважды версии: $dup; частая ошибка: ${err:-нет}" + done + docker rm -f "$RACE_DB" >/dev/null + docker network rm "$RACE_NET" >/dev/null +} + +# Основная логика: сценарии идут по порядку, перед каждым ждём 2 реплики в LB. +run() { + echo "# Миграции и замена реплик, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + compose up -d --wait >/dev/null 2>&1 + wait_lb_up 2 + check 'исходная версия схемы' "$(is "$(db_version)" "$VERSION")" + expand_under_load + wait_lb_up 2 + breaking_under_load + wait_lb_up 2 + failed_migration + wait_lb_up 2 + bad_image + wait_lb_up 2 + once_only + race + [ "$FAILED" = 0 ] && echo 'ИТОГ: PASS' || echo 'ИТОГ: FAIL' +} + +# tee показывает ход проверки сразу и пишет его в файл. +run 2>&1 | tee "$OUT" +# Код выхода скрипта: конвейер выше его потерял, поэтому он определяется по итоговой строке. +grep -q '^ИТОГ: PASS' "$OUT" diff --git a/scripts/persistence-evidence.sh b/scripts/persistence-evidence.sh new file mode 100755 index 00000000..6e4823ee --- /dev/null +++ b/scripts/persistence-evidence.sh @@ -0,0 +1,52 @@ +#!/bin/sh +# Публичный тест сохранности плюс подтверждение, что контейнеры действительно перезапущены, +# а volumes те же. Результат: evidence/persistence.txt +# +# Запуск из любого каталога при поднятом стенде: sh scripts/persistence-evidence.sh +# Весь стенд на время перезапуска недоступен. Файл результата перезаписывается. +# Код выхода отражает только публичный тест: время запуска контейнеров скрипт записывает, +# но не сравнивает, поэтому блоки "до" и "после" нужно сверить глазами. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." + +# Файл с результатом. +OUT=evidence/persistence.txt +# Порт берём из .env, если он там задан (при нескольких значениях последнее), иначе 8080. +PORT=$(sed -n 's/^API_PUBLISH_PORT=//p' .env | tail -n 1) +BASE_URL=${BASE_URL:-http://localhost:${PORT:-8080}} + +# Для каждого контейнера стенда: имя, статус, время запуска и подключённые именованные тома. +# Новое started= показывает реальный перезапуск, те же тома показывают, что данные прежние. +state() { + for id in $(docker compose --env-file .env ps -q api lb postgres valkey); do + docker inspect -f '{{.Name}} {{.State.Status}} started={{.State.StartedAt}} volumes={{range .Mounts}}{{if eq .Type "volume"}}{{.Name}} {{end}}{{end}}' "$id" + done | sort +} + +# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). +# Вызов через || отключает set -e внутри run, поэтому ошибка теста обрабатывается через return 1. +run() { + # Шапка доказательства: время и версия кода. + echo "# Persistence $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git rev-parse --short HEAD)$(git diff --quiet HEAD -- . || echo +dirty)" + echo "## до" + state + echo "## тест" + # Публичный тест: создаёт данные и сессию, вызывает restart.sh и проверяет те же данные + # с прежним токеном. Вывод самого restart.sh тест скрывает, чтобы не утекли секреты. + python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url "$BASE_URL" || return 1 + echo "## после" + state + echo "## volumes" + # Даты создания томов: том не пересоздавался, если дата раньше этого запуска. + docker volume ls --filter name=mtusi-lab3_ --format '{{.Name}}' | xargs docker volume inspect -f '{{.Name}} created={{.CreatedAt}}' +} + +mkdir -p evidence +# Код запоминаем, чтобы вывести файл на экран и при неудаче. +status=0 +run > "$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/resources-evidence.sh b/scripts/resources-evidence.sh new file mode 100755 index 00000000..5416eae8 --- /dev/null +++ b/scripts/resources-evidence.sh @@ -0,0 +1,45 @@ +#!/bin/sh +# CPU и RAM контейнеров под нагрузкой: профиль как в failover-load.sh, но без отказов. +# docker stats опрашивается в течение всего замера (без прогрева), итог: среднее и максимум. +# 100% CPU соответствует одному ядру. Результат: evidence/level4/resources.txt +# +# Запуск из любого каталога: sh scripts/resources-evidence.sh (стенд должен быть поднят) +set -eu +cd "$(dirname "$0")/.." +. scripts/lb-lib.sh + +OUT=evidence/level4/resources.txt +SAMPLES=$(mktemp) + +{ + echo "# CPU и RAM под нагрузкой, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + echo "реплик: $(compose ps -q api | wc -l | tr -d ' '), профиль: concurrency=16, запись 20%, замер 60 с, прогрев 5 с" + start_loadgen -duration 60s -warmup 5s -concurrency 16 -label resources + while kill -0 "$LOADGEN_PID" 2>/dev/null; do + docker stats --no-stream --format '{{.Name}} {{.CPUPerc}} {{.MemUsage}}' >>"$SAMPLES" + done + echo "## результат loadgen" + finish_loadgen + echo "## docker stats за время замера" + grep '^mtusi-lab3-' "$SAMPLES" | awk ' + function mib(v) { + if (v ~ /GiB$/) return v * 1024 + if (v ~ /MiB$/) return v + 0 + if (v ~ /KiB$/) return v / 1024 + return v / 1048576 + } + { + sub(/%$/, "", $2); m = mib($3) + n[$1]++; c[$1] += $2; r[$1] += m + if ($2 + 0 > cm[$1]) cm[$1] = $2 + 0 + if (m > rm[$1]) rm[$1] = m + limit[$1] = $5 + } + END { + for (k in n) + printf "%s замеров=%d CPU среднее=%.0f%% макс=%.0f%% RAM среднее=%.0f МиБ макс=%.0f МиБ лимит=%s\n", + k, n[k], c[k] / n[k], cm[k], r[k] / n[k], rm[k], limit[k] + }' | sort +} >"$OUT" 2>&1 +rm -f "$SAMPLES" +cat "$OUT" diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..074375a6 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,24 @@ +#!/bin/sh +# Перезапускает API, LB и все используемые хранилища с сохранением volumes. +# Без down -v, flush и повторного seed; migrate при up повторно ничего не применяет. +# +# Вызывается тестом сохранности: make test-persistence ACTION_SCRIPT=scripts/restart.sh +# Можно запускать и вручную из любого каталога: sh scripts/restart.sh +# Стенд на время перезапуска недоступен. Удаляет данные только down -v, здесь его нет. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: compose.yaml и .env ищутся в нём. +cd "$(dirname "$0")/.." + +# docker compose с настройками стенда. +compose() { docker compose --env-file .env "$@"; } + +# Сначала точка входа и API: они перестают принимать запросы и штатно завершают открытые, +# пока БД и сессии ещё доступны. Контейнеры останавливаются, но не удаляются. +compose stop lb api +# Затем хранилища: штатная остановка, тома остаются на месте. +compose stop postgres valkey +# Запустить всё и дождаться готовности. Миграции уже применены, поэтому migrate ничего не меняет. +# Отказ на любом шаге завершит скрипт с ошибкой благодаря set -e. +compose up -d --wait diff --git a/scripts/rolling-evidence.sh b/scripts/rolling-evidence.sh new file mode 100755 index 00000000..8380a9f5 --- /dev/null +++ b/scripts/rolling-evidence.sh @@ -0,0 +1,67 @@ +#!/bin/sh +# Уровень 4: rolling update под нагрузкой. Результат: evidence/level4/rolling.{txt,json} +# +# Запуск из любого каталога: sh scripts/rolling-evidence.sh (чуть больше минуты) +# Настройка через окружение: CONCURRENCY (число клиентов, по умолчанию 16). +# Файлы результата перезаписываются, реплики остаются на новом образе с новой меткой. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: compose, запуск loadgen, отсчёт времени замера, git_state. +. scripts/lb-lib.sh + +CONCURRENCY=${CONCURRENCY:-16} +DIR=evidence/level4 +OUT=$DIR/rolling.txt + +# Для каждой реплики: имя, короткий ID, метка версии образа и время запуска. +# Новые ID и метка до и после обновления показывают, что реплики действительно заменены. +# $(compose ps -q api) без кавычек намеренно: каждый ID должен стать отдельным аргументом. +versions() { + docker inspect -f '{{.Name}} id={{.Id}} version={{index .Config.Labels "org.opencontainers.image.version"}} started={{.State.StartedAt}}' \ + $(compose ps -q api) | sed -E 's/id=([0-9a-f]{12})[0-9a-f]*/id=\1/' | sort +} + +# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). +# Вызов через || отключает set -e внутри run, поэтому каждый шаг сам возвращает ошибку. +run() { + # Шапка доказательства: время и версия кода. + echo "# Rolling update под нагрузкой, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" + # Поднять стенд, если он не запущен. + compose up -d --wait >/dev/null 2>&1 || return 1 + echo "## до" + versions + # Новая метка сборки: код тот же, но по метке видно, какой образ работает. + # export: rolling-update.sh, запущенный ниже, должен использовать её же. + export APP_BUILD="rolling-$(date -u +%Y%m%d%H%M%S)" + # Сборка заранее, чтобы компиляция не конкурировала с замером. + compose build api migrate >/dev/null 2>&1 || return 1 + # Нагрузка в фоне: скрипт продолжается, когда начался сам замер. + start_loadgen -duration 60s -warmup 5s -concurrency "$CONCURRENCY" -label rolling \ + -out /evidence/level4/rolling.json || return 1 + # Первые 10 с замера — RPS до обновления, с ним потом сравниваем. + sleep_until 10 + begin=$(elapsed) + echo "t=${begin}s начало rolling update" + # Сама поочерёдная замена. Занимает около 20 с. + sh scripts/rolling-update.sh || return 1 + end=$(elapsed) + echo "t=${end}s конец rolling update" + echo "## после" + versions + echo "## результат loadgen" + # Дождаться конца нагрузки. Генератор вернёт ошибку, если сверка нашла потери или дубли. + finish_loadgen || return 1 + echo "## сводка" + # RPS до, во время и после обновления, ошибки и сверка истории. + python3 scripts/rolling-summary.py "$DIR/rolling.json" "$begin" "$end" +} + +mkdir -p "$DIR" +# Код запоминаем, чтобы вывести файл на экран и при неудаче. +status=0 +run >"$OUT" 2>&1 || status=$? +cat "$OUT" +exit "$status" diff --git a/scripts/rolling-summary.py b/scripts/rolling-summary.py new file mode 100755 index 00000000..60eeb431 --- /dev/null +++ b/scripts/rolling-summary.py @@ -0,0 +1,30 @@ +#!/usr/bin/env python3 +"""Сводка loadgen для окна обновления: rolling-summary.py <начало, с> <конец, с>.""" +# Вызывается из rolling-evidence.sh и migration-evidence.sh. Только читает JSON и печатает сводку. +# Начало и конец — секунды замера, в которые шла замена реплик. +import json +import statistics +import sys + +# Результат loadgen и границы окна обновления. +data = json.load(open(sys.argv[1], encoding='utf8')) +start, end = int(sys.argv[2]), int(sys.argv[3]) +# Посекундная шкала замера; ok(a, b) — успешные запросы по секундам от a включительно до b не включая. +timeline = data['timeline'] +ok = lambda a, b: [s['ok'] for s in timeline if a <= s['t'] < b] +# Секунды обновления, включая секунду его окончания. +window = ok(start, end + 1) +# RPS до окна, в окне и после него. После окна 2 с пропускаются как переходные; если таких +# секунд нет, значение будет 0. +print('RPS до обновления: %d; в окне %d-%d с: среднее %d, минимум за секунду %d; после: %d' % ( + statistics.mean(ok(0, start)), start, end, statistics.mean(window), min(window), + statistics.mean(ok(end + 3, 10 ** 6) or [0]))) +# Окно ошибок расширено на 2 с после конца: ошибка от замены может проявиться чуть позже. +# Секунды без успеха и повторы loadgen посчитал сам, за весь замер. +print('ошибок в окне: %d, всего: %d %s; секунд без единого успеха: %d; записей подтверждено после повтора: %d' % ( + sum(s['err'] for s in timeline if start <= s['t'] <= end + 2), sum(s['err'] for s in timeline), + json.dumps(data['errors'], ensure_ascii=False), data['seconds_without_success'], data['writes_confirmed_after_retry'])) +# Сколько запросов обслужила каждая реплика: должны быть и старые, и новые. +print('запросов по репликам: %s' % json.dumps(data['requests_per_instance'])) +# Сверка истории с подтверждёнными записями: потери и дубли. +print('проверка истории: %s' % json.dumps(data['verify'], ensure_ascii=False)) diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh new file mode 100755 index 00000000..13cb0fa4 --- /dev/null +++ b/scripts/rolling-update.sh @@ -0,0 +1,70 @@ +#!/bin/sh +# Поочерёдная замена реплик API новым образом без потери доступности. +# Compose не умеет rolling update сам, поэтому: поднять новую реплику, дождаться, пока её +# примет LB, вывести старую. Миграции выполняются один раз до замены и поэтому должны быть +# совместимы с работающей версией (только добавление: expand/contract). +# +# Запуск из любого каталога: sh scripts/rolling-update.sh (стенд должен быть поднят) +# Настройка через окружение: APP_BUILD (метка версии, по умолчанию текущее время). +# Код выхода 1: замена остановлена. Если сбой случился на второй и следующих репликах, +# уже заменённые остаются на новой версии: автоматического отката нет. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: все пути ниже указаны относительно него. +cd "$(dirname "$0")/.." +# Общие функции: compose, wait_lb_up, wait_healthy. +. scripts/lb-lib.sh + +# Метка версии попадает в образ при сборке, поэтому экспортируется для docker compose. +APP_BUILD=${APP_BUILD:-$(date -u +%Y%m%d%H%M%S)} +export APP_BUILD + +# Сборка переносит тег на новый образ. Если замена сорвётся, тег нужно вернуть, +# иначе следующий compose up разом пересоздаст все реплики из несостоявшейся версии. +first=$(compose ps -q api | head -1) +image=$(docker inspect -f '{{.Config.Image}}' "$first") +previous=$(docker inspect -f '{{.Image}}' "$first") + +# Шаг 1. Сборка. Вывод показываем только при ошибке; работающие реплики пока не затронуты. +if ! out=$(compose build api migrate 2>&1); then + echo "$out" >&2 + echo "сборка не удалась, реплики не тронуты" >&2 + exit 1 +fi +# Шаг 2. Миграции, ровно один раз и до замены реплик. При ошибке тег возвращается на прежний образ. +if ! out=$(compose run --rm -T migrate 2>&1); then + echo "$out" >&2 + docker image tag "$previous" "$image" + echo "миграция не применена, реплики не тронуты" >&2 + exit 1 +fi + +# Шаг 3. Запомнить старые реплики и убедиться, что LB видит все. +old=$(compose ps -q api) +total=$(echo "$old" | wc -l | tr -d ' ') +wait_lb_up "$total" + +# Заменять по одной: число работающих реплик не опускается ниже исходного. +for id in $old; do + # Запустить ещё одну реплику. --no-recreate не трогает старые, --no-deps не трогает хранилища. + # Compose сам создаёт её из текущего образа, то есть уже нового. + before=$(compose ps -q api) + compose up -d --no-deps --no-recreate --scale api="$((total + 1))" api >/dev/null 2>&1 + # Новая реплика — ID, которого раньше не было. + new=$(compose ps -q api | grep -vxF "$before") + # Старая реплика выводится только после готовности новой: плохой образ не снижает ёмкость. + if ! wait_healthy "$new" || ! wait_lb_up "$((total + 1))"; then + docker rm -f "$new" >/dev/null + docker image tag "$previous" "$image" + echo "новая реплика не стала готовой и удалена, замена остановлена" >&2 + exit 1 + fi + # SIGTERM: реплика уходит из балансировки и завершает открытые запросы. Затем удаляется, + # иначе compose up вернул бы её обратно. + docker stop "$id" >/dev/null + docker rm "$id" >/dev/null + # Дождаться, пока LB снова покажет исходное число реплик, и только потом заменять следующую. + wait_lb_up "$total" + echo "заменена реплика ${id%"${id#????????????}"} на ${new%"${new#????????????}"}, версия $APP_BUILD" +done diff --git a/scripts/scaling-study.py b/scripts/scaling-study.py new file mode 100644 index 00000000..4bacdb46 --- /dev/null +++ b/scripts/scaling-study.py @@ -0,0 +1,65 @@ +#!/usr/bin/env python3 +"""Short real Docker experiment; restores original replica count and CPU/RAM limits.""" +import json, subprocess as sp, time, pathlib, datetime, csv +ROOT = pathlib.Path(__file__).resolve().parents[1] +OUT = ROOT / 'evidence/track1' +DC = ['docker', 'compose', '--env-file', '.env'] +def call(args): + return sp.check_output(args, cwd=ROOT, text=True) +def compose(*args): + return call(DC + list(args)) +def ids(service): + return compose('ps', '-q', service).split() +def update(service, cpu, memory, swap=None): + for cid in ids(service): + call(['docker','update','--cpus',str(cpu),'--memory',str(memory),'--memory-swap',str(memory if swap is None else swap),cid]) +def ready(n): + for _ in range(90): + raw=compose('exec','-T','lb','wget','-qO-','http://127.0.0.1:8404/stats;csv') + rows=list(csv.reader(raw.splitlines())) + if sum(len(r)>17 and r[0]=='api' and r[1]!='BACKEND' and r[17]=='UP' for r in rows)==n: + return + time.sleep(1) + raise RuntimeError('LB not ready') +def main(): + OUT.mkdir(parents=True,exist_ok=True) + original={s:json.loads(call(['docker','inspect',ids(s)[0]]))[0]['HostConfig'] for s in ['api','lb','postgres']} + n0=len(ids('api')) + (OUT/'environment.json').write_text(json.dumps({'utc':datetime.datetime.now(datetime.timezone.utc).isoformat(),'docker':json.loads(call(['docker','info','--format','{{json .}}'])),'original_limits':original},indent=2)) + # Same 32-client 80/20 read/write workload; fixed infrastructure in both series. + cases=[('fixed-1',1,2,1024,1,2),('fixed-2',2,1,512,1,2),('fixed-4',4,.5,256,1,2), + ('grow-1',1,1,512,1,2),('grow-4',4,1,512,1,2), + ('lb2-4',4,1,512,2,2),('db4-4',4,1,512,1,4)] + try: + for label,n,cpu,mem,lb,db in cases: + compose('up','-d','--no-recreate','--scale',f'api={n}','api','lb') + update('api',cpu,f'{mem}m'); update('lb',lb,'256m'); update('postgres',db,'1g') + ready(n) + limits=call(['docker','inspect','--format','{{.Name}} {{.HostConfig.NanoCpus}} {{.HostConfig.Memory}}']+ids('api')+ids('lb')+ids('postgres')) + (OUT/f'{label}-limits.txt').write_text(limits) + for repeat in [1,2]: + name=f'{label}-r{repeat}' + print('RUN',name,flush=True) + compose('exec','-T','postgres','psql','-U','messenger','-d','messenger','-q','-c','ANALYZE;') + with (OUT/f'{name}.log').open('w') as log: + proc=sp.Popen(DC+['--profile','bench','run','--rm','-T','loadgen','-duration','20s','-warmup','5s','-concurrency','32','-label',name,'-out',f'/evidence/track1/{name}.json'],cwd=ROOT,stdout=log,stderr=sp.STDOUT) + deadline=time.monotonic()+180 + while 'measure_start' not in (OUT/f'{name}.log').read_text(): + if proc.poll() is not None or time.monotonic()>deadline: + raise RuntimeError((OUT/f'{name}.log').read_text()) + time.sleep(.2) + with (OUT/f'{name}-stats.jsonl').open('w') as stats: + monitor=sp.Popen(['docker','stats','--format','{{json .}}']+ids('api')+ids('lb')+ids('postgres')+ids('valkey'),stdout=stats,stderr=sp.DEVNULL,text=True) + time.sleep(18) + monitor.terminate(); monitor.wait() + rc=proc.wait(timeout=180) + if rc: raise RuntimeError((OUT/f'{name}.log').read_text()) + result=json.loads((OUT/f'{name}.json').read_text()) + print(name,round(result['successful_rps']),result['error_share'],result['verify'],flush=True) + finally: + compose('up','-d','--no-recreate','--scale',f'api={n0}','api','lb') + for s,h in original.items(): + update(s,h['NanoCpus']/1e9,str(h['Memory']),h['MemorySwap']) + ready(n0) + print('Original limits and replicas restored',flush=True) +if __name__=='__main__': main() diff --git a/scripts/scaling-summary.py b/scripts/scaling-summary.py new file mode 100644 index 00000000..4466baec --- /dev/null +++ b/scripts/scaling-summary.py @@ -0,0 +1,54 @@ +#!/usr/bin/env python3 +"""Build CSV and figures from preserved measurements (no invented values).""" +import csv, json, pathlib, statistics, os +os.environ.setdefault('MPLCONFIGDIR','/private/tmp/track1-mpl') +import matplotlib +matplotlib.use('Agg') +import matplotlib.pyplot as plt +ROOT=pathlib.Path(__file__).resolve().parents[1] +OUT=ROOT/'evidence/track1' +rows=[] +for path in sorted(OUT.glob('*-r[12].json')): + r=json.loads(path.read_text()); label=r['label'].rsplit('-r',1)[0] + samples={} + seen=set() + for line in path.with_name(path.stem+'-stats.jsonl').read_text().splitlines(): + # Docker's streaming output may prepend terminal control sequences. + line=line[line.find('{'):] + try: s=json.loads(line) + except ValueError: continue + name=s['Name'] + if name not in seen: + seen.add(name) + continue # Initial Docker sample predates the measurement interval. + service=name.rsplit('-',1)[0].replace('mtusi-lab3-','') + samples.setdefault(service,[]).append(float(s['CPUPerc'].rstrip('%'))) + row=dict(case=label,repeat=path.stem[-1],rps=r['successful_rps'],read_p95_ms=r['read']['p95_ms'],write_p95_ms=r['write']['p95_ms'],error_share=r['error_share'],lost=r['verify']['lost'],duplicates=r['verify']['duplicate_ids']+r['verify']['duplicate_texts']) + for s,values in samples.items(): row[s+'_cpu_mean']=statistics.mean(values) + rows.append(row) +if not rows: raise SystemExit('No results') +fields=list(dict.fromkeys(k for r in rows for k in r)) +with (OUT/'summary.csv').open('w') as f: + w=csv.DictWriter(f,fields); w.writeheader(); w.writerows(rows) +def avg(label,key): return statistics.mean(r[key] for r in rows if r['case']==label) +def bounds(label): + v=[r['rps'] for r in rows if r['case']==label]; m=statistics.mean(v) + return [m-min(v),max(v)-m] +plt.rcParams.update({'font.size':10}) +fig,axes=plt.subplots(1,2,figsize=(10,3.5)) +for labels,title,ax in [(['fixed-1','fixed-2','fixed-4'],'Общий бюджет API: 2 CPU / 1 ГиБ',axes[0]),(['grow-1','fixed-2','grow-4'],'На реплику: 1 CPU / 512 МиБ',axes[1])]: + means=[avg(l,'rps') for l in labels] + ax.errorbar([1,2,4],means,yerr=list(zip(*(bounds(l) for l in labels))),fmt='o-',capsize=5) + ax.set(xticks=[1,2,4],xlabel='Реплики API',ylabel='Успешные запросы/с',title=title,ylim=(0,max(means)*1.2)); ax.grid(alpha=.25) +fig.tight_layout(); fig.savefig(OUT/'scaling.png',dpi=160); plt.close(fig) +labels=['grow-4','lb2-4','db4-4'] +if all(any(r['case']==l for r in rows) for l in labels): + fig,axes=plt.subplots(1,2,figsize=(10,3.5)) + axes[0].bar(['Исходный','LB: 2 CPU','БД: 4 CPU'],[avg(l,'rps') for l in labels],yerr=list(zip(*(bounds(l) for l in labels))),capsize=5) + axes[0].set(ylabel='Успешные запросы/с',title='Проверка узкого места: 4 API × 1 CPU') + for s,limit in [('api',100),('lb',100),('postgres',200),('valkey',100)]: + axes[1].bar(s,avg('grow-4',s+'_cpu_mean')/limit*100) + axes[1].axhline(100,color='red',linestyle='--'); axes[1].set(ylabel='% от CPU-лимита',title='Средняя загрузка до улучшения') + fig.tight_layout(); fig.savefig(OUT/'bottleneck.png',dpi=160); plt.close(fig) +for l in dict.fromkeys(r['case'] for r in rows): + print(l, 'RPS', round(avg(l,'rps')), 'read p95',round(avg(l,'read_p95_ms'),2),'write p95',round(avg(l,'write_p95_ms'),2), 'CPU', {s:round(avg(l,s+'_cpu_mean')) for s in ['api','lb','postgres','valkey']}) diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100755 index 00000000..065dd760 --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,34 @@ +#!/bin/sh +# Останавливает одну реплику API, которую назвал тест, и оставляет её остановленной. +# TARGET_INSTANCE_ID — значение X-Instance-Id, то есть короткий ID контейнера. +# БД, сессии и LB не трогает. Восстановление: docker compose --env-file .env up -d --wait +# +# Вызывается тестом отказа: make test-failover ACTION_SCRIPT=scripts/stop-one.sh +# Вручную из любого каталога: TARGET_INSTANCE_ID=<короткий ID> sh scripts/stop-one.sh +# Код выхода: 0 — реплика остановлена, 2 — такой реплики нет. + +# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. +set -eu +# Перейти в корень проекта: compose.yaml и .env ищутся в нём. +cd "$(dirname "$0")/.." + +# Без ID завершиться с этим сообщением: останавливать случайную реплику нельзя. +: "${TARGET_INSTANCE_ID:?test provides target API instance alias}" + +# Перебрать работающие API-контейнеры. Полные ID сравниваются с коротким по началу строки. +for id in $(docker compose --env-file .env ps -q api); do + case "$id" in + # Шаблон с *: совпадает полный ID, начинающийся с короткого. + "$TARGET_INSTANCE_ID"*) + # Штатная остановка: SIGTERM, реплика уходит из балансировки и завершает открытые запросы. + docker stop "$id" >/dev/null + # Первые 12 символов ID: в обычном sh нет записи ${id:0:12}. + echo "stopped api container ${id%"${id#????????????}"}" + exit 0 + ;; + esac +done + +# Сюда дошли, только если ни один контейнер не подошёл: реплика уже остановлена или ID неверный. +echo "stop-one: no running api container matches the given instance id" >&2 +exit 2