Files
2026-10-06 22:45:35 +03:00

17 KiB
Raw Permalink Blame History

Отчёт — лабораторная 2

  • Автор, группа: не указаны пользователем.
  • Целевая оценка: 4, трек 5 не заявлен.
  • Commit/PR: изменения в рабочем дереве; публикация не выполнялась.
  • Основа: собственная реализация mtusi2026lab1-fork (Echo, DTO, use case, repository, cursor, Swagger, HTTP-тесты). (интерфейс репозитория в use case и внедрение зависимостей), everylounge-proxy/internal/pkg/store/postgres/auth_tokens.go и internal/config/postgres.go (отдельный Storage, параметризованные запросы, ограниченный пул и таймауты). Корпоративные библиотеки и прикладной код этих проектов не перенесены.
  • Библиотеки: pgx v5.7.6, go-redis v9.12.1, Argon2id из golang.org/x/crypto v0.38.0; остальные версии закреплены в go.mod/go.sum. При реализации и проверках использован Codex.

Запуск из чистого clone

Нужны Docker Engine с Compose v2+ либо standalone Compose, make, openssl, Python 3.9+. Go на хосте нужен только для make test-own/make run; интеграционные тесты работают в контейнере. Go 1.26.4, runtime Alpine 3.23, PostgreSQL 17.6-alpine3.22, Redis 7.4.5-alpine3.21. Go/Alpine образы закреплены digest в Dockerfile.

make up PORT=8080
make test PORT=8080
make migrate PORT=8080
make test-integration PORT=8080
make test-persistence PORT=8080 ACTION_SCRIPT=scripts/restart.sh
make test-grade4 PORT=8080
make down PORT=8080

Порт 8080 используется по умолчанию; параметр PORT можно не передавать. API: http://localhost:8080; Swagger: http://localhost:8080/swagger/. up --wait ждёт healthcheck всех трёх сервисов. Bootstrap генерирует локальные секреты без вывода значений; каталог secrets и volumes исключены из Git и build context. Повторный bootstrap сохраняет существующие секреты. Настройки и права файлов — infra/README.md. Настройки передаются через Compose и переменные процесса; локальные env-файлы не требуются. scripts/compose.sh явно отключает их автоматическое чтение. Для запуска API вне Compose настройте адреса БД/Redis и POSTGRES_PASSWORD_FILE, CURSOR_KEY_FILE, примените goose up, затем make run.

make down сохраняет volumes. Намеренное удаление всех учебных данных: ./scripts/compose.sh down --volumes — эта команда при проверке не выполнялась.

Архитектура и решения

flowchart LR
    Client[HTTP client] --> Handler[Echo handlers / DTO]
    Handler --> UseCase[Chat use case]
    UseCase --> PG[PostgreSQL: users / chats / members / messages]
    UseCase --> Redis[Redis: sessions + TTL + AOF]

Интерфейсы хранения объявлены в use case. PostgreSQL-адаптер — internal/pkg/repository/postgres, Redis-адаптер — internal/pkg/session. Memory-репозиторий lab1 оставлен для быстрых Go-тестов; запускаемый сервер использует только PostgreSQL и Redis. DTO отделены от доменных моделей, SQL/Redis не входят в HTTP-обработчики.

Схема, индексы и границы транзакций описаны до реализации запросов в infra/schema.md. Миграцию 001_initial.sql с секциями Up/Down применяет goose CLI v3.27.1 в отдельном сервисе Compose. API запускается после его успешного завершения и сам миграции не выполняет. DDL и запись в goose_db_version коммитятся атомарно. Повторный goose up не дублирует таблицы или данные. Переход с прежнего schema_migrations сохраняет существующие данные; команды make migrate, make migrate-status, make migrate-down описаны в infra/README.md. Down начальной миграции удаляет таблицы и данные. Создание чата и всех участников — одна транзакция; FK проверяет существование пользователя. UNIQUE(username) разрешает гонку регистрации.

Проверки перехода на goose сохранены отдельно: goose.txt подтверждает сохранение прежнего токена и сообщения на работающем стенде; goose-integration.txt — применение с нуля, повторный up, сохранение 10 000 сообщений при смене журнала и down/up в отдельной тестовой схеме. В рабочей БД выполнялся только up; down проверялся на тестовой схеме.

SQL использует параметры $1...; pool ограничен 10 соединениями, SQL/соединение/ Redis/ожидание пула имеют таймаут 2 секунды. Чтение истории — keyset по (created_at,id) с индексом (chat_id,created_at,id) и LIMIT+1; OFFSET не используется. Ключ HMAC cursor создаётся отдельно и сохраняется при рестарте. JSON timestamps имеют ровно 6 знаков дробной части для совместимости с Python 3.9, без потери точности PostgreSQL. При конкурентных вставках это не snapshot: поздний COMMIT с ключом до cursor может быть пропущен; неизменная история обходится без повторов.

Регистрация принимает пароль 12–128 Unicode code points. Argon2id: 19 MiB, 2 прохода, parallelism=1, соль 16 случайных байт, результат 32 байта; сравнение constant-time. Семафор ограничивает одновременно выполняемые KDF четырьмя. UTF-8 не обрезается. Для отсутствующего username выполняется фиктивная KDF-проверка, ошибка входа одинакова.

Basic принимается только при создании сессии. Токен — 32 случайных байта в base64url; в Redis хранится SHA-256 токена, user_id и абсолютное expires_at. Пароль и hash никогда не попадают в User. Bearer проверяется по Redis, затем пользователь читается из PostgreSQL; X-User-Id игнорируется. Сессии не продлеваются чтением или рестартом. Logout удаляет ключ, повтор возвращает 401. Redis SET PXAT задаёт абсолютный срок, дополнительно expires_at проверяется приложением. По умолчанию TTL=3600 секунд.

Redis — единственное хранилище сессий; AOF с appendfsync=always и именованный volume сохраняют сессии при проверенном рестарте. maxmemory=64 MiB, noeviction: Redis не выбрасывает действующие сессии при нехватке памяти, новая запись получает 503. Кэша истории нет, следующий запрос после успешной записи читает подтверждённые данные PostgreSQL. Обе зависимости критичны для readiness. При отказе — 503 unavailable без SQL/credentials, при отсутствии Bearer — 401, liveness остаётся 200.

Доказательства критериев

Публичные контракты и tests/*.py не изменены. Собственные HTTP-проверки находятся в tests/own/, Go integration test создаёт и затем удаляет только свою отдельную схему.

Критерий Команда / сценарий Результат Доказательство
Минимум API, новый контракт lab2 make test PORT=8080 PASS smoke.txt
PostgreSQL, PK/FK/UNIQUE, атомарность чата make test-integration PORT=8080 PASS: PK/FK, UNIQUE и rollback подтверждены integration.txt
Повтор миграций make migrate, integration test Одна версия после двух применений integration.txt
Basic/Bearer, KDF, неверный пароль, logout make test-grade4 PORT=8080 PASS, также Unicode 128 code points с двоеточием grade4.txt
Сохранность сообщений и сессий make test-persistence PORT=8080 ACTION_SCRIPT=scripts/restart.sh PASS: прежний токен читает то же сообщение после рестарта всех трёх сервисов persistence.txt
Redis TTL и persistence grade4 + persistence Истечение и сохранение действующей сессии grade4.txt
Гонка регистрации integration + grade4 12 SQL / 8 HTTP запросов; ровно один успех integration.txt, grade4.txt
Rollback составной операции integration После ошибки второго участника: 0 чатов, 0 участников integration.txt
Индекс, 10 000 сообщений, EXPLAIN ANALYZE BUFFERS integration Index Scan, 51 строка, 5 shared buffers, без Sort/Seq Scan integration.txt
Недоступность Redis и PostgreSQL grade4 останавливает каждый сервис отдельно live=200, ready/protected=503, anonymous=401, после старта прежняя сессия работает grade4.txt
Короткий TTL API пересоздаётся с TTL=2, затем TTL=3600 401 после истечения и рестарта Redis grade4.txt

Эксперименты и отказы

Стенд проверки: Docker/Colima Linux aarch64, 2 vCPU, 2 053 652 480 байт RAM VM. Engine 29.5.2, Compose 5.1.4. Лимиты: API 1 CPU / 256 MiB, PostgreSQL 1 CPU / 512 MiB, Redis 0.5 CPU / 128 MiB; контейнер тестов 1 CPU / 1 GiB, тестовые пакеты компилируются последовательно (-p=1). Первый race-build Redis в тестовом лимите 512 MiB был убит по памяти; тестовый лимит увеличен, лимиты самого стенда не изменялись.

Проверки выполнены 6 октября 2026 года. Полный вывод Go race tests и EXPLAIN: integration.txt. На 10 000 сообщениях, страница около 9000-го сообщения: Limit → Index Scan using messages_history_idx, 51 возвращённая строка, Buffers: shared hit=5, Planning Time 0.029 ms, Execution Time 0.035 ms. Сортировка явно использует m.created_at, m.id, а не текстовый alias результата. Seq Scan, OFFSET и дополнительного Sort нет. Полный обход с шагом 97 получил все 10 000 уникальных ID, включая группы с одинаковым временем.

make measure-load PORT=8080 выполняет 3 секунды прогрева, затем 30 секунд closed-loop POST сообщений с конкуренцией 4. Один измерительный прогон: 25 398 успешных запросов, 0 ошибок, 846.152 успешных RPS; p50 4.419 ms, p95 6.588 ms, p99 10.795 ms. До прогона: 25 пользователей, 6 чатов, 2471 сообщение; после: 28 пользователей, 7 чатов, 27 869 сообщений. Результат: load.json; 10 выборок Docker stats и размеры данных: resources.json.

Максимумы среди полученных выборок (не гарантированные мгновенные пики):

Сервис CPU RAM
API 32.14% 10.65 MiB
PostgreSQL 33.06% 39.58 MiB
Redis 3.53% 3.387 MiB

Тестовый контейнер во время измерения не работал. Клиент — Python на хосте, сеть через Colima; процентили относятся к успешным ответам, профиль closed-loop имеет coordinated omission. Сравнение альтернативных архитектур не проводилось.

Воздействие Наблюдение Восстановление / данные
Остановка API + PostgreSQL + Redis Публичный persistence PASS; StartedAt всех сервисов изменился Тот же токен и то же подтверждённое сообщение; volumes сохранены
Остановка Redis live=200, ready=503, Bearer=503, anonymous=401 После запуска прежний токен работает, отозванный остаётся 401
Остановка PostgreSQL live=200, ready=503, Bearer=503, anonymous=401 После запуска прежний токен работает
SESSION_TTL_SECONDS=2 Сначала 200, после 2.2 s — 401 Рестарт Redis не возрождает сессию; затем восстановлен TTL=3600
Рестарт только API Старый подписанный cursor и Bearer работают Ключ HMAC и сессии не изменились

В полном рестарте API снова стартовал через 2.634 s после старта Redis, готовность и чтение проверены публичным сценарием; это не замер полного RTO. Точные StartedAt до/после: persistence.txt. При отдельных отказах собственный тест проверяет ответ readiness быстрее 4 секунд с таймаутом клиента 5 секунд. Потерь подтверждённых данных в этих сценариях не обнаружено. Структурная проверка выполнена на чистом снимке исходников без локальных ignored-файлов: check.txt. Полная проверка OpenAPI и JSON Schema: validation.txt.

Ограничения

Один Docker-host и по одному PostgreSQL/Redis не обеспечивают HA. Проверяется рестарт процессов с сохранёнными volumes, а не потеря диска/host или восстановление из backup. fsync/AOF зависят от гарантий файловой системы и оборудования. Удаление Redis volume уничтожит сессии; пользователи и сообщения останутся в PostgreSQL. Истёкшие сессии удаляются Redis автоматически; пароль не меняется в обязательном API.

HTTP и Redis без TLS/ACL допустимы только в этом локальном учебном стенде: БД/Redis не публикуют порты, HTTP доступен на loopback, данные синтетические. PostgreSQL использует одну учебную роль для миграций и API. Разделение ролей, TLS, rate limiting и распределённое ограничение KDF — отдельные улучшения.

Нагрузка closed-loop показывает поведение этой конфигурации, не предел пропускной способности и не SLA. Треки оценки 5, резервное копирование и репликация не заявлены.