diff --git a/.dockerignore b/.dockerignore index bc16e556..27f72c6b 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,15 @@ __pycache__ node_modules evidence .DS_Store +tests +student-tests +scripts +contracts +examples +infra +*.md +Makefile +compose*.yaml +Dockerfile.example +requirements-dev.txt +lab.json diff --git a/.env.example b/.env.example index 714c8076..8725737c 100644 --- a/.env.example +++ b/.env.example @@ -4,8 +4,10 @@ APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab SESSION_TTL_SECONDS=3600 +DB_TIMEOUT_MS=3000 +DB_MAX_CONNS=10 # Choose credentials locally. File paths contain no secret values. DATABASE_URL_FILE=/run/secrets/database_url # Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres +SESSION_STORE=redis CACHE_URL_FILE=/run/secrets/cache_url diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 8ceefa10..0117a6c7 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,18 @@ ## Лабораторная 2 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Меркулова М.А./ БВТ2303 +Целевая оценка (3/4/5): 4 +Трек 5, если заявлен: не заявлен -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +Что реализовано и что перенесено: API lab1 перенесён на PostgreSQL; добавлены Basic-вход, Bearer-сессии в Redis с TTL/AOF, миграции, Compose и проверки уровня 4. +Команды запуска из чистого clone: `./scripts/init-local.sh && docker compose --env-file .env up -d --build --wait`. +Результаты проверок и ссылка на REPORT.md: `make test`, persistence и проверки из `student-tests/` проходят; подробности в `REPORT.md` и `evidence/lab2-results.md`. +Ограничения / известные ошибки: учебный single-node стенд без репликации и автоматического failover; при потере зависимости API возвращает 503. +Источники и использование ИИ: официальные материалы из README; ИИ помогал писать и проверять код, результаты воспроизведены локально. -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. +- [x] Контракт и публичные тесты не ослаблены. +- [x] make check и make test выполнены; приложен реальный вывод. +- [x] Сценарии отказов/безопасности своего уровня воспроизведены. +- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. +- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..39a77352 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,15 @@ +FROM golang:1.26.8-alpine3.23@sha256:a8fa79c5bd40d880b52bd3b6d7669ecdcfd00e85facdd427d279efb5ddd79cb1 AS build +WORKDIR /src +COPY go.mod go.sum ./ +RUN go mod download +COPY cmd/ ./cmd/ +COPY internal/ ./internal/ +RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /messenger ./cmd/messenger + +FROM scratch +COPY --from=build /messenger /messenger +USER 65532:65532 +ENV APP_HOST=0.0.0.0 APP_PORT=8080 +EXPOSE 8080 +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 CMD ["/messenger", "healthcheck"] +ENTRYPOINT ["/messenger"] diff --git a/REPORT.md b/REPORT.md index e42f2b05..5680a3b0 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,90 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Меркулова М.А., БВТ2303 +- Целевая оценка: 4 +- Ветка: `solution/BVT2303-Merkulova`; commit/PR указываются после публикации +- Реализация: Go 1.26, PostgreSQL 17.6, Redis 8.2.1, Docker Compose +- Использованные библиотеки: `pgx/v5`, `go-redis/v9`, `x/crypto/scrypt` +- Помощь ИИ: использовалась для проектирования, написания и проверки кода; требования и результаты сверялись с файлами задания и запускались локально ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker с Compose, Python 3.9+ и `make`. Go нужен только для локального запуска `go test`; образ собирает программу самостоятельно. + +```sh +./scripts/init-local.sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait +make check +make test +ACTION_SCRIPT=./scripts/restart.sh make test-persistence +python3 student-tests/verify_grade4.py +python3 student-tests/verify_expiry.py +python3 student-tests/verify_dependencies.py +./scripts/explain_history.sh +``` + +`init-local.sh` создаёт `.env` и случайные секреты в игнорируемой Git папке `secrets/`. Миграции автоматически применяются процессом API при старте. `--wait` ожидает healthcheck всех сервисов. + +Безопасная остановка с сохранением данных: + +```sh +docker compose --env-file .env down +``` + +Намеренное удаление всех учебных данных и сессий: + +```sh +docker compose --env-file .env down -v +``` ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```mermaid +flowchart LR + C[Клиент] -->|HTTP JSON| A[API на Go] + A -->|параметризованные SQL| P[(PostgreSQL)] + A -->|hash токена и TTL| R[(Redis + AOF)] +``` + +PostgreSQL — источник истины для пользователей, чатов, участников и сообщений. Redis — единственное хранилище сессий: ключ содержит SHA-256 от непрозрачного токена, значение содержит UUID пользователя, а TTL задаёт срок жизни. Logout удаляет ключ. Redis работает с AOF `appendfsync always` и именованным volume, поэтому действующая сессия переживает проверяемый перезапуск. + +Из lab1 сохранены health endpoints, пользователи, чаты, сообщения, проверка членства, cursor pagination, request ID, JSON-ошибки и graceful shutdown. В lab2 состояние перенесено из памяти в PostgreSQL. Регистрация принимает пароль, вход выполняется только через Basic на `/api/v1/auth/sessions`, бизнес-запросы принимают Bearer. `X-User-Id` больше не является удостоверением личности. + +Таблицы создаются версионированной миграцией. Внешние ключи связывают участников и сообщения с пользователями/чатами, username уникален. Создание чата и всех строк членства выполняется в одной транзакции: любой ошибочный участник откатывает чат целиком. + +Все значения запросов передаются через параметры `$1…$n`. Пул ограничен `DB_MAX_CONNS=10`, запросы получают `DB_TIMEOUT_MS=3000`. HTTP-сервер также имеет таймауты чтения, записи и idle соединений. Настройки `.env.example` напрямую читаются приложением либо Compose; секретные URL передаются через файлы Docker secrets. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `make test` | PASS полного lab2 API-сценария | `evidence/lab2-results.md` | +| Сохранность данных и сессии | `ACTION_SCRIPT=./scripts/restart.sh make test-persistence` | PASS с прежним токеном и сообщением после рестарта PostgreSQL, Redis и API | `evidence/lab2-results.md` | +| Миграции и ограничения | пустой volume при первом `compose up`; повторный restart | миграция применена один раз, API повторно стартовал без дубликатов | `internal/database/migrations/001_initial.sql`, `internal/database/migrate.go` | +| Password KDF | `go test ./...` | верный пароль принят; неверный и повреждённый hash отклонены; соли различаются | `internal/messenger/password_test.go` | +| Гонка username | `python3 student-tests/verify_grade4.py` | из 4 одновременных регистраций ровно одна получила 201, остальные 409 | `student-tests/verify_grade4.py` | +| Rollback создания чата | `python3 student-tests/verify_grade4.py` | несуществующий участник дал 400, частичный чат не появился | `student-tests/verify_grade4.py` | +| Неверный пароль и logout | `python3 student-tests/verify_grade4.py` | неверный пароль и отозванный Bearer получили 401 | `student-tests/verify_grade4.py` | +| Короткий TTL | `python3 student-tests/verify_expiry.py` | API пересоздан с TTL 2 секунды, через 3 секунды токен получил 401 | `student-tests/verify_expiry.py` | +| Отказ Redis/PostgreSQL | `python3 student-tests/verify_dependencies.py` | защищённый запрос получил 503; анонимный запрос остался 401; после возврата сервисов прежняя сессия работает | `student-tests/verify_dependencies.py` | +| Индекс истории | `./scripts/explain_history.sh` | на 10 000 строк выбран `Index Scan using messages_chat_history_idx`; первые 50 строк получены без полного scan истории | `evidence/explain-history.txt` | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Стенд запущен в Docker Desktop на arm64, по одному контейнеру API, PostgreSQL и Redis. Тест гонки отправляет 4 регистрации одновременно. EXPLAIN использует отдельный чат с 10 000 сообщениями. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Перезапуск PostgreSQL, Redis и API | Данные и ещё действующая сессия сохранятся | persistence test прошёл с прежним токеном | восстановление уложилось в лимит теста 90 секунд; подтверждённые данные не потеряны | +| Redis остановлен | ready и запрос с существующим Bearer дадут 503; аноним не станет доверенным | 503, 503 и 401 соответственно | после старта Redis прежняя AOF-сессия доступна; потерь не замечено | +| PostgreSQL остановлен | ready и бизнес-запрос дадут 503 | оба дали 503 | после старта БД пользователь снова прочитан; потерь не замечено | +| TTL 2 секунды | токен перестанет работать | через 3 секунды получен 401 | штатное истечение, данные пользователя остаются | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Стенд имеет по одному экземпляру каждого сервиса, поэтому во время остановки PostgreSQL или Redis бизнес-запросы временно недоступны. После возврата сервисов данные восстанавливаются из именованных volumes. Автоматического failover и репликации нет. + +Redis является авторитетным хранилищем сессий. Потеря его volume или `FLUSHALL` завершит все сессии; пользователи и сообщения останутся в PostgreSQL. PostgreSQL volume является единственной копией доменных данных, поэтому для production потребовались бы backup, проверка восстановления и репликация. + +API работает по HTTP, как требует текущая лабораторная; TLS появляется далее по курсу. Защита от перебора паролей и распределённое ограничение частоты запросов в обязательный контракт lab2 не входят. Отдельное нагрузочное исследование не проводилось. diff --git a/cmd/messenger/main.go b/cmd/messenger/main.go new file mode 100644 index 00000000..d3c61047 --- /dev/null +++ b/cmd/messenger/main.go @@ -0,0 +1,157 @@ +package main + +import ( + "context" + "errors" + "fmt" + "log" + "net/http" + "os" + "os/signal" + "strconv" + "strings" + "syscall" + "time" + + "github.com/jackc/pgx/v5/pgxpool" + "github.com/redis/go-redis/v9" + "mtusi-messenger/internal/database" + "mtusi-messenger/internal/messenger" +) + +func env(name, fallback string) string { + if value := os.Getenv(name); value != "" { + return value + } + return fallback +} +func secret(envName, fileEnv string) (string, error) { + if value := os.Getenv(envName); value != "" { + return value, nil + } + path := os.Getenv(fileEnv) + if path == "" { + return "", fmt.Errorf("set %s or %s", envName, fileEnv) + } + b, err := os.ReadFile(path) + if err != nil { + return "", err + } + value := strings.TrimSpace(string(b)) + if value == "" { + return "", fmt.Errorf("%s is empty", path) + } + return value, nil +} +func positiveInt(name string, fallback int) (int, error) { + raw := env(name, strconv.Itoa(fallback)) + n, err := strconv.Atoi(raw) + if err != nil || n < 1 { + return 0, fmt.Errorf("invalid %s", name) + } + return n, nil +} + +func main() { + port := env("APP_PORT", "8080") + if len(os.Args) > 1 && os.Args[1] == "healthcheck" { + client := &http.Client{Timeout: 2 * time.Second} + resp, err := client.Get("http://127.0.0.1:" + port + "/health/ready") + if err != nil || resp.StatusCode != http.StatusOK { + os.Exit(1) + } + _ = resp.Body.Close() + return + } + host := env("APP_HOST", "0.0.0.0") + if _, err := strconv.Atoi(port); err != nil { + log.Fatal("invalid APP_PORT") + } + ttlSeconds, err := positiveInt("SESSION_TTL_SECONDS", 3600) + if err != nil { + log.Fatal(err) + } + dbTimeoutMS, err := positiveInt("DB_TIMEOUT_MS", 3000) + if err != nil { + log.Fatal(err) + } + maxConns, err := positiveInt("DB_MAX_CONNS", 10) + if err != nil { + log.Fatal(err) + } + databaseURL, err := secret("DATABASE_URL", "DATABASE_URL_FILE") + if err != nil { + log.Fatal(err) + } + cacheURL, err := secret("CACHE_URL", "CACHE_URL_FILE") + if err != nil { + log.Fatal(err) + } + logger := log.New(os.Stdout, "", log.LstdFlags|log.LUTC) + ctx, cancel := context.WithTimeout(context.Background(), 60*time.Second) + defer cancel() + config, err := pgxpool.ParseConfig(databaseURL) + if err != nil { + log.Fatal("invalid database configuration") + } + config.MaxConns = int32(maxConns) + config.MinConns = 1 + config.MaxConnLifetime = 30 * time.Minute + var pool *pgxpool.Pool + for { + pool, err = pgxpool.NewWithConfig(ctx, config) + if err == nil { + err = pool.Ping(ctx) + } + if err == nil { + break + } + if pool != nil { + pool.Close() + } + if ctx.Err() != nil { + log.Fatal("database unavailable during startup") + } + time.Sleep(time.Second) + } + defer pool.Close() + if err = database.Migrate(ctx, pool); err != nil { + log.Fatalf("migration failed: %v", err) + } + redisOptions, err := redis.ParseURL(cacheURL) + if err != nil { + log.Fatal("invalid cache configuration") + } + sessions := redis.NewClient(redisOptions) + defer sessions.Close() + for { + if err = sessions.Ping(ctx).Err(); err == nil { + break + } + if ctx.Err() != nil { + log.Fatal("session store unavailable during startup") + } + time.Sleep(time.Second) + } + dbTimeout := time.Duration(dbTimeoutMS) * time.Millisecond + srv := &http.Server{Addr: host + ":" + port, Handler: messenger.NewHandler(pool, sessions, time.Duration(ttlSeconds)*time.Second, dbTimeout, logger), ReadHeaderTimeout: 5 * time.Second, ReadTimeout: 10 * time.Second, WriteTimeout: 10 * time.Second, IdleTimeout: 30 * time.Second} + stop := make(chan os.Signal, 1) + signal.Notify(stop, syscall.SIGTERM, os.Interrupt) + done := make(chan struct{}) + go func() { + defer close(done) + <-stop + logger.Print("shutdown started") + shutdownCtx, shutdownCancel := context.WithTimeout(context.Background(), 8*time.Second) + defer shutdownCancel() + if shutdownErr := srv.Shutdown(shutdownCtx); shutdownErr != nil { + logger.Printf("shutdown error: %v", shutdownErr) + } + logger.Print("shutdown complete") + }() + logger.Printf("listening on %s", srv.Addr) + if err = srv.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) { + logger.Fatal(err) + } + <-done +} diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..97ca491c --- /dev/null +++ b/compose.yaml @@ -0,0 +1,80 @@ +name: mtusi-lab2 + +services: + postgres: + image: postgres:17.6-alpine3.22 + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: + - postgres_password + volumes: + - postgres_data:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 3s + timeout: 3s + retries: 20 + restart: unless-stopped + + redis: + image: redis:8.2.1-alpine3.22 + command: + - /bin/sh + - -ec + - exec redis-server --appendonly yes --appendfsync always --requirepass "$$(cat /run/secrets/redis_password)" + secrets: + - redis_password + volumes: + - redis_data:/data + healthcheck: + test: ["CMD-SHELL", "redis-cli --no-auth-warning -a \"$$(cat /run/secrets/redis_password)\" ping | grep PONG"] + interval: 3s + timeout: 3s + retries: 20 + restart: unless-stopped + + api: + build: + context: . + dockerfile: Dockerfile + environment: + APP_HOST: ${APP_HOST:-0.0.0.0} + APP_PORT: ${APP_PORT:-8080} + APP_ENV: ${APP_ENV:-lab} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DB_TIMEOUT_MS: ${DB_TIMEOUT_MS:-3000} + DB_MAX_CONNS: ${DB_MAX_CONNS:-10} + DATABASE_URL_FILE: /run/secrets/database_url + CACHE_URL_FILE: /run/secrets/cache_url + secrets: + - database_url + - cache_url + depends_on: + postgres: + condition: service_healthy + redis: + condition: service_healthy + ports: + - "127.0.0.1:${APP_PORT:-8080}:${APP_PORT:-8080}" + healthcheck: + test: ["CMD", "/messenger", "healthcheck"] + interval: 5s + timeout: 3s + retries: 20 + restart: unless-stopped + +secrets: + postgres_password: + file: ./secrets/postgres_password + redis_password: + file: ./secrets/redis_password + database_url: + file: ./secrets/database_url + cache_url: + file: ./secrets/cache_url + +volumes: + postgres_data: + redis_data: diff --git a/evidence/explain-history.txt b/evidence/explain-history.txt new file mode 100644 index 00000000..38f9119b --- /dev/null +++ b/evidence/explain-history.txt @@ -0,0 +1,24 @@ +INSERT 0 0 +INSERT 0 0 +INSERT 0 0 +DELETE 10000 +INSERT 0 10000 +ANALYZE + fixture_messages +------------------ + 10000 +(1 row) + + QUERY PLAN +--------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.41..21.76 rows=50 width=68) (actual time=0.006..0.018 rows=50 loops=1) + Buffers: shared hit=102 + -> Index Scan using messages_chat_history_idx on messages (cost=0.41..4271.07 rows=10000 width=68) (actual time=0.006..0.015 rows=50 loops=1) + Index Cond: (chat_id = '00000000-0000-4000-8000-000000000002'::uuid) + Buffers: shared hit=102 + Planning: + Buffers: shared hit=24 + Planning Time: 0.057 ms + Execution Time: 0.031 ms +(9 rows) + diff --git a/evidence/lab2-results.md b/evidence/lab2-results.md new file mode 100644 index 00000000..31ace30d --- /dev/null +++ b/evidence/lab2-results.md @@ -0,0 +1,50 @@ +# Результаты проверок лабораторной 2 + +Дата: 2026-09-30. Платформа: Docker Desktop на arm64. Проверялось рабочее дерево ветки `solution/BVT2303-Merkulova` до итогового commit. + +## Базовые проверки + +```text +$ go test ./... +? mtusi-messenger/cmd/messenger [no test files] +? mtusi-messenger/internal/database [no test files] +ok mtusi-messenger/internal/messenger + +$ go vet ./... +(ошибок нет) + +$ make check +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +$ make validate PYTHON=.venv/bin/python +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. + +$ make test +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. + +$ ACTION_SCRIPT=./scripts/restart.sh make test-persistence +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +``` + +Hook `scripts/restart.sh` перезапускает реальные сервисы `postgres`, `redis`, затем `api`. Именованные volumes не удаляются. + +Отдельно проверен запуск из копии без `.env`, `secrets/` и volumes на порту 18080: `init-local.sh`, Compose build и публичный smoke прошли. После повторного старта API запрос к `schema_migrations` вернул `1|1|1`: применена одна миграция версии 1 без дублирования. + +## Проверки уровня 4 + +```text +$ python3 student-tests/verify_grade4.py +PASS: registration race, transaction rollback, bad password and logout +$ python3 student-tests/verify_expiry.py +PASS: two-second Redis session expired and was rejected +$ python3 student-tests/verify_dependencies.py +PASS: Redis/PostgreSQL failures returned 503; anonymous access stayed 401; state recovered +``` + +В тесте зависимостей Redis и PostgreSQL по очереди останавливались командой `docker compose stop` и возвращались командой `docker compose start`. После возврата Redis ранее выданный токен снова работал, то есть AOF и volume сохранили сессию. + +## План запроса истории + +Команда: `./scripts/explain_history.sh`. Скрипт создал отдельный чат с 10 000 синтетических сообщений. Полный вывод сохранён в [explain-history.txt](explain-history.txt). + +Наблюдение: PostgreSQL выбрал `Index Scan using messages_chat_history_idx` и вернул первые 50 строк из истории на 10 000 сообщений без полного последовательного scan. Точные buffers и execution time сохранены в сыром выводе и относятся только к этому локальному запуску. diff --git a/go.mod b/go.mod new file mode 100644 index 00000000..17298e0a --- /dev/null +++ b/go.mod @@ -0,0 +1,19 @@ +module mtusi-messenger + +go 1.26.0 + +require ( + github.com/jackc/pgx/v5 v5.7.6 + github.com/redis/go-redis/v9 v9.14.0 + golang.org/x/crypto v0.42.0 +) + +require ( + github.com/cespare/xxhash/v2 v2.3.0 // indirect + github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect + github.com/jackc/pgpassfile v1.0.0 // indirect + github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect + github.com/jackc/puddle/v2 v2.2.2 // indirect + golang.org/x/sync v0.17.0 // indirect + golang.org/x/text v0.29.0 // indirect +) diff --git a/go.sum b/go.sum new file mode 100644 index 00000000..a31307b9 --- /dev/null +++ b/go.sum @@ -0,0 +1,38 @@ +github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs= +github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c= +github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA= +github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0= +github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs= +github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= +github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c= +github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78= +github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc= +github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM= +github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg= +github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo= +github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM= +github.com/jackc/pgx/v5 v5.7.6 h1:rWQc5FwZSPX58r1OQmkuaNicxdmExaEz5A2DO2hUuTk= +github.com/jackc/pgx/v5 v5.7.6/go.mod h1:aruU7o91Tc2q2cFp5h4uP3f6ztExVpyVv88Xl/8Vl8M= +github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo= +github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4= +github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM= +github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= +github.com/redis/go-redis/v9 v9.14.0 h1:u4tNCjXOyzfgeLN+vAZaW1xUooqWDqVEsZN0U01jfAE= +github.com/redis/go-redis/v9 v9.14.0/go.mod h1:huWgSWd8mW6+m0VPhJjSSQ+d6Nh1VICQ6Q5lHuCH/Iw= +github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME= +github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI= +github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/stretchr/testify v1.8.1 h1:w7B6lhMri9wdJUVmEZPGGhZzrYTPvgJArz7wNPgYKsk= +github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4= +golang.org/x/crypto v0.42.0 h1:chiH31gIWm57EkTXpwnqf8qeuMUi0yekh6mT2AvFlqI= +golang.org/x/crypto v0.42.0/go.mod h1:4+rDnOTJhQCx2q7/j6rAN5XDw8kPjeaXEUR2eL94ix8= +golang.org/x/sync v0.17.0 h1:l60nONMj9l5drqw6jlhIELNv9I0A4OFgRsG9k2oT9Ug= +golang.org/x/sync v0.17.0/go.mod h1:9KTHXmSnoGruLpwFjVSX0lNNA75CykiMECbovNTZqGI= +golang.org/x/text v0.29.0 h1:1neNs90w9YzJ9BocxfsQNHKuAT4pkghyXc4nhZ6sJvk= +golang.org/x/text v0.29.0/go.mod h1:7MhJOA9CD2qZyOKYazxdYMF85OwPdEr9jTtBpO7ydH4= +gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= +gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA= +gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM= diff --git a/internal/database/migrate.go b/internal/database/migrate.go new file mode 100644 index 00000000..73041826 --- /dev/null +++ b/internal/database/migrate.go @@ -0,0 +1,64 @@ +package database + +import ( + "context" + "embed" + "fmt" + "io/fs" + "sort" + "strconv" + "strings" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgxpool" +) + +//go:embed migrations/*.sql +var migrations embed.FS + +func Migrate(ctx context.Context, pool *pgxpool.Pool) error { + tx, err := pool.BeginTx(ctx, pgx.TxOptions{}) + if err != nil { + return err + } + defer tx.Rollback(ctx) + if _, err = tx.Exec(ctx, `SELECT pg_advisory_xact_lock(202602)`); err != nil { + return err + } + if _, err = tx.Exec(ctx, `CREATE TABLE IF NOT EXISTS schema_migrations (version integer PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT clock_timestamp())`); err != nil { + return err + } + entries, err := fs.ReadDir(migrations, "migrations") + if err != nil { + return err + } + sort.Slice(entries, func(i, j int) bool { return entries[i].Name() < entries[j].Name() }) + for _, entry := range entries { + if entry.IsDir() || !strings.HasSuffix(entry.Name(), ".sql") { + continue + } + part := strings.SplitN(entry.Name(), "_", 2)[0] + version, parseErr := strconv.Atoi(part) + if parseErr != nil { + return fmt.Errorf("invalid migration name %s", entry.Name()) + } + var applied bool + if err = tx.QueryRow(ctx, `SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version=$1)`, version).Scan(&applied); err != nil { + return err + } + if applied { + continue + } + sqlBytes, readErr := migrations.ReadFile("migrations/" + entry.Name()) + if readErr != nil { + return readErr + } + if _, err = tx.Exec(ctx, string(sqlBytes)); err != nil { + return fmt.Errorf("migration %s: %w", entry.Name(), err) + } + if _, err = tx.Exec(ctx, `INSERT INTO schema_migrations(version) VALUES($1)`, version); err != nil { + return err + } + } + return tx.Commit(ctx) +} diff --git a/internal/database/migrations/001_initial.sql b/internal/database/migrations/001_initial.sql new file mode 100644 index 00000000..72809a0b --- /dev/null +++ b/internal/database/migrations/001_initial.sql @@ -0,0 +1,31 @@ +CREATE TABLE users ( + id uuid PRIMARY KEY, + username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'), + display_name text NOT NULL CHECK (char_length(btrim(display_name)) > 0 AND char_length(display_name) <= 100), + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE TABLE chats ( + id uuid PRIMARY KEY, + title text NOT NULL CHECK (char_length(btrim(title)) > 0 AND char_length(title) <= 100), + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE TABLE chat_members ( + chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + user_id uuid NOT NULL REFERENCES users(id) ON DELETE RESTRICT, + PRIMARY KEY (chat_id, user_id) +); + +CREATE INDEX chat_members_user_chat_idx ON chat_members (user_id, chat_id); + +CREATE TABLE messages ( + id uuid PRIMARY KEY, + chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE, + sender_id uuid NOT NULL REFERENCES users(id) ON DELETE RESTRICT, + text text NOT NULL CHECK (char_length(btrim(text)) > 0 AND char_length(text) <= 4000), + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE INDEX messages_chat_history_idx ON messages (chat_id, created_at, id); diff --git a/internal/messenger/password.go b/internal/messenger/password.go new file mode 100644 index 00000000..4b0d0ec1 --- /dev/null +++ b/internal/messenger/password.go @@ -0,0 +1,44 @@ +package messenger + +import ( + "crypto/rand" + "crypto/subtle" + "encoding/base64" + "fmt" + "strconv" + "strings" + + "golang.org/x/crypto/scrypt" +) + +const scryptN, scryptR, scryptP = 32768, 8, 1 + +func hashPassword(password string) (string, error) { + salt := make([]byte, 16) + if _, err := rand.Read(salt); err != nil { + return "", err + } + hash, err := scrypt.Key([]byte(password), salt, scryptN, scryptR, scryptP, 32) + if err != nil { + return "", err + } + b64 := base64.RawStdEncoding + return fmt.Sprintf("scrypt$%d$%d$%d$%s$%s", scryptN, scryptR, scryptP, b64.EncodeToString(salt), b64.EncodeToString(hash)), nil +} + +func verifyPassword(encoded, password string) bool { + parts := strings.Split(encoded, "$") + if len(parts) != 6 || parts[0] != "scrypt" { + return false + } + n, e1 := strconv.Atoi(parts[1]) + r, e2 := strconv.Atoi(parts[2]) + p, e3 := strconv.Atoi(parts[3]) + salt, e4 := base64.RawStdEncoding.DecodeString(parts[4]) + expected, e5 := base64.RawStdEncoding.DecodeString(parts[5]) + if e1 != nil || e2 != nil || e3 != nil || e4 != nil || e5 != nil || len(expected) != 32 { + return false + } + actual, err := scrypt.Key([]byte(password), salt, n, r, p, len(expected)) + return err == nil && subtle.ConstantTimeCompare(actual, expected) == 1 +} diff --git a/internal/messenger/password_test.go b/internal/messenger/password_test.go new file mode 100644 index 00000000..bf05e6e2 --- /dev/null +++ b/internal/messenger/password_test.go @@ -0,0 +1,33 @@ +package messenger + +import ( + "strings" + "testing" +) + +func TestPasswordHash(t *testing.T) { + const password = "long-test-password" + first, err := hashPassword(password) + if err != nil { + t.Fatal(err) + } + second, err := hashPassword(password) + if err != nil { + t.Fatal(err) + } + if first == password || strings.Contains(first, password) { + t.Fatal("hash contains the original password") + } + if first == second { + t.Fatal("independent hashes must use different salts") + } + if !verifyPassword(first, password) { + t.Fatal("correct password was rejected") + } + if verifyPassword(first, "wrong-test-password") { + t.Fatal("wrong password was accepted") + } + if verifyPassword("damaged-hash", password) { + t.Fatal("malformed hash was accepted") + } +} diff --git a/internal/messenger/server.go b/internal/messenger/server.go new file mode 100644 index 00000000..c2969aea --- /dev/null +++ b/internal/messenger/server.go @@ -0,0 +1,622 @@ +package messenger + +import ( + "bytes" + "context" + "crypto/rand" + "crypto/sha256" + "encoding/base64" + "encoding/hex" + "encoding/json" + "errors" + "fmt" + "io" + "log" + "net/http" + "net/url" + "regexp" + "strconv" + "strings" + "time" + "unicode/utf8" + + "github.com/jackc/pgx/v5" + "github.com/jackc/pgx/v5/pgconn" + "github.com/jackc/pgx/v5/pgxpool" + "github.com/redis/go-redis/v9" +) + +type User struct { + ID string `json:"id"` + Username string `json:"username"` + DisplayName string `json:"display_name"` + CreatedAt string `json:"created_at"` +} +type Chat struct { + ID string `json:"id"` + Title string `json:"title"` + MemberIDs []string `json:"member_ids"` + CreatedAt string `json:"created_at"` +} +type Message struct { + ID string `json:"id"` + ChatID string `json:"chat_id"` + SenderID string `json:"sender_id"` + Text string `json:"text"` + CreatedAt string `json:"created_at"` +} +type Session struct { + Token string `json:"token"` + TokenType string `json:"token_type"` + ExpiresAt string `json:"expires_at"` + User User `json:"user"` +} + +type API struct { + db *pgxpool.Pool + sessions *redis.Client + ttl time.Duration + dbTimeout time.Duration + logger *log.Logger +} + +func NewHandler(db *pgxpool.Pool, sessions *redis.Client, ttl, dbTimeout time.Duration, logger *log.Logger) http.Handler { + return &API{db: db, sessions: sessions, ttl: ttl, dbTimeout: dbTimeout, logger: logger} +} + +var uuidRE = regexp.MustCompile(`^[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}$`) +var usernameRE = regexp.MustCompile(`^[a-z0-9_]{3,32}$`) + +type apiError struct { + status int + code, message, challenge string +} +type response struct { + status int + body any + noBody bool +} + +func bad(msg string) *apiError { return &apiError{status: 400, code: "invalid_request", message: msg} } +func missing() *apiError { + return &apiError{status: 404, code: "not_found", message: "Объект не найден"} +} +func unavailable() *apiError { + return &apiError{status: 503, code: "unavailable", message: "Сервис временно недоступен"} +} +func unauthorized(scheme string) *apiError { + challenge := `Bearer realm="messenger"` + if scheme == "Basic" { + challenge = `Basic realm="messenger", charset="UTF-8"` + } + return &apiError{status: 401, code: "unauthorized", message: "Неверные учётные данные", challenge: challenge} +} + +func (a *API) ServeHTTP(w http.ResponseWriter, r *http.Request) { + id := newID() + w.Header().Set("X-Request-Id", id) + w.Header().Set("Content-Type", "application/json; charset=utf-8") + start, status := time.Now(), 500 + defer func() { + if x := recover(); x != nil { + status = 500 + a.logger.Printf("request_id=%s panic=%T", id, x) + writeError(w, id, &apiError{status: 500, code: "internal_error", message: "Внутренняя ошибка"}) + } + a.logger.Printf("request_id=%s method=%s path=%s status=%d duration_ms=%d", id, r.Method, r.URL.Path, status, time.Since(start).Milliseconds()) + }() + res, apiErr := a.route(r) + if apiErr != nil { + status = apiErr.status + writeError(w, id, apiErr) + return + } + status = res.status + w.WriteHeader(status) + if !res.noBody { + _ = json.NewEncoder(w).Encode(res.body) + } +} + +func writeError(w http.ResponseWriter, requestID string, e *apiError) { + if e.challenge != "" { + w.Header().Set("WWW-Authenticate", e.challenge) + } + w.WriteHeader(e.status) + _ = json.NewEncoder(w).Encode(map[string]any{"error": map[string]string{"code": e.code, "message": e.message, "request_id": requestID}}) +} + +func decode(r *http.Request, dst any) *apiError { + if strings.ToLower(strings.TrimSpace(strings.Split(r.Header.Get("Content-Type"), ";")[0])) != "application/json" { + return &apiError{status: 415, code: "unsupported_media_type", message: "Требуется application/json"} + } + if r.ContentLength > 1<<20 { + return &apiError{status: 413, code: "payload_too_large", message: "Слишком большой запрос"} + } + data, err := io.ReadAll(io.LimitReader(r.Body, (1<<20)+1)) + if err != nil { + return bad("Не удалось прочитать JSON") + } + if len(data) > 1<<20 { + return &apiError{status: 413, code: "payload_too_large", message: "Слишком большой запрос"} + } + if !utf8.Valid(data) { + return bad("JSON должен быть в UTF-8") + } + d := json.NewDecoder(bytes.NewReader(data)) + d.DisallowUnknownFields() + if err = d.Decode(dst); err != nil { + return bad("Неверный JSON или поля") + } + var rest any + if !errors.Is(d.Decode(&rest), io.EOF) { + return bad("Ожидался один JSON-объект") + } + return nil +} + +func validText(s string, max int) bool { + return utf8.ValidString(s) && strings.TrimSpace(s) != "" && utf8.RuneCountInString(s) <= max +} +func validPassword(s string) bool { + n := utf8.RuneCountInString(s) + return utf8.ValidString(s) && n >= 12 && n <= 128 +} +func formatTime(t time.Time) string { return t.UTC().Format(time.RFC3339Nano) } +func newID() string { + var b [16]byte + if _, err := rand.Read(b[:]); err != nil { + panic(err) + } + b[6] = (b[6] & 0x0f) | 0x40 + b[8] = (b[8] & 0x3f) | 0x80 + return fmt.Sprintf("%x-%x-%x-%x-%x", b[:4], b[4:6], b[6:8], b[8:10], b[10:]) +} +func newToken() string { + b := make([]byte, 32) + if _, err := rand.Read(b); err != nil { + panic(err) + } + return base64.RawURLEncoding.EncodeToString(b) +} +func tokenKey(token string) string { + sum := sha256.Sum256([]byte(token)) + return "session:" + hex.EncodeToString(sum[:]) +} + +func cursorFor(resource string, created time.Time, id string) string { + b, _ := json.Marshal([]string{resource, formatTime(created), id}) + return base64.RawURLEncoding.EncodeToString(b) +} +func parsePage(r *http.Request, resource string) (int, *time.Time, string, *apiError) { + q, err := url.ParseQuery(r.URL.RawQuery) + if err != nil { + return 0, nil, "", bad("Неверные параметры страницы") + } + for k, v := range q { + if (k != "limit" && k != "cursor") || len(v) != 1 { + return 0, nil, "", bad("Неверные параметры страницы") + } + } + limit := 50 + if raw := q.Get("limit"); raw != "" { + n, e := strconv.Atoi(raw) + if e != nil || n < 1 || n > 100 { + return 0, nil, "", bad("limit должен быть от 1 до 100") + } + limit = n + } else if _, ok := q["limit"]; ok { + return 0, nil, "", bad("Пустой limit") + } + if _, ok := q["cursor"]; !ok { + return limit, nil, "", nil + } + raw := q.Get("cursor") + if raw == "" || len(raw) > 1024 { + return 0, nil, "", bad("Неверный cursor") + } + b, e := base64.RawURLEncoding.DecodeString(raw) + if e != nil { + return 0, nil, "", bad("Неверный cursor") + } + var p []string + if json.Unmarshal(b, &p) != nil || len(p) != 3 || p[0] != resource || !uuidRE.MatchString(p[2]) { + return 0, nil, "", bad("Неверный cursor") + } + t, e := time.Parse(time.RFC3339Nano, p[1]) + if e != nil { + return 0, nil, "", bad("Неверный cursor") + } + return limit, &t, p[2], nil +} +func (a *API) dbContext(parent context.Context) (context.Context, context.CancelFunc) { + return context.WithTimeout(parent, a.dbTimeout) +} + +func (a *API) authenticate(r *http.Request) (string, string, *apiError) { + h := r.Header.Get("Authorization") + if !strings.HasPrefix(h, "Bearer ") || strings.TrimSpace(strings.TrimPrefix(h, "Bearer ")) == "" { + return "", "", unauthorized("Bearer") + } + token := strings.TrimSpace(strings.TrimPrefix(h, "Bearer ")) + ctx, cancel := context.WithTimeout(r.Context(), a.dbTimeout) + defer cancel() + uid, err := a.sessions.Get(ctx, tokenKey(token)).Result() + if errors.Is(err, redis.Nil) { + return "", "", unauthorized("Bearer") + } + if err != nil { + a.logger.Printf("session store unavailable: %v", err) + return "", "", unavailable() + } + if !uuidRE.MatchString(uid) { + return "", "", unauthorized("Bearer") + } + return uid, token, nil +} + +func scanUser(row pgx.Row) (User, string, error) { + var u User + var created time.Time + var password string + err := row.Scan(&u.ID, &u.Username, &u.DisplayName, &created, &password) + u.CreatedAt = formatTime(created) + return u, password, err +} + +func (a *API) route(r *http.Request) (response, *apiError) { + p := r.URL.Path + if r.Method == "GET" && p == "/health/live" { + return response{status: 200, body: map[string]string{"status": "ok"}}, nil + } + if r.Method == "GET" && p == "/health/ready" { + ctx, cancel := context.WithTimeout(r.Context(), time.Second) + defer cancel() + if a.db.Ping(ctx) != nil || a.sessions.Ping(ctx).Err() != nil { + return response{}, unavailable() + } + return response{status: 200, body: map[string]string{"status": "ok"}}, nil + } + if r.Method == "POST" && p == "/api/v1/users" { + return a.createUser(r) + } + if r.Method == "POST" && p == "/api/v1/auth/sessions" { + return a.createSession(r) + } + if !strings.HasPrefix(p, "/api/v1/") { + return response{}, missing() + } + uid, token, authErr := a.authenticate(r) + if authErr != nil { + return response{}, authErr + } + if r.Method == "DELETE" && p == "/api/v1/auth/sessions/current" { + ctx, cancel := context.WithTimeout(r.Context(), a.dbTimeout) + defer cancel() + if err := a.sessions.Del(ctx, tokenKey(token)).Err(); err != nil { + return response{}, unavailable() + } + return response{status: 204, noBody: true}, nil + } + if r.Method == "GET" && p == "/api/v1/users/me" { + return a.currentUser(r, uid) + } + if p == "/api/v1/chats" { + if r.Method == "POST" { + return a.createChat(r, uid) + } + if r.Method == "GET" { + return a.listChats(r, uid) + } + } + if !strings.HasPrefix(p, "/api/v1/chats/") { + return response{}, missing() + } + parts := strings.Split(strings.TrimPrefix(p, "/api/v1/chats/"), "/") + if len(parts) < 1 || !uuidRE.MatchString(parts[0]) { + return response{}, bad("Неверный chat_id") + } + chatID := parts[0] + if len(parts) == 1 && r.Method == "GET" { + return a.getChat(r, uid, chatID) + } + if len(parts) == 2 && parts[1] == "messages" { + if r.Method == "POST" { + return a.createMessage(r, uid, chatID) + } + if r.Method == "GET" { + return a.listMessages(r, uid, chatID) + } + } + return response{}, missing() +} + +func (a *API) createUser(r *http.Request) (response, *apiError) { + var in struct { + Username string `json:"username"` + DisplayName string `json:"display_name"` + Password string `json:"password"` + } + if e := decode(r, &in); e != nil { + return response{}, e + } + if !usernameRE.MatchString(in.Username) || !validText(in.DisplayName, 100) || !validPassword(in.Password) { + return response{}, bad("Неверные данные пользователя") + } + passwordHash, err := hashPassword(in.Password) + if err != nil { + return response{}, &apiError{status: 500, code: "internal_error", message: "Внутренняя ошибка"} + } + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + var u User + var created time.Time + err = a.db.QueryRow(ctx, `INSERT INTO users(id,username,display_name,password_hash) VALUES($1,$2,$3,$4) RETURNING id::text,username,display_name,created_at`, newID(), in.Username, in.DisplayName, passwordHash).Scan(&u.ID, &u.Username, &u.DisplayName, &created) + if err != nil { + var pgErr *pgconn.PgError + if errors.As(err, &pgErr) && pgErr.Code == "23505" { + return response{}, &apiError{status: 409, code: "conflict", message: "Имя пользователя занято"} + } + return response{}, unavailable() + } + u.CreatedAt = formatTime(created) + return response{status: 201, body: u}, nil +} + +func (a *API) createSession(r *http.Request) (response, *apiError) { + if r.ContentLength > 0 { + return response{}, bad("Тело запроса не допускается") + } + h := r.Header.Get("Authorization") + if !strings.HasPrefix(h, "Basic ") { + return response{}, unauthorized("Basic") + } + raw, err := base64.StdEncoding.DecodeString(strings.TrimSpace(strings.TrimPrefix(h, "Basic "))) + if err != nil { + return response{}, unauthorized("Basic") + } + parts := strings.SplitN(string(raw), ":", 2) + if len(parts) != 2 || !usernameRE.MatchString(parts[0]) { + return response{}, unauthorized("Basic") + } + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + u, passwordHash, err := scanUser(a.db.QueryRow(ctx, `SELECT id::text,username,display_name,created_at,password_hash FROM users WHERE username=$1`, parts[0])) + if errors.Is(err, pgx.ErrNoRows) { + return response{}, unauthorized("Basic") + } + if err != nil { + return response{}, unavailable() + } + if !verifyPassword(passwordHash, parts[1]) { + return response{}, unauthorized("Basic") + } + token := newToken() + expires := time.Now().UTC().Add(a.ttl) + if err = a.sessions.Set(ctx, tokenKey(token), u.ID, a.ttl).Err(); err != nil { + return response{}, unavailable() + } + return response{status: 201, body: Session{Token: token, TokenType: "Bearer", ExpiresAt: formatTime(expires), User: u}}, nil +} + +func (a *API) currentUser(r *http.Request, uid string) (response, *apiError) { + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + u, _, err := scanUser(a.db.QueryRow(ctx, `SELECT id::text,username,display_name,created_at,password_hash FROM users WHERE id=$1`, uid)) + if errors.Is(err, pgx.ErrNoRows) { + return response{}, unauthorized("Bearer") + } + if err != nil { + return response{}, unavailable() + } + return response{status: 200, body: u}, nil +} + +func (a *API) createChat(r *http.Request, uid string) (response, *apiError) { + var in struct { + Title string `json:"title"` + MemberIDs []string `json:"member_ids"` + } + if e := decode(r, &in); e != nil { + return response{}, e + } + if !validText(in.Title, 100) || len(in.MemberIDs) < 1 || len(in.MemberIDs) > 100 { + return response{}, bad("Неверные данные чата") + } + seen := map[string]bool{} + for _, id := range in.MemberIDs { + if !uuidRE.MatchString(id) || seen[id] { + return response{}, bad("Неверные участники чата") + } + seen[id] = true + } + if !seen[uid] { + return response{}, bad("Создатель должен быть участником") + } + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + tx, err := a.db.Begin(ctx) + if err != nil { + return response{}, unavailable() + } + defer tx.Rollback(ctx) + c := Chat{ID: newID(), Title: in.Title, MemberIDs: append([]string{}, in.MemberIDs...)} + var created time.Time + if err = tx.QueryRow(ctx, `INSERT INTO chats(id,title) VALUES($1,$2) RETURNING created_at`, c.ID, c.Title).Scan(&created); err != nil { + return response{}, unavailable() + } + for _, id := range c.MemberIDs { + if _, err = tx.Exec(ctx, `INSERT INTO chat_members(chat_id,user_id) VALUES($1,$2)`, c.ID, id); err != nil { + var pgErr *pgconn.PgError + if errors.As(err, &pgErr) && pgErr.Code == "23503" { + return response{}, bad("Неверные участники чата") + } + return response{}, unavailable() + } + } + if err = tx.Commit(ctx); err != nil { + return response{}, unavailable() + } + c.CreatedAt = formatTime(created) + return response{status: 201, body: c}, nil +} + +func scanChat(row pgx.Row) (Chat, time.Time, error) { + var c Chat + var t time.Time + err := row.Scan(&c.ID, &c.Title, &c.MemberIDs, &t) + c.CreatedAt = formatTime(t) + return c, t, err +} +func chatSelect() string { + return `SELECT c.id::text,c.title,ARRAY(SELECT cm2.user_id::text FROM chat_members cm2 WHERE cm2.chat_id=c.id ORDER BY cm2.user_id),c.created_at FROM chats c` +} + +func (a *API) getChat(r *http.Request, uid, chatID string) (response, *apiError) { + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + c, _, err := scanChat(a.db.QueryRow(ctx, chatSelect()+` WHERE c.id=$1 AND EXISTS(SELECT 1 FROM chat_members cm WHERE cm.chat_id=c.id AND cm.user_id=$2)`, chatID, uid)) + if errors.Is(err, pgx.ErrNoRows) { + return response{}, missing() + } + if err != nil { + return response{}, unavailable() + } + return response{status: 200, body: c}, nil +} + +func (a *API) listChats(r *http.Request, uid string) (response, *apiError) { + limit, afterTime, afterID, e := parsePage(r, "chats:"+uid) + if e != nil { + return response{}, e + } + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + if afterTime != nil { + var ok bool + err := a.db.QueryRow(ctx, `SELECT EXISTS(SELECT 1 FROM chats c JOIN chat_members cm ON cm.chat_id=c.id WHERE cm.user_id=$1 AND c.id=$2 AND c.created_at=$3)`, uid, afterID, *afterTime).Scan(&ok) + if err != nil { + return response{}, unavailable() + } + if !ok { + return response{}, bad("Неверный cursor") + } + } + var rows pgx.Rows + var err error + base := chatSelect() + ` JOIN chat_members mine ON mine.chat_id=c.id WHERE mine.user_id=$1` + if afterTime == nil { + rows, err = a.db.Query(ctx, base+` ORDER BY c.created_at,c.id LIMIT $2`, uid, limit+1) + } else { + rows, err = a.db.Query(ctx, base+` AND (c.created_at,c.id)>($2,$3) ORDER BY c.created_at,c.id LIMIT $4`, uid, *afterTime, afterID, limit+1) + } + if err != nil { + return response{}, unavailable() + } + defer rows.Close() + items := make([]Chat, 0, limit+1) + times := make([]time.Time, 0, limit+1) + for rows.Next() { + c, t, scanErr := scanChat(rows) + if scanErr != nil { + return response{}, unavailable() + } + items = append(items, c) + times = append(times, t) + } + if rows.Err() != nil { + return response{}, unavailable() + } + var next any + if len(items) > limit { + last := items[limit-1] + next = cursorFor("chats:"+uid, times[limit-1], last.ID) + items = items[:limit] + } + return response{status: 200, body: map[string]any{"items": items, "next_cursor": next}}, nil +} + +func (a *API) createMessage(r *http.Request, uid, chatID string) (response, *apiError) { + var in struct { + Text string `json:"text"` + } + if e := decode(r, &in); e != nil { + return response{}, e + } + if !validText(in.Text, 4000) { + return response{}, bad("Текст сообщения должен содержать от 1 до 4000 символов") + } + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + m := Message{ID: newID(), ChatID: chatID, SenderID: uid, Text: in.Text} + var created time.Time + err := a.db.QueryRow(ctx, `INSERT INTO messages(id,chat_id,sender_id,text) SELECT $1,$2,$3,$4 WHERE EXISTS(SELECT 1 FROM chat_members WHERE chat_id=$2 AND user_id=$3) RETURNING created_at`, m.ID, m.ChatID, m.SenderID, m.Text).Scan(&created) + if errors.Is(err, pgx.ErrNoRows) { + return response{}, missing() + } + if err != nil { + return response{}, unavailable() + } + m.CreatedAt = formatTime(created) + return response{status: 201, body: m}, nil +} + +func (a *API) listMessages(r *http.Request, uid, chatID string) (response, *apiError) { + limit, afterTime, afterID, e := parsePage(r, "messages:"+chatID) + if e != nil { + return response{}, e + } + ctx, cancel := a.dbContext(r.Context()) + defer cancel() + var member bool + if err := a.db.QueryRow(ctx, `SELECT EXISTS(SELECT 1 FROM chat_members WHERE chat_id=$1 AND user_id=$2)`, chatID, uid).Scan(&member); err != nil { + return response{}, unavailable() + } + if !member { + return response{}, missing() + } + if afterTime != nil { + var ok bool + err := a.db.QueryRow(ctx, `SELECT EXISTS(SELECT 1 FROM messages WHERE chat_id=$1 AND id=$2 AND created_at=$3)`, chatID, afterID, *afterTime).Scan(&ok) + if err != nil { + return response{}, unavailable() + } + if !ok { + return response{}, bad("Неверный cursor") + } + } + var rows pgx.Rows + var err error + base := `SELECT id::text,chat_id::text,sender_id::text,text,created_at FROM messages WHERE chat_id=$1` + if afterTime == nil { + rows, err = a.db.Query(ctx, base+` ORDER BY created_at,id LIMIT $2`, chatID, limit+1) + } else { + rows, err = a.db.Query(ctx, base+` AND (created_at,id)>($2,$3) ORDER BY created_at,id LIMIT $4`, chatID, *afterTime, afterID, limit+1) + } + if err != nil { + return response{}, unavailable() + } + defer rows.Close() + items := make([]Message, 0, limit+1) + times := make([]time.Time, 0, limit+1) + for rows.Next() { + var m Message + var t time.Time + if rows.Scan(&m.ID, &m.ChatID, &m.SenderID, &m.Text, &t) != nil { + return response{}, unavailable() + } + m.CreatedAt = formatTime(t) + items = append(items, m) + times = append(times, t) + } + if rows.Err() != nil { + return response{}, unavailable() + } + var next any + if len(items) > limit { + last := items[limit-1] + next = cursorFor("messages:"+chatID, times[limit-1], last.ID) + items = items[:limit] + } + return response{status: 200, body: map[string]any{"items": items, "next_cursor": next}}, nil +} diff --git a/scripts/explain_history.sh b/scripts/explain_history.sh new file mode 100755 index 00000000..c3b428d9 --- /dev/null +++ b/scripts/explain_history.sh @@ -0,0 +1,42 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +mkdir -p evidence +tmp_file=$(mktemp) +trap 'rm -f "$tmp_file"' EXIT +docker compose --env-file .env exec -T postgres psql -U messenger -d messenger -v ON_ERROR_STOP=1 >"$tmp_file" <<'SQL' +INSERT INTO users(id, username, display_name, password_hash) +VALUES ('00000000-0000-4000-8000-000000000001', 'explain_user', 'EXPLAIN fixture', 'fixture-not-for-login') +ON CONFLICT (id) DO NOTHING; + +INSERT INTO chats(id, title) +VALUES ('00000000-0000-4000-8000-000000000002', 'EXPLAIN history fixture') +ON CONFLICT (id) DO NOTHING; + +INSERT INTO chat_members(chat_id, user_id) +VALUES ('00000000-0000-4000-8000-000000000002', '00000000-0000-4000-8000-000000000001') +ON CONFLICT DO NOTHING; + +DELETE FROM messages WHERE chat_id = '00000000-0000-4000-8000-000000000002'; +INSERT INTO messages(id, chat_id, sender_id, text, created_at) +SELECT md5('history-message-' || n::text)::uuid, + '00000000-0000-4000-8000-000000000002', + '00000000-0000-4000-8000-000000000001', + 'message ' || n::text, + TIMESTAMPTZ '2026-01-01 00:00:00+00' + n * INTERVAL '1 microsecond' +FROM generate_series(1, 10000) AS n; +ANALYZE messages; + +SELECT count(*) AS fixture_messages +FROM messages +WHERE chat_id = '00000000-0000-4000-8000-000000000002'; + +EXPLAIN (ANALYZE, BUFFERS) +SELECT id, chat_id, sender_id, text, created_at +FROM messages +WHERE chat_id = '00000000-0000-4000-8000-000000000002' +ORDER BY created_at, id +LIMIT 50; +SQL +cp "$tmp_file" evidence/explain-history.txt +cat "$tmp_file" diff --git a/scripts/init-local.sh b/scripts/init-local.sh new file mode 100755 index 00000000..5e131cab --- /dev/null +++ b/scripts/init-local.sh @@ -0,0 +1,18 @@ +#!/bin/sh +set -eu +mkdir -p secrets +if [ ! -f secrets/postgres_password ]; then + umask 077 + openssl rand -hex 24 > secrets/postgres_password +fi +if [ ! -f secrets/redis_password ]; then + umask 077 + openssl rand -hex 24 > secrets/redis_password +fi +postgres_password=$(cat secrets/postgres_password) +redis_password=$(cat secrets/redis_password) +umask 077 +printf 'postgres://messenger:%s@postgres:5432/messenger?sslmode=disable\n' "$postgres_password" > secrets/database_url +printf 'redis://:%s@redis:6379/0\n' "$redis_password" > secrets/cache_url +if [ ! -f .env ]; then cp .env.example .env; fi +printf '%s\n' 'Local .env and secret files are ready.' diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..dc9d93c4 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,11 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +docker compose --env-file .env restart postgres redis +postgres_id=$(docker compose --env-file .env ps -q postgres) +redis_id=$(docker compose --env-file .env ps -q redis) +until [ "$(docker inspect --format '{{.State.Health.Status}}' "$postgres_id" 2>/dev/null || true)" = healthy ] && \ + [ "$(docker inspect --format '{{.State.Health.Status}}' "$redis_id" 2>/dev/null || true)" = healthy ]; do + sleep 1 +done +docker compose --env-file .env restart api diff --git a/student-tests/verify_dependencies.py b/student-tests/verify_dependencies.py new file mode 100755 index 00000000..07d451c6 --- /dev/null +++ b/student-tests/verify_dependencies.py @@ -0,0 +1,58 @@ +#!/usr/bin/env python3 +"""Stop Redis and PostgreSQL separately and check bounded API failures.""" +import subprocess +import sys +import time +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / "tests")) +from client import Client, Failure, check # noqa: E402 + + +def compose(*args): + subprocess.run(["docker", "compose", "--env-file", ".env", *args], cwd=ROOT, + check=True, stdout=subprocess.DEVNULL) + + +def wait_ready(client, timeout=60): + deadline = time.monotonic() + timeout + while time.monotonic() < deadline: + try: + client.call("GET", "/health/ready", schema="Health") + return + except Failure: + time.sleep(0.5) + raise Failure("stack did not recover") + + +def main(): + client = Client(timeout=5) + actor = client.user("dependency") + try: + compose("stop", "redis") + client.call("GET", "/health/ready", 503) + client.call("GET", "/api/v1/users/me", 503, actor=actor) + client.call("GET", "/api/v1/users/me", 401) + finally: + compose("start", "redis") + wait_ready(client) + client.call("GET", "/api/v1/users/me", actor=actor, schema="User") + + try: + compose("stop", "postgres") + client.call("GET", "/health/ready", 503) + client.call("GET", "/api/v1/users/me", 503, actor=actor) + finally: + compose("start", "postgres") + wait_ready(client) + client.call("GET", "/api/v1/users/me", actor=actor, schema="User") + print("PASS: Redis/PostgreSQL failures returned 503; anonymous access stayed 401; state recovered") + + +if __name__ == "__main__": + try: + main() + except (Failure, OSError, subprocess.CalledProcessError) as exc: + print("FAIL:", exc) + raise SystemExit(1) diff --git a/student-tests/verify_expiry.py b/student-tests/verify_expiry.py new file mode 100755 index 00000000..45a94bd9 --- /dev/null +++ b/student-tests/verify_expiry.py @@ -0,0 +1,54 @@ +#!/usr/bin/env python3 +"""Recreate the API with a two-second session TTL and prove expiry.""" +import os +import subprocess +import sys +import time +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / "tests")) +from client import Client, Failure, check # noqa: E402 + + +def compose(env, *args): + subprocess.run(["docker", "compose", "--env-file", ".env", *args], cwd=ROOT, + env=env, check=True, stdout=subprocess.DEVNULL) + + +def wait_ready(timeout=60): + client = Client(timeout=2) + deadline = time.monotonic() + timeout + while time.monotonic() < deadline: + try: + client.call("GET", "/health/ready", schema="Health") + return + except Failure: + time.sleep(0.5) + raise Failure("API did not become ready") + + +def main(): + normal_env = dict(os.environ) + normal_env.pop("SESSION_TTL_SECONDS", None) + short_env = dict(normal_env) + short_env["SESSION_TTL_SECONDS"] = "2" + try: + compose(short_env, "up", "-d", "--force-recreate", "--no-deps", "--wait", "api") + wait_ready() + client = Client() + actor = client.user("expiry") + time.sleep(3) + client.call("GET", "/api/v1/users/me", 401, actor=actor) + print("PASS: two-second Redis session expired and was rejected") + finally: + compose(normal_env, "up", "-d", "--force-recreate", "--no-deps", "--wait", "api") + wait_ready() + + +if __name__ == "__main__": + try: + main() + except (Failure, OSError, subprocess.CalledProcessError) as exc: + print("FAIL:", exc) + raise SystemExit(1) diff --git a/student-tests/verify_grade4.py b/student-tests/verify_grade4.py new file mode 100755 index 00000000..09cba34e --- /dev/null +++ b/student-tests/verify_grade4.py @@ -0,0 +1,59 @@ +#!/usr/bin/env python3 +"""Black-box checks for the grade 4 registration, transaction and auth cases.""" +import base64 +import concurrent.futures +import sys +import threading +import uuid +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client, arguments, check, run # noqa: E402 + + +def basic(username, password): + raw = (username + ":" + password).encode("utf-8") + return {"Authorization": "Basic " + base64.b64encode(raw).decode("ascii")} + + +def main(): + args = arguments("Grade 4 API checks") + base = Client(args.base_url, args.ca_file) + suffix = uuid.uuid4().hex[:12] + username = "race_" + suffix + password = "Race-password-" + uuid.uuid4().hex + registration = {"username": username, "display_name": "Гонка регистрации", "password": password} + + workers = 4 + barrier = threading.Barrier(workers) + + def register(_): + client = Client(args.base_url, args.ca_file) + barrier.wait() + return client.call("POST", "/api/v1/users", [201, 409], body=registration)["status"] + + with concurrent.futures.ThreadPoolExecutor(max_workers=workers) as pool: + statuses = list(pool.map(register, range(workers))) + check(statuses.count(201) == 1 and statuses.count(409) == workers - 1, + "concurrent registration must create exactly one user") + + base.call("POST", "/api/v1/auth/sessions", 401, + headers=basic(username, "definitely-wrong-password")) + session = base.call("POST", "/api/v1/auth/sessions", 201, + headers=basic(username, password), schema="Session")["json"] + actor = {"id": session["user"]["id"], "token": session["token"]} + + title = "rollback-" + suffix + base.call("POST", "/api/v1/chats", 400, actor=actor, + body={"title": title, "member_ids": [actor["id"], str(uuid.uuid4())]}) + page = base.call("GET", "/api/v1/chats?limit=100", actor=actor, schema="ChatPage")["json"] + check(all(chat["title"] != title for chat in page["items"]), + "failed composite operation left a visible chat") + + base.call("DELETE", "/api/v1/auth/sessions/current", 204, actor=actor) + base.call("GET", "/api/v1/users/me", 401, actor=actor) + print("PASS: registration race, transaction rollback, bad password and logout") + + +if __name__ == "__main__": + run(main)