From 18b3627ec85936a1cecaf0ab97963bb791033372 Mon Sep 17 00:00:00 2001 From: TAskMAster339 Date: Sat, 10 Oct 2026 22:35:17 +0300 Subject: [PATCH] fix: update env and PR template --- .env.example | 1 - .github/pull_request_template.md | 80 +++++++++++++--- REPORT.md | 21 +++-- compose.yml | 19 +++- .../lab3-scale/protocols/baseline.json | 6 +- .../lab3-scale/protocols/runtime-400.json | 6 +- .../protocols/runtime-capacity.json | 6 +- .../lab3-scale/protocols/runtime-latency.json | 6 +- infra/haproxy.cfg | 2 +- scripts/check_resources.py | 9 +- scripts/generate_evidence.py | 7 +- scripts/init_env.py | 73 ++++++++++++--- scripts/rolling_update.py | 21 +++-- src/backend/main.go | 22 +++-- src/backend/repositories/config.go | 47 ++++++++++ src/backend/repositories/idempotency.go | 4 +- src/backend/repositories/message.go | 9 +- src/backend/services/chat.go | 6 ++ src/backend/services/message.go | 7 ++ src/backend/services/session.go | 2 +- src/backend/tests/config_test.go | 91 +++++++++++++++++++ src/backend/tests/cursor_validation_test.go | 82 +++++++++++++++++ 22 files changed, 450 insertions(+), 77 deletions(-) create mode 100644 src/backend/repositories/config.go create mode 100644 src/backend/tests/config_test.go create mode 100644 src/backend/tests/cursor_validation_test.go diff --git a/.env.example b/.env.example index d32b9be0..9fcd9b1e 100644 --- a/.env.example +++ b/.env.example @@ -7,7 +7,6 @@ SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. DATABASE_URL_FILE=/run/secrets/database_url # Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url API_REPLICAS=2 IDEMPOTENCY_TTL_SECONDS=86400 diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index e6e63eb2..965243db 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,70 @@ ## Лабораторная 3 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Гришко Дмитрий Михайлович / БВТ2303. +Целевая оценка (3/4/5): **5**. +Трек 5, если заявлен: **Трек 1 — «Цена масштабирования»**. -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +### Что реализовано и что перенесено -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +Из лабораторной 2 перенесены Go API, PostgreSQL, Redis-сессии, аутентификация с Argon2id, ACL чатов, сообщения, пагинация, миграции, frontend и собственные тесты. + +Добавлены две API-реплики за HAProxy с общей БД и сессиями, реальные `X-Instance-Id`, транзакционная идемпотентность POST, readiness и graceful shutdown. Миграции запускаются отдельным сервисом. Настроены CPU/RAM-лимиты всех сервисов, приватные сети API и хранилищ, остановка выбранной реплики и поочерёдная замена под нагрузкой. + +Для трека 1 проведены сравнения 1/2/4 реплик при фиксированном и растущем бюджете. Сохранены протоколы, сырые данные, графики и результаты. Проверено улучшение `GOMAXPROCS=16 → 1` при одинаковых остальных условиях. Исправлена обнаруженная при финальной проверке ошибка: некорректные UUID внутри курсоров теперь отклоняются до SQL и возвращают 400 вместо 503. Добавлены регрессионные тесты. Для будущих экспериментов обновлён хеш исходников в протоколах версии 1.3; исторические протоколы и данные не изменены. + +### Команды запуска из чистого clone + +Нужны WSL Ubuntu/Linux, Git, Docker Compose, Make и Python. Ветка `solution/BVT2303-Grishko` должна быть опубликована. + +**1. Скачать лабораторную и настроить окружение:** + +```sh +git clone --branch solution/BVT2303-Grishko https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab3-fork.git +cd mtusi2026lab3-fork +python3 scripts/init_env.py +``` + +Скрипт создаёт `.env` на основе `.env.example`, добавляет имя базы/пользователя `messenger`, случайный пароль PostgreSQL и файлы подключения в `secrets/`. Существующие значения и файлы сохраняются; отсутствующие настройки дополняются. До запуска можно изменить `.env`: внутренний `APP_PORT`, `API_REPLICAS`, TTL сессий и ключей идемпотентности, метку `APP_ENV`, пути `_FILE`. Порт и число реплик передаются также в HAProxy. Адреса подключения меняются в `secrets/database_url` и `secrets/cache_url`. Сессии всегда в Redis; `.env` и `secrets/` исключены из Git. Подробности — в [REPORT.md](../REPORT.md). + +**2. Проверить конфигурацию и запустить приложение:** + +```sh +docker compose --project-name highload-lab3 --env-file .env -f compose.yml config --quiet +make app-up +make app-status +``` + +`make app-up` собирает образы, выполняет миграции и ждёт готовности. API: `http://localhost:8080`, UI: `http://localhost:5173`, HAProxy stats: `http://localhost:8404/stats`. Проверки: `make check`, `make test`, `make test-backend`, `make test-grade4`; команды persistence/failover и воспроизведение исследования — в [REPORT.md](../REPORT.md). Остановка: `make app-down`, volumes сохраняются. + +### Результаты проверок и отчёт + +[REPORT.md](../REPORT.md) содержит архитектуру, запуск, таблицы соответствия критериям, измерения и ограничения. [Доказательства по каждому пункту](../evidence/criteria/README.md) содержат команды, реальный вывод и ссылки на реализацию. [Исследование](../evidence/grade5/RESULTS.md) и [методика](../experiments/lab3-scale/docs/method.md) доступны в репозитории. + +Финальная проверка 10 октября 2026 года: + +- `make check`, `make test` и Go tests с `-race` повторно прошли после исправления; `go vet` прошёл при предшествующей финальной проверке. +- Все 37 дополнительных HTTP-проверок прошли после исправления; четыре запроса с некорректными UUID внутри курсоров теперь возвращают 400. +- 24 конкурентных одинаковых POST через обе API вернули одинаковые 201; повтор с `attachment_ids: []` также вернул исходный 201. +- Прерывание соединения PostgreSQL после INSERT до COMMIT оставило 0 сообщений и 0 ключей; повтор успешно создал одну запись. +- Отказы каждой реплики проверены отдельно: исключение из LB за 0.766 и 1.869 с, по три ошибки в переходном периоде; чтение и запись возобновились менее чем за 10 с. +- Поочерёдная замена двух реплик: 1468 записей + 1571 чтение, 0 ошибок, graceful shutdown, сохранены сообщения и сессия. +- Persistence-тест сохранил данные и действующую сессию; HAProxy снова увидел обе API без собственного рестарта. Первый запуск проверки получил тайм-аут входа до restart-hook; отдельный повтор прошёл. +- Проверены CPU/RAM всех сервисов, отдельный migrate, отсутствие обходных портов API и разные идентификаторы реплик. +- Независимо пересчитаны 150 подтверждающих экспериментальных прогонов из сырых данных: успешные ответы, попытки, пропуски, p50/p95/p99, SLO и решения совпали. Пропуски генератора — 0. + +### Ограничения / известные ошибки + +Стенд работает на одном хосте: HAProxy, PostgreSQL и Redis остаются отдельными точками отказа. При внезапной остановке API допустимы измеренные краткие ошибки до исключения реплики из LB. Rolling проверен как поочерёдная замена процессов с совместимыми миграциями, а не как переход между несовместимыми версиями схемы. + +Эксперимент относится к выбранному профилю нагрузки и 30-секундным прогонам. Границы мощности — интервалы между точками сетки SLO, не точные потолки и не доверительные интервалы. H1 подтверждена в исследованных условиях; H2, HI и HC остаются неопределёнными. HL подтверждает снижение p95 на фиксированной нагрузке; универсальные +15% мощности и масштабирование в 1.5 раза не доказаны. Процент эффекта с четырёх API по 0.25 CPU нельзя автоматически переносить на обычные две API по 0.5 CPU. + +### Источники и использование ИИ + +Официальная документация Docker Compose, HAProxy, Go, pgxpool и aiohttp. Подробные ссылки и версии — в [REPORT.md](../REPORT.md). OpenAI Codex использован для переноса и реализации кода, инструментов проверки, анализа измерений и оформления отчёта. Экспериментальные выводы основаны на сохранённых данных; + +- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. +- [x] Контракт и публичные тесты не ослаблены. +- [x] make check и make test выполнены; приложен реальный вывод в evidence/criteria. +- [x] Сценарии отказов/безопасности своего уровня воспроизведены. +- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. +- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. diff --git a/REPORT.md b/REPORT.md index 12427f1c..66358f74 100644 --- a/REPORT.md +++ b/REPORT.md @@ -22,7 +22,11 @@ cd mtusi2026lab3-fork python3 scripts/init_env.py ``` -`init_env.py` создаёт игнорируемый `.env`: имя базы/роли `messenger`, новый случайный пароль PostgreSQL и TTL сессии 3600 с. Существующий файл не перезаписывается. Исходный `.env.example` содержит логические предложения интерфейса, поэтому его копирование без адаптации не является настройкой этого стенда. Секреты в отчёт и доказательства не включены. +`init_env.py` создаёт игнорируемый `.env` на основе `.env.example`, дополняет его именем базы/роли `messenger` и случайным паролем PostgreSQL. В существующий файл добавляются только отсутствующие настройки; заданные значения сохраняются. Файлы `secrets/database_url` и `secrets/cache_url` создаются при отсутствии и подключаются к контейнерам только для чтения. Сессии всегда хранятся в Redis. Секреты в отчёт и доказательства не включены. + +Настройки меняются в `.env` до `make app-up`: `APP_PORT` — внутренний порт API, `API_REPLICAS` — от 2 до 32 реплик, оба TTL задаются в секундах. HAProxy автоматически получает порт и число реплик; внешняя точка входа остаётся `localhost:8080`. Для доступа HAProxy к API оставьте `APP_HOST=0.0.0.0`; привязка API к loopback контейнера сделает его недоступным для LB. + +Поля `_FILE` задают пути внутри контейнера, непосредственно в `/run/secrets`. При изменении пути Compose меняет точку подключения соответствующего файла. Адреса и учётные данные меняются в локальных `secrets/database_url` и `secrets/cache_url`; скрипт не перезаписывает существующие файлы. После изменения POSTGRES_* нужно согласовать строку подключения; пароль существующей БД не меняется автоматически от редактирования `.env`. ### 2. Запуск проекта @@ -112,7 +116,7 @@ Frontend обращается к HAProxy через свой dev-proxy; API-кл PostgreSQL — источник истины для пользователей/чатов/сообщений; Redis — для действующих сессий. Создание чата и всех участников выполняется одной транзакцией. Отправка сообщения и сохранение результата его Idempotency-Key — тоже одна транзакция; частичная запись не подтверждается. -В [idempotency.go](src/backend/repositories/idempotency.go) PostgreSQL advisory transaction lock сериализует запросы одной области `(sender, route/chat, key)` между всеми API. После lock читается действующий результат: то же нормализованное содержимое возвращает прежнее сообщение, другое — HTTP 409. Для нового ключа одновременно вставляются сообщение и запись результата. Ошибка откатывает обе вставки. Ключ действует 24 часа; срок задан SQL, при повторе просроченная запись этого ключа заменяется, само старое сообщение не удаляется. Фоновая очистка остальных истёкших записей не реализована. Ошибка/timeout клиента не доказывает отсутствие COMMIT; повтор с прежним ключом позволяет узнать тот же результат в пределах срока. +В [idempotency.go](src/backend/repositories/idempotency.go) PostgreSQL advisory transaction lock сериализует запросы одной области `(sender, route/chat, key)` между всеми API. После lock читается действующий результат: то же нормализованное содержимое возвращает прежнее сообщение, другое — HTTP 409. Для нового ключа одновременно вставляются сообщение и запись результата. Ошибка откатывает обе вставки. Срок действия нового ключа задаётся IDEMPOTENCY_TTL_SECONDS (по умолчанию 24 часа); при повторе просроченная запись этого ключа заменяется, само старое сообщение не удаляется. Фоновая очистка остальных истёкших записей не реализована. Ошибка/timeout клиента не доказывает отсутствие COMMIT; повтор с прежним ключом позволяет узнать тот же результат в пределах срока. Авторизация и членство проверяются до повторного ответа: logout не позволяет получить сохранённый результат без действующей сессии. JSON-порядок полей и отсутствие/пустой attachment_ids не меняют содержимое текстового сообщения. API lab3 не поддерживает вложения. Чтение истории использует параметризованный SQL с `(created_at,id)>cursor`, ORDER BY и LIMIT limit+1; единого snapshot между отдельными страницами при конкурентных записях не обещается. @@ -132,14 +136,13 @@ Rolling: [rolling_update.py](scripts/rolling_update.py) выполняет од | Переменная / предложение `.env.example` | Реальная реализация | |---|---| -| APP_HOST / APP_PORT | Заданы в Compose: 0.0.0.0:8080 внутри API; внешний доступ через LB | -| APP_ENV | Не используется для изменения поведения | +| APP_HOST / APP_PORT | Из .env, по умолчанию 0.0.0.0:8080; порт также используется healthcheck и HAProxy | +| APP_ENV | Метка окружения в префиксе журналов, по умолчанию lab | | SESSION_TTL_SECONDS | .env, default 3600 с | -| DATABASE_URL_FILE | Поддерживается backend, но в этом Compose не монтируется; DATABASE_URL строится из POSTGRES_DB/USER/PASSWORD | -| SESSION_STORE | Не переключает реализацию: здесь выбран Redis | -| CACHE_URL_FILE | Не используется; REDIS_ADDR=redis:6379 задан в Compose | -| API_REPLICAS | Число задано deploy.replicas=2 и двумя слотами HAProxy; эта переменная его автоматически не меняет | -| IDEMPOTENCY_TTL_SECONDS | Предложение skeleton; фактическая реализация фиксирует 24 часа в SQL | +| DATABASE_URL_FILE | Путь подключения secrets/database_url для API и migrate; значение файла имеет приоритет над DATABASE_URL | +| CACHE_URL_FILE | Путь подключения secrets/cache_url; Redis URL поддерживает адрес, пароль и номер базы | +| API_REPLICAS | Из .env, по умолчанию 2; меняет deploy.replicas и число слотов HAProxy | +| IDEMPOTENCY_TTL_SECONDS | Из .env, по умолчанию 86400; определяет срок действия новых ключей, не удаляет сообщения | | POSTGRES_DB / POSTGRES_USER / POSTGRES_PASSWORD | Создаются init_env.py, используются БД и строкой подключения API/migrate | | API_GOMAXPROCS | Дополнительная настройка Compose, default 1; Go-код остаётся конкурентным при ожидании I/O | | DATABASE_MAX_CONNS / BENCH_POOL_STATS | Дополнительные параметры backend; в эксперименте задаются явно, в обычном стенде пул 10 и телеметрия отключена | diff --git a/compose.yml b/compose.yml index d184008d..a9bec669 100644 --- a/compose.yml +++ b/compose.yml @@ -45,7 +45,10 @@ services: networks: [data] build: ./src environment: + DATABASE_URL_FILE: ${DATABASE_URL_FILE:-/run/secrets/database_url} DATABASE_URL: postgres://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}?sslmode=disable + volumes: + - ./secrets/database_url:${DATABASE_URL_FILE:-/run/secrets/database_url}:ro command: ["./messenger", "migrate", "up"] depends_on: db: @@ -56,16 +59,23 @@ services: networks: [proxy, data] build: ./src deploy: - replicas: 2 + replicas: ${API_REPLICAS:-2} stop_grace_period: 15s environment: # Go 1.22 sees host CPUs; keep parallelism suitable for this 0.5 CPU limit. GOMAXPROCS: ${API_GOMAXPROCS:-1} - APP_HOST: 0.0.0.0 - APP_PORT: 8080 + APP_HOST: ${APP_HOST:-0.0.0.0} + APP_PORT: ${APP_PORT:-8080} + APP_ENV: ${APP_ENV:-lab} + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + DATABASE_URL_FILE: ${DATABASE_URL_FILE:-/run/secrets/database_url} + CACHE_URL_FILE: ${CACHE_URL_FILE:-/run/secrets/cache_url} SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} REDIS_ADDR: redis:6379 DATABASE_URL: postgres://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}?sslmode=disable + volumes: + - ./secrets/database_url:${DATABASE_URL_FILE:-/run/secrets/database_url}:ro + - ./secrets/cache_url:${CACHE_URL_FILE:-/run/secrets/cache_url}:ro depends_on: migrate: condition: service_completed_successfully @@ -79,6 +89,9 @@ services: timeout: 3s retries: 20 haproxy: + environment: + APP_PORT: ${APP_PORT:-8080} + API_REPLICAS: ${API_REPLICAS:-2} cpus: 0.5 mem_limit: 128m networks: [edge, proxy] diff --git a/experiments/lab3-scale/protocols/baseline.json b/experiments/lab3-scale/protocols/baseline.json index 9bf5eafb..d5c66129 100644 --- a/experiments/lab3-scale/protocols/baseline.json +++ b/experiments/lab3-scale/protocols/baseline.json @@ -1,5 +1,5 @@ { - "version": "1.1", + "version": "1.3", "hypotheses": { "H1": "fixed-budget C4/C1 < 1.20", "H2": "growing-budget C4/C1 >= 1.50" @@ -38,7 +38,7 @@ "cpu_haproxy": 0.5, "pool_total": 12, "api_reset_each_point": true, - "code_sha256": "0248ad2dcc718997f00304e14d34ae0819630fce68e298549a13667e022e9be2", + "code_sha256": "63f56936d6a1ba9de0b22d8fbb27dac36e6bbd3f86bf7343cf81e199dbc85a36", "instrument_sha256": "f70c75276e0f2b1880fec9afbae460fd6ac38f8d9a5aea6804b921092c57a944", "human_protocol_sha256": "e38b98e6cc44b603ce4a446665146695a9fa85c9090e0a7f2ded3160af9385ed", "pilot_exclusion": [ @@ -47,5 +47,5 @@ "pilot-03" ], "source_series": "baseline-01", - "revision_reason": "Directory cleanup and removal of unused helpers; hypotheses, thresholds, workload and order unchanged." + "revision_reason": "Validate cursor UUIDs and configure API port, replicas, connection files, environment label and idempotency TTL. Sessions remain in Redis. Hypotheses, thresholds, workload, instruments and order unchanged. Historical evidence retains its original protocol and source archive." } diff --git a/experiments/lab3-scale/protocols/runtime-400.json b/experiments/lab3-scale/protocols/runtime-400.json index 8c7a80c2..09ee1db7 100644 --- a/experiments/lab3-scale/protocols/runtime-400.json +++ b/experiments/lab3-scale/protocols/runtime-400.json @@ -1,5 +1,5 @@ { - "version": "improvement-1.1", + "version": "1.3", "hypotheses": { "HI": "At 400 req/s p95(I1)/p95(I0) <= 0.85 in all 3 pairs; I1 success >= 0.99 and >= I0; I1 p95 <= 500 ms; confirmed writes preserved" }, @@ -27,7 +27,7 @@ "cpu_haproxy": 0.5, "pool_total": 12, "api_reset_each_point": true, - "code_sha256": "0248ad2dcc718997f00304e14d34ae0819630fce68e298549a13667e022e9be2", + "code_sha256": "63f56936d6a1ba9de0b22d8fbb27dac36e6bbd3f86bf7343cf81e199dbc85a36", "instrument_sha256": "f70c75276e0f2b1880fec9afbae460fd6ac38f8d9a5aea6804b921092c57a944", "pilot_exclusion": [ "pilot-01", @@ -45,5 +45,5 @@ }, "human_protocol_sha256": "fddbc8da79990294069b7f6006709bfa4ccbfca9a3c71ff876807606459bfddb", "source_series": "improvement-01", - "revision_reason": "Directory cleanup and removal of unused helpers; hypotheses, thresholds, workload and order unchanged." + "revision_reason": "Validate cursor UUIDs and configure API port, replicas, connection files, environment label and idempotency TTL. Sessions remain in Redis. Hypotheses, thresholds, workload, instruments and order unchanged. Historical evidence retains its original protocol and source archive." } diff --git a/experiments/lab3-scale/protocols/runtime-capacity.json b/experiments/lab3-scale/protocols/runtime-capacity.json index 05197f5c..a10a506d 100644 --- a/experiments/lab3-scale/protocols/runtime-capacity.json +++ b/experiments/lab3-scale/protocols/runtime-capacity.json @@ -1,5 +1,5 @@ { - "version": "capacity-improvement-1.1", + "version": "1.3", "hypotheses": { "HC": "C(I1)/C(I0) >=1.15, conservative lower grid bound in all 3 new blocks" }, @@ -28,7 +28,7 @@ "cpu_haproxy": 0.5, "pool_total": 12, "api_reset_each_point": true, - "code_sha256": "0248ad2dcc718997f00304e14d34ae0819630fce68e298549a13667e022e9be2", + "code_sha256": "63f56936d6a1ba9de0b22d8fbb27dac36e6bbd3f86bf7343cf81e199dbc85a36", "instrument_sha256": "f70c75276e0f2b1880fec9afbae460fd6ac38f8d9a5aea6804b921092c57a944", "pilot_exclusion": [ "pilot-01", @@ -46,5 +46,5 @@ }, "human_protocol_sha256": "fddbc8da79990294069b7f6006709bfa4ccbfca9a3c71ff876807606459bfddb", "source_series": "capacity-improvement-01", - "revision_reason": "Directory cleanup and removal of unused helpers; hypotheses, thresholds, workload and order unchanged." + "revision_reason": "Validate cursor UUIDs and configure API port, replicas, connection files, environment label and idempotency TTL. Sessions remain in Redis. Hypotheses, thresholds, workload, instruments and order unchanged. Historical evidence retains its original protocol and source archive." } diff --git a/experiments/lab3-scale/protocols/runtime-latency.json b/experiments/lab3-scale/protocols/runtime-latency.json index cf3b27e0..bb7e6503 100644 --- a/experiments/lab3-scale/protocols/runtime-latency.json +++ b/experiments/lab3-scale/protocols/runtime-latency.json @@ -1,5 +1,5 @@ { - "version": "latency-improvement-1.1", + "version": "1.3", "hypotheses": { "HL": "At 325 req/s p95(I1)/p95(I0) <=0.85 in all 3 new pairs, I1 success>=0.99 and >=I0, p95<=500 ms, confirmed writes preserved" }, @@ -27,7 +27,7 @@ "cpu_haproxy": 0.5, "pool_total": 12, "api_reset_each_point": true, - "code_sha256": "0248ad2dcc718997f00304e14d34ae0819630fce68e298549a13667e022e9be2", + "code_sha256": "63f56936d6a1ba9de0b22d8fbb27dac36e6bbd3f86bf7343cf81e199dbc85a36", "instrument_sha256": "f70c75276e0f2b1880fec9afbae460fd6ac38f8d9a5aea6804b921092c57a944", "pilot_exclusion": [ "pilot-01", @@ -45,5 +45,5 @@ }, "human_protocol_sha256": "fddbc8da79990294069b7f6006709bfa4ccbfca9a3c71ff876807606459bfddb", "source_series": "latency-improvement-01", - "revision_reason": "Directory cleanup and removal of unused helpers; hypotheses, thresholds, workload and order unchanged." + "revision_reason": "Validate cursor UUIDs and configure API port, replicas, connection files, environment label and idempotency TTL. Sessions remain in Redis. Hypotheses, thresholds, workload, instruments and order unchanged. Historical evidence retains its original protocol and source archive." } diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg index 0cb000ab..85e2a999 100644 --- a/infra/haproxy.cfg +++ b/infra/haproxy.cfg @@ -38,7 +38,7 @@ backend api_replicas option httpchk GET /health/ready http-check expect status 200 # Separate slots receive distinct Docker DNS addresses. No sticky sessions. - server-template api 2 api:8080 check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr libc,none + server-template api "${API_REPLICAS}" "api:${APP_PORT}" check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr libc,none # Local teaching aid: backend addresses, UP/DOWN state and request counters. listen statistics diff --git a/scripts/check_resources.py b/scripts/check_resources.py index b9fb6e52..bf8771c2 100644 --- a/scripts/check_resources.py +++ b/scripts/check_resources.py @@ -1,6 +1,6 @@ import json -from rolling_update import COMPOSE, ROOT, command +from rolling_update import COMPOSE, ROOT, command, configured_replicas def main(): @@ -29,7 +29,8 @@ def main(): if service == "haproxy": assert "highload-lab3_data" not in networks if service == "api": - assert not info["mounts"], "API must not mount persistent state" + assert all(not mount["RW"] and mount["Type"] == "bind" + for mount in info["mounts"]), "API mounts must be read-only configuration" records.append( { "service": service, @@ -40,14 +41,14 @@ def main(): "public_ports": info["ports"], } ) - assert len([row for row in records if row["service"] == "api"]) == 2 + assert len([row for row in records if row["service"] == "api"]) == configured_replicas() ROOT.joinpath(".memory/grade4").mkdir(parents=True, exist_ok=True) ROOT.joinpath(".memory/grade4/resources.json").write_text( json.dumps(records, indent=2) + "\n" ) print(json.dumps(records, indent=2)) print( - "PASS: effective CPU/RAM limits, two API replicas, private storage/API, isolated frontend" + "PASS: effective CPU/RAM limits, configured API replicas, private storage/API, isolated frontend" ) diff --git a/scripts/generate_evidence.py b/scripts/generate_evidence.py index f20c2fa5..5b56fbf0 100644 --- a/scripts/generate_evidence.py +++ b/scripts/generate_evidence.py @@ -268,6 +268,7 @@ def command(args): def inspect_state(): + expected_replicas = int(json.loads(command(COMPOSE + ["config", "--format", "json"]))["services"]["api"]["deploy"]["replicas"]) ids = command(COMPOSE + ["ps", "--all", "-q"]).split() rows = [] template = ( @@ -292,8 +293,8 @@ def inspect_state(): ) rows.append(row) api = [row for row in rows if row["service"] == "api"] - assert len(api) == 2 and all(row["health"] == "healthy" for row in api), ( - "Two healthy API replicas required" + assert len(api) == expected_replicas and all(row["health"] == "healthy" for row in api), ( + "All configured API replicas must be healthy" ) for row in rows: assert row["cpu"] > 0 and row["memory"] > 0 @@ -325,7 +326,7 @@ def inspect_state(): for row in stats if row["pxname"] == "api_replicas" and row["svname"].startswith("api") ] - assert len(stats) == 2 and all(row["status"].startswith("UP") for row in stats) + assert len(stats) == expected_replicas and all(row["status"].startswith("UP") for row in stats) addresses = {net["address"] for row in api for net in row["networks"].values()} assert all(row["addr"].split(":")[0] in addresses for row in stats) migration = command( diff --git a/scripts/init_env.py b/scripts/init_env.py index e5cff00c..ac6ead1e 100644 --- a/scripts/init_env.py +++ b/scripts/init_env.py @@ -1,15 +1,64 @@ +import os import secrets from pathlib import Path +from urllib.parse import quote -path = Path(__file__).resolve().parents[1] / ".env" -if not path.exists(): - with path.open("x", encoding="utf-8") as file: - file.write( - "POSTGRES_DB=messenger\n" - "POSTGRES_USER=messenger\n" - f"POSTGRES_PASSWORD={secrets.token_hex(24)}\n" - "SESSION_TTL_SECONDS=3600\n" - ) - print("Created .env with a new local password.") -else: - print("Using existing .env.") +ROOT = Path(__file__).resolve().parents[1] + +def read_values(path): + values = {} + if path.exists(): + for line in path.read_text(encoding="utf-8").splitlines(): + line = line.strip() + if line and not line.startswith("#") and "=" in line: + key, value = line.split("=", 1) + values[key.strip()] = value.strip().strip("\"'") + return values + +def main(): + path = ROOT / ".env" + existing = read_values(path) + defaults = read_values(ROOT / ".env.example") + defaults.update(POSTGRES_DB="messenger", POSTGRES_USER="messenger", + POSTGRES_PASSWORD=secrets.token_hex(24)) + values = defaults | existing + for name, lower, upper in (("APP_PORT", 1, 65535), ("API_REPLICAS", 2, 32), + ("SESSION_TTL_SECONDS", 1, 31536000), + ("IDEMPOTENCY_TTL_SECONDS", 1, 31536000)): + try: + valid = lower <= int(values[name]) <= upper + except (ValueError, KeyError): + valid = False + if not valid: + raise SystemExit(f"{name} must be between {lower} and {upper}") + for name in ("POSTGRES_DB", "POSTGRES_USER", "POSTGRES_PASSWORD", "APP_HOST", "APP_ENV"): + if not values[name]: + raise SystemExit(f"{name} must not be empty") + # Existing values, including credentials, are never replaced. + missing = {key: value for key, value in values.items() if key not in existing} + if missing: + prefix = "\n" if path.exists() and path.stat().st_size else "" + with path.open("a", encoding="utf-8") as file: + file.write(prefix + "".join(f"{key}={value}\n" for key, value in missing.items())) + os.chmod(path, 0o600) + secret_dir = ROOT / "secrets" + secret_dir.mkdir(mode=0o700, exist_ok=True) + database_url = "postgres://{}:{}@db:5432/{}?sslmode=disable".format( + quote(values["POSTGRES_USER"], safe=""), quote(values["POSTGRES_PASSWORD"], safe=""), + quote(values["POSTGRES_DB"], safe="")) + for name, content in (("DATABASE_URL_FILE", database_url), + ("CACHE_URL_FILE", "redis://redis:6379/0")): + container_path = Path(values[name]) + if container_path.parent != Path("/run/secrets") or not container_path.name: + raise SystemExit(f"{name} must name a file directly inside /run/secrets") + target = secret_dir / ("database_url" if name == "DATABASE_URL_FILE" else "cache_url") + if not target.exists(): + # Containers run as an unprivileged user; the private host directory + # protects the files, while read permission lets the API consume them. + with target.open("x", encoding="utf-8") as file: + file.write(content + "\n") + os.chmod(target, 0o644) + print("Local .env and connection files ready; existing values and files preserved.") + +if __name__ == "__main__": + main() diff --git a/scripts/rolling_update.py b/scripts/rolling_update.py index f5d425bd..7d40ae20 100644 --- a/scripts/rolling_update.py +++ b/scripts/rolling_update.py @@ -24,6 +24,11 @@ def command(args, **kwargs): return subprocess.check_output(args, cwd=ROOT, text=True, **kwargs).strip() +def configured_replicas(): + config = json.loads(command(COMPOSE + ["config", "--format", "json"])) + return int(config["services"]["api"]["deploy"]["replicas"]) + + def containers(): return command(COMPOSE + ["ps", "-q", "api"]).split() @@ -79,8 +84,9 @@ def replace_all(): with ROOT.joinpath(".memory/rolling.lock").open("w") as lock: fcntl.flock(lock, fcntl.LOCK_EX | fcntl.LOCK_NB) originals = containers() - if len(originals) != 2: - raise RuntimeError("Exactly two running API replicas are required") + expected = configured_replicas() + if expected < 2 or len(originals) != expected: + raise RuntimeError("All configured API replicas must be running; minimum two") # One explicit migration job per operation, never one per replica. # Only backward-compatible migrations may be deployed while API is live. subprocess.run( @@ -90,13 +96,14 @@ def replace_all(): for old in originals: before = containers() if ( - len(before) != 2 - or len([row for row in stats() if row["status"].startswith("UP")]) != 2 + len(before) != expected + or len([row for row in stats() if row["status"].startswith("UP")]) != expected ): raise RuntimeError( "Both replicas must be ready before taking one out of service" ) survivor = next(container for container in before if container != old) + survivors = set(before) - {old} info = identity(old) addresses = {network["IPAddress"] for network in info["networks"].values()} matches = [row for row in stats() if row["addr"].split(":")[0] in addresses] @@ -139,16 +146,16 @@ def replace_all(): finally: runtime(slot, "ready") after = containers() - if len(after) != 2 or survivor not in after or old in after: + if len(after) != expected or not survivors.issubset(after) or old in after: raise RuntimeError("Replacement changed the surviving container") - new = next(container for container in after if container != survivor) + new = next(container for container in after if container not in survivors) new_info = identity(new) new_addresses = { network["IPAddress"] for network in new_info["networks"].values() } wait_for( lambda: ( - len([row for row in stats() if row["status"].startswith("UP")]) == 2 + len([row for row in stats() if row["status"].startswith("UP")]) == expected and any( row["addr"].split(":")[0] in new_addresses and row["status"].startswith("UP") diff --git a/src/backend/main.go b/src/backend/main.go index 5acd71e9..6bcaf8b7 100644 --- a/src/backend/main.go +++ b/src/backend/main.go @@ -32,10 +32,17 @@ func serverAddress() string { } func main() { + if environment := os.Getenv("APP_ENV"); environment != "" { + log.SetPrefix("[" + environment + "] ") + } if len(os.Args) > 1 { if len(os.Args) == 2 && os.Args[1] == "healthcheck" { client := http.Client{Timeout: 2 * time.Second} - response, err := client.Get("http://127.0.0.1:8080/health/ready") + port := os.Getenv("APP_PORT") + if port == "" { + port = "8080" + } + response, err := client.Get("http://" + net.JoinHostPort("127.0.0.1", port) + "/health/ready") if err != nil { os.Exit(1) } @@ -81,16 +88,19 @@ func main() { } }() } - redisAddress := os.Getenv("REDIS_ADDR") - if redisAddress == "" { - redisAddress = "redis:6379" + redisClient, err := repositories.RedisClientFromEnvironment() + if err != nil { + log.Fatal(err) } - redisClient := repositories.NewRedisClient(redisAddress) defer redisClient.Close() sessionStore := repositories.NewSessionStore(redisClient, "messenger:session:") userStore := repositories.NewUserStore(db) chatStore := repositories.NewChatStore(db) - messageStore := repositories.NewMessageStore(db) + idempotencyTTL, err := repositories.IdempotencyTTL() + if err != nil { + log.Fatal(err) + } + messageStore := repositories.NewMessageStoreWithTTL(db, idempotencyTTL) ttl, err := services.SessionTTL() if err != nil { log.Fatal(err) diff --git a/src/backend/repositories/config.go b/src/backend/repositories/config.go new file mode 100644 index 00000000..d4a8f027 --- /dev/null +++ b/src/backend/repositories/config.go @@ -0,0 +1,47 @@ +package repositories + +import ( + "errors" + "os" + "strconv" + "strings" + "time" + + "github.com/redis/go-redis/v9" +) + +func RedisClientFromEnvironment() (*redis.Client, error) { + if path := os.Getenv("CACHE_URL_FILE"); path != "" { + data, err := os.ReadFile(path) + if err != nil { + return nil, err + } + options, err := redis.ParseURL(strings.TrimSpace(string(data))) + if err != nil { + return nil, errors.New("invalid Redis URL in CACHE_URL_FILE") + } + options.PoolSize = 10 + options.MaxRetries = -1 + options.DialTimeout = time.Second + options.ReadTimeout = time.Second + options.WriteTimeout = time.Second + return redis.NewClient(options), nil + } + address := os.Getenv("REDIS_ADDR") + if address == "" { + address = "redis:6379" + } + return NewRedisClient(address), nil +} + +func IdempotencyTTL() (time.Duration, error) { + value := os.Getenv("IDEMPOTENCY_TTL_SECONDS") + if value == "" { + value = "86400" + } + seconds, err := strconv.ParseInt(value, 10, 64) + if err != nil || seconds < 1 || seconds > 31536000 { + return 0, errors.New("IDEMPOTENCY_TTL_SECONDS must be between 1 and 31536000") + } + return time.Duration(seconds) * time.Second, nil +} diff --git a/src/backend/repositories/idempotency.go b/src/backend/repositories/idempotency.go index a1b80937..b99064b0 100644 --- a/src/backend/repositories/idempotency.go +++ b/src/backend/repositories/idempotency.go @@ -45,7 +45,7 @@ func (s *MessageStore) CreateIdempotent(ctx context.Context, chatID, senderID, t return Message{}, err } - // Expiry permits reuse after 24 hours; it never deletes the original message. + // Expiry permits key reuse; it never deletes the original message. if _, err = tx.Exec(ctx, "DELETE FROM message_idempotency WHERE sender_id=$1 AND chat_id=$2 AND key=$3", senderID, chatID, key); err != nil { return Message{}, err } @@ -57,7 +57,7 @@ func (s *MessageStore) CreateIdempotent(ctx context.Context, chatID, senderID, t return Message{}, err } if _, err = tx.Exec(ctx, `INSERT INTO message_idempotency(sender_id,chat_id,key,message_id,expires_at) - VALUES($1,$2,$3,$4,clock_timestamp() + interval '24 hours')`, senderID, chatID, key, message.ID); err != nil { + VALUES($1,$2,$3,$4,clock_timestamp() + $5 * interval '1 second')`, senderID, chatID, key, message.ID, s.idempotencyTTL.Seconds()); err != nil { return Message{}, err } return message, tx.Commit(ctx) diff --git a/src/backend/repositories/message.go b/src/backend/repositories/message.go index b34708f6..8552dc4c 100644 --- a/src/backend/repositories/message.go +++ b/src/backend/repositories/message.go @@ -17,11 +17,16 @@ type Message struct { } type MessageStore struct { - db *pgxpool.Pool + db *pgxpool.Pool + idempotencyTTL time.Duration } func NewMessageStore(db *pgxpool.Pool) *MessageStore { - return &MessageStore{db: db} + return NewMessageStoreWithTTL(db, 24*time.Hour) +} + +func NewMessageStoreWithTTL(db *pgxpool.Pool, ttl time.Duration) *MessageStore { + return &MessageStore{db: db, idempotencyTTL: ttl} } func (s *MessageStore) Create( diff --git a/src/backend/services/chat.go b/src/backend/services/chat.go index 2c947fc0..48ad9914 100644 --- a/src/backend/services/chat.go +++ b/src/backend/services/chat.go @@ -99,6 +99,12 @@ func DecodeChatCursor(value string) (repositories.ChatCursor, error) { if cursor.UserID == "" || cursor.ChatID == "" || cursor.CreatedAt.IsZero() { return repositories.ChatCursor{}, strconv.ErrSyntax } + if _, err := uuid.Parse(cursor.UserID); err != nil { + return repositories.ChatCursor{}, err + } + if _, err := uuid.Parse(cursor.ChatID); err != nil { + return repositories.ChatCursor{}, err + } return cursor, nil } diff --git a/src/backend/services/message.go b/src/backend/services/message.go index cf96ecfc..802eea27 100644 --- a/src/backend/services/message.go +++ b/src/backend/services/message.go @@ -6,6 +6,7 @@ import ( "encoding/json" "strconv" + "github.com/google/uuid" "messenger/src/backend/repositories" ) @@ -42,6 +43,12 @@ func DecodeMessageCursor(value string) (repositories.MessageCursor, error) { if cursor.ChatID == "" || cursor.MessageID == "" || cursor.CreatedAt.IsZero() { return repositories.MessageCursor{}, strconv.ErrSyntax } + if _, err := uuid.Parse(cursor.ChatID); err != nil { + return repositories.MessageCursor{}, err + } + if _, err := uuid.Parse(cursor.MessageID); err != nil { + return repositories.MessageCursor{}, err + } return cursor, nil } diff --git a/src/backend/services/session.go b/src/backend/services/session.go index c7e1d445..539108ca 100644 --- a/src/backend/services/session.go +++ b/src/backend/services/session.go @@ -25,7 +25,7 @@ func SessionTTL() (time.Duration, error) { return time.Hour, nil } seconds, err := strconv.Atoi(value) - if err != nil || seconds < 1 { + if err != nil || seconds < 1 || seconds > 31536000 { return 0, errors.New("invalid SESSION_TTL_SECONDS") } return time.Duration(seconds) * time.Second, nil diff --git a/src/backend/tests/config_test.go b/src/backend/tests/config_test.go new file mode 100644 index 00000000..7575b7d9 --- /dev/null +++ b/src/backend/tests/config_test.go @@ -0,0 +1,91 @@ +package tests + +import ( + "context" + "os" + "path/filepath" + "testing" + "time" + + "messenger/src/backend/repositories" +) + +func TestConnectionFilesTakePrecedence(t *testing.T) { + dir := t.TempDir() + database := filepath.Join(dir, "database") + cache := filepath.Join(dir, "cache") + if err := os.WriteFile(database, []byte("postgres://configured/db\n"), 0600); err != nil { + t.Fatal(err) + } + if err := os.WriteFile(cache, []byte("redis://:test-password@configured:6380/3\n"), 0600); err != nil { + t.Fatal(err) + } + t.Setenv("DATABASE_URL_FILE", database) + t.Setenv("DATABASE_URL", "postgres://ignored/db") + t.Setenv("CACHE_URL_FILE", cache) + t.Setenv("REDIS_ADDR", "ignored:6379") + url, err := repositories.DatabaseURL() + if err != nil || url != "postgres://configured/db" { + t.Fatalf("database file not used: %v", err) + } + client, err := repositories.RedisClientFromEnvironment() + if err != nil { + t.Fatal(err) + } + defer client.Close() + options := client.Options() + if options.Addr != "configured:6380" || options.DB != 3 || options.Password != "test-password" { + t.Fatal("Redis URL settings not applied") + } + t.Setenv("CACHE_URL_FILE", filepath.Join(dir, "missing")) + if _, err := repositories.RedisClientFromEnvironment(); err == nil { + t.Fatal("missing file accepted") + } +} + +func TestConfiguredIdempotencyTTL(t *testing.T) { + t.Setenv("IDEMPOTENCY_TTL_SECONDS", "2") + ttl, err := repositories.IdempotencyTTL() + if err != nil || ttl != 2*time.Second { + t.Fatalf("TTL not applied: %v", err) + } + f := newTestFixture(t) + user, _ := createTestUser(t, f.users, "alice", "Alice") + chat := createTestChat(t, f.chats, "Chat", []string{user.ID}) + store := repositories.NewMessageStoreWithTTL(f.db, ttl) + ctx := context.Background() + original, err := store.CreateIdempotent(ctx, chat.ID, user.ID, "hello", "ttl-test") + if err != nil { + t.Fatal(err) + } + var remaining float64 + if err := f.db.QueryRow(ctx, "SELECT extract(epoch FROM expires_at-clock_timestamp()) FROM message_idempotency WHERE key='ttl-test'").Scan(&remaining); err != nil { + t.Fatal(err) + } + if remaining <= 0 || remaining > 2 { + t.Fatalf("unexpected remaining TTL: %f", remaining) + } + replay, err := store.CreateIdempotent(ctx, chat.ID, user.ID, "hello", "ttl-test") + if err != nil || replay.ID != original.ID { + t.Fatal("replay before expiry changed the message") + } + if _, err := f.db.Exec(ctx, "UPDATE message_idempotency SET expires_at=clock_timestamp()-interval '1 second' WHERE key='ttl-test'"); err != nil { + t.Fatal(err) + } + reused, err := store.CreateIdempotent(ctx, chat.ID, user.ID, "hello", "ttl-test") + if err != nil || reused.ID == original.ID { + t.Fatal("expired key was not reusable") + } + if len(listTestMessages(t, store, chat.ID)) != 2 { + t.Fatal("expiry removed an original message") + } +} + +func TestInvalidIdempotencyTTL(t *testing.T) { + for _, value := range []string{"0", "-1", "abc", "31536001"} { + t.Setenv("IDEMPOTENCY_TTL_SECONDS", value) + if _, err := repositories.IdempotencyTTL(); err == nil { + t.Fatalf("accepted TTL %q", value) + } + } +} diff --git a/src/backend/tests/cursor_validation_test.go b/src/backend/tests/cursor_validation_test.go new file mode 100644 index 00000000..4cf2f33a --- /dev/null +++ b/src/backend/tests/cursor_validation_test.go @@ -0,0 +1,82 @@ +package tests + +import ( + "context" + "errors" + "testing" + "time" + + "messenger/src/backend/repositories" + "messenger/src/backend/services" +) + +func TestCursorRejectsInvalidUUIDBeforeDatabaseAccess(t *testing.T) { + const userID = "11111111-1111-4111-8111-111111111111" + const chatID = "22222222-2222-4222-8222-222222222222" + const messageID = "33333333-3333-4333-8333-333333333333" + createdAt := time.Date(2026, 10, 10, 12, 0, 0, 0, time.UTC) + for _, invalid := range []string{"not-a-uuid", "ffffffff-ffff-ffff-ffff-fffffffffffz"} { + for _, field := range []string{"user_id", "chat_id"} { + t.Run("chats/"+field+"/"+invalid, func(t *testing.T) { + cursor := repositories.ChatCursor{UserID: userID, ChatID: chatID, CreatedAt: createdAt} + if field == "user_id" { + cursor.UserID = invalid + } else { + cursor.ChatID = invalid + } + token, err := services.EncodeChatCursor(cursor) + if err != nil { + t.Fatal(err) + } + if _, err := services.DecodeChatCursor(token); err == nil { + t.Fatal("invalid UUID accepted") + } + // A nil store proves that validation finishes before any SQL call. + _, err = services.NewChatService(nil).List(context.Background(), userID, 20, token) + var invalidInput services.InvalidInput + if !errors.As(err, &invalidInput) { + t.Fatalf("want InvalidInput, got %v", err) + } + }) + } + for _, field := range []string{"chat_id", "message_id"} { + t.Run("messages/"+field+"/"+invalid, func(t *testing.T) { + cursor := repositories.MessageCursor{ChatID: chatID, MessageID: messageID, CreatedAt: createdAt} + if field == "chat_id" { + cursor.ChatID = invalid + } else { + cursor.MessageID = invalid + } + token, err := services.EncodeMessageCursor(cursor) + if err != nil { + t.Fatal(err) + } + if _, err := services.DecodeMessageCursor(token); err == nil { + t.Fatal("invalid UUID accepted") + } + chat := repositories.Chat{ID: chatID, MemberIDs: []string{userID}} + _, err = services.NewMessageService(nil).List(context.Background(), userID, chat, 20, token) + var invalidInput services.InvalidInput + if !errors.As(err, &invalidInput) { + t.Fatalf("want InvalidInput, got %v", err) + } + }) + } + } +} + +func TestChatCursorPreservesPosition(t *testing.T) { + original := repositories.ChatCursor{ + UserID: "11111111-1111-4111-8111-111111111111", + ChatID: "22222222-2222-4222-8222-222222222222", + CreatedAt: time.Date(2026, 10, 10, 12, 0, 0, 123000, time.UTC), + } + token, err := services.EncodeChatCursor(original) + if err != nil { + t.Fatal(err) + } + decoded, err := services.DecodeChatCursor(token) + if err != nil || decoded != original { + t.Fatalf("cursor changed: %+v, error: %v", decoded, err) + } +}