ЛР 3 — БВТ 2303 — Крайкин — на 5 #70
@@ -0,0 +1,34 @@
|
||||
name: solution
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-24.04
|
||||
timeout-minutes: 20
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- name: Fresh stack, contract and public API
|
||||
run: |
|
||||
make up
|
||||
make check
|
||||
make test
|
||||
- name: Real PostgreSQL and race detector
|
||||
run: make test-race
|
||||
- name: Student HTTP cases
|
||||
run: python3 student-tests/integration.py --base-url http://localhost:8083
|
||||
- name: Persistence of existing session and data
|
||||
run: make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
- name: API failover through LB
|
||||
run: make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
- name: Safe diagnostics
|
||||
if: always()
|
||||
run: docker compose logs --tail 100 > evidence/ci-containers.txt
|
||||
- uses: actions/upload-artifact@v4
|
||||
if: always()
|
||||
with:
|
||||
name: solution-evidence
|
||||
path: evidence/
|
||||
- name: Dispose this CI-only stack
|
||||
if: always()
|
||||
run: docker compose --profile verify down -v --remove-orphans
|
||||
@@ -30,3 +30,5 @@ coverage/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
.venv-research/
|
||||
|
||||
+191
@@ -0,0 +1,191 @@
|
||||
# Защита ЛР 3: понимать решение, а не заучивать названия
|
||||
|
||||
Автор: Крайкин Глеб, БВТ 2303. Читай вместе с кодом и `REPORT.md`. Измеренные результаты находятся в `evidence/`, команды — в `QUICKSTART.md`.
|
||||
|
||||
## Рассказ на 90 секунд
|
||||
|
||||
«Во второй работе был один Go API и PostgreSQL. В третьей я запустил два взаимозаменяемых процесса API за HAProxy. Сессии остались в общей PostgreSQL, а Valkey по-прежнему кэширует только неизменяемый публичный профиль. Поэтому запрос с одним токеном может попасть на любую реплику.
|
||||
|
||||
Добавился обязательный Idempotency-Key. При потере ответа клиент не знает, записано ли сообщение. Он повторяет тот же запрос с тем же ключом. Сервер проверяет сессию и членство, берёт транзакционную advisory-блокировку по пользователю, чату и ключу. В одной SQL-транзакции сохраняются сообщение и исходный результат. Конкурентный повтор ждёт, затем получает то же сообщение; другой текст с тем же ключом даёт 409.
|
||||
|
||||
Я проверил отказ каждого API отдельно, замену контейнеров под записью и полный перезапуск с прежним токеном. Для пятёрки сравнил 1/2/4 API при фиксированном и растущем бюджете, измерил RPS, ошибки, задержки, ресурсы и ожидания БД. Несколько API защищают от отказа одного процесса. PostgreSQL, балансировщик и Docker-host в этом стенде остаются единичными точками отказа».
|
||||
|
||||
## Сначала восстанови основу второй работы
|
||||
|
||||
| Что | Где | Зачем |
|
||||
|---|---|---|
|
||||
| Argon2id + случайная соль | `internal/messenger/password.go` | Проверка человеческого пароля без его хранения |
|
||||
| Basic | `login` в `server.go` | Только первоначальный обмен username/password на сессию |
|
||||
| Opaque Bearer | `login`, `authenticate` | 32 случайных байта; в БД SHA-256 токена и абсолютный expiry |
|
||||
| Авторизация чата | `getChat` | Проверка `(chat_id,user_id)` в `chat_members` |
|
||||
| Valkey | `profile` | Только User JSON, TTL 300; ошибка кэша → PostgreSQL |
|
||||
| Keyset | `pagination`, `listMessages` | Следующая страница после `(created_at,id)` |
|
||||
| HMAC | `encodeCursor` | Защищает курсор от изменения; секрет одинаков у API |
|
||||
|
||||
Аутентификация отвечает «кто ты», авторизация — «можно ли тебе этот чат». Кэш профиля не подтверждает сессию. `FLUSHDB` не отзывает сессии, потому что они хранятся в PostgreSQL. Logout удаляет сессию; оставшийся профиль не даёт доступ. Повтори эти ответы без чтения, прежде чем идти дальше.
|
||||
|
||||
## Архитектура и состояние
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[Клиент] --> LB[HAProxy :8083]
|
||||
LB --> A[API A]
|
||||
LB --> B[API B]
|
||||
A --> PG[(PostgreSQL)]
|
||||
B --> PG
|
||||
A --> VK[(Valkey: профили)]
|
||||
B --> VK
|
||||
M[Однократная migration job] --> PG
|
||||
```
|
||||
|
||||
Оба процесса имеют один и тот же образ, DATABASE_URL, CURSOR_KEY и CACHE_URL. У каждого свой pool и память. Сессии, история, членство и результат идемпотентности общие. Ключ курсора — общий локальный Compose-secret, не случайный ключ на каждый запуск.
|
||||
|
||||
В памяти остаются допустимые локальные вещи: число выполняющихся KDF, HTTP-соединения, флаг остановки, конфигурация. Если потеря такой памяти меняет владельца сессии или создаёт дубль сообщения — состояние выбрано неправильно.
|
||||
|
||||
API не публикуют host ports. Только LB связан с `127.0.0.1:8083`. Контейнеры находят сервисы по Docker DNS. `deploy.replicas` поддерживается выбранной версией Compose; исследование явно использует `--scale api=N`. Предел конфигурации HAProxy — четыре API, а не бесконечное масштабирование.
|
||||
|
||||
## Один запрос по коду
|
||||
|
||||
Возьми `POST /api/v1/chats/{id}/messages` и открой `internal/messenger/server.go`.
|
||||
|
||||
1. `ServeHTTP` создаёт `X-Request-Id` и `X-Instance-Id`, ставит deadline 3 s, выбирает маршрут.
|
||||
2. `authenticate` разбирает Bearer, вычисляет SHA-256, ищет неистёкшую сессию в PostgreSQL. Затем `profile` получает User.
|
||||
3. `getChat` проверяет членство. Неизвестный и чужой чат одинаково дают 404.
|
||||
4. `createMessage` строго читает JSON, проверяет текст и ровно один корректный `Idempotency-Key`.
|
||||
5. `BEGIN`; `pg_advisory_xact_lock(hashtextextended(scope,0))` сериализует запросы одного ключа.
|
||||
6. Если действующий результат уже есть: сравнить hash нормализованного body. Совпадает → COMMIT → исходный 201/Message. Отличается → 409, транзакция откатывается через defer.
|
||||
7. Иначе обновить `chats.last_message_at`, вставить сообщение, сохранить JSON результата и expiry в `message_requests`.
|
||||
8. `COMMIT`, затем отправить 201. Если ошибка/неопределённый результат COMMIT — 503; клиент повторяет исходный ключ.
|
||||
|
||||
Найди самостоятельно все восемь шагов. Умение показать конкретный SQL важнее определения «горизонтальное масштабирование».
|
||||
|
||||
## Почему идемпотентность устроена именно так
|
||||
|
||||
**Проблема неопределённости:** сервер сделал COMMIT, сеть оборвалась до ответа. Timeout говорит только об отсутствии полученного ответа. Он не доказывает rollback.
|
||||
|
||||
```mermaid
|
||||
sequenceDiagram
|
||||
participant C as Клиент
|
||||
participant A as API A
|
||||
participant P as PostgreSQL
|
||||
participant B as API B
|
||||
C->>A: POST + key K
|
||||
A->>P: BEGIN, lock K, INSERT message + result
|
||||
P-->>A: COMMIT
|
||||
Note over A,C: Ответ потерян
|
||||
C->>B: Тот же POST + K
|
||||
B->>P: Проверить сессию, lock K, SELECT result
|
||||
P-->>B: Исходный Message
|
||||
B-->>C: 201, тот же id и created_at
|
||||
```
|
||||
|
||||
Область ключа — пользователь + метод POST + путь конкретного чата + сам ключ. Метод/тип операции здесь фиксированы одной таблицей и единственным handler. Один ключ Алисы в разных чатах независим. Ключ Алисы и такой же ключ Боба независимы.
|
||||
|
||||
`message_requests` содержит `user_id,chat_id,key,body_hash,response,expires_at`; составной PK закрепляет уникальность. TTL — 24 часа, отсчитываемые часами БД. Истёкший ключ можно использовать заново; прежнее сообщение при этом остаётся. Встроенной массовой очистки этой таблицы нет, значит для долгой эксплуатации потребуется обслуживание.
|
||||
|
||||
**Зачем advisory lock, если есть UNIQUE?** UNIQUE не даёт две записи результата, но сам по себе не задаёт весь алгоритм «кто пишет сообщение, кто ждёт и читает прежний результат». Здесь lock делает эту последовательность явной до побочного эффекта. Можно реализовать и через INSERT ... ON CONFLICT с корректными транзакционными границами. Простая проверка `SELECT отсутствует → INSERT` без синхронизации содержит гонку.
|
||||
|
||||
**Зачем и hash, и response?** Hash отличает повтор от нового содержания. Response позволяет вернуть первоначальные id и время, а не генерировать новое сообщение. JSON ключи нормализуются при декодировании в структуру. Пробелы внутри самого текста значимы.
|
||||
|
||||
**Почему hash collision lock не ломает корректность?** Advisory lock использует 64-битный hash области. Коллизия лишь заставит два разных ключа ждать друг друга. Сравнение и уникальность результата используют полные user/chat/key, а не hash блокировки. SHA-256 body отдельно имеет криптографически малую вероятность коллизии; это не парольный KDF.
|
||||
|
||||
**Что если процесс умер:** до COMMIT PostgreSQL откатит message и result вместе, lock освободится. После COMMIT оба уже существуют. Между сообщением и результатом нет отдельного успешного COMMIT.
|
||||
|
||||
**Что если logout:** повтор снова проходит `authenticate` и `getChat`. Сохранённый результат не обходит проверку доступа. Уже выполняющийся авторизованный запрос может завершиться после logout — это указанная граница модели.
|
||||
|
||||
**Это exactly once?** Нет общего обещания единственной доставки по сети. В пределах одной операции и 24-часового ключа мы получаем один зафиксированный побочный эффект и повторяемый ответ. Повторы чата/регистрации/upload не получают эту гарантию автоматически.
|
||||
|
||||
## Две разные блокировки
|
||||
|
||||
| Механизм | Что сериализует | Почему нужен | Цена |
|
||||
|---|---|---|---|
|
||||
| Advisory xact lock | Одинаковые user/chat/key | Межпроцессная идемпотентность | Один медленный дубль задерживает остальные дубли |
|
||||
| Row lock при UPDATE chats | Все новые сообщения одного чата | Монотонное created_at и упорядоченная история | Горячий чат становится последовательной очередью |
|
||||
|
||||
`GREATEST(clock_timestamp(),last_message_at+interval '1 microsecond')` не даёт времени сообщения уйти назад внутри чата при откате часов. UUID — дополнительная граница порядка. Реплики не используют локальные часы для назначения времени.
|
||||
|
||||
Транзакция имеет уровень READ COMMITTED по умолчанию. После ожидания advisory lock следующий SELECT получает актуальный snapshot и видит зафиксированный результат конкурента. Транзакционная блокировка автоматически снимается при COMMIT/ROLLBACK/разрыве соединения. Это не локальный `sync.Mutex` Go.
|
||||
|
||||
## Что именно делает HAProxy
|
||||
|
||||
Файл `infra/haproxy.cfg`:
|
||||
|
||||
- `balance roundrobin` распределяет запросы между готовыми backend. Sticky sessions нет.
|
||||
- `server-template api 4 api:8080` создаёт до четырёх слотов, адреса получает через Docker DNS `127.0.0.11`.
|
||||
- DNS valid/obsolete — 1 s; при замене контейнера адрес обновляется без ручной правки IP.
|
||||
- Проверка GET `/health/ready` раз в 1 s; `fall 2`, `rise 1`; timeout check 800 ms.
|
||||
- Для падения процесса порядок обнаружения около 2–3 s с учётом phase/timeout; это оценка конфигурации, реальное восстановление измерено отдельно. В задании бюджет — ≤10 s.
|
||||
- Connect timeout 500 ms, server/client 35 s, `retries 0`. LB сам не повторяет неопределённый POST.
|
||||
|
||||
`depends_on` только управляет порядком старта. Docker healthcheck только сообщает состояние контейнера. Именно HAProxy проверяет ready и решает, куда отправить очередной запрос. Остановка API не должна перезапускать PostgreSQL.
|
||||
|
||||
Keep-alive — повторное использование TCP-соединения; sticky session — привязка пользователя к backend. Это разные механизмы. В эксперименте Go-клиент использует keep-alive; взаимозаменяемость всё равно проверяется по ответам и реальным контейнерам.
|
||||
|
||||
## Готовность и завершение
|
||||
|
||||
`live` означает, что процесс отвечает. `ready` требует работающую PostgreSQL и отсутствие Stop-флага; Valkey некритичен, есть fallback. При SIGTERM `api.Stop()` запрещает новую работу, `http.Server.Shutdown` даёт выполняющимся запросам до 5 s. Compose stop grace 8 s больше этого бюджета.
|
||||
|
||||
Существующий запрос в момент SIGTERM может успеть завершиться либо клиент получит ошибку и повторит сообщение с прежним ключом. Отсутствие ошибки в одном прогоне не доказывает нулевую потерю TCP-соединений при любом отказе.
|
||||
|
||||
`migrate` — отдельный одноразовый сервис, API стартуют после exit 0. Ledger/checksum и advisory lock дополнительно защищают migration job. В текущем обновлении изменения схемы добавочные. Для будущего DROP/переименования колонки нужен expand → обновить все версии → contract; произвольная несовместимая migration в работающем rolling update не обещана.
|
||||
|
||||
`scripts/rolling.sh` последовательно останавливает и удаляет один API-контейнер, поднимает недостающую реплику из выбранного локального образа, ждёт healthy и DNS/ready, затем переходит ко второму. Перед реальным обновлением сначала собрать новый образ. Смена контейнеров и id в `operations.json` — проверенная эквивалентная поочерёдная замена. Это один Docker-host, не оркестратор с переносом на другой узел.
|
||||
|
||||
## Исследование на пять
|
||||
|
||||
Трек 1 — цена масштабирования. Открой `student-tests/scaling.py`, `cmd/bench/main.go`, `evidence/scaling-summary.md`, `evidence/scaling-conclusions.md`, график и raw JSON.
|
||||
|
||||
Гипотеза: добавление API поможет, пока ограничение находится в API. При фиксированном суммарном CPU/RAM само число процессов не создаёт дополнительные вычислительные ресурсы. Общие SQL-запросы, WAL, блокировки и LB ограничивают дальнейший рост.
|
||||
|
||||
Сравниваются 1/2/4 реплики, 4/16/64 клиента; два повтора по 6 s после 2 s прогрева. Фиксированный бюджет API — 2 CPU/1024 MiB суммарно, растущий — 1 CPU/512 MiB на реплику. PostgreSQL и LB имеют одинаковые лимиты между вариантами. Нагрузка — реальный POST с Bearer, ACL, общей идемпотентностью и COMMIT, равномерно по 16 чатам. Ошибки не повторяются прозрачно. Есть отдельный контролируемый эксперимент pool=1 против pool=10.
|
||||
|
||||
Не говори «в четыре раза больше реплик — в четыре раза быстрее». Покажи конкретную строку таблицы и ресурс, который ограничил результат. Saturation — рост конкуренции/ресурсов почти перестаёт увеличивать успешные RPS, но увеличивает latency/очереди. CPU, throttling, pg_stat_activity и pool waits помогают отличить причины. Число CPU в лимите — потолок, а не реально измеренная загрузка.
|
||||
|
||||
Ограничения: короткие локальные closed-loop прогоны, coordinated omission, warm caches, растущие таблицы, фиксированный порядок вариантов, один host. p99 считается по успешным запросам; доля ошибок дана отдельно. Это эксперимент данного профиля, не универсальная ёмкость мессенджера.
|
||||
|
||||
## Вопросы преподавателя: коротко и в глубину
|
||||
|
||||
1. **Что такое реплика здесь?** Независимый процесс API с отдельной памятью, pool и TCP-соединениями. Данные он читает из общей БД. Это не PostgreSQL replica.
|
||||
2. **Чем scale out отличается от scale up?** Больше процессов/узлов против большего CPU/RAM одного процесса. В треке сравниваются обе причины отдельно.
|
||||
3. **Почему нельзя хранить сессии в map?** Логин на A не даст B эту map; рестарт уничтожит её. Sticky может скрыть ошибку до отказа A.
|
||||
4. **Почему общий секрет cursor?** Иначе B не проверит HMAC курсора A.
|
||||
5. **Что обещает COMMIT?** Атомарность изменений в БД; локальная durability зависит от WAL/fsync/synchronous_commit. Это не резервная копия.
|
||||
6. **Где гарантия одного сообщения?** Общая транзакция, межпроцессная блокировка и полный уникальный ключ результата, не заголовок сам по себе.
|
||||
7. **Можно ли повторить POST после timeout?** Сообщение — с тем же ключом и body. Для других POST в обязательном контракте такой гарантии нет.
|
||||
8. **Почему повтор возвращает 201?** Это заданный контракт исходного результата, даже если повтор сам не создаёт новую строку.
|
||||
9. **Когда 409?** Тот же действующий ключ и другой нормализованный body. Занятый username тоже 409, но другая причина.
|
||||
10. **Что будет через 24 часа?** Ключ истечёт, новая операция может создать ещё одно сообщение. Это ограниченное окно дедупликации.
|
||||
11. **Если БД упала?** Ready/бизнес-путь дают ограниченный отказ; новые записи не подтверждаются. Два API не создают HA PostgreSQL.
|
||||
12. **Если Valkey упал?** Профиль загрузится из PostgreSQL, SQL-нагрузка возрастёт, сессии не пропадут.
|
||||
13. **Если LB упал?** Основной вход недоступен. Реплики API этого не исправят.
|
||||
14. **Если упал ноутбук?** Все контейнеры одного host недоступны. Failover процесса не равен failover узла.
|
||||
15. **Почему pool нельзя умножать бесконечно?** N API × max connections создают общий спрос на PostgreSQL; растут память и конкуренция, можно исчерпать max_connections.
|
||||
16. **Почему увеличение pool не всегда помогает?** Pool может быть узким местом, но после его устранения ограничение переходит в CPU/locks/WAL/DB connections.
|
||||
17. **Почему не SERIALIZABLE?** Для этого инварианта достаточно явных locks + UNIQUE + READ COMMITTED. Более строгая изоляция потребовала бы обработки serialization failures и не убрала необходимость корректного retry.
|
||||
18. **Возможен deadlock?** В общем SQL — да. Здесь у одного сообщения один advisory key, потом одна строка чата, порядок един. В расширениях порядок ресурсов надо сохранять; таймауты ограничивают ожидание.
|
||||
19. **Как проверить реальность двух API?** Сопоставить X-Instance-Id с Config.Hostname двух контейнеров через docker inspect и остановить именно выбранный id.
|
||||
20. **Что доказывает smoke?** Один сквозной сценарий API. Он не доказывает rolling, все отказы, scaling или правильность всех отрицательных случаев.
|
||||
21. **Почему успешных RPS мало при одном горячем чате?** Каждая запись UPDATE-ит одну строку chats; lock сериализует писателей независимо от числа API.
|
||||
22. **Что изменил относительно второй?** Дополнительная миграция requests, обязательный ключ, shared transactional result, instance header, отдельные migrations, LB, scale/failure tests. Argon2id, sessions, ACL, история сохранены.
|
||||
|
||||
## Практические задания без подсказки
|
||||
|
||||
- Найди в коде место, после которого уже можно ответить 201, и объясни неопределённый результат ошибки COMMIT.
|
||||
- Нарисуй гонку двух API с одним ключом. Поставь BEGIN, lock, SELECT, INSERT, COMMIT на обеих линиях.
|
||||
- На бумаге убери advisory lock. Найди, где обе реплики могут увидеть отсутствие результата.
|
||||
- Покажи таблицу, в которой живёт сессия, и объясни SHA-256 токена против Argon2id пароля.
|
||||
- Покажи, почему чужой чат даёт 404 даже при правильном Bearer.
|
||||
- Измени временно pool=1 на отдельном учебном запуске; предскажи, что изменится в очередях.
|
||||
- Предскажи поведение после рестарта API, Valkey, PostgreSQL и всего host отдельно.
|
||||
- Объясни разницу между успешными RPS, числом попыток, latency и recovery time.
|
||||
- Покажи одну строку raw исследования и самостоятельно вычисли error_fraction и RPS.
|
||||
- Объясни, почему rolling_action_seconds не является временем отсутствия обслуживания: запись выполняется и во время замены.
|
||||
|
||||
Готовность к защите: можешь пройти путь запроса без чтения и показать соответствующий SQL, объяснить отрицательные сценарии и границы измерений. Если остаётся только выученный термин — вернись к конкретному примеру.
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [HAProxy 3.2: configuration, resolvers, server checks](https://docs.haproxy.org/3.2/configuration.html)
|
||||
- [PostgreSQL 17: explicit and advisory locks](https://www.postgresql.org/docs/17/explicit-locking.html)
|
||||
- [PostgreSQL 17: transaction isolation](https://www.postgresql.org/docs/17/transaction-iso.html)
|
||||
- [Docker Compose services](https://docs.docker.com/reference/compose-file/services/)
|
||||
+22
@@ -0,0 +1,22 @@
|
||||
FROM golang:1.24.4-alpine3.22 AS build
|
||||
WORKDIR /src
|
||||
COPY go.mod go.sum ./
|
||||
RUN go mod download
|
||||
COPY cmd/ ./cmd/
|
||||
COPY internal/ ./internal/
|
||||
RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
|
||||
FROM build AS tests
|
||||
RUN apk add --no-cache gcc musl-dev
|
||||
ENV CGO_ENABLED=1
|
||||
CMD ["go", "test", "-race", "-count=1", "-v", "./..."]
|
||||
|
||||
FROM alpine:3.22.1
|
||||
RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
USER 10001:10001
|
||||
ENV APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab
|
||||
EXPOSE 8080
|
||||
HEALTHCHECK --interval=5s --timeout=4s --start-period=3s --retries=3 CMD ["/usr/local/bin/messenger", "healthcheck"]
|
||||
STOPSIGNAL SIGTERM
|
||||
ENTRYPOINT ["/usr/local/bin/messenger"]
|
||||
@@ -0,0 +1,7 @@
|
||||
# ЛР 3 — БВТ 2303 — Крайкин — на 5
|
||||
|
||||
Два и более Go API работают за HAProxy с общими PostgreSQL-сессиями и транзакционной идемпотентностью сообщений. Повтор через другую реплику возвращает исходный Message, одновременные повторы не создают дубль; несовпадающий body даёт 409. Отдельная migration job, Docker DNS/readiness и graceful shutdown обеспечивают запуск и поочерёдную замену API.
|
||||
|
||||
Цель:5, трек 1 (цена масштабирования). Измерены 1/2/4 API при фиксированном/растущем CPU/RAM, p50/p95/p99, ошибки, cgroups, PG waits и улучшение pool1→10. Есть raw JSON/CSV и график.
|
||||
|
||||
Проверки: make check/test/test-race, parallel idempotency, полный persistence, отказ каждого API и rolling под записью, чистый clone. Команды/результаты/ограничения — REPORT.md и evidence/. Учебный стенд не заявляет HA PostgreSQL/LB/host. Контракт и публичные тесты не изменены. Исходная база — собственная ЛР 2; помощь Codex раскрыта в отчёте. Материалы защиты и Postman приложены.
|
||||
@@ -1,5 +1,5 @@
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= http://localhost:8080
|
||||
BASE_URL ?= http://localhost:8083
|
||||
CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
@@ -28,3 +28,24 @@ test-persistence:
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
.PHONY: bootstrap up down test-student experiment
|
||||
bootstrap:
|
||||
$(PYTHON) scripts/bootstrap.py
|
||||
up: bootstrap
|
||||
docker compose --env-file .env up -d --build --wait
|
||||
down:
|
||||
docker compose --env-file .env down
|
||||
test-student:
|
||||
go test -race -count=1 ./...
|
||||
$(PYTHON) student-tests/integration.py --base-url "$(BASE_URL)"
|
||||
experiment:
|
||||
$(PYTHON) student-tests/scaling.py
|
||||
|
||||
test-race:
|
||||
docker compose --profile verify run --build --rm tests
|
||||
|
||||
clean-clone:
|
||||
$(PYTHON) student-tests/clean_clone.py
|
||||
snapshot:
|
||||
$(PYTHON) student-tests/snapshot.py
|
||||
|
||||
@@ -0,0 +1,41 @@
|
||||
# Запуск и демонстрация ЛР 3
|
||||
|
||||
Docker Desktop должен работать. Нужны Compose v2 с `--wait`, Python 3.9+ и make. Go 1.24+ нужен только для локальных Go-тестов и исследования; обычное приложение собирается в Docker.
|
||||
|
||||
```sh
|
||||
cd /Users/glebkraykin/Projects/highload-apps-labs/lab3
|
||||
make up
|
||||
curl http://localhost:8083/health/ready
|
||||
make test
|
||||
python3 student-tests/integration.py --base-url http://localhost:8083
|
||||
```
|
||||
|
||||
`make up` сам создаёт `.env` и secrets, запускает PostgreSQL/Valkey, одноразовые migrations, два API и HAProxy. Единственный внешний порт — 127.0.0.1:8083. Для другого host port измени APP_PORT в .env и передай BASE_URL всем тестам и Postman.
|
||||
|
||||
```sh
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
# failover оставляет одну реплику выключенной; вернуть обе:
|
||||
docker compose up -d --wait
|
||||
python3 student-tests/operations.py
|
||||
make test-race
|
||||
make experiment
|
||||
# Для графика отдельно:
|
||||
python3 -m venv .venv-research
|
||||
.venv-research/bin/pip install -r requirements-research.txt
|
||||
.venv-research/bin/python student-tests/plot_scaling.py
|
||||
```
|
||||
|
||||
`operations.py` останавливает обе реплики по очереди и заменяет контейнеры под записью; подтверждённые сообщения проверяет по истории. `experiment` меняет число/ресурсы API, создаёт синтетические данные, по завершении возвращает две реплики. Не запускай эти два сценария одновременно.
|
||||
|
||||
```sh
|
||||
docker compose ps
|
||||
docker compose logs --tail 20 api
|
||||
make down
|
||||
```
|
||||
|
||||
`down` сохраняет PostgreSQL volume. Не добавляй `-v`, если данные нужны. Секреты и .env не коммитятся. Смена файла пароля после инициализации PostgreSQL не меняет пароль уже созданной роли.
|
||||
|
||||
Для демонстрации в Postman импортируй `postman/lab3.postman_collection.json`, запусти коллекцию. Она создаёт синтетические данные и сохраняет переменные автоматически. Ожидаемые 400/401/404/409 — проверки правильного отказа.
|
||||
|
||||
Перед защитой: `DEFENSE.md`, затем `evidence/scaling-summary.md`. Отчёт о выполненных критериях — `REPORT.md`.
|
||||
@@ -1,37 +1,102 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор: **Крайкин Глеб Алексеевич, БВТ 2303**.
|
||||
- Целевая оценка: **5**, трек 1 — цена масштабирования.
|
||||
- Исходный skeleton: `0ab3a341aa7ba32363ce43061d4ff02b1f2964af`.
|
||||
- Ветка: `solution/bvt2303-kraykin`; commit: `git rev-parse HEAD`.
|
||||
- Проверки: 29.10.2026, локальный Docker Desktop Linux/arm64 на macOS arm64. Точное окружение и ресурсы — `evidence/scaling.json`/`evidence/runtime.json`.
|
||||
- Перенесено собственное решение ЛР 2: Go HTTP API, Argon2id, PostgreSQL/pgx, Valkey cache-aside профиля, Bearer sessions, ACL, HMAC cursors, keyset history, миграции 001. Исходный commit ЛР 2: `1d21d8e`.
|
||||
- README/COURSE/CONTRIBUTING, обязательные contracts и публичные tests текущей работы не изменялись. Собственные проверки — `student-tests/` и Go tests.
|
||||
- ИИ: Codex помог с проектированием, кодом, тестами, измерениями и подготовкой к защите. Преподавательский skeleton и сторонние библиотеки перечислены ниже; чужие студенческие решения не переносились.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Воспроизводимый запуск
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Docker Desktop/Linux daemon, Docker Compose v2 с --wait, Python 3.9+, make. Локальный Go 1.24+ нужен для исследования и host Go tests; `make test-race` собирает тесты внутри Docker с настоящей БД.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
make up
|
||||
make check
|
||||
make test
|
||||
python3 student-tests/integration.py --base-url http://localhost:8083
|
||||
make test-race
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose up -d --wait
|
||||
python3 student-tests/operations.py
|
||||
make experiment
|
||||
python3 -m venv .venv-research
|
||||
.venv-research/bin/pip install -r requirements-research.txt
|
||||
.venv-research/bin/python student-tests/plot_scaling.py
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
`make up` генерирует `.env`/secrets один раз, поднимает PostgreSQL/Valkey, запускает отдельную migration job до API, затем два API и HAProxy. Локальные секреты не печатаются и не попадают в Git/build context. Порт host по умолчанию 8083, внутренний API 8080. Только `127.0.0.1:8083` публикуется наружу; у API/БД/кэша host ports нет. Курсорный ключ и БД общие для API.
|
||||
|
||||
## Доказательства критериев
|
||||
Образы: Go **1.24.4-alpine3.22** build; Alpine **3.22.1** runtime; PostgreSQL **17.6-alpine**; Valkey **8.1.3-alpine**; HAProxy **3.2.6-alpine**. Runtime non-root UID 10001, приложение PID 1. Зависимости закреплены в go.mod/go.sum (pgx 5.7.6, go-redis 9.12.1, x/crypto 0.41.0). Фактические image IDs, user, ресурсы и StartedAt записаны отдельно. API по умолчанию 1 CPU/256 MiB каждый, PostgreSQL 2 CPU/512 MiB, Valkey 0.5 CPU/128 MiB, LB 1 CPU/128 MiB; исследование переопределяет API-лимиты явно.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
`.env.example` оставлен преподавательским. Реальные переменные: APP_PORT управляет host-портом; SESSION_TTL_SECONDS передаётся API; DATABASE_URL_FILE/CACHE_URL_FILE/CURSOR_KEY_FILE читают secrets; API_REPLICAS (1–4 для текущего HAProxy), API_CPUS/API_MEMORY, DB_POOL_MAX (1–64) и POOL_DIAGNOSTICS управляют стендом/исследованием. SESSION_STORE фиксирован PostgreSQL. Идемпотентность использует фиксированное контрактом окно 24 h, поэтому IDEMPOTENCY_TTL_SECONDS не является runtime-переключателем.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
```sh
|
||||
make down
|
||||
make up
|
||||
# Только для намеренного удаления ненужных учебных данных:
|
||||
# docker compose down -v
|
||||
```
|
||||
|
||||
## Эксперименты и отказы
|
||||
Обычные проверки не удаляют рабочие volumes. Clean-clone тест удаляет только собственный уникальный disposable project. Secrets bootstrap не изменяет уже созданные credentials; замена файла пароля не меняет роль в существующем PostgreSQL volume.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Migration job получает только database_url. Команды CLI завершают нужный путь до чтения остальных секретов.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
## Архитектура и корректность
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
Клиент → HAProxy → API ×2 → общая PostgreSQL; Valkey — только неизменяемые User profiles с TTL 300. Источник сессий и бизнес-данных PostgreSQL; API не хранит требуемое состояние локально. Профиль не заменяет SQL-проверку сессии, история не кэшируется. Read-after-write через любую API идёт в тот же primary.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Миграции запускаются отдельным сервисом migrate до API, а не всеми API одновременно. Ledger/checksum и advisory lock дополнительно защищают повторный запуск. Первая миграция ЛР 2 сохранена; 002 добавляет `message_requests`, полный составной PK user/chat/key и expiry index.
|
||||
|
||||
Операция сообщения: аутентификация/ACL → строгая валидация → BEGIN → advisory xact lock по полному scope → проверка действующего результата → UPDATE времени чата → INSERT message → INSERT/replace expired idempotency result → COMMIT → 201. Другой body при прежнем ключе →409. Сохранённый JSON содержит исходный id/created_at; повтор возвращает те же бизнес-поля. Транзиентные 5xx не записываются как итог. Сообщение и результат фиксируются атомарно. Expiry от часов БД, не продлевается повтором. Новый запрос снова проверяет сессию/доступ, включая replay.
|
||||
|
||||
Монотонное время истории сериализует писателей одного чата row lock: `GREATEST(clock_timestamp(),last_message_at+1µs)`. Это сознательное ограничение горячего чата. Курсор HMAC со стабильным общим ключом и `(created_at,id)` сохраняет порядок/область. Полной snapshot-изоляции между страницами нет.
|
||||
|
||||
HAProxy: round-robin, без sticky; Docker DNS resolvers с valid/obsolete 1 s и server-template до 4 адресов. Ready probe раз в 1 s, fall=2/rise=1, timeout check 800 ms, connect 500 ms. Оценка обнаружения отказа порядка 2–3 s, фактический recovery измерен. LB не делает прозрачный retry POST (`retries 0`). HTTP request budget 3 s, SQL statement timeout 2 s/lock timeout 1 s, pool default10/API. Valkey budgets сохранены из ЛР 2; отсутствие кэша допускается, отсутствие БД —503/ready503.
|
||||
|
||||
SIGTERM: Stop-флаг исключает новые операции, Shutdown даёт 5 s, Compose grace 8 s. Воспроизводимые скрипты остановки сопоставляют `X-Instance-Id` с настоящим Config.Hostname контейнера. Rolling последовательно заменяет контейнеры и ждёт готовности; migrations только добавочные, произвольные несовместимые schema changes требуют expand/contract отдельно.
|
||||
|
||||
## Все критерии и доказательства
|
||||
|
||||
| Критерий | Команда/наблюдение | Доказательство |
|
||||
|---|---|---|
|
||||
| Контракт/skeleton сохранены | make check; git diff по README/COURSE/contracts/tests пуст | check.txt, Git |
|
||||
| Прежний API + Basic/Bearer/ACL/history | make test | smoke.txt |
|
||||
| ≥2 реальных API, общий вход и session | 24 конкурентных повтора с прежним Bearer через LB, ≥2 alias | integration.json, runtime.json |
|
||||
| Общая идемпотентность/409/scope/logout | 24 requests → 1 id; разные user/chat независимы; revoked replay401 | integration.json |
|
||||
| Конкуренция с race detector и реальной БД | 100 writes + 12 repeats одного ключа →101 messages | race-final.txt |
|
||||
| Перезапуск API+PG+Valkey, same token/data | public persistence + started-at snapshots | persistence.txt, persistence-processes.json |
|
||||
| Failover ≤10 s, confirmed сохранены | публичный сценарий, повтор неопределённого POST прежним key | failover-public.txt |
|
||||
| Остановка каждого API по очереди | inspect + 2 отказа с restore | operations.json |
|
||||
| Health/timeouts/grace/DNS | конфигурация + наблюдаемый recovery | compose.yaml, haproxy.cfg, operations.json |
|
||||
| CPU/RAM и отсутствие портов API/container_name | фактический inspect и Compose | runtime.json |
|
||||
| Поочерёдная замена под записью | новые контейнеры/alias, все подтверждённые сообщения читаются | operations.json, operations.txt |
|
||||
| Отдельные согласованные migrations | migrate exit0 до запуска API, ledger checksums | startup-final.txt, код |
|
||||
| Трек 5: fixed/growing 1/2/4 | одинаковый профиль, RPS/errors/p50/95/99, cgroups, PG waits | scaling.json, scaling-summary.md, scaling.png |
|
||||
| Подтверждённое улучшение | pool=1 vs10, 3 повтора, pool wait diagnostics | scaling.json, scaling-summary.md |
|
||||
| Чистый clone без соседних labs/готовой БД | новый project/secrets/volumes, smoke/persistence | clean-clone.txt |
|
||||
|
||||
## Исследование и отказы
|
||||
|
||||
Гипотеза/методика/все результаты: `evidence/scaling-summary.md`. Выводы: `evidence/scaling-conclusions.md`. При growing64 throughput1/2/4 API: 1612.0/3735.5/3624.7 RPS; PostgreSQL достигает CPU/WAL/lock saturation. Pool1→10: 2134.6→3845.3 RPS (+80.1%). Raw JSON сохраняет каждый прогон, concurrency, ресурсы, ошибки, percentiles, наблюдаемые API, CPU/RAM/throttling и samples pg_stat_activity. График строится `student-tests/plot_scaling.py` без ручной правки данных.
|
||||
|
||||
Публичный первый failover: 127 successful writes, 2 failed attempts, first recovery 0.22 s. Отдельно остановлены оба настоящих процесса: 1.247/0.731 s, 3 ошибки на каждый сценарий, подтверждённые записи сохранены. Rolling: 576 успешных записей, 3 ошибки, вся история сохранена; длительность действия 15.858 s **не равна** длительности отсутствия обслуживания — запросы выполнялись во время действия. Ограниченный probe с паузой 20 ms не измеряет максимальную capacity.
|
||||
|
||||
Публичный persistence сохраняет прежний токен и данные; дополнительный snapshot проверяет фактический restart контейнеров. Время жизни сессии не сбрасывается. Ошибки переходного периода допустимы и учитываются; нулевая потеря подтверждённых сообщений проверена по идентификаторам.
|
||||
|
||||
## Границы решения
|
||||
|
||||
Один PostgreSQL primary, один LB, один Docker-host; нет HA/failover этих узлов. Процессный failover не является узловым. Локальный HTTP разрешён только для учебных синтетических данных; удалённый показ требует TLS. Нет automatic schema rollback, PITR и очистки expired sessions/message_requests. DB bootstrap role учебная superuser; следующий шаг — migration owner/runtime roles. CPU-сравнение зависит от host/профиля; нет универсального проходного RPS.
|
||||
|
||||
Материал защиты: `DEFENSE.md`; быстрые команды: `QUICKSTART.md`; Postman: `postman/`.
|
||||
|
||||
## Источники
|
||||
|
||||
- [HAProxy 3.2 configuration](https://docs.haproxy.org/3.2/configuration.html)
|
||||
- [PostgreSQL 17 locks](https://www.postgresql.org/docs/17/explicit-locking.html)
|
||||
- [Docker Compose services](https://docs.docker.com/reference/compose-file/services/)
|
||||
- [pgx pool statistics](https://pkg.go.dev/github.com/jackc/pgx/v5/pgxpool)
|
||||
|
||||
@@ -0,0 +1,93 @@
|
||||
// bench is a closed-loop HTTP write generator with reusable connections.
|
||||
// Credentials arrive only on stdin and never appear in output.
|
||||
package main
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"encoding/json"
|
||||
"flag"
|
||||
"fmt"
|
||||
"io"
|
||||
"net/http"
|
||||
"os"
|
||||
"sort"
|
||||
"sync"
|
||||
"time"
|
||||
)
|
||||
|
||||
func main() {
|
||||
base := flag.String("base", "http://localhost:8083", "")
|
||||
duration := flag.Duration("duration", 5*time.Second, "")
|
||||
concurrency := flag.Int("concurrency", 16, "")
|
||||
flag.Parse()
|
||||
var fixture struct {
|
||||
Token string `json:"token"`
|
||||
Chats []string `json:"chats"`
|
||||
}
|
||||
if json.NewDecoder(os.Stdin).Decode(&fixture) != nil || len(fixture.Chats) == 0 {
|
||||
panic("invalid fixture")
|
||||
}
|
||||
transport := &http.Transport{MaxIdleConns: 256, MaxIdleConnsPerHost: 256, MaxConnsPerHost: 256}
|
||||
client := &http.Client{Transport: transport, Timeout: 4 * time.Second}
|
||||
prefix := fmt.Sprint(time.Now().UnixNano())
|
||||
start := time.Now()
|
||||
deadline := start.Add(*duration)
|
||||
var wg sync.WaitGroup
|
||||
var mu sync.Mutex
|
||||
all := []float64{}
|
||||
errors := map[int]int{}
|
||||
instances := map[string]int{}
|
||||
for worker := 0; worker < *concurrency; worker++ {
|
||||
wg.Add(1)
|
||||
go func(worker int) {
|
||||
defer wg.Done()
|
||||
latencies := []float64{}
|
||||
bad := map[int]int{}
|
||||
observed := map[string]int{}
|
||||
for n := 0; time.Now().Before(deadline); n++ {
|
||||
chat := fixture.Chats[(worker+n)%len(fixture.Chats)]
|
||||
req, _ := http.NewRequest("POST", *base+"/api/v1/chats/"+chat+"/messages", bytes.NewBufferString(`{"text":"`+prefix+` fixed payload 012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789"}`))
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
req.Header.Set("Authorization", "Bearer "+fixture.Token)
|
||||
req.Header.Set("Idempotency-Key", fmt.Sprintf("%s-%d-%d", prefix, worker, n))
|
||||
t := time.Now()
|
||||
res, e := client.Do(req)
|
||||
if e != nil {
|
||||
bad[0]++
|
||||
continue
|
||||
}
|
||||
_, e = io.Copy(io.Discard, res.Body)
|
||||
res.Body.Close()
|
||||
if res.StatusCode == 201 && e == nil {
|
||||
latencies = append(latencies, float64(time.Since(t).Microseconds())/1000)
|
||||
observed[res.Header.Get("X-Instance-Id")]++
|
||||
} else {
|
||||
bad[res.StatusCode]++
|
||||
}
|
||||
}
|
||||
mu.Lock()
|
||||
all = append(all, latencies...)
|
||||
for k, v := range bad {
|
||||
errors[k] += v
|
||||
}
|
||||
for k, v := range observed {
|
||||
instances[k] += v
|
||||
}
|
||||
mu.Unlock()
|
||||
}(worker)
|
||||
}
|
||||
wg.Wait()
|
||||
elapsed := time.Since(start).Seconds()
|
||||
sort.Float64s(all)
|
||||
p := func(q float64) float64 {
|
||||
if len(all) == 0 {
|
||||
return 0
|
||||
}
|
||||
return all[int(float64(len(all)-1)*q)]
|
||||
}
|
||||
failed := 0
|
||||
for _, v := range errors {
|
||||
failed += v
|
||||
}
|
||||
json.NewEncoder(os.Stdout).Encode(map[string]any{"duration_seconds": elapsed, "concurrency": *concurrency, "successful_requests": len(all), "successful_rps": float64(len(all)) / elapsed, "failed_requests": failed, "error_fraction": float64(failed) / float64(len(all)+failed), "errors_by_status": errors, "p50_ms": p(.5), "p95_ms": p(.95), "p99_ms": p(.99), "instances": instances, "latency_scope": "successful responses only; closed loop"})
|
||||
}
|
||||
@@ -0,0 +1,154 @@
|
||||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/base64"
|
||||
"errors"
|
||||
"fmt"
|
||||
"github.com/redis/go-redis/v9"
|
||||
"log/slog"
|
||||
"mtusi/messenger/internal/database"
|
||||
"mtusi/messenger/internal/messenger"
|
||||
"net"
|
||||
"net/http"
|
||||
"os"
|
||||
"os/signal"
|
||||
"strconv"
|
||||
"strings"
|
||||
"syscall"
|
||||
"time"
|
||||
)
|
||||
|
||||
func env(key, fallback string) string {
|
||||
if v := os.Getenv(key); v != "" {
|
||||
return v
|
||||
}
|
||||
return fallback
|
||||
}
|
||||
func main() {
|
||||
if err := run(); err != nil {
|
||||
slog.Error("server failed", "error", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
}
|
||||
func run() error {
|
||||
host := env("APP_HOST", "0.0.0.0")
|
||||
port := env("APP_PORT", "8080")
|
||||
p, err := strconv.Atoi(port)
|
||||
if err != nil || p < 1 || p > 65535 {
|
||||
return fmt.Errorf("invalid APP_PORT")
|
||||
}
|
||||
if len(os.Args) == 2 && os.Args[1] == "healthcheck" {
|
||||
c := http.Client{Timeout: time.Second}
|
||||
r, e := c.Get("http://127.0.0.1:" + port + "/health/ready")
|
||||
if e != nil {
|
||||
return e
|
||||
}
|
||||
defer r.Body.Close()
|
||||
if r.StatusCode != 200 {
|
||||
return fmt.Errorf("not ready: %d", r.StatusCode)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
log := slog.New(slog.NewJSONHandler(os.Stdout, nil))
|
||||
ttl, err := strconv.Atoi(env("SESSION_TTL_SECONDS", "3600"))
|
||||
if err != nil || ttl < 1 || ttl > 86400 {
|
||||
return fmt.Errorf("SESSION_TTL_SECONDS must be 1..86400")
|
||||
}
|
||||
databaseURL, err := secret("DATABASE_URL_FILE")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
startup, cancel := context.WithTimeout(context.Background(), 15*time.Second)
|
||||
defer cancel()
|
||||
pool, err := database.Open(startup, databaseURL)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer pool.Close()
|
||||
if len(os.Args) == 2 && os.Args[1] == "migrate" {
|
||||
return database.Migrate(startup, pool)
|
||||
}
|
||||
cacheURL, err := secret("CACHE_URL_FILE")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
cursorKey, err := secret("CURSOR_KEY_FILE")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
key, err := base64.RawURLEncoding.DecodeString(cursorKey)
|
||||
if err != nil || len(key) != 32 {
|
||||
return fmt.Errorf("invalid cursor key")
|
||||
}
|
||||
opts, err := redis.ParseURL(cacheURL)
|
||||
if err != nil {
|
||||
return fmt.Errorf("invalid cache configuration")
|
||||
}
|
||||
opts.DialTimeout = 60 * time.Millisecond
|
||||
opts.ReadTimeout = 60 * time.Millisecond
|
||||
opts.WriteTimeout = 60 * time.Millisecond
|
||||
opts.PoolTimeout = 60 * time.Millisecond
|
||||
opts.ContextTimeoutEnabled = true
|
||||
opts.MaxRetries = -1
|
||||
opts.PoolSize = 10
|
||||
cache := redis.NewClient(opts)
|
||||
defer cache.Close()
|
||||
api := messenger.New(pool, cache, key, ttl, log)
|
||||
srv := &http.Server{Addr: net.JoinHostPort(host, port), Handler: api, ReadHeaderTimeout: 3 * time.Second, ReadTimeout: 5 * time.Second, WriteTimeout: 10 * time.Second, IdleTimeout: 30 * time.Second, MaxHeaderBytes: 16 << 10}
|
||||
ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGINT, syscall.SIGTERM)
|
||||
defer stop()
|
||||
if os.Getenv("POOL_DIAGNOSTICS") == "1" {
|
||||
go func() {
|
||||
ticker := time.NewTicker(time.Second)
|
||||
defer ticker.Stop()
|
||||
for {
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return
|
||||
case <-ticker.C:
|
||||
stat := pool.Stat()
|
||||
log.Info("pool", "instance", os.Getenv("HOSTNAME"), "acquires", stat.AcquireCount(), "empty_acquires", stat.EmptyAcquireCount(), "wait_ns", stat.EmptyAcquireWaitTime().Nanoseconds(), "in_use", stat.AcquiredConns(), "max", stat.MaxConns())
|
||||
}
|
||||
}
|
||||
}()
|
||||
}
|
||||
done := make(chan error, 1)
|
||||
go func() {
|
||||
log.Info("listening", "address", srv.Addr, "session_store", "postgres", "profile_cache", "valkey", "environment", env("APP_ENV", "lab"))
|
||||
done <- srv.ListenAndServe()
|
||||
}()
|
||||
select {
|
||||
case err := <-done:
|
||||
return err
|
||||
case <-ctx.Done():
|
||||
}
|
||||
start := time.Now()
|
||||
api.Stop()
|
||||
log.Info("shutdown started")
|
||||
shutdown, cancel := context.WithTimeout(context.Background(), 5*time.Second)
|
||||
defer cancel()
|
||||
if err := srv.Shutdown(shutdown); err != nil {
|
||||
_ = srv.Close()
|
||||
return err
|
||||
}
|
||||
err = <-done
|
||||
if !errors.Is(err, http.ErrServerClosed) {
|
||||
return err
|
||||
}
|
||||
log.Info("shutdown completed", "duration_ms", time.Since(start).Milliseconds())
|
||||
return nil
|
||||
}
|
||||
|
||||
func secret(name string) (string, error) {
|
||||
path := os.Getenv(name)
|
||||
if path == "" {
|
||||
return "", fmt.Errorf("missing %s", name)
|
||||
}
|
||||
raw, err := os.ReadFile(path)
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("cannot read %s", name)
|
||||
}
|
||||
return strings.TrimSpace(string(raw)), nil
|
||||
}
|
||||
@@ -0,0 +1,87 @@
|
||||
name: mtusi-lab3-kraykin
|
||||
x-api: &api
|
||||
image: mtusi-messenger:lab3
|
||||
build: .
|
||||
environment: &api-env
|
||||
APP_PORT: 8080
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_KEY_FILE: /run/secrets/cursor_key
|
||||
POOL_DIAGNOSTICS: ${POOL_DIAGNOSTICS:-0}
|
||||
DB_POOL_MAX: ${DB_POOL_MAX:-10}
|
||||
secrets: [database_url, cache_url, cursor_key]
|
||||
cpus: ${API_CPUS:-1}
|
||||
mem_limit: ${API_MEMORY:-256m}
|
||||
stop_grace_period: 8s
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:17.6-alpine
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes: [postgres_data:/var/lib/postgresql/data]
|
||||
cpus: 2
|
||||
mem_limit: 512m
|
||||
shm_size: 128m
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
|
||||
interval: 1s
|
||||
timeout: 2s
|
||||
retries: 30
|
||||
valkey:
|
||||
image: valkey/valkey:8.1.3-alpine
|
||||
command: [valkey-server, /run/secrets/valkey_config]
|
||||
secrets: [valkey_config]
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
migrate:
|
||||
<<: *api
|
||||
secrets: [database_url]
|
||||
command: [migrate]
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
restart: 'no'
|
||||
api:
|
||||
<<: *api
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
valkey: {condition: service_started}
|
||||
tests:
|
||||
image: mtusi-messenger-tests:lab3
|
||||
cpus: 2
|
||||
mem_limit: 1024m
|
||||
profiles: [verify]
|
||||
build:
|
||||
context: .
|
||||
target: tests
|
||||
environment:
|
||||
DATABASE_TEST_URL_FILE: /run/secrets/database_url
|
||||
secrets: [database_url]
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
lb:
|
||||
image: haproxy:3.2.6-alpine
|
||||
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
|
||||
ports: ['127.0.0.1:${APP_PORT:-8083}:8080']
|
||||
cpus: 1
|
||||
mem_limit: 128m
|
||||
depends_on:
|
||||
api: {condition: service_healthy}
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, 'wget -q -O /dev/null http://127.0.0.1:8080/health/ready']
|
||||
interval: 2s
|
||||
timeout: 4s
|
||||
retries: 20
|
||||
secrets:
|
||||
postgres_password: {file: ./secrets/postgres_password}
|
||||
database_url: {file: ./secrets/database_url}
|
||||
valkey_config: {file: ./secrets/valkey_config}
|
||||
cache_url: {file: ./secrets/cache_url}
|
||||
cursor_key: {file: ./secrets/cursor_key}
|
||||
volumes:
|
||||
postgres_data:
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,227 @@
|
||||
Cloning into '/var/folders/hx/czbzpyk92ds_mnf7n9xrzn_80000gn/T/verify-lab3-3d1cfe9e4b-ko8mbln1/repo'...
|
||||
done.
|
||||
python3 scripts/bootstrap.py
|
||||
Local secrets ready (values hidden); .env and secrets/ are ignored by Git.
|
||||
docker compose --env-file .env up -d --build --wait
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [migrate internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 782B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 ...
|
||||
|
||||
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
|
||||
#3 DONE 1.8s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 2.4s
|
||||
|
||||
#4 [migrate internal] load .dockerignore
|
||||
#4 transferring context: 196B done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
|
||||
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [migrate internal] load build context
|
||||
#7 transferring context: 43.68kB done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [migrate build 2/7] WORKDIR /src
|
||||
#8 CACHED
|
||||
|
||||
#9 [migrate build 3/7] COPY go.mod go.sum ./
|
||||
#9 CACHED
|
||||
|
||||
#10 [migrate build 4/7] RUN go mod download
|
||||
#10 CACHED
|
||||
|
||||
#11 [migrate build 5/7] COPY cmd/ ./cmd/
|
||||
#11 DONE 0.0s
|
||||
|
||||
#12 [migrate build 6/7] COPY internal/ ./internal/
|
||||
#12 DONE 0.0s
|
||||
|
||||
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#13 DONE 7.0s
|
||||
|
||||
#14 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
#14 CACHED
|
||||
|
||||
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
#15 DONE 0.0s
|
||||
|
||||
#16 [migrate] exporting to image
|
||||
#16 exporting layers
|
||||
#16 exporting layers 0.2s done
|
||||
#16 exporting manifest sha256:f7380d7051363acd4702899a1e8ad175aa53c078154b17c62c5e59cee97a644b done
|
||||
#16 exporting config sha256:3daf5ec7aaf6178dac55bd97878eef02f864f3479df3dbc8833ecb7235f8279d done
|
||||
#16 exporting attestation manifest sha256:d71e230f86da2e96399dbb58073dfcf23033e5c12f0c141f29d5c4e0ec279344 done
|
||||
#16 exporting manifest list sha256:21f40481448ca2c9f161a35b73b8060e44c39cdde6c4db710c5c75f4b961d054 done
|
||||
#16 naming to docker.io/library/mtusi-messenger:lab3 done
|
||||
#16 unpacking to docker.io/library/mtusi-messenger:lab3 0.0s done
|
||||
#16 DONE 0.3s
|
||||
|
||||
#17 [migrate] resolving provenance for metadata file
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [api internal] load build definition from Dockerfile
|
||||
#18 transferring dockerfile: 782B done
|
||||
#18 DONE 0.0s
|
||||
|
||||
#2 [api internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 ...
|
||||
|
||||
#3 [api internal] load metadata for docker.io/library/alpine:3.22.1
|
||||
#3 DONE 2.0s
|
||||
|
||||
#5 [api stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
|
||||
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [api build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#14 [api stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
#14 CACHED
|
||||
|
||||
#2 [api internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 2.7s
|
||||
|
||||
#19 [api internal] load .dockerignore
|
||||
#19 transferring context: 196B done
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 [api internal] load build context
|
||||
#20 transferring context: 752B done
|
||||
#20 DONE 0.0s
|
||||
|
||||
#21 [api build 6/7] COPY internal/ ./internal/
|
||||
#21 CACHED
|
||||
|
||||
#22 [api build 4/7] RUN go mod download
|
||||
#22 CACHED
|
||||
|
||||
#23 [api build 5/7] COPY cmd/ ./cmd/
|
||||
#23 CACHED
|
||||
|
||||
#24 [api build 3/7] COPY go.mod go.sum ./
|
||||
#24 CACHED
|
||||
|
||||
#25 [api build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#25 CACHED
|
||||
|
||||
#8 [api build 2/7] WORKDIR /src
|
||||
#8 CACHED
|
||||
|
||||
#26 [api stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
#26 CACHED
|
||||
|
||||
#27 [api] exporting to image
|
||||
#27 exporting layers done
|
||||
#27 exporting manifest sha256:3ac7943022d61d9ba1c93be355cc6f7a1b4c95f010f9714a46b828746050c472 done
|
||||
#27 exporting config sha256:66fa0f8621d48563a19f968e462bf1df4ef2d9342a96fa5a6dbadf968342ff3d done
|
||||
#27 exporting attestation manifest sha256:917da5c859cd99031f83bf873695fc268beeea6a8911aa8041eb72e586dec04a 0.0s done
|
||||
#27 exporting manifest list sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5 0.0s done
|
||||
#27 naming to docker.io/library/mtusi-messenger:lab3 done
|
||||
#27 unpacking to docker.io/library/mtusi-messenger:lab3 done
|
||||
#27 DONE 0.1s
|
||||
|
||||
#28 [api] resolving provenance for metadata file
|
||||
#28 DONE 0.0s
|
||||
api Built
|
||||
migrate Built
|
||||
Network verify-lab3-3d1cfe9e4b_default Creating
|
||||
Network verify-lab3-3d1cfe9e4b_default Created
|
||||
Volume "verify-lab3-3d1cfe9e4b_postgres_data" Creating
|
||||
Volume "verify-lab3-3d1cfe9e4b_postgres_data" Created
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Creating
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Creating
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Created
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Created
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Creating
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Created
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Creating
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Creating
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Created
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Created
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Creating
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Created
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Starting
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Starting
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Started
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Started
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Starting
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Started
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Exited
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Starting
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Started
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Starting
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Started
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Starting
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Started
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Waiting
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Exited
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Healthy
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Healthy
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
python3 tests/smoke.py --base-url "http://localhost:49829"
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:49829"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Stopping
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Stopped
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Removing
|
||||
Container verify-lab3-3d1cfe9e4b-lb-1 Removed
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Stopping
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Stopping
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Stopped
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Removing
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Stopped
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Removing
|
||||
Container verify-lab3-3d1cfe9e4b-api-1 Removed
|
||||
Container verify-lab3-3d1cfe9e4b-api-2 Removed
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Stopping
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Stopping
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Stopped
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Removing
|
||||
Container verify-lab3-3d1cfe9e4b-migrate-1 Removed
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Stopping
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Stopped
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Removing
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Stopped
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Removing
|
||||
Container verify-lab3-3d1cfe9e4b-valkey-1 Removed
|
||||
Container verify-lab3-3d1cfe9e4b-postgres-1 Removed
|
||||
Network verify-lab3-3d1cfe9e4b_default Removing
|
||||
Volume verify-lab3-3d1cfe9e4b_postgres_data Removing
|
||||
Volume verify-lab3-3d1cfe9e4b_postgres_data Removed
|
||||
Network verify-lab3-3d1cfe9e4b_default Removed
|
||||
PASS: real clean clone, fresh secrets/volumes, smoke, same-session persistence, actual store/API restart, non-root PID1
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8083"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 127, "failed_attempts": 2, "first_recovery_seconds": 0.22}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,35 @@
|
||||
Container mtusi-lab3-kraykin-postgres-1 Running
|
||||
Container mtusi-lab3-kraykin-valkey-1 Running
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreate
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreated
|
||||
Container mtusi-lab3-kraykin-api-5 Recreate
|
||||
Container mtusi-lab3-kraykin-api-4 Recreate
|
||||
Container mtusi-lab3-kraykin-api-4 Recreated
|
||||
Container mtusi-lab3-kraykin-api-5 Recreated
|
||||
Container mtusi-lab3-kraykin-lb-1 Running
|
||||
Container mtusi-lab3-kraykin-postgres-1 Waiting
|
||||
Container mtusi-lab3-kraykin-postgres-1 Healthy
|
||||
Container mtusi-lab3-kraykin-migrate-1 Starting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Started
|
||||
Container mtusi-lab3-kraykin-migrate-1 Waiting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Exited
|
||||
Container mtusi-lab3-kraykin-api-5 Starting
|
||||
Container mtusi-lab3-kraykin-api-5 Started
|
||||
Container mtusi-lab3-kraykin-api-4 Starting
|
||||
Container mtusi-lab3-kraykin-api-4 Started
|
||||
Container mtusi-lab3-kraykin-api-5 Waiting
|
||||
Container mtusi-lab3-kraykin-api-4 Waiting
|
||||
Container mtusi-lab3-kraykin-api-5 Healthy
|
||||
Container mtusi-lab3-kraykin-api-4 Healthy
|
||||
Container mtusi-lab3-kraykin-lb-1 Waiting
|
||||
Container mtusi-lab3-kraykin-postgres-1 Waiting
|
||||
Container mtusi-lab3-kraykin-valkey-1 Waiting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Waiting
|
||||
Container mtusi-lab3-kraykin-api-5 Waiting
|
||||
Container mtusi-lab3-kraykin-api-4 Waiting
|
||||
Container mtusi-lab3-kraykin-valkey-1 Healthy
|
||||
Container mtusi-lab3-kraykin-migrate-1 Exited
|
||||
Container mtusi-lab3-kraykin-lb-1 Healthy
|
||||
Container mtusi-lab3-kraykin-postgres-1 Healthy
|
||||
Container mtusi-lab3-kraykin-api-5 Healthy
|
||||
Container mtusi-lab3-kraykin-api-4 Healthy
|
||||
@@ -0,0 +1,10 @@
|
||||
{
|
||||
"parallel_requests": 24,
|
||||
"created_messages": 1,
|
||||
"observed_instances": [
|
||||
"06c17f3fd78c",
|
||||
"46116d767576"
|
||||
],
|
||||
"user_chat_scope": true,
|
||||
"revalidation_after_logout": true
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: {"parallel_requests": 24, "created_messages": 1, "observed_instances": ["06c17f3fd78c", "46116d767576"], "user_chat_scope": true, "revalidation_after_logout": true}
|
||||
@@ -0,0 +1,3 @@
|
||||
/private/tmp/highload-plot-venv/lib/python3.9/site-packages/urllib3/__init__.py:35: NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'. See: https://github.com/urllib3/urllib3/issues/3020
|
||||
warnings.warn(
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,44 @@
|
||||
{
|
||||
"failures": [
|
||||
{
|
||||
"successful_writes": 233,
|
||||
"errors": 3,
|
||||
"successful_rps": 28.26398295000387,
|
||||
"first_recovery_seconds": 1.247,
|
||||
"action_seconds": 0.215,
|
||||
"instances": [
|
||||
"32d750fe3f45",
|
||||
"738574307aaf"
|
||||
],
|
||||
"confirmed_preserved": true,
|
||||
"stopped_alias": "738574307aaf"
|
||||
},
|
||||
{
|
||||
"successful_writes": 225,
|
||||
"errors": 3,
|
||||
"successful_rps": 27.114240700400842,
|
||||
"first_recovery_seconds": 0.731,
|
||||
"action_seconds": 0.247,
|
||||
"instances": [
|
||||
"32d750fe3f45",
|
||||
"738574307aaf"
|
||||
],
|
||||
"confirmed_preserved": true,
|
||||
"stopped_alias": "32d750fe3f45"
|
||||
}
|
||||
],
|
||||
"rolling": {
|
||||
"successful_writes": 576,
|
||||
"errors": 3,
|
||||
"successful_rps": 30.377124752850243,
|
||||
"first_recovery_seconds": 15.885,
|
||||
"action_seconds": 15.858,
|
||||
"instances": [
|
||||
"32d750fe3f45",
|
||||
"738574307aaf",
|
||||
"7c6406e3d6f5",
|
||||
"c56a9ffc6739"
|
||||
],
|
||||
"confirmed_preserved": true
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,19 @@
|
||||
Container mtusi-lab3-kraykin-api-2 Running
|
||||
Container mtusi-lab3-kraykin-api-3 Creating
|
||||
Container mtusi-lab3-kraykin-api-3 Created
|
||||
Container mtusi-lab3-kraykin-api-3 Starting
|
||||
Container mtusi-lab3-kraykin-api-3 Started
|
||||
Container mtusi-lab3-kraykin-api-3 Waiting
|
||||
Container mtusi-lab3-kraykin-api-2 Waiting
|
||||
Container mtusi-lab3-kraykin-api-3 Healthy
|
||||
Container mtusi-lab3-kraykin-api-2 Healthy
|
||||
Container mtusi-lab3-kraykin-api-3 Running
|
||||
Container mtusi-lab3-kraykin-api-4 Creating
|
||||
Container mtusi-lab3-kraykin-api-4 Created
|
||||
Container mtusi-lab3-kraykin-api-4 Starting
|
||||
Container mtusi-lab3-kraykin-api-4 Started
|
||||
Container mtusi-lab3-kraykin-api-4 Waiting
|
||||
Container mtusi-lab3-kraykin-api-3 Waiting
|
||||
Container mtusi-lab3-kraykin-api-4 Healthy
|
||||
Container mtusi-lab3-kraykin-api-3 Healthy
|
||||
PASS: each API stopped and rolling replacement completed; confirmed writes preserved
|
||||
@@ -0,0 +1,63 @@
|
||||
{
|
||||
"scope": "disposable real clean clone",
|
||||
"before": {
|
||||
"/verify-lab3-3d1cfe9e4b-api-1": {
|
||||
"service": "api",
|
||||
"started_at": "2026-10-29T18:42:57.725979425Z",
|
||||
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
|
||||
"user": "10001:10001",
|
||||
"pid1": "/usr/local/bin/messenger"
|
||||
},
|
||||
"/verify-lab3-3d1cfe9e4b-api-2": {
|
||||
"service": "api",
|
||||
"started_at": "2026-10-29T18:42:57.630652258Z",
|
||||
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
|
||||
"user": "10001:10001",
|
||||
"pid1": "/usr/local/bin/messenger"
|
||||
},
|
||||
"/verify-lab3-3d1cfe9e4b-postgres-1": {
|
||||
"service": "postgres",
|
||||
"started_at": "2026-10-29T18:42:55.42012759Z",
|
||||
"image_id": "sha256:ef257d85f76e48da1c64832459b59fcaba1a4dac97bf5d7450c77753542eee94",
|
||||
"user": "",
|
||||
"pid1": "docker-entrypoint.sh"
|
||||
},
|
||||
"/verify-lab3-3d1cfe9e4b-valkey-1": {
|
||||
"service": "valkey",
|
||||
"started_at": "2026-10-29T18:42:55.42020359Z",
|
||||
"image_id": "sha256:d827e7f7552cdee40cc7482dbae9da020f42bc47669af6f71182a4ef76a22773",
|
||||
"user": "",
|
||||
"pid1": "docker-entrypoint.sh"
|
||||
}
|
||||
},
|
||||
"after": {
|
||||
"/verify-lab3-3d1cfe9e4b-api-1": {
|
||||
"service": "api",
|
||||
"started_at": "2026-10-29T18:43:10.151873542Z",
|
||||
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
|
||||
"user": "10001:10001",
|
||||
"pid1": "/usr/local/bin/messenger"
|
||||
},
|
||||
"/verify-lab3-3d1cfe9e4b-api-2": {
|
||||
"service": "api",
|
||||
"started_at": "2026-10-29T18:43:10.222155042Z",
|
||||
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
|
||||
"user": "10001:10001",
|
||||
"pid1": "/usr/local/bin/messenger"
|
||||
},
|
||||
"/verify-lab3-3d1cfe9e4b-postgres-1": {
|
||||
"service": "postgres",
|
||||
"started_at": "2026-10-29T18:43:08.015650305Z",
|
||||
"image_id": "sha256:ef257d85f76e48da1c64832459b59fcaba1a4dac97bf5d7450c77753542eee94",
|
||||
"user": "",
|
||||
"pid1": "docker-entrypoint.sh"
|
||||
},
|
||||
"/verify-lab3-3d1cfe9e4b-valkey-1": {
|
||||
"service": "valkey",
|
||||
"started_at": "2026-10-29T18:43:08.041235555Z",
|
||||
"image_id": "sha256:d827e7f7552cdee40cc7482dbae9da020f42bc47669af6f71182a4ef76a22773",
|
||||
"user": "",
|
||||
"pid1": "docker-entrypoint.sh"
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8083"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1 @@
|
||||
Wrote PNG/PDF/CSV/Markdown from raw evidence
|
||||
@@ -0,0 +1,159 @@
|
||||
docker compose --profile verify run --build --rm tests
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [migrate internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 782B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 0.3s
|
||||
|
||||
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
|
||||
#3 DONE 0.3s
|
||||
|
||||
#4 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
|
||||
#4 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 0.0s done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#5 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a 0.0s done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [migrate internal] load .dockerignore
|
||||
#6 transferring context: 196B done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [migrate internal] load build context
|
||||
#7 transferring context: 5.34kB done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [migrate build 2/7] WORKDIR /src
|
||||
#8 CACHED
|
||||
|
||||
#9 [migrate build 3/7] COPY go.mod go.sum ./
|
||||
#9 CACHED
|
||||
|
||||
#10 [migrate build 4/7] RUN go mod download
|
||||
#10 CACHED
|
||||
|
||||
#11 [migrate build 5/7] COPY cmd/ ./cmd/
|
||||
#11 CACHED
|
||||
|
||||
#12 [migrate build 6/7] COPY internal/ ./internal/
|
||||
#12 DONE 0.3s
|
||||
|
||||
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#13 DONE 5.1s
|
||||
|
||||
#14 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
#14 CACHED
|
||||
|
||||
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [migrate] exporting to image
|
||||
#16 exporting layers done
|
||||
#16 exporting manifest sha256:479caccf1b376a731376de59ec25689e8ecf7564074a3075e853894fd49295bc done
|
||||
#16 exporting config sha256:a86075f392678de5f157a45da823caf1e985ed402d7a8e56c4e59096370ece40 done
|
||||
#16 exporting attestation manifest sha256:ed3666ae24617e9f559f2155f1bee622742a745844eafbe50da557cb6f07e6b2 done
|
||||
#16 exporting manifest list sha256:fdde101e220e9726275ee8c068be667b9a69637b8724ebfce5e4385b06d8033d done
|
||||
#16 naming to docker.io/library/mtusi-messenger:lab3 done
|
||||
#16 unpacking to docker.io/library/mtusi-messenger:lab3 done
|
||||
#16 DONE 0.0s
|
||||
|
||||
#17 [migrate] resolving provenance for metadata file
|
||||
#17 DONE 0.0s
|
||||
migrate Built
|
||||
Container mtusi-lab3-kraykin-postgres-1 Running
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreate
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreated
|
||||
Container mtusi-lab3-kraykin-postgres-1 Waiting
|
||||
Container mtusi-lab3-kraykin-postgres-1 Healthy
|
||||
Container mtusi-lab3-kraykin-migrate-1 Starting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Started
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [tests internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 782B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [tests internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 0.3s
|
||||
|
||||
#3 [tests internal] load .dockerignore
|
||||
#3 transferring context: 196B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [tests build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#4 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [tests internal] load build context
|
||||
#5 transferring context: 752B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [tests build 3/7] COPY go.mod go.sum ./
|
||||
#6 CACHED
|
||||
|
||||
#7 [tests build 4/7] RUN go mod download
|
||||
#7 CACHED
|
||||
|
||||
#8 [tests build 6/7] COPY internal/ ./internal/
|
||||
#8 CACHED
|
||||
|
||||
#9 [tests build 2/7] WORKDIR /src
|
||||
#9 CACHED
|
||||
|
||||
#10 [tests build 5/7] COPY cmd/ ./cmd/
|
||||
#10 CACHED
|
||||
|
||||
#11 [tests build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#11 CACHED
|
||||
|
||||
#12 [tests tests 1/1] RUN apk add --no-cache gcc musl-dev
|
||||
#12 0.085 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/main/aarch64/APKINDEX.tar.gz
|
||||
#12 0.952 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/community/aarch64/APKINDEX.tar.gz
|
||||
#12 3.857 (1/14) Upgrading musl (1.2.5-r10 -> 1.2.5-r13)
|
||||
#12 4.265 (2/14) Installing libgcc (14.2.0-r6)
|
||||
#12 4.373 (3/14) Installing jansson (2.14.1-r0)
|
||||
#12 4.577 (4/14) Installing libstdc++ (14.2.0-r6)
|
||||
#12 5.223 (5/14) Installing zstd-libs (1.5.7-r0)
|
||||
#12 5.673 (6/14) Installing binutils (2.44-r3)
|
||||
#12 12.60 (7/14) Installing libgomp (14.2.0-r6)
|
||||
#12 12.93 (8/14) Installing libatomic (14.2.0-r6)
|
||||
#12 13.01 (9/14) Installing gmp (6.3.0-r3)
|
||||
#12 13.54 (10/14) Installing isl26 (0.26-r1)
|
||||
#12 16.22 (11/14) Installing mpfr4 (4.2.1_p1-r0)
|
||||
#12 17.13 (12/14) Installing mpc1 (1.3.1-r1)
|
||||
#12 17.29 (13/14) Installing gcc (14.2.0-r6)
|
||||
#12 93.80 (14/14) Installing musl-dev (1.2.5-r13)
|
||||
#12 95.48 Executing busybox-1.37.0-r18.trigger
|
||||
#12 95.49 OK: 163 MiB in 30 packages
|
||||
#12 DONE 95.6s
|
||||
|
||||
#13 [tests] exporting to image
|
||||
#13 exporting layers
|
||||
#13 exporting layers 3.2s done
|
||||
#13 exporting manifest sha256:2948a3bd161f3868bcd0cd8605e21410a47f5f09df7877bcb515c5131f0772de done
|
||||
#13 exporting config sha256:f25ea1a182acdb13804c4ecfcdb4ed4cd137531595a047a3bc493108b50293cd done
|
||||
#13 exporting attestation manifest sha256:7e1b47374a0223c7914872d55781e4be71c95df238f1823cdd9df156ef04ee45 done
|
||||
#13 exporting manifest list sha256:6290cc89df8d6b85ef6d93e48951b5395b536406cf8e0c58250e6e0e3f72c1ea done
|
||||
#13 naming to docker.io/library/mtusi-lab3-kraykin-tests:latest done
|
||||
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest
|
||||
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest 0.9s done
|
||||
#13 DONE 4.2s
|
||||
|
||||
#14 [tests] resolving provenance for metadata file
|
||||
#14 DONE 0.0s
|
||||
? mtusi/messenger/cmd/bench [no test files]
|
||||
? mtusi/messenger/cmd/server [no test files]
|
||||
? mtusi/messenger/internal/database [no test files]
|
||||
=== RUN TestDatabaseConcurrentHTTP
|
||||
database_test.go:162: 100 confirmed messages from 10 clients through real HTTP and PostgreSQL; race detector enabled
|
||||
--- PASS: TestDatabaseConcurrentHTTP (1.83s)
|
||||
=== RUN TestPasswordFullUnicodeRange
|
||||
--- PASS: TestPasswordFullUnicodeRange (2.10s)
|
||||
PASS
|
||||
ok mtusi/messenger/internal/messenger 4.957s
|
||||
@@ -0,0 +1,160 @@
|
||||
docker compose --profile verify run --build --rm tests
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [migrate internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 782B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 0.2s
|
||||
|
||||
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
|
||||
#3 DONE 0.3s
|
||||
|
||||
#4 [migrate internal] load .dockerignore
|
||||
#4 transferring context: 196B done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
|
||||
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 0.0s done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [migrate internal] load build context
|
||||
#7 transferring context: 752B done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [migrate build 2/7] WORKDIR /src
|
||||
#8 CACHED
|
||||
|
||||
#9 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
#9 CACHED
|
||||
|
||||
#10 [migrate build 6/7] COPY internal/ ./internal/
|
||||
#10 CACHED
|
||||
|
||||
#11 [migrate build 4/7] RUN go mod download
|
||||
#11 CACHED
|
||||
|
||||
#12 [migrate build 5/7] COPY cmd/ ./cmd/
|
||||
#12 CACHED
|
||||
|
||||
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#13 CACHED
|
||||
|
||||
#14 [migrate build 3/7] COPY go.mod go.sum ./
|
||||
#14 CACHED
|
||||
|
||||
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [migrate] exporting to image
|
||||
#16 exporting layers done
|
||||
#16 exporting manifest sha256:479caccf1b376a731376de59ec25689e8ecf7564074a3075e853894fd49295bc done
|
||||
#16 exporting config sha256:a86075f392678de5f157a45da823caf1e985ed402d7a8e56c4e59096370ece40 done
|
||||
#16 exporting attestation manifest sha256:7abe9b6d56a952512b86cb6d5f0f040db2bffd7d0dc24e5f9f2ea880bee01be3 done
|
||||
#16 exporting manifest list sha256:70cb65187adb8e4b8a11df2a4b94115f251a1f0289531305e774dd7de4ca5a1e done
|
||||
#16 naming to docker.io/library/mtusi-messenger:lab3 done
|
||||
#16 unpacking to docker.io/library/mtusi-messenger:lab3 done
|
||||
#16 DONE 0.0s
|
||||
|
||||
#17 [migrate] resolving provenance for metadata file
|
||||
#17 DONE 0.0s
|
||||
migrate Built
|
||||
Container mtusi-lab3-kraykin-postgres-1 Running
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreate
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreated
|
||||
Container mtusi-lab3-kraykin-postgres-1 Waiting
|
||||
Container mtusi-lab3-kraykin-postgres-1 Healthy
|
||||
Container mtusi-lab3-kraykin-migrate-1 Starting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Started
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [tests internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 782B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [tests internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 0.5s
|
||||
|
||||
#3 [tests internal] load .dockerignore
|
||||
#3 transferring context: 196B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [tests build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#4 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [tests internal] load build context
|
||||
#5 transferring context: 752B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [tests build 4/7] RUN go mod download
|
||||
#6 CACHED
|
||||
|
||||
#7 [tests build 2/7] WORKDIR /src
|
||||
#7 CACHED
|
||||
|
||||
#8 [tests build 5/7] COPY cmd/ ./cmd/
|
||||
#8 CACHED
|
||||
|
||||
#9 [tests build 6/7] COPY internal/ ./internal/
|
||||
#9 CACHED
|
||||
|
||||
#10 [tests build 3/7] COPY go.mod go.sum ./
|
||||
#10 CACHED
|
||||
|
||||
#11 [tests build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#11 CACHED
|
||||
|
||||
#12 [tests tests 1/1] RUN apk add --no-cache gcc musl-dev
|
||||
#12 0.112 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/main/aarch64/APKINDEX.tar.gz
|
||||
#12 5.322 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/community/aarch64/APKINDEX.tar.gz
|
||||
#12 21.47 (1/14) Upgrading musl (1.2.5-r10 -> 1.2.5-r13)
|
||||
#12 84.10 (2/14) Installing libgcc (14.2.0-r6)
|
||||
#12 85.02 (3/14) Installing jansson (2.14.1-r0)
|
||||
#12 85.35 (4/14) Installing libstdc++ (14.2.0-r6)
|
||||
#12 87.72 (5/14) Installing zstd-libs (1.5.7-r0)
|
||||
#12 88.36 (6/14) Installing binutils (2.44-r3)
|
||||
#12 93.81 (7/14) Installing libgomp (14.2.0-r6)
|
||||
#12 94.03 (8/14) Installing libatomic (14.2.0-r6)
|
||||
#12 94.11 (9/14) Installing gmp (6.3.0-r3)
|
||||
#12 94.47 (10/14) Installing isl26 (0.26-r1)
|
||||
#12 95.44 (11/14) Installing mpfr4 (4.2.1_p1-r0)
|
||||
#12 95.80 (12/14) Installing mpc1 (1.3.1-r1)
|
||||
#12 95.93 (13/14) Installing gcc (14.2.0-r6)
|
||||
#12 132.6 (14/14) Installing musl-dev (1.2.5-r13)
|
||||
#12 134.9 Executing busybox-1.37.0-r18.trigger
|
||||
#12 134.9 OK: 163 MiB in 30 packages
|
||||
#12 DONE 135.0s
|
||||
|
||||
#13 [tests] exporting to image
|
||||
#13 exporting layers
|
||||
#13 exporting layers 3.2s done
|
||||
#13 exporting manifest sha256:bfa1e3e3bb8a1f6a9a4db0899715c9e3909ee29ce8cf082a49822e8cb91fbe18
|
||||
#13 exporting manifest sha256:bfa1e3e3bb8a1f6a9a4db0899715c9e3909ee29ce8cf082a49822e8cb91fbe18 done
|
||||
#13 exporting config sha256:1506a136748cfbd472d81c1d74ea8e9a2579892d87ce708fd801f768e7b1e344 done
|
||||
#13 exporting attestation manifest sha256:809ca57a725da3c94f2b46bd49447e42e57698653aea568f1c52be0eb7ac05f4 done
|
||||
#13 exporting manifest list sha256:c884cefe063a10970ba9fcf0607a91b2631391d793c9d1172334a601fc66329c done
|
||||
#13 naming to docker.io/library/mtusi-lab3-kraykin-tests:latest done
|
||||
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest
|
||||
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest 1.1s done
|
||||
#13 DONE 4.4s
|
||||
|
||||
#14 [tests] resolving provenance for metadata file
|
||||
#14 DONE 0.0s
|
||||
? mtusi/messenger/cmd/bench [no test files]
|
||||
? mtusi/messenger/cmd/server [no test files]
|
||||
? mtusi/messenger/internal/database [no test files]
|
||||
=== RUN TestDatabaseConcurrentHTTP
|
||||
database_test.go:122: 100 confirmed messages from 10 clients through real HTTP and PostgreSQL; race detector enabled
|
||||
--- PASS: TestDatabaseConcurrentHTTP (1.62s)
|
||||
=== RUN TestPasswordFullUnicodeRange
|
||||
--- PASS: TestPasswordFullUnicodeRange (2.04s)
|
||||
PASS
|
||||
ok mtusi/messenger/internal/messenger 4.669s
|
||||
@@ -0,0 +1,117 @@
|
||||
{
|
||||
"platform": "macOS-26.6.2-arm64-arm-64bit",
|
||||
"containers": [
|
||||
{
|
||||
"service": "api",
|
||||
"name": "/mtusi-lab3-kraykin-api-4",
|
||||
"alias": "ab9a07063365",
|
||||
"image": "mtusi-messenger:lab3",
|
||||
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
|
||||
"user": "10001:10001",
|
||||
"pid1_path": "/usr/local/bin/messenger",
|
||||
"started_at": "2026-10-29T18:45:03.296181553Z",
|
||||
"memory_limit_bytes": 268435456,
|
||||
"nano_cpus_limit": 1000000000,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
},
|
||||
"health": "healthy",
|
||||
"mount_targets": [
|
||||
"/run/secrets/cursor_key",
|
||||
"/run/secrets/database_url",
|
||||
"/run/secrets/cache_url"
|
||||
]
|
||||
},
|
||||
{
|
||||
"service": "api",
|
||||
"name": "/mtusi-lab3-kraykin-api-5",
|
||||
"alias": "016f3ea1bd17",
|
||||
"image": "mtusi-messenger:lab3",
|
||||
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
|
||||
"user": "10001:10001",
|
||||
"pid1_path": "/usr/local/bin/messenger",
|
||||
"started_at": "2026-10-29T18:45:03.232049678Z",
|
||||
"memory_limit_bytes": 268435456,
|
||||
"nano_cpus_limit": 1000000000,
|
||||
"published_ports": {
|
||||
"8080/tcp": null
|
||||
},
|
||||
"health": "healthy",
|
||||
"mount_targets": [
|
||||
"/run/secrets/cache_url",
|
||||
"/run/secrets/cursor_key",
|
||||
"/run/secrets/database_url"
|
||||
]
|
||||
},
|
||||
{
|
||||
"service": "lb",
|
||||
"name": "/mtusi-lab3-kraykin-lb-1",
|
||||
"alias": "92c6d29aef68",
|
||||
"image": "haproxy:3.2.6-alpine",
|
||||
"image_id": "sha256:3a819392f5a6af2a9203d1c63ff0feba74f0c940623a558511be06d7d85e361c",
|
||||
"user": "haproxy",
|
||||
"pid1_path": "docker-entrypoint.sh",
|
||||
"started_at": "2026-10-29T18:15:13.909943835Z",
|
||||
"memory_limit_bytes": 134217728,
|
||||
"nano_cpus_limit": 1000000000,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8083"
|
||||
}
|
||||
]
|
||||
},
|
||||
"health": "healthy",
|
||||
"mount_targets": [
|
||||
"/usr/local/etc/haproxy/haproxy.cfg"
|
||||
]
|
||||
},
|
||||
{
|
||||
"service": "postgres",
|
||||
"name": "/mtusi-lab3-kraykin-postgres-1",
|
||||
"alias": "1d0cf8d740b1",
|
||||
"image": "postgres:17.6-alpine",
|
||||
"image_id": "sha256:ef257d85f76e48da1c64832459b59fcaba1a4dac97bf5d7450c77753542eee94",
|
||||
"user": "",
|
||||
"pid1_path": "docker-entrypoint.sh",
|
||||
"started_at": "2026-10-29T18:15:06.073096012Z",
|
||||
"memory_limit_bytes": 536870912,
|
||||
"nano_cpus_limit": 2000000000,
|
||||
"published_ports": {
|
||||
"5432/tcp": null
|
||||
},
|
||||
"health": "healthy",
|
||||
"mount_targets": [
|
||||
"/var/lib/postgresql/data",
|
||||
"/run/secrets/postgres_password"
|
||||
]
|
||||
},
|
||||
{
|
||||
"service": "valkey",
|
||||
"name": "/mtusi-lab3-kraykin-valkey-1",
|
||||
"alias": "8c5779560cc7",
|
||||
"image": "valkey/valkey:8.1.3-alpine",
|
||||
"image_id": "sha256:d827e7f7552cdee40cc7482dbae9da020f42bc47669af6f71182a4ef76a22773",
|
||||
"user": "",
|
||||
"pid1_path": "docker-entrypoint.sh",
|
||||
"started_at": "2026-10-29T18:15:06.127369887Z",
|
||||
"memory_limit_bytes": 134217728,
|
||||
"nano_cpus_limit": 500000000,
|
||||
"published_ports": {
|
||||
"6379/tcp": null
|
||||
},
|
||||
"health": null,
|
||||
"mount_targets": [
|
||||
"/run/secrets/valkey_config",
|
||||
"/data"
|
||||
]
|
||||
}
|
||||
],
|
||||
"postgres_durability": [
|
||||
"fsync=on",
|
||||
"full_page_writes=on",
|
||||
"max_connections=100",
|
||||
"synchronous_commit=on"
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,11 @@
|
||||
## Вывод по гипотезе и подтверждённое улучшение
|
||||
|
||||
При fixed total 2 CPU/1024 MiB и 64 клиентах 1/2/4 API дали **3455.8/3790.2/3562.1 RPS**. Удвоение числа процессов не удваивает ресурс; четыре процесса здесь хуже двух. p99 вырос с 49.6 до 71.9 ms.
|
||||
|
||||
При growing resources и 64 клиентах 1/2/4 API дали **1612.0/3735.5/3624.7 RPS**. Переход 2→4 увеличил бюджет API с 2 до 4 CPU, но throughput не вырос. PostgreSQL при 4 API использует около 187%CPU при лимите 200%, throttled примерно в каждом 100 ms периоде; API суммарно около 157% из доступных 400%, LB около 27% из 100%. Samples содержат WalSync/WALWrite и transactionid/tuple waits. Это указывает на saturation общей SQL/WAL/lock части профиля, а не дефицит backend-слотов LB. Нельзя по этим данным отделить точный вклад WAL от row locks: нужен отдельный профилирующий эксперимент.
|
||||
|
||||
У 1 API с лимитом 1 CPU повышение конкуренции 4→16 ухудшило RPS, p99 резко вырос. В cgroups при высокой конкуренции видны постоянное CPU throttling API и загрузка около одного core. Дополнительные запросы создают очереди и накладные расходы в условиях CPU quota, а не гарантируют рост RPS; сами по себе эти наблюдения не доказывают единственную причину падения. Это полезная граница модели, а не пропущенные неудачные прогоны.
|
||||
|
||||
**Проверенное улучшение:** при неизменных 2 API×1 CPU/512 MiB,16 чатах и 32 клиентах увеличение pool1→10 дало медианы **2134.6→3845.3 RPS**, **80.1%**. p99: **24.438→40.739 ms**; ошибок 0. Выигрыш throughput имеет цену: p99 здесь ухудшился, поэтому это улучшение пропускной способности, не хвостовой задержки. В cumulative diagnostics время ожидания пустого пула уменьшилось, хотя число обслуженных обращений выросло. Выбран default10; дальнейшее бесконечное увеличение pool не обосновано — общая PostgreSQL уже ограничивает масштабирование. Диагностические counters накоплены за 20s warm+measurement окна и setup; они не являются точной per-request latency или отдельным суммируемым временем CPU.
|
||||
|
||||
Итоговые точки fixed4/growing1 и pool comparison повторены отдельно от функциональных нагрузок ЛР 4; raw отчёт содержит именно повторную серию. Набор данных и размеры таблиц растут между прогонами; для каждого scaling point сохранён count сообщений после измерения. Это позволяет оценить ограничение сравнения, но не заменяет рандомизацию и длинные confidence intervals.
|
||||
@@ -0,0 +1,13 @@
|
||||
fixed 4 4 1 2325
|
||||
fixed 4 4 2 2350
|
||||
fixed 4 16 1 3231
|
||||
fixed 4 16 2 3203
|
||||
fixed 4 64 1 3532
|
||||
fixed 4 64 2 3592
|
||||
growing 1 4 1 2655
|
||||
growing 1 4 2 2572
|
||||
growing 1 16 1 1594
|
||||
growing 1 16 2 1586
|
||||
growing 1 64 1 1612
|
||||
growing 1 64 2 1612
|
||||
DONE
|
||||
@@ -0,0 +1,37 @@
|
||||
fixed 1 4 1 2600
|
||||
fixed 1 4 2 2454
|
||||
fixed 1 16 1 3035
|
||||
fixed 1 16 2 3302
|
||||
fixed 1 64 1 3586
|
||||
fixed 1 64 2 3325
|
||||
fixed 2 4 1 2549
|
||||
fixed 2 4 2 2551
|
||||
fixed 2 16 1 3490
|
||||
fixed 2 16 2 3461
|
||||
fixed 2 64 1 3778
|
||||
fixed 2 64 2 3803
|
||||
fixed 4 4 1 2348
|
||||
fixed 4 4 2 2336
|
||||
fixed 4 16 1 3280
|
||||
fixed 4 16 2 3312
|
||||
fixed 4 64 1 3538
|
||||
fixed 4 64 2 3528
|
||||
growing 1 4 1 2585
|
||||
growing 1 4 2 2649
|
||||
growing 1 16 1 1648
|
||||
growing 1 16 2 1621
|
||||
growing 1 64 1 1659
|
||||
growing 1 64 2 1658
|
||||
growing 2 4 1 2553
|
||||
growing 2 4 2 2553
|
||||
growing 2 16 1 3454
|
||||
growing 2 16 2 3494
|
||||
growing 2 64 1 3823
|
||||
growing 2 64 2 3648
|
||||
growing 4 4 1 2333
|
||||
growing 4 4 2 2356
|
||||
growing 4 16 1 3708
|
||||
growing 4 16 2 3762
|
||||
growing 4 64 1 3667
|
||||
growing 4 64 2 3582
|
||||
DONE
|
||||
@@ -0,0 +1,21 @@
|
||||
series,replicas,clients,pool_per_api,repeats,successful_rps,error_fraction,p50_ms,p95_ms,p99_ms
|
||||
fixed,1,4,10,2,2526.7821716808385,0.0,1.4655,2.2385,3.3475
|
||||
fixed,1,16,10,2,3168.568037715847,0.0,3.8255,9.702,22.808999999999997
|
||||
fixed,1,64,10,2,3455.8048788974993,0.0,14.1775,41.173,49.584
|
||||
fixed,2,4,10,2,2549.9768154882013,0.0,1.4980000000000002,2.0105,2.6235
|
||||
fixed,2,16,10,2,3475.4139686012795,0.0,3.0519999999999996,12.9225,37.8275
|
||||
fixed,2,64,10,2,3790.17126227632,0.0,11.0245,51.482,61.117999999999995
|
||||
fixed,4,4,10,2,2337.54022524052,0.0,1.6480000000000001,2.1574999999999998,2.783
|
||||
fixed,4,16,10,2,3216.765588952754,0.0,3.0095,17.4,44.254999999999995
|
||||
fixed,4,64,10,2,3562.144152545966,0.0,8.338000000000001,65.682,71.8925
|
||||
growing,1,4,10,2,2613.533998135019,0.0,1.4209999999999998,2.1479999999999997,3.145
|
||||
growing,1,16,10,2,1589.9087121230227,0.0,3.6045,67.6925,76.37100000000001
|
||||
growing,1,64,10,2,1612.0391778347437,0.0,15.611,87.81450000000001,91.053
|
||||
growing,2,4,10,2,2552.619687178545,0.0,1.4935,2.02,2.7595
|
||||
growing,2,16,10,2,3473.7263637419273,0.0,3.0345,17.1825,34.192499999999995
|
||||
growing,2,64,10,2,3735.458582718481,0.0,11.5075,53.346000000000004,61.7555
|
||||
growing,4,4,10,2,2344.574773428969,0.0,1.645,2.1574999999999998,2.7895000000000003
|
||||
growing,4,16,10,2,3735.0366232022843,0.0,3.0645,6.1745,33.475
|
||||
growing,4,64,10,2,3624.6849244654904,0.0,9.866,61.2975,69.81299999999999
|
||||
pool_improvement,2,32,1,3,2134.5603419921717,0,14.851,21.305,24.438
|
||||
pool_improvement,2,32,10,3,3845.2509210131784,0,4.961,31.46,40.739
|
||||
|
@@ -0,0 +1,62 @@
|
||||
# Масштабирование: измеренные результаты
|
||||
|
||||
Raw: `scaling.json`. График: `scaling.png`; таблица: `scaling-summary.csv`.
|
||||
|
||||
Медианы двух 6-секундных прогонов после 2 s прогрева на каждую конкуренцию. PostgreSQL2 CPU/512MiB, LB1 CPU/128MiB. 16 чатов, 4/16/64 closed-loop клиента, reusable HTTP connections; без retry. Процентили только успешных HTTP201; ошибки отдельно. Каждый point содержит raw cgroups и samples PostgreSQL.
|
||||
|
||||
| Серия | API | Клиенты | RPS | Ошибки % | p50 ms | p95 ms | p99 ms |
|
||||
|---|---:|---:|---:|---:|---:|---:|---:|
|
||||
| fixed | 1 | 4 | 2526.8 | 0.000 | 1.466 | 2.239 | 3.348 |
|
||||
| fixed | 1 | 16 | 3168.6 | 0.000 | 3.825 | 9.702 | 22.809 |
|
||||
| fixed | 1 | 64 | 3455.8 | 0.000 | 14.178 | 41.173 | 49.584 |
|
||||
| fixed | 2 | 4 | 2550.0 | 0.000 | 1.498 | 2.010 | 2.623 |
|
||||
| fixed | 2 | 16 | 3475.4 | 0.000 | 3.052 | 12.922 | 37.828 |
|
||||
| fixed | 2 | 64 | 3790.2 | 0.000 | 11.024 | 51.482 | 61.118 |
|
||||
| fixed | 4 | 4 | 2337.5 | 0.000 | 1.648 | 2.157 | 2.783 |
|
||||
| fixed | 4 | 16 | 3216.8 | 0.000 | 3.010 | 17.400 | 44.255 |
|
||||
| fixed | 4 | 64 | 3562.1 | 0.000 | 8.338 | 65.682 | 71.892 |
|
||||
| growing | 1 | 4 | 2613.5 | 0.000 | 1.421 | 2.148 | 3.145 |
|
||||
| growing | 1 | 16 | 1589.9 | 0.000 | 3.604 | 67.692 | 76.371 |
|
||||
| growing | 1 | 64 | 1612.0 | 0.000 | 15.611 | 87.815 | 91.053 |
|
||||
| growing | 2 | 4 | 2552.6 | 0.000 | 1.494 | 2.020 | 2.760 |
|
||||
| growing | 2 | 16 | 3473.7 | 0.000 | 3.034 | 17.183 | 34.192 |
|
||||
| growing | 2 | 64 | 3735.5 | 0.000 | 11.508 | 53.346 | 61.755 |
|
||||
| growing | 4 | 4 | 2344.6 | 0.000 | 1.645 | 2.157 | 2.790 |
|
||||
| growing | 4 | 16 | 3735.0 | 0.000 | 3.064 | 6.175 | 33.475 |
|
||||
| growing | 4 | 64 | 3624.7 | 0.000 | 9.866 | 61.297 | 69.813 |
|
||||
| pool_improvement pool=1 | 2 | 32 | 2134.6 | 0.000 | 14.851 | 21.305 | 24.438 |
|
||||
| pool_improvement pool=10 | 2 | 32 | 3845.3 | 0.000 | 4.961 | 31.460 | 40.739 |
|
||||
|
||||
## Ресурсы и ожидания
|
||||
|
||||
| Серия | API | Клиенты | CPU API sum % | CPU PostgreSQL % | CPU LB % | API max cgroup peak MiB |
|
||||
|---|---:|---:|---:|---:|---:|---:|
|
||||
| fixed | 1 | 4 | 93.8 | 90.9 | 16.1 | 141.2 |
|
||||
| fixed | 1 | 16 | 150.4 | 161.7 | 25.0 | 141.2 |
|
||||
| fixed | 1 | 64 | 187.3 | 161.0 | 25.7 | 141.2 |
|
||||
| fixed | 2 | 4 | 122.2 | 97.0 | 16.8 | 140.1 |
|
||||
| fixed | 2 | 16 | 186.5 | 165.8 | 25.1 | 140.1 |
|
||||
| fixed | 2 | 64 | 183.5 | 185.6 | 26.6 | 140.1 |
|
||||
| fixed | 4 | 4 | 162.2 | 101.1 | 17.7 | 137.5 |
|
||||
| fixed | 4 | 16 | 184.9 | 164.6 | 25.0 | 137.5 |
|
||||
| fixed | 4 | 64 | 156.7 | 185.8 | 28.2 | 137.5 |
|
||||
| growing | 1 | 4 | 93.1 | 96.4 | 15.8 | 137.8 |
|
||||
| growing | 1 | 16 | 94.3 | 78.9 | 12.1 | 137.8 |
|
||||
| growing | 1 | 64 | 95.3 | 81.2 | 12.8 | 137.8 |
|
||||
| growing | 2 | 4 | 125.1 | 97.4 | 16.8 | 137.1 |
|
||||
| growing | 2 | 16 | 188.8 | 164.1 | 24.9 | 137.1 |
|
||||
| growing | 2 | 64 | 182.7 | 185.7 | 26.3 | 137.1 |
|
||||
| growing | 4 | 4 | 161.6 | 99.2 | 17.5 | 137.0 |
|
||||
| growing | 4 | 16 | 207.2 | 185.6 | 35.8 | 137.0 |
|
||||
| growing | 4 | 64 | 156.8 | 186.8 | 27.0 | 137.0 |
|
||||
|
||||
CPU100%=один core. CPU измерен за окно snapshots, включающее небольшую инструментальную накладную стоимость, не только ровно6s. memory.peak накоплен с запуска контейнера, current до/после тоже сохранён. Pg_stat_activity samples позволяют наблюдать WAL/locks/CPU, но не являются непрерывным профилем.
|
||||
|
||||
- Pool1, instance420ec0304c59: acquires=64076, empty_acquires=63562, accumulated empty wait=227.262s (process lifetime counters).
|
||||
- Pool1, instance95ed258e2e00: acquires=63957, empty_acquires=63919, accumulated empty wait=348.705s (process lifetime counters).
|
||||
- Pool10, instance0ee0266b5951: acquires=115748, empty_acquires=75758, accumulated empty wait=48.476s (process lifetime counters).
|
||||
- Pool10, instance0a0d445bde35: acquires=115747, empty_acquires=79577, accumulated empty wait=56.580s (process lifetime counters).
|
||||
|
||||
## Границы измерения
|
||||
|
||||
Короткие прогоны на одном host, warm caches, fixed ordering, растущие tables и coordinated omission. Предельные задержки во время перегрузки могут быть недооценены closed-loop моделью. Токены только в памяти и stdin генератора, в evidence не сохраняются. SQL/RAM/WAL и работа нескольких процессов ограничивают масштабирование; выводы относятся к измеренному POST-профилю.
|
||||
File diff suppressed because it is too large
Load Diff
Binary file not shown.
Binary file not shown.
|
After Width: | Height: | Size: 212 KiB |
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8083"
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8083"
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,174 @@
|
||||
python3 scripts/bootstrap.py
|
||||
Local secrets ready (values hidden); .env and secrets/ are ignored by Git.
|
||||
docker compose --env-file .env up -d --build --wait
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [migrate internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 782B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 ...
|
||||
|
||||
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
|
||||
#3 DONE 2.2s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 2.2s
|
||||
|
||||
#4 [migrate internal] load .dockerignore
|
||||
#4 transferring context: 196B done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
|
||||
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [migrate internal] load build context
|
||||
#7 transferring context: 4.90kB done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [migrate build 3/7] COPY go.mod go.sum ./
|
||||
#8 CACHED
|
||||
|
||||
#9 [migrate build 2/7] WORKDIR /src
|
||||
#9 CACHED
|
||||
|
||||
#10 [migrate build 4/7] RUN go mod download
|
||||
#10 CACHED
|
||||
|
||||
#11 [migrate build 5/7] COPY cmd/ ./cmd/
|
||||
#11 DONE 0.0s
|
||||
|
||||
#12 [migrate build 6/7] COPY internal/ ./internal/
|
||||
#12 DONE 0.0s
|
||||
|
||||
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#13 DONE 5.0s
|
||||
|
||||
#14 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
#14 CACHED
|
||||
|
||||
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
#15 DONE 0.0s
|
||||
|
||||
#16 [migrate] exporting to image
|
||||
#16 exporting layers
|
||||
#16 exporting layers 0.2s done
|
||||
#16 exporting manifest sha256:914121e1994b898b5227e70e0c9d8dd70a8267b8ee148bc610ea6e791b6325a9
|
||||
#16 exporting manifest sha256:914121e1994b898b5227e70e0c9d8dd70a8267b8ee148bc610ea6e791b6325a9 done
|
||||
#16 exporting config sha256:760e2d33c701da4980c1d4dfe67cb32236675384bcaa14eb1c192ef213658b91 done
|
||||
#16 exporting attestation manifest sha256:076c4d4f1e88b43ed28523d1f29c16ad35683c66a2fcf9188f086674e8b283f1 done
|
||||
#16 exporting manifest list sha256:a6cb3e7311677571829ff9f38ae6d1689d89eed23677bcb64fdf96d4f28038ed done
|
||||
#16 naming to docker.io/library/mtusi-messenger:lab3 done
|
||||
#16 unpacking to docker.io/library/mtusi-messenger:lab3 0.0s done
|
||||
#16 DONE 0.3s
|
||||
|
||||
#17 [migrate] resolving provenance for metadata file
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [api internal] load build definition from Dockerfile
|
||||
#18 transferring dockerfile: 782B done
|
||||
#18 DONE 0.0s
|
||||
|
||||
#2 [api internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
|
||||
#2 DONE 3.5s
|
||||
|
||||
#3 [api internal] load metadata for docker.io/library/alpine:3.22.1
|
||||
#3 DONE 3.5s
|
||||
|
||||
#19 [api internal] load .dockerignore
|
||||
#19 transferring context: 196B done
|
||||
#19 DONE 0.0s
|
||||
|
||||
#5 [api stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
|
||||
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [api build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
|
||||
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#20 [api internal] load build context
|
||||
#20 transferring context: 752B done
|
||||
#20 DONE 0.0s
|
||||
|
||||
#9 [api build 2/7] WORKDIR /src
|
||||
#9 CACHED
|
||||
|
||||
#21 [api build 6/7] COPY internal/ ./internal/
|
||||
#21 CACHED
|
||||
|
||||
#22 [api build 4/7] RUN go mod download
|
||||
#22 CACHED
|
||||
|
||||
#23 [api build 3/7] COPY go.mod go.sum ./
|
||||
#23 CACHED
|
||||
|
||||
#24 [api build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
|
||||
#24 CACHED
|
||||
|
||||
#25 [api build 5/7] COPY cmd/ ./cmd/
|
||||
#25 CACHED
|
||||
|
||||
#14 [api stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
|
||||
#14 CACHED
|
||||
|
||||
#26 [api stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
|
||||
#26 CACHED
|
||||
|
||||
#27 [api] exporting to image
|
||||
#27 exporting layers done
|
||||
#27 exporting manifest sha256:b57f8cd185cd559ee119ce1f32af9840c2e3351bca2ddd635ed84cd60d1d7046 done
|
||||
#27 exporting config sha256:baaabcb3786c817cb129fdb7a2075bf92322689e25cc77661c85f49d51b28c99 done
|
||||
#27 exporting attestation manifest sha256:3cd7e2f98562ce22c384b473c3ec4dc67eb4be89e2346f063cbcff4c19028124 done
|
||||
#27 exporting manifest list sha256:0d6cc9cc717039d834bb9f3266766d267c13f54334c9e686eadd16a549e4d9c0 done
|
||||
#27 naming to docker.io/library/mtusi-messenger:lab3 done
|
||||
#27 unpacking to docker.io/library/mtusi-messenger:lab3 done
|
||||
#27 DONE 0.0s
|
||||
|
||||
#28 [api] resolving provenance for metadata file
|
||||
#28 DONE 0.0s
|
||||
api Built
|
||||
migrate Built
|
||||
Container mtusi-lab3-kraykin-valkey-1 Running
|
||||
Container mtusi-lab3-kraykin-postgres-1 Running
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreate
|
||||
Container mtusi-lab3-kraykin-migrate-1 Recreated
|
||||
Container mtusi-lab3-kraykin-api-3 Recreate
|
||||
Container mtusi-lab3-kraykin-api-4 Recreate
|
||||
Container mtusi-lab3-kraykin-api-4 Recreated
|
||||
Container mtusi-lab3-kraykin-api-3 Recreated
|
||||
Container mtusi-lab3-kraykin-lb-1 Running
|
||||
Container mtusi-lab3-kraykin-postgres-1 Waiting
|
||||
Container mtusi-lab3-kraykin-postgres-1 Healthy
|
||||
Container mtusi-lab3-kraykin-migrate-1 Starting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Started
|
||||
Container mtusi-lab3-kraykin-migrate-1 Waiting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Exited
|
||||
Container mtusi-lab3-kraykin-api-3 Starting
|
||||
Container mtusi-lab3-kraykin-api-3 Started
|
||||
Container mtusi-lab3-kraykin-api-4 Starting
|
||||
Container mtusi-lab3-kraykin-api-4 Started
|
||||
Container mtusi-lab3-kraykin-api-3 Waiting
|
||||
Container mtusi-lab3-kraykin-api-4 Waiting
|
||||
Container mtusi-lab3-kraykin-api-3 Healthy
|
||||
Container mtusi-lab3-kraykin-api-4 Healthy
|
||||
Container mtusi-lab3-kraykin-api-3 Waiting
|
||||
Container mtusi-lab3-kraykin-api-4 Waiting
|
||||
Container mtusi-lab3-kraykin-lb-1 Waiting
|
||||
Container mtusi-lab3-kraykin-postgres-1 Waiting
|
||||
Container mtusi-lab3-kraykin-valkey-1 Waiting
|
||||
Container mtusi-lab3-kraykin-migrate-1 Waiting
|
||||
Container mtusi-lab3-kraykin-lb-1 Healthy
|
||||
Container mtusi-lab3-kraykin-postgres-1 Healthy
|
||||
Container mtusi-lab3-kraykin-migrate-1 Exited
|
||||
Container mtusi-lab3-kraykin-valkey-1 Healthy
|
||||
Container mtusi-lab3-kraykin-api-3 Healthy
|
||||
Container mtusi-lab3-kraykin-api-4 Healthy
|
||||
@@ -0,0 +1,4 @@
|
||||
? mtusi/messenger/cmd/bench [no test files]
|
||||
? mtusi/messenger/cmd/server [no test files]
|
||||
? mtusi/messenger/internal/database [no test files]
|
||||
ok mtusi/messenger/internal/messenger 3.022s
|
||||
@@ -0,0 +1,20 @@
|
||||
module mtusi/messenger
|
||||
|
||||
go 1.24.0
|
||||
|
||||
require (
|
||||
github.com/jackc/pgx/v5 v5.7.6
|
||||
github.com/redis/go-redis/v9 v9.12.1
|
||||
golang.org/x/crypto v0.41.0
|
||||
)
|
||||
|
||||
require (
|
||||
github.com/cespare/xxhash/v2 v2.3.0 // indirect
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
|
||||
github.com/jackc/pgpassfile v1.0.0 // indirect
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
|
||||
github.com/jackc/puddle/v2 v2.2.2 // indirect
|
||||
golang.org/x/sync v0.16.0 // indirect
|
||||
golang.org/x/sys v0.35.0 // indirect
|
||||
golang.org/x/text v0.28.0 // indirect
|
||||
)
|
||||
@@ -0,0 +1,40 @@
|
||||
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
|
||||
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
|
||||
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
|
||||
github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0=
|
||||
github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs=
|
||||
github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
|
||||
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
|
||||
github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
|
||||
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78=
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
|
||||
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
|
||||
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
|
||||
github.com/jackc/pgx/v5 v5.7.6 h1:rWQc5FwZSPX58r1OQmkuaNicxdmExaEz5A2DO2hUuTk=
|
||||
github.com/jackc/pgx/v5 v5.7.6/go.mod h1:aruU7o91Tc2q2cFp5h4uP3f6ztExVpyVv88Xl/8Vl8M=
|
||||
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
|
||||
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
|
||||
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
|
||||
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
|
||||
github.com/redis/go-redis/v9 v9.12.1 h1:k5iquqv27aBtnTm2tIkROUDp8JBXhXZIVu1InSgvovg=
|
||||
github.com/redis/go-redis/v9 v9.12.1/go.mod h1:huWgSWd8mW6+m0VPhJjSSQ+d6Nh1VICQ6Q5lHuCH/Iw=
|
||||
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
|
||||
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
|
||||
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
|
||||
github.com/stretchr/testify v1.8.1 h1:w7B6lhMri9wdJUVmEZPGGhZzrYTPvgJArz7wNPgYKsk=
|
||||
github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4=
|
||||
golang.org/x/crypto v0.41.0 h1:WKYxWedPGCTVVl5+WHSSrOBT0O8lx32+zxmHxijgXp4=
|
||||
golang.org/x/crypto v0.41.0/go.mod h1:pO5AFd7FA68rFak7rOAGVuygIISepHftHnr8dr6+sUc=
|
||||
golang.org/x/sync v0.16.0 h1:ycBJEhp9p4vXvUZNszeOq0kGTPghopOL8q0fq3vstxw=
|
||||
golang.org/x/sync v0.16.0/go.mod h1:1dzgHSNfp02xaA81J2MS99Qcpr2w7fw1gpm99rleRqA=
|
||||
golang.org/x/sys v0.35.0 h1:vz1N37gP5bs89s7He8XuIYXpyY0+QlsKmzipCbUtyxI=
|
||||
golang.org/x/sys v0.35.0/go.mod h1:BJP2sWEmIv4KK5OTEluFJCKSidICx8ciO85XgH3Ak8k=
|
||||
golang.org/x/text v0.28.0 h1:rhazDwis8INMIwQ4tpjLDzUhx6RlXqZNPEM0huQojng=
|
||||
golang.org/x/text v0.28.0/go.mod h1:U8nCwOR8jO/marOQ0QbDiOngZVEBB7MAiitBuMjXiNU=
|
||||
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
||||
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
||||
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
@@ -0,0 +1,27 @@
|
||||
global
|
||||
maxconn 512
|
||||
log stdout format raw local0
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
timeout connect 500ms
|
||||
timeout client 35s
|
||||
timeout server 35s
|
||||
timeout check 800ms
|
||||
retries 0
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 2
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend replicas
|
||||
backend replicas
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
default-server inter 1s fall 2 rise 1
|
||||
server-template api 4 api:8080 check resolvers docker init-addr libc,none resolve-prefer ipv4
|
||||
@@ -0,0 +1,103 @@
|
||||
package database
|
||||
|
||||
import (
|
||||
"context"
|
||||
"crypto/sha256"
|
||||
"embed"
|
||||
"fmt"
|
||||
"github.com/jackc/pgx/v5/pgxpool"
|
||||
"os"
|
||||
"sort"
|
||||
"strconv"
|
||||
"time"
|
||||
)
|
||||
|
||||
//go:embed migrations/*.sql
|
||||
var migrations embed.FS
|
||||
|
||||
func Open(ctx context.Context, url string) (*pgxpool.Pool, error) {
|
||||
cfg, err := pgxpool.ParseConfig(url)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("invalid database configuration")
|
||||
}
|
||||
cfg.MaxConns = 10
|
||||
if v := os.Getenv("DB_POOL_MAX"); v != "" {
|
||||
n, e := strconv.Atoi(v)
|
||||
if e != nil || n < 1 || n > 64 {
|
||||
return nil, fmt.Errorf("DB_POOL_MAX must be 1..64")
|
||||
}
|
||||
cfg.MaxConns = int32(n)
|
||||
}
|
||||
cfg.MinConns = 0
|
||||
cfg.MaxConnLifetime = 30 * time.Minute
|
||||
cfg.MaxConnIdleTime = 5 * time.Minute
|
||||
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
|
||||
cfg.ConnConfig.RuntimeParams["statement_timeout"] = "2000"
|
||||
cfg.ConnConfig.RuntimeParams["lock_timeout"] = "1000"
|
||||
pool, err := pgxpool.NewWithConfig(ctx, cfg)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("cannot create database pool")
|
||||
}
|
||||
if err = pool.Ping(ctx); err != nil {
|
||||
pool.Close()
|
||||
return nil, fmt.Errorf("database unavailable")
|
||||
}
|
||||
return pool, nil
|
||||
}
|
||||
|
||||
// All migrations and the version ledger commit together. An advisory lock also
|
||||
// serializes bootstrap across API instances; edited applied migrations fail.
|
||||
func Migrate(ctx context.Context, pool *pgxpool.Pool) error {
|
||||
tx, err := pool.Begin(ctx)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer tx.Rollback(context.Background())
|
||||
if _, err = tx.Exec(ctx, "SELECT pg_advisory_xact_lock(2026002)"); err != nil {
|
||||
return err
|
||||
}
|
||||
if _, err = tx.Exec(ctx, `CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, checksum text NOT NULL, applied_at timestamptz NOT NULL DEFAULT clock_timestamp())`); err != nil {
|
||||
return err
|
||||
}
|
||||
entries, err := migrations.ReadDir("migrations")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
sort.Slice(entries, func(i, j int) bool { return entries[i].Name() < entries[j].Name() })
|
||||
for _, entry := range entries {
|
||||
body, err := migrations.ReadFile("migrations/" + entry.Name())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
checksum := fmt.Sprintf("%x", sha256.Sum256(body))
|
||||
var stored string
|
||||
rows, err := tx.Query(ctx, "SELECT checksum FROM schema_migrations WHERE version=$1", entry.Name())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
found := rows.Next()
|
||||
if found {
|
||||
err = rows.Scan(&stored)
|
||||
}
|
||||
if err == nil {
|
||||
err = rows.Err()
|
||||
}
|
||||
rows.Close()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if found {
|
||||
if stored != checksum {
|
||||
return fmt.Errorf("applied migration changed: %s", entry.Name())
|
||||
}
|
||||
continue
|
||||
}
|
||||
if _, err = tx.Exec(ctx, string(body)); err != nil {
|
||||
return err
|
||||
}
|
||||
if _, err = tx.Exec(ctx, "INSERT INTO schema_migrations(version,checksum) VALUES($1,$2)", entry.Name(), checksum); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
return tx.Commit(ctx)
|
||||
}
|
||||
@@ -0,0 +1,36 @@
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY,
|
||||
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
last_message_at timestamptz NOT NULL DEFAULT '-infinity'
|
||||
);
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX chat_members_user_idx ON chat_members(user_id, chat_id);
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
sender_id uuid NOT NULL,
|
||||
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
|
||||
created_at timestamptz NOT NULL,
|
||||
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX messages_history_idx ON messages(chat_id, created_at, id);
|
||||
CREATE INDEX chats_order_idx ON chats(created_at, id);
|
||||
CREATE TABLE sessions (
|
||||
token_hash bytea PRIMARY KEY CHECK (octet_length(token_hash) = 32),
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
expires_at timestamptz NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE INDEX sessions_expiry_idx ON sessions(expires_at);
|
||||
@@ -0,0 +1,10 @@
|
||||
CREATE TABLE message_requests (
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
key text NOT NULL,
|
||||
body_hash bytea NOT NULL,
|
||||
response jsonb NOT NULL,
|
||||
expires_at timestamptz NOT NULL,
|
||||
PRIMARY KEY(user_id,chat_id,key)
|
||||
);
|
||||
CREATE INDEX message_requests_expiry_idx ON message_requests(expires_at);
|
||||
@@ -0,0 +1,163 @@
|
||||
package messenger
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/base64"
|
||||
"encoding/json"
|
||||
"fmt"
|
||||
"io"
|
||||
"mtusi/messenger/internal/database"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"os"
|
||||
"strings"
|
||||
"sync"
|
||||
"testing"
|
||||
"time"
|
||||
)
|
||||
|
||||
// Real PostgreSQL + HTTP + the race detector, in the optional Compose tests
|
||||
// service. Local go test skips this test unless the DB secret path is supplied.
|
||||
func TestDatabaseConcurrentHTTP(t *testing.T) {
|
||||
path := os.Getenv("DATABASE_TEST_URL_FILE")
|
||||
if path == "" {
|
||||
t.Skip("run make test-race for real PostgreSQL HTTP integration")
|
||||
}
|
||||
raw, err := os.ReadFile(path)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
|
||||
defer cancel()
|
||||
pool, err := database.Open(ctx, strings.TrimSpace(string(raw)))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer pool.Close()
|
||||
if err = database.Migrate(ctx, pool); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
api := New(pool, nil, make([]byte, 32), 3600, nil)
|
||||
ts := httptest.NewServer(api)
|
||||
defer ts.Close()
|
||||
call := func(method, path, body, auth string, status int) map[string]any {
|
||||
t.Helper()
|
||||
r, err := http.NewRequest(method, ts.URL+path, strings.NewReader(body))
|
||||
if err != nil {
|
||||
t.Error(err)
|
||||
return nil
|
||||
}
|
||||
if body != "" {
|
||||
r.Header.Set("Content-Type", "application/json")
|
||||
}
|
||||
r.Header.Set("Authorization", auth)
|
||||
if method == "POST" && strings.HasSuffix(path, "/messages") {
|
||||
r.Header.Set("Idempotency-Key", uuid())
|
||||
}
|
||||
response, err := ts.Client().Do(r)
|
||||
if err != nil {
|
||||
t.Error(err)
|
||||
return nil
|
||||
}
|
||||
defer response.Body.Close()
|
||||
b, err := io.ReadAll(response.Body)
|
||||
if err != nil {
|
||||
t.Error(err)
|
||||
return nil
|
||||
}
|
||||
if response.StatusCode != status {
|
||||
t.Errorf("%s %s: want %d got %d", method, path, status, response.StatusCode)
|
||||
return nil
|
||||
}
|
||||
var v map[string]any
|
||||
if err = json.Unmarshal(b, &v); err != nil {
|
||||
t.Error(err)
|
||||
}
|
||||
return v
|
||||
}
|
||||
username := "go_" + strings.ReplaceAll(uuid(), "-", "")[:20]
|
||||
user := call("POST", "/api/v1/users", fmt.Sprintf(`{"username":%q,"display_name":"Race","password":"Synthetic-Go-Test-123"}`, username), "", 201)
|
||||
if user == nil {
|
||||
t.Fatal("create failed")
|
||||
}
|
||||
basic := "Basic " + base64.StdEncoding.EncodeToString([]byte(username+":Synthetic-Go-Test-123"))
|
||||
session := call("POST", "/api/v1/auth/sessions", "", basic, 201)
|
||||
if session == nil {
|
||||
t.Fatal("login failed")
|
||||
}
|
||||
bearer := "Bearer " + session["token"].(string)
|
||||
chat := call("POST", "/api/v1/chats", fmt.Sprintf(`{"title":"Race","member_ids":[%q]}`, user["id"]), bearer, 201)
|
||||
if chat == nil {
|
||||
t.Fatal("chat failed")
|
||||
}
|
||||
messages := "/api/v1/chats/" + chat["id"].(string) + "/messages"
|
||||
var wg sync.WaitGroup
|
||||
for worker := 0; worker < 10; worker++ {
|
||||
wg.Add(1)
|
||||
go func(worker int) {
|
||||
defer wg.Done()
|
||||
for j := 0; j < 10; j++ {
|
||||
call("POST", messages, fmt.Sprintf(`{"text":"worker-%d-message-%d"}`, worker, j), bearer, 201)
|
||||
}
|
||||
}(worker)
|
||||
}
|
||||
wg.Wait()
|
||||
page := call("GET", messages+"?limit=100", "", bearer, 200)
|
||||
if page == nil {
|
||||
t.Fatal("history failed")
|
||||
}
|
||||
items := page["items"].([]any)
|
||||
if len(items) != 100 {
|
||||
t.Fatalf("expected 100 messages, got %d", len(items))
|
||||
}
|
||||
seen := map[string]bool{}
|
||||
for _, v := range items {
|
||||
m := v.(map[string]any)
|
||||
id := m["id"].(string)
|
||||
if seen[id] {
|
||||
t.Fatal("duplicate ID")
|
||||
}
|
||||
seen[id] = true
|
||||
}
|
||||
// Race a single key through the real server, then verify only one side effect.
|
||||
var repeatWG sync.WaitGroup
|
||||
ids := make(chan string, 12)
|
||||
for i := 0; i < 12; i++ {
|
||||
repeatWG.Add(1)
|
||||
go func() {
|
||||
defer repeatWG.Done()
|
||||
req, _ := http.NewRequest("POST", ts.URL+messages, strings.NewReader(`{"text":"one key"}`))
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
req.Header.Set("Authorization", bearer)
|
||||
req.Header.Set("Idempotency-Key", "same-concurrent-key")
|
||||
res, err := ts.Client().Do(req)
|
||||
if err != nil {
|
||||
t.Error(err)
|
||||
return
|
||||
}
|
||||
defer res.Body.Close()
|
||||
var m Message
|
||||
if res.StatusCode != 201 || json.NewDecoder(res.Body).Decode(&m) != nil {
|
||||
t.Error("repeat failed")
|
||||
return
|
||||
}
|
||||
ids <- m.ID
|
||||
}()
|
||||
}
|
||||
repeatWG.Wait()
|
||||
close(ids)
|
||||
var expected string
|
||||
for id := range ids {
|
||||
if expected == "" {
|
||||
expected = id
|
||||
}
|
||||
if id != expected {
|
||||
t.Error("idempotency duplicate")
|
||||
}
|
||||
}
|
||||
var count int
|
||||
if err := pool.QueryRow(context.Background(), "SELECT count(*) FROM messages WHERE chat_id=$1", chat["id"]).Scan(&count); err != nil || count != 101 {
|
||||
t.Errorf("want 101 persisted messages, got %d: %v", count, err)
|
||||
}
|
||||
t.Log("100 confirmed messages from 10 clients through real HTTP and PostgreSQL; race detector enabled")
|
||||
}
|
||||
@@ -0,0 +1,33 @@
|
||||
package messenger
|
||||
|
||||
import (
|
||||
"crypto/rand"
|
||||
"crypto/subtle"
|
||||
"encoding/base64"
|
||||
"golang.org/x/crypto/argon2"
|
||||
"strings"
|
||||
)
|
||||
|
||||
// Fixed, bounded parameters: 64 MiB, 3 passes, 2 lanes, 16-byte salt,
|
||||
// 32-byte result. The HTTP layer bounds simultaneous KDF work to 2 calls.
|
||||
func hashPassword(password string) string {
|
||||
salt := make([]byte, 16)
|
||||
if _, err := rand.Read(salt); err != nil {
|
||||
panic(err)
|
||||
}
|
||||
hash := argon2.IDKey([]byte(password), salt, 3, 64*1024, 2, 32)
|
||||
return "$argon2id$v=19$m=65536,t=3,p=2$" + base64.RawStdEncoding.EncodeToString(salt) + "$" + base64.RawStdEncoding.EncodeToString(hash)
|
||||
}
|
||||
func verifyPassword(password, encoded string) bool {
|
||||
parts := strings.Split(encoded, "$")
|
||||
if len(parts) != 6 || strings.Join(parts[:4], "$") != "$argon2id$v=19$m=65536,t=3,p=2" {
|
||||
return false
|
||||
}
|
||||
salt, e1 := base64.RawStdEncoding.DecodeString(parts[4])
|
||||
want, e2 := base64.RawStdEncoding.DecodeString(parts[5])
|
||||
if e1 != nil || e2 != nil || len(salt) != 16 || len(want) != 32 {
|
||||
return false
|
||||
}
|
||||
got := argon2.IDKey([]byte(password), salt, 3, 64*1024, 2, 32)
|
||||
return subtle.ConstantTimeCompare(got, want) == 1
|
||||
}
|
||||
@@ -0,0 +1,20 @@
|
||||
package messenger
|
||||
|
||||
import (
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
|
||||
func TestPasswordFullUnicodeRange(t *testing.T) {
|
||||
password := strings.Repeat("🙂", 128) // 512 bytes: exceeds bcrypt's 72-byte limit.
|
||||
hash := hashPassword(password)
|
||||
if !verifyPassword(password, hash) || verifyPassword(password+"x", hash) {
|
||||
t.Fatal("password mismatch")
|
||||
}
|
||||
if hash == hashPassword(password) {
|
||||
t.Fatal("salt reused")
|
||||
}
|
||||
if verifyPassword(password, "$argon2id$v=19$m=999999999,t=3,p=2$abc$def") {
|
||||
t.Fatal("unbounded parameters accepted")
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,734 @@
|
||||
// Package messenger implements the lab3 contract. PostgreSQL is authoritative.
|
||||
package messenger
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"crypto/hmac"
|
||||
"crypto/rand"
|
||||
"crypto/sha256"
|
||||
"encoding/base64"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"fmt"
|
||||
"github.com/jackc/pgx/v5"
|
||||
"github.com/jackc/pgx/v5/pgconn"
|
||||
"github.com/jackc/pgx/v5/pgxpool"
|
||||
"github.com/redis/go-redis/v9"
|
||||
"io"
|
||||
"log/slog"
|
||||
"mime"
|
||||
"net/http"
|
||||
"net/url"
|
||||
"os"
|
||||
"regexp"
|
||||
"strconv"
|
||||
"strings"
|
||||
"sync/atomic"
|
||||
"time"
|
||||
"unicode/utf8"
|
||||
)
|
||||
|
||||
type User struct {
|
||||
ID string `json:"id"`
|
||||
Username string `json:"username"`
|
||||
DisplayName string `json:"display_name"`
|
||||
CreatedAt string `json:"created_at"`
|
||||
}
|
||||
type Chat struct {
|
||||
ID string `json:"id"`
|
||||
Title string `json:"title"`
|
||||
MemberIDs []string `json:"member_ids"`
|
||||
CreatedAt string `json:"created_at"`
|
||||
}
|
||||
type Message struct {
|
||||
ID string `json:"id"`
|
||||
ChatID string `json:"chat_id"`
|
||||
SenderID string `json:"sender_id"`
|
||||
Text string `json:"text"`
|
||||
CreatedAt string `json:"created_at"`
|
||||
}
|
||||
type Page[T any] struct {
|
||||
Items []T `json:"items"`
|
||||
NextCursor *string `json:"next_cursor"`
|
||||
}
|
||||
|
||||
func uuid() string {
|
||||
b := make([]byte, 16)
|
||||
if _, err := rand.Read(b); err != nil {
|
||||
panic(err)
|
||||
}
|
||||
b[6] = (b[6] & 15) | 64
|
||||
b[8] = (b[8] & 63) | 128
|
||||
return fmt.Sprintf("%x-%x-%x-%x-%x", b[:4], b[4:6], b[6:8], b[8:10], b[10:])
|
||||
}
|
||||
|
||||
var uuidRE = regexp.MustCompile(`^[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}$`)
|
||||
var usernameRE = regexp.MustCompile(`^[a-z0-9_]{3,32}$`)
|
||||
|
||||
func validText(v string, max int) bool {
|
||||
return utf8.ValidString(v) && strings.TrimSpace(v) != "" && utf8.RuneCountInString(v) <= max
|
||||
}
|
||||
func reply(w http.ResponseWriter, status int, v any) {
|
||||
w.WriteHeader(status)
|
||||
_ = json.NewEncoder(w).Encode(v)
|
||||
}
|
||||
func fail(w http.ResponseWriter, status int, code, msg string) {
|
||||
reply(w, status, map[string]any{"error": map[string]string{"code": code, "message": msg, "request_id": w.Header().Get("X-Request-Id")}})
|
||||
}
|
||||
func bad(w http.ResponseWriter) { fail(w, 400, "invalid_request", "Invalid request") }
|
||||
func missing(w http.ResponseWriter) { fail(w, 404, "not_found", "Object not found") }
|
||||
|
||||
// Decode exact object keys (encoding/json structs alone accept case variants).
|
||||
// Reject null, duplicate keys, trailing documents and invalid UTF-8 as well.
|
||||
func decode(w http.ResponseWriter, r *http.Request, dst any, fields ...string) bool {
|
||||
media, _, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
|
||||
if err != nil || media != "application/json" {
|
||||
fail(w, 415, "unsupported_media_type", "Expected application/json")
|
||||
return false
|
||||
}
|
||||
b, err := io.ReadAll(http.MaxBytesReader(w, r.Body, 1<<20))
|
||||
if err != nil {
|
||||
if _, ok := err.(*http.MaxBytesError); ok {
|
||||
fail(w, 413, "payload_too_large", "Body exceeds 1 MiB")
|
||||
} else {
|
||||
bad(w)
|
||||
}
|
||||
return false
|
||||
}
|
||||
if !utf8.Valid(b) {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
d := json.NewDecoder(bytes.NewReader(b))
|
||||
token, err := d.Token()
|
||||
if err != nil || token != json.Delim('{') {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
allowed := map[string]bool{}
|
||||
for _, f := range fields {
|
||||
allowed[f] = true
|
||||
}
|
||||
seen := map[string]bool{}
|
||||
for d.More() {
|
||||
t, e := d.Token()
|
||||
k, ok := t.(string)
|
||||
if e != nil || !ok || !allowed[k] || seen[k] {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
seen[k] = true
|
||||
var raw json.RawMessage
|
||||
if d.Decode(&raw) != nil || bytes.Equal(raw, []byte("null")) {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
}
|
||||
if _, err = d.Token(); err != nil {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
if _, err = d.Token(); err != io.EOF {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
if len(seen) != len(allowed) || json.Unmarshal(b, dst) != nil {
|
||||
bad(w)
|
||||
return false
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
type cursor struct {
|
||||
Scope string `json:"scope"`
|
||||
Time string `json:"time"`
|
||||
ID string `json:"id"`
|
||||
}
|
||||
|
||||
func (s *Server) encodeCursor(c cursor) *string {
|
||||
b, _ := json.Marshal(c)
|
||||
mac := hmac.New(sha256.New, s.secret)
|
||||
mac.Write(b)
|
||||
v := base64.RawURLEncoding.EncodeToString(b) + "." + base64.RawURLEncoding.EncodeToString(mac.Sum(nil))
|
||||
return &v
|
||||
}
|
||||
func (s *Server) pagination(w http.ResponseWriter, r *http.Request, scope string) (int, cursor, bool) {
|
||||
var c cursor
|
||||
limit := 50
|
||||
// ParseQuery explicitly reports malformed escaping, unlike URL.Query.
|
||||
values, e := url.ParseQuery(r.URL.RawQuery)
|
||||
if e != nil {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
if v, ok := values["limit"]; ok {
|
||||
if len(v) != 1 || v[0] == "" || strings.Trim(v[0], "0123456789") != "" {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
limit, e = strconv.Atoi(v[0])
|
||||
if e != nil || limit < 1 || limit > 100 {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
}
|
||||
if v, ok := values["cursor"]; ok {
|
||||
if len(v) != 1 || len(v[0]) > 2048 {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
parts := strings.Split(v[0], ".")
|
||||
if len(parts) != 2 {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
b, e1 := base64.RawURLEncoding.DecodeString(parts[0])
|
||||
sig, e2 := base64.RawURLEncoding.DecodeString(parts[1])
|
||||
mac := hmac.New(sha256.New, s.secret)
|
||||
mac.Write(b)
|
||||
if e1 != nil || e2 != nil || !hmac.Equal(sig, mac.Sum(nil)) || json.Unmarshal(b, &c) != nil || c.Scope != scope || !uuidRE.MatchString(c.ID) {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
}
|
||||
if c.ID != "" {
|
||||
if _, err := time.Parse(time.RFC3339Nano, c.Time); err != nil {
|
||||
bad(w)
|
||||
return 0, c, false
|
||||
}
|
||||
}
|
||||
return limit, c, true
|
||||
}
|
||||
|
||||
type Server struct {
|
||||
db *pgxpool.Pool
|
||||
cache *redis.Client
|
||||
secret []byte
|
||||
ttl int
|
||||
log *slog.Logger
|
||||
stopping atomic.Bool
|
||||
kdf chan struct{}
|
||||
instance string
|
||||
dummyHash string
|
||||
}
|
||||
|
||||
func New(db *pgxpool.Pool, cache *redis.Client, secret []byte, ttl int, logger *slog.Logger) *Server {
|
||||
hostname, _ := os.Hostname()
|
||||
return &Server{instance: hostname, db: db, cache: cache, secret: secret, ttl: ttl, log: logger, kdf: make(chan struct{}, 2), dummyHash: hashPassword("dummy-not-a-real-password")}
|
||||
}
|
||||
func (s *Server) Stop() { s.stopping.Store(true) }
|
||||
func (s *Server) acquireKDF(ctx context.Context, w http.ResponseWriter) bool {
|
||||
select {
|
||||
case s.kdf <- struct{}{}:
|
||||
return true
|
||||
case <-ctx.Done():
|
||||
unavailable(w)
|
||||
return false
|
||||
}
|
||||
}
|
||||
func unavailable(w http.ResponseWriter) {
|
||||
fail(w, 503, "unavailable", "Dependency temporarily unavailable")
|
||||
}
|
||||
func unauthorized(w http.ResponseWriter, scheme string) {
|
||||
challenge := scheme + ` realm="messenger"`
|
||||
if scheme == "Basic" {
|
||||
challenge += `, charset="UTF-8"`
|
||||
}
|
||||
w.Header().Set("WWW-Authenticate", challenge)
|
||||
fail(w, 401, "unauthorized", "Invalid or missing credentials")
|
||||
}
|
||||
func stamp(t time.Time) string { return t.UTC().Format("2006-01-02T15:04:05.000000Z") }
|
||||
|
||||
const userColumns = "id::text, username, display_name, created_at"
|
||||
|
||||
type scanner interface{ Scan(...any) error }
|
||||
|
||||
func scanUser(row scanner) (User, error) {
|
||||
var u User
|
||||
var t time.Time
|
||||
err := row.Scan(&u.ID, &u.Username, &u.DisplayName, &t)
|
||||
u.CreatedAt = stamp(t)
|
||||
return u, err
|
||||
}
|
||||
func scanMessage(row scanner) (Message, error) {
|
||||
var m Message
|
||||
var t time.Time
|
||||
err := row.Scan(&m.ID, &m.ChatID, &m.SenderID, &m.Text, &t)
|
||||
m.CreatedAt = stamp(t)
|
||||
return m, err
|
||||
}
|
||||
|
||||
func (s *Server) profile(ctx context.Context, uid string) (User, error) {
|
||||
// Valkey caches ONLY immutable User JSON. Session validity is always read
|
||||
// from PostgreSQL first; cache loss never permits anonymous access.
|
||||
key := "profile:v1:" + uid
|
||||
if s.cache != nil {
|
||||
c, cancel := context.WithTimeout(ctx, 80*time.Millisecond)
|
||||
raw, err := s.cache.Get(c, key).Bytes()
|
||||
cancel()
|
||||
var u User
|
||||
if err == nil && json.Unmarshal(raw, &u) == nil && u.ID == uid {
|
||||
return u, nil
|
||||
}
|
||||
}
|
||||
u, err := scanUser(s.db.QueryRow(ctx, "SELECT "+userColumns+" FROM users WHERE id=$1", uid))
|
||||
if err != nil {
|
||||
return u, err
|
||||
}
|
||||
if s.cache != nil {
|
||||
raw, _ := json.Marshal(u)
|
||||
c, cancel := context.WithTimeout(ctx, 80*time.Millisecond)
|
||||
_ = s.cache.Set(c, key, raw, 300*time.Second).Err()
|
||||
cancel()
|
||||
}
|
||||
return u, nil
|
||||
}
|
||||
func (s *Server) authenticate(w http.ResponseWriter, r *http.Request) (User, []byte, bool) {
|
||||
parts := strings.Fields(r.Header.Get("Authorization"))
|
||||
if len(parts) != 2 || !strings.EqualFold(parts[0], "Bearer") {
|
||||
unauthorized(w, "Bearer")
|
||||
return User{}, nil, false
|
||||
}
|
||||
raw, err := base64.RawURLEncoding.DecodeString(parts[1])
|
||||
if err != nil || len(raw) != 32 {
|
||||
unauthorized(w, "Bearer")
|
||||
return User{}, nil, false
|
||||
}
|
||||
digest := sha256.Sum256([]byte(parts[1]))
|
||||
var uid string
|
||||
err = s.db.QueryRow(r.Context(), "SELECT user_id::text FROM sessions WHERE token_hash=$1 AND expires_at>clock_timestamp()", digest[:]).Scan(&uid)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
unauthorized(w, "Bearer")
|
||||
return User{}, nil, false
|
||||
}
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return User{}, nil, false
|
||||
}
|
||||
u, err := s.profile(r.Context(), uid)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return User{}, nil, false
|
||||
}
|
||||
return u, digest[:], true
|
||||
}
|
||||
|
||||
type recorder struct {
|
||||
http.ResponseWriter
|
||||
status int
|
||||
}
|
||||
|
||||
func (w *recorder) WriteHeader(status int) { w.status = status; w.ResponseWriter.WriteHeader(status) }
|
||||
func (s *Server) ServeHTTP(w http.ResponseWriter, r *http.Request) {
|
||||
start := time.Now()
|
||||
out := &recorder{w, 200}
|
||||
w = out
|
||||
w.Header().Set("Content-Type", "application/json; charset=utf-8")
|
||||
w.Header().Set("X-Request-Id", uuid())
|
||||
w.Header().Set("X-Instance-Id", s.instance)
|
||||
ctx, cancel := context.WithTimeout(r.Context(), 3*time.Second)
|
||||
defer cancel()
|
||||
r = r.WithContext(ctx)
|
||||
route := "unknown"
|
||||
defer func() {
|
||||
if recover() != nil {
|
||||
fail(w, 500, "internal_error", "Internal server error")
|
||||
}
|
||||
if s.log != nil {
|
||||
s.log.Info("request", "method", r.Method, "route", route, "status", out.status, "duration_us", time.Since(start).Microseconds(), "request_id", w.Header().Get("X-Request-Id"))
|
||||
}
|
||||
}()
|
||||
if r.Method == "GET" && (r.URL.Path == "/health/live" || r.URL.Path == "/health/ready") {
|
||||
route = r.URL.Path
|
||||
if r.URL.Path == "/health/ready" && (s.stopping.Load() || s.db.Ping(ctx) != nil) {
|
||||
unavailable(w)
|
||||
} else {
|
||||
reply(w, 200, map[string]string{"status": "ok"})
|
||||
}
|
||||
return
|
||||
}
|
||||
if s.stopping.Load() {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
if r.Method == "POST" && r.URL.Path == "/api/v1/users" {
|
||||
route = "/users"
|
||||
s.createUser(w, r)
|
||||
return
|
||||
}
|
||||
if r.Method == "POST" && r.URL.Path == "/api/v1/auth/sessions" {
|
||||
route = "/auth/sessions"
|
||||
s.login(w, r)
|
||||
return
|
||||
}
|
||||
user, digest, ok := s.authenticate(w, r)
|
||||
if !ok {
|
||||
return
|
||||
}
|
||||
if r.Method == "DELETE" && r.URL.Path == "/api/v1/auth/sessions/current" {
|
||||
route = "/auth/sessions/current"
|
||||
tag, err := s.db.Exec(ctx, "DELETE FROM sessions WHERE token_hash=$1", digest)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
} else if tag.RowsAffected() == 0 {
|
||||
unauthorized(w, "Bearer")
|
||||
} else {
|
||||
w.WriteHeader(204)
|
||||
}
|
||||
return
|
||||
}
|
||||
if r.Method == "GET" && r.URL.Path == "/api/v1/users/me" {
|
||||
route = "/users/me"
|
||||
reply(w, 200, user)
|
||||
return
|
||||
}
|
||||
if r.URL.Path == "/api/v1/chats" {
|
||||
route = "/chats"
|
||||
switch r.Method {
|
||||
case "POST":
|
||||
s.createChat(w, r, user.ID)
|
||||
case "GET":
|
||||
s.listChats(w, r, user.ID)
|
||||
default:
|
||||
missing(w)
|
||||
}
|
||||
return
|
||||
}
|
||||
parts := strings.Split(strings.TrimPrefix(r.URL.Path, "/"), "/")
|
||||
if len(parts) < 4 || len(parts) > 5 || parts[0] != "api" || parts[1] != "v1" || parts[2] != "chats" {
|
||||
missing(w)
|
||||
return
|
||||
}
|
||||
cid := strings.ToLower(parts[3])
|
||||
route = "/chats/{id}"
|
||||
if !uuidRE.MatchString(cid) {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
chat, err := s.getChat(ctx, cid, user.ID)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
missing(w)
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
if len(parts) == 4 && r.Method == "GET" {
|
||||
reply(w, 200, chat)
|
||||
return
|
||||
}
|
||||
if len(parts) == 5 && parts[4] == "messages" {
|
||||
route = "/chats/{id}/messages"
|
||||
switch r.Method {
|
||||
case "POST":
|
||||
s.createMessage(w, r, user.ID, cid)
|
||||
case "GET":
|
||||
s.listMessages(w, r, cid)
|
||||
default:
|
||||
missing(w)
|
||||
}
|
||||
return
|
||||
}
|
||||
missing(w)
|
||||
}
|
||||
func (s *Server) createUser(w http.ResponseWriter, r *http.Request) {
|
||||
var input struct {
|
||||
Username string `json:"username"`
|
||||
DisplayName string `json:"display_name"`
|
||||
Password string `json:"password"`
|
||||
}
|
||||
if !decode(w, r, &input, "username", "display_name", "password") {
|
||||
return
|
||||
}
|
||||
if !usernameRE.MatchString(input.Username) || !validText(input.DisplayName, 100) || !validText(input.Password, 128) || utf8.RuneCountInString(input.Password) < 12 {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
if !s.acquireKDF(r.Context(), w) {
|
||||
return
|
||||
}
|
||||
hash := hashPassword(input.Password)
|
||||
<-s.kdf
|
||||
u, err := scanUser(s.db.QueryRow(r.Context(), "INSERT INTO users(id,username,display_name,password_hash) VALUES($1,$2,$3,$4) RETURNING "+userColumns, uuid(), input.Username, input.DisplayName, hash))
|
||||
var pgerr *pgconn.PgError
|
||||
if errors.As(err, &pgerr) && pgerr.Code == "23505" {
|
||||
fail(w, 409, "conflict", "Username already exists")
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
reply(w, 201, u)
|
||||
}
|
||||
func (s *Server) login(w http.ResponseWriter, r *http.Request) {
|
||||
body, err := io.ReadAll(http.MaxBytesReader(w, r.Body, 1))
|
||||
if err != nil || len(body) != 0 {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
username, password, ok := r.BasicAuth()
|
||||
if !ok || !usernameRE.MatchString(username) || !validText(password, 128) || utf8.RuneCountInString(password) < 12 {
|
||||
unauthorized(w, "Basic")
|
||||
return
|
||||
}
|
||||
var u User
|
||||
var hash string
|
||||
var t time.Time
|
||||
err = s.db.QueryRow(r.Context(), "SELECT "+userColumns+", password_hash FROM users WHERE username=$1", username).Scan(&u.ID, &u.Username, &u.DisplayName, &t, &hash)
|
||||
absent := errors.Is(err, pgx.ErrNoRows)
|
||||
if err != nil && !absent {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
if absent {
|
||||
hash = s.dummyHash
|
||||
}
|
||||
if !s.acquireKDF(r.Context(), w) {
|
||||
return
|
||||
}
|
||||
valid := verifyPassword(password, hash)
|
||||
<-s.kdf
|
||||
if !valid || absent {
|
||||
unauthorized(w, "Basic")
|
||||
return
|
||||
}
|
||||
raw := make([]byte, 32)
|
||||
if _, err = rand.Read(raw); err != nil {
|
||||
panic(err)
|
||||
}
|
||||
token := base64.RawURLEncoding.EncodeToString(raw)
|
||||
digest := sha256.Sum256([]byte(token))
|
||||
var expires time.Time
|
||||
err = s.db.QueryRow(r.Context(), "INSERT INTO sessions(token_hash,user_id,expires_at) VALUES($1,$2,clock_timestamp()+make_interval(secs=>$3)) RETURNING expires_at", digest[:], u.ID, s.ttl).Scan(&expires)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
u.CreatedAt = stamp(t)
|
||||
reply(w, 201, map[string]any{"token": token, "token_type": "Bearer", "expires_at": stamp(expires), "user": u})
|
||||
}
|
||||
func (s *Server) createChat(w http.ResponseWriter, r *http.Request, uid string) {
|
||||
var input struct {
|
||||
Title string `json:"title"`
|
||||
MemberIDs []string `json:"member_ids"`
|
||||
}
|
||||
if !decode(w, r, &input, "title", "member_ids") {
|
||||
return
|
||||
}
|
||||
if !validText(input.Title, 100) || len(input.MemberIDs) < 1 || len(input.MemberIDs) > 100 {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
seen := map[string]bool{}
|
||||
for i, id := range input.MemberIDs {
|
||||
id = strings.ToLower(id)
|
||||
if !uuidRE.MatchString(id) || seen[id] {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
seen[id] = true
|
||||
input.MemberIDs[i] = id
|
||||
}
|
||||
if !seen[uid] {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
tx, err := s.db.Begin(r.Context())
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
defer tx.Rollback(context.Background())
|
||||
chat := Chat{ID: uuid(), Title: input.Title, MemberIDs: input.MemberIDs}
|
||||
var t time.Time
|
||||
err = tx.QueryRow(r.Context(), "INSERT INTO chats(id,title) VALUES($1,$2) RETURNING created_at", chat.ID, chat.Title).Scan(&t)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
for _, id := range input.MemberIDs {
|
||||
_, err = tx.Exec(r.Context(), "INSERT INTO chat_members(chat_id,user_id) VALUES($1,$2)", chat.ID, id)
|
||||
var pgerr *pgconn.PgError
|
||||
if errors.As(err, &pgerr) && pgerr.Code == "23503" {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
}
|
||||
if tx.Commit(r.Context()) != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
chat.CreatedAt = stamp(t)
|
||||
reply(w, 201, chat)
|
||||
}
|
||||
|
||||
const chatColumns = `c.id::text,c.title,c.created_at,ARRAY(SELECT m.user_id::text FROM chat_members m WHERE m.chat_id=c.id ORDER BY m.user_id)`
|
||||
|
||||
func scanChat(row scanner) (Chat, error) {
|
||||
var c Chat
|
||||
var t time.Time
|
||||
err := row.Scan(&c.ID, &c.Title, &t, &c.MemberIDs)
|
||||
c.CreatedAt = stamp(t)
|
||||
return c, err
|
||||
}
|
||||
func (s *Server) getChat(ctx context.Context, cid, uid string) (Chat, error) {
|
||||
return scanChat(s.db.QueryRow(ctx, "SELECT "+chatColumns+" FROM chats c JOIN chat_members a ON a.chat_id=c.id AND a.user_id=$2 WHERE c.id=$1", cid, uid))
|
||||
}
|
||||
|
||||
var idempotencyRE = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`)
|
||||
|
||||
func (s *Server) createMessage(w http.ResponseWriter, r *http.Request, uid, cid string) {
|
||||
var input struct {
|
||||
Text string `json:"text"`
|
||||
}
|
||||
if !decode(w, r, &input, "text") {
|
||||
return
|
||||
}
|
||||
keys := r.Header.Values("Idempotency-Key")
|
||||
if len(keys) != 1 || !idempotencyRE.MatchString(keys[0]) || !validText(input.Text, 4000) {
|
||||
bad(w)
|
||||
return
|
||||
}
|
||||
body, _ := json.Marshal(input)
|
||||
digest := sha256.Sum256(body)
|
||||
ctx := r.Context()
|
||||
tx, err := s.db.Begin(ctx)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
defer tx.Rollback(context.Background())
|
||||
// Serialize only the same scope/key, across processes. Hash collisions only
|
||||
// serialize unrelated requests; the full unique key still decides identity.
|
||||
_, err = tx.Exec(ctx, "SELECT pg_advisory_xact_lock(hashtextextended($1,0))", uid+":"+cid+":"+keys[0])
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
var previous, saved []byte
|
||||
err = tx.QueryRow(ctx, "SELECT body_hash,response FROM message_requests WHERE user_id=$1 AND chat_id=$2 AND key=$3 AND expires_at>clock_timestamp()", uid, cid, keys[0]).Scan(&previous, &saved)
|
||||
if err == nil {
|
||||
if !bytes.Equal(previous, digest[:]) {
|
||||
fail(w, 409, "conflict", "Key already used with another message")
|
||||
return
|
||||
}
|
||||
if tx.Commit(ctx) != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
w.WriteHeader(201)
|
||||
_, _ = w.Write(saved)
|
||||
return
|
||||
}
|
||||
if !errors.Is(err, pgx.ErrNoRows) {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
var t time.Time
|
||||
err = tx.QueryRow(ctx, "UPDATE chats SET last_message_at=GREATEST(clock_timestamp(),last_message_at+interval '1 microsecond') WHERE id=$1 RETURNING last_message_at", cid).Scan(&t)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
m, err := scanMessage(tx.QueryRow(ctx, "INSERT INTO messages(id,chat_id,sender_id,text,created_at) VALUES($1,$2,$3,$4,$5) RETURNING id::text,chat_id::text,sender_id::text,text,created_at", uuid(), cid, uid, input.Text, t))
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
response, _ := json.Marshal(m)
|
||||
_, err = tx.Exec(ctx, `INSERT INTO message_requests(user_id,chat_id,key,body_hash,response,expires_at) VALUES($1,$2,$3,$4,$5,clock_timestamp()+interval '24 hours') ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body_hash=EXCLUDED.body_hash,response=EXCLUDED.response,expires_at=EXCLUDED.expires_at`, uid, cid, keys[0], digest[:], response)
|
||||
if err != nil || tx.Commit(ctx) != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
reply(w, 201, m)
|
||||
}
|
||||
func (s *Server) listMessages(w http.ResponseWriter, r *http.Request, cid string) {
|
||||
scope := "messages:" + cid
|
||||
limit, c, ok := s.pagination(w, r, scope)
|
||||
if !ok {
|
||||
return
|
||||
}
|
||||
query := `SELECT id::text,chat_id::text,sender_id::text,text,created_at FROM messages WHERE chat_id=$1`
|
||||
args := []any{cid}
|
||||
if c.ID != "" {
|
||||
query += ` AND (created_at,id)>($2::timestamptz,$3::uuid)`
|
||||
args = append(args, c.Time, c.ID)
|
||||
}
|
||||
query += fmt.Sprintf(" ORDER BY messages.created_at,messages.id LIMIT $%d", len(args)+1)
|
||||
args = append(args, limit+1)
|
||||
rows, err := s.db.Query(r.Context(), query, args...)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
defer rows.Close()
|
||||
items := []Message{}
|
||||
for rows.Next() {
|
||||
m, err := scanMessage(rows)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
items = append(items, m)
|
||||
}
|
||||
if rows.Err() != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
var next *string
|
||||
if len(items) > limit {
|
||||
items = items[:limit]
|
||||
last := items[limit-1]
|
||||
next = s.encodeCursor(cursor{scope, last.CreatedAt, last.ID})
|
||||
}
|
||||
reply(w, 200, Page[Message]{items, next})
|
||||
}
|
||||
func (s *Server) listChats(w http.ResponseWriter, r *http.Request, uid string) {
|
||||
scope := "chats:" + uid
|
||||
limit, c, ok := s.pagination(w, r, scope)
|
||||
if !ok {
|
||||
return
|
||||
}
|
||||
query := "SELECT " + chatColumns + " FROM chats c JOIN chat_members a ON a.chat_id=c.id AND a.user_id=$1"
|
||||
args := []any{uid}
|
||||
if c.ID != "" {
|
||||
query += " WHERE (c.created_at,c.id)>($2::timestamptz,$3::uuid)"
|
||||
args = append(args, c.Time, c.ID)
|
||||
}
|
||||
query += fmt.Sprintf(" ORDER BY c.created_at,c.id LIMIT $%d", len(args)+1)
|
||||
args = append(args, limit+1)
|
||||
rows, err := s.db.Query(r.Context(), query, args...)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
defer rows.Close()
|
||||
items := []Chat{}
|
||||
for rows.Next() {
|
||||
chat, err := scanChat(rows)
|
||||
if err != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
items = append(items, chat)
|
||||
}
|
||||
if rows.Err() != nil {
|
||||
unavailable(w)
|
||||
return
|
||||
}
|
||||
var next *string
|
||||
if len(items) > limit {
|
||||
items = items[:limit]
|
||||
last := items[limit-1]
|
||||
next = s.encodeCursor(cursor{scope, last.CreatedAt, last.ID})
|
||||
}
|
||||
reply(w, 200, Page[Chat]{items, next})
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,2 @@
|
||||
# Optional graph rendering; runtime application has no Python dependencies.
|
||||
matplotlib==3.9.4
|
||||
@@ -0,0 +1,32 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Generate local-only credentials. Existing credentials are never overwritten."""
|
||||
import base64
|
||||
import os
|
||||
from pathlib import Path
|
||||
import secrets
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
directory=root/'secrets'
|
||||
directory.mkdir(mode=0o700,exist_ok=True)
|
||||
password_file=directory/'postgres_password'
|
||||
if not password_file.exists():
|
||||
password=secrets.token_hex(24)
|
||||
password_file.write_text(password+'\n')
|
||||
else:
|
||||
password=password_file.read_text().strip()
|
||||
cache_file=directory/'valkey_config'
|
||||
if not cache_file.exists():
|
||||
cache_password=secrets.token_hex(24)
|
||||
cache_file.write_text('bind 0.0.0.0\nprotected-mode yes\nport 6379\ndir /data\nsave ""\nappendonly no\nrequirepass '+cache_password+'\n')
|
||||
else:
|
||||
cache_password=next(line.split()[1] for line in cache_file.read_text().splitlines() if line.startswith('requirepass '))
|
||||
values={'database_url':f'postgres://messenger:{password}@postgres:5432/messenger?sslmode=disable',
|
||||
'cache_url':f'redis://:{cache_password}@valkey:6379/0',
|
||||
'cursor_key':base64.urlsafe_b64encode(secrets.token_bytes(32)).decode().rstrip('=')}
|
||||
for name,value in values.items():
|
||||
p=directory/name
|
||||
if not p.exists():p.write_text(value+'\n')
|
||||
# Compose mounts individual files. Readable by container UID 10001; host
|
||||
# directory 0700 prevents traversal by other local users.
|
||||
for p in directory.iterdir():os.chmod(p,0o444)
|
||||
if not (root/'.env').exists():(root/'.env').write_text('APP_PORT=8083\nSESSION_TTL_SECONDS=3600\n')
|
||||
print('Local secrets ready (values hidden); .env and secrets/ are ignored by Git.')
|
||||
Executable
+6
@@ -0,0 +1,6 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop lb api
|
||||
docker compose restart postgres valkey
|
||||
docker compose up -d --wait
|
||||
Executable
+11
@@ -0,0 +1,11 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
ids=$(docker compose ps -q api)
|
||||
count=$(printf '%s\n' "$ids" | wc -l | tr -d ' ')
|
||||
for id in $ids; do
|
||||
docker stop --time 6 "$id" >/dev/null
|
||||
docker rm "$id" >/dev/null
|
||||
docker compose up -d --no-deps --scale api="$count" --wait api >/dev/null
|
||||
sleep 2
|
||||
done
|
||||
Executable
+13
@@ -0,0 +1,13 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${TARGET_INSTANCE_ID:?required API alias}"
|
||||
for id in $(docker compose ps -q api); do
|
||||
alias=$(docker inspect --format '{{.Config.Hostname}}' "$id")
|
||||
if [ "$alias" = "$TARGET_INSTANCE_ID" ]; then
|
||||
docker stop --time 6 "$id" >/dev/null
|
||||
exit 0
|
||||
fi
|
||||
done
|
||||
printf '%s\n' 'Target API instance is not running' >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,31 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Run committed solution from a real local clone, new credentials and volumes."""
|
||||
import json,os,socket,subprocess,tempfile,uuid
|
||||
from pathlib import Path
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
lab=json.loads((ROOT/'lab.json').read_text())['number']
|
||||
project='verify-lab'+str(lab)+'-'+uuid.uuid4().hex[:10]
|
||||
with socket.socket() as sock:sock.bind(('127.0.0.1',0));port=sock.getsockname()[1]
|
||||
with tempfile.TemporaryDirectory(prefix=project+'-') as directory:
|
||||
clone=Path(directory)/'repo';subprocess.run(['git','clone','--no-hardlinks',str(ROOT),str(clone)],check=True)
|
||||
env=dict(os.environ,COMPOSE_PROJECT_NAME=project,APP_PORT=str(port),API_REPLICAS='2',SESSION_TTL_SECONDS='3600')
|
||||
def run(*args):subprocess.run(args,cwd=clone,env=env,check=True)
|
||||
def snapshots():
|
||||
ids=subprocess.check_output(['docker','compose','ps','-q'],cwd=clone,env=env,text=True).splitlines()
|
||||
result={}
|
||||
for id in ids:
|
||||
item=json.loads(subprocess.check_output(['docker','inspect',id],text=True))[0]
|
||||
service=item['Config']['Labels']['com.docker.compose.service']
|
||||
if service in ['api','postgres','valkey','s3']:result[item['Name']]={'service':service,'started_at':item['State']['StartedAt'],'image_id':item['Image'],'user':item['Config'].get('User',''),'pid1':item['Path']}
|
||||
return result
|
||||
try:
|
||||
run('make','up');run('make','check');run('make','test','BASE_URL=http://localhost:'+str(port))
|
||||
before=snapshots();run('make','test-persistence','ACTION_SCRIPT=scripts/restart.sh','BASE_URL=http://localhost:'+str(port));after=snapshots()
|
||||
for name,item in before.items():assert after[name]['started_at']!=item['started_at'],name+' was not restarted'
|
||||
for item in after.values():
|
||||
if item['service']=='api':assert item['user']=='10001:10001' and item['pid1']=='/usr/local/bin/messenger'
|
||||
(ROOT/'evidence/persistence-processes.json').write_text(json.dumps({'scope':'disposable real clean clone','before':before,'after':after},indent=2)+'\n')
|
||||
print('PASS: real clean clone, fresh secrets/volumes, smoke, same-session persistence, actual store/API restart, non-root PID1')
|
||||
finally:
|
||||
# Only this unique synthetic project, never the working lab volumes.
|
||||
run('docker','compose','down','-v','--remove-orphans')
|
||||
@@ -0,0 +1,36 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Concurrent repeats through LB and the full idempotency scope."""
|
||||
import concurrent.futures as futures
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import uuid
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
from client import Client,arguments,check
|
||||
|
||||
def main():
|
||||
args=arguments('Student idempotency tests')
|
||||
c=Client(args.base_url)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
key=uuid.uuid4().hex
|
||||
def send(_):
|
||||
return Client(c.base).message(alice,chat,'Concurrent one',key=key)
|
||||
with futures.ThreadPoolExecutor(max_workers=12) as pool:results=list(pool.map(send,range(24)))
|
||||
check(len({r['json']['id'] for r in results})==1,'duplicate committed message')
|
||||
instances=sorted({r['headers']['X-Instance-Id'] for r in results})
|
||||
check(len(instances)>=2,'must observe two API processes')
|
||||
path='/api/v1/chats/'+chat['id']+'/messages'
|
||||
c.call('POST',path,409,actor=alice,body={'text':'changed'},headers={'Idempotency-Key':key})
|
||||
for headers in [{},{'Idempotency-Key':'x'*129},{'Idempotency-Key':'bad key'}]:c.call('POST',path,400,actor=alice,body={'text':'x'},headers=headers)
|
||||
different=c.message(bob,chat,'Bob independent',key=key)['json']
|
||||
check(different['id']!=results[0]['json']['id'],'user scope collided')
|
||||
other=c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json']
|
||||
c.message(alice,other,'Other scope',key=key)
|
||||
page=c.call('GET',path,actor=alice,schema='MessagePage')['json']
|
||||
check(len(page['items'])==2,'history has a duplicate')
|
||||
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
|
||||
c.call('POST',path,401,actor=alice,body={'text':'Concurrent one'},headers={'Idempotency-Key':key})
|
||||
result={'parallel_requests':24,'created_messages':1,'observed_instances':instances,'user_chat_scope':True,'revalidation_after_logout':True}
|
||||
(Path(__file__).resolve().parents[1]/'evidence/integration.json').write_text(json.dumps(result,indent=2)+'\n')
|
||||
print('PASS:',json.dumps(result))
|
||||
if __name__=='__main__':main()
|
||||
@@ -0,0 +1,61 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Stop each real container, then replace them in sequence under writes."""
|
||||
import json,os,subprocess,sys,threading,time,uuid
|
||||
from pathlib import Path
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client,Failure,check
|
||||
BASE=os.environ.get('BASE_URL','http://localhost:8083')
|
||||
def dc(*args):return subprocess.check_output(['docker','compose',*args],cwd=ROOT,text=True,stderr=subprocess.DEVNULL).strip()
|
||||
def inspect(id):return json.loads(subprocess.check_output(['docker','inspect',id],text=True))[0]
|
||||
def ready():
|
||||
deadline=time.monotonic()+45
|
||||
while time.monotonic()<deadline:
|
||||
try:
|
||||
dc('up','-d','--no-deps','--wait','api');time.sleep(2);return
|
||||
except subprocess.CalledProcessError:time.sleep(1)
|
||||
raise AssertionError('API did not recover')
|
||||
def run_phase(c,actor,chat,action,seconds=7):
|
||||
results=[];failed=0;stop=threading.Event();events=[];seen=set()
|
||||
def write():
|
||||
nonlocal failed
|
||||
client=Client(BASE,timeout=2);key=uuid.uuid4().hex
|
||||
while not stop.is_set():
|
||||
try:
|
||||
response=client.message(actor,chat,'operation probe '+key,key=key)
|
||||
results.append((time.monotonic(),response['json']['id']))
|
||||
seen.add(response['headers']['X-Instance-Id']);key=uuid.uuid4().hex
|
||||
except Failure:failed+=1
|
||||
time.sleep(.02)
|
||||
worker=threading.Thread(target=write);worker.start();time.sleep(1)
|
||||
started=time.monotonic();action();action_done=time.monotonic();time.sleep(seconds);stop.set();worker.join()
|
||||
history=[];path='/api/v1/chats/'+chat['id']+'/messages?limit=100'
|
||||
from urllib.parse import quote
|
||||
while True:
|
||||
page=c.call('GET',path,actor=actor,schema='MessagePage')['json'];history+=page['items']
|
||||
if page['next_cursor'] is None:break
|
||||
path='/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(page['next_cursor'],safe='')
|
||||
ids=[m['id'] for m in history];check(len(ids)==len(set(ids)),'duplicate IDs')
|
||||
check({i for _,i in results}.issubset(set(ids)),'lost confirmed message')
|
||||
successes_after=[t for t,_ in results if t>=action_done]
|
||||
check(successes_after,'no successful write after action')
|
||||
recovery=successes_after[0]-started
|
||||
return {'successful_writes':len(results),'errors':failed,'successful_rps':len(results)/(time.monotonic()-started+1),'first_recovery_seconds':round(recovery,3),'action_seconds':round(action_done-started,3),'instances':sorted(seen),'confirmed_preserved':True}
|
||||
def main():
|
||||
ready();c=Client(BASE);a,b,e,chat=c.bootstrap();results={'failures':[]}
|
||||
ids=dc('ps','-q','api').splitlines();check(len(ids)==2,'requires two API containers')
|
||||
for id in ids:
|
||||
alias=inspect(id)['Config']['Hostname']
|
||||
env=dict(os.environ,TARGET_INSTANCE_ID=alias)
|
||||
def action():subprocess.run([str(ROOT/'scripts/stop-one.sh')],env=env,check=True,stdout=subprocess.DEVNULL)
|
||||
try:
|
||||
result=run_phase(c,a,chat,action);result['stopped_alias']=alias
|
||||
check(not inspect(id)['State']['Running'],'target is still running')
|
||||
check(result['first_recovery_seconds']<10,'recovery >10s')
|
||||
results['failures'].append(result)
|
||||
finally:ready()
|
||||
results['rolling']=run_phase(c,a,chat,lambda:subprocess.run([str(ROOT/'scripts/rolling.sh')],check=True,stdout=subprocess.DEVNULL),seconds=2)
|
||||
check(len(dc('ps','-q','api').splitlines())==2,'rolling lost replicas')
|
||||
(ROOT/'evidence/operations.json').write_text(json.dumps(results,indent=2)+'\n')
|
||||
print('PASS: each API stopped and rolling replacement completed; confirmed writes preserved')
|
||||
if __name__=='__main__':main()
|
||||
@@ -0,0 +1,52 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Render source JSON as a reproducible scientific figure and a compact table."""
|
||||
import csv,json,statistics
|
||||
from collections import defaultdict
|
||||
from pathlib import Path
|
||||
import matplotlib
|
||||
matplotlib.use('Agg')
|
||||
import matplotlib.pyplot as plt
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
report=json.loads((ROOT/'evidence/scaling.json').read_text());groups=defaultdict(list)
|
||||
for run in report['runs']:groups[(run['series'],run['replicas'],run['concurrency'],run.get('pool_per_api',10))].append(run)
|
||||
summary=[]
|
||||
for (series,n,clients,pool),rows in sorted(groups.items()):
|
||||
result={'series':series,'replicas':n,'clients':clients,'pool_per_api':pool,'repeats':len(rows)}
|
||||
for field in ['successful_rps','error_fraction','p50_ms','p95_ms','p99_ms']:result[field]=statistics.median(r[field] for r in rows)
|
||||
summary.append(result)
|
||||
with (ROOT/'evidence/scaling-summary.csv').open('w') as f:
|
||||
w=csv.DictWriter(f,fieldnames=list(summary[0]));w.writeheader();w.writerows(summary)
|
||||
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':10,'axes.spines.top':False,'axes.spines.right':False})
|
||||
fig,axes=plt.subplots(2,2,figsize=(11,7),layout='constrained')
|
||||
colors={1:'#147d92',2:'#d27925',4:'#814eac'}
|
||||
for col,series in enumerate(['fixed','growing']):
|
||||
for n in [1,2,4]:
|
||||
rows=[r for r in summary if r['series']==series and r['replicas']==n]
|
||||
axes[0,col].plot([r['clients'] for r in rows],[r['successful_rps'] for r in rows],marker='o',color=colors[n],label=f'{n} API')
|
||||
axes[1,col].plot([r['clients'] for r in rows],[r['p99_ms'] for r in rows],marker='o',color=colors[n])
|
||||
axes[0,col].set_title('Fixed: total API 2 CPU / 1024 MiB' if series=='fixed' else 'Growing: 1 CPU / 512 MiB per API')
|
||||
axes[0,col].set_ylabel('Successful responses / s');axes[0,col].legend(frameon=False)
|
||||
axes[1,col].set_ylabel('p99 of successful responses, ms');axes[1,col].set_xlabel('Concurrent clients')
|
||||
for ax in axes[:,col]:ax.set_xticks([4,16,64]);ax.grid(alpha=.2)
|
||||
fig.suptitle('Messenger POST scaling — medians of two 6 s runs, 16 chats',fontsize=14)
|
||||
fig.savefig(ROOT/'evidence/scaling.png',dpi=180)
|
||||
fig.savefig(ROOT/'evidence/scaling.pdf')
|
||||
lines=['# Масштабирование: измеренные результаты','', 'Raw: `scaling.json`. График: `scaling.png`; таблица: `scaling-summary.csv`.', '', 'Медианы двух 6-секундных прогонов после 2 s прогрева на каждую конкуренцию. PostgreSQL2 CPU/512MiB, LB1 CPU/128MiB. 16 чатов, 4/16/64 closed-loop клиента, reusable HTTP connections; без retry. Процентили только успешных HTTP201; ошибки отдельно. Каждый point содержит raw cgroups и samples PostgreSQL.','', '| Серия | API | Клиенты | RPS | Ошибки % | p50 ms | p95 ms | p99 ms |','|---|---:|---:|---:|---:|---:|---:|---:|']
|
||||
for r in summary:
|
||||
lines.append(f"| {r['series']}"+(f" pool={r['pool_per_api']}" if r['series']=='pool_improvement' else '')+f" | {r['replicas']} | {r['clients']} | {r['successful_rps']:.1f} | {100*r['error_fraction']:.3f} | {r['p50_ms']:.3f} | {r['p95_ms']:.3f} | {r['p99_ms']:.3f} |")
|
||||
lines += ['','## Ресурсы и ожидания','', '| Серия | API | Клиенты | CPU API sum % | CPU PostgreSQL % | CPU LB % | API max cgroup peak MiB |','|---|---:|---:|---:|---:|---:|---:|']
|
||||
for (series,n,clients,pool),runs in sorted(groups.items()):
|
||||
if series=='pool_improvement':continue
|
||||
def cpu(service):return statistics.median(sum(v['cpu_percent'] for v in r['cgroup_after'].values() if v['service']==service) for r in runs)
|
||||
peak=max(v['memory_peak'] for r in runs for v in r['cgroup_after'].values() if v['service']=='api')/2**20
|
||||
lines.append(f'| {series} | {n} | {clients} | {cpu("api"):.1f} | {cpu("postgres"):.1f} | {cpu("lb"):.1f} | {peak:.1f} |')
|
||||
lines += ['','CPU100%=один core. CPU измерен за окно snapshots, включающее небольшую инструментальную накладную стоимость, не только ровно6s. memory.peak накоплен с запуска контейнера, current до/после тоже сохранён. Pg_stat_activity samples позволяют наблюдать WAL/locks/CPU, но не являются непрерывным профилем.','']
|
||||
for pool,rows in report.get('pool_diagnostics',{}).items():
|
||||
# Each instance emits cumulative counters; retain the final sample per instance
|
||||
# when available; otherwise show conservative maxima rather than sum duplicates.
|
||||
last={}
|
||||
for row in rows:last[row.get('instance','unknown')]=row
|
||||
for instance,row in last.items():lines.append(f"- Pool{pool}, instance{instance}: acquires={row['acquires']}, empty_acquires={row['empty_acquires']}, accumulated empty wait={row['wait_ns']/1e9:.3f}s (process lifetime counters).")
|
||||
lines += ['','## Границы измерения','', 'Короткие прогоны на одном host, warm caches, fixed ordering, растущие tables и coordinated omission. Предельные задержки во время перегрузки могут быть недооценены closed-loop моделью. Токены только в памяти и stdin генератора, в evidence не сохраняются. SQL/RAM/WAL и работа нескольких процессов ограничивают масштабирование; выводы относятся к измеренному POST-профилю.']
|
||||
(ROOT/'evidence/scaling-summary.md').write_text('\n'.join(lines)+'\n')
|
||||
print('Wrote PNG/PDF/CSV/Markdown from raw evidence')
|
||||
@@ -0,0 +1,80 @@
|
||||
#!/usr/bin/env python3
|
||||
"""1/2/4 replicas, fixed and growing resources, raw cgroups and pool diagnostics."""
|
||||
import json,os,platform,statistics,subprocess,sys,time,threading
|
||||
from pathlib import Path
|
||||
ROOT=Path(__file__).resolve().parents[1];sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client,check
|
||||
BASE='http://localhost:8083'
|
||||
ENV=dict(os.environ,POOL_DIAGNOSTICS='1')
|
||||
def dc(*a,env=None):return subprocess.check_output(['docker','compose',*a],cwd=ROOT,env=env or ENV,text=True,stderr=subprocess.DEVNULL).strip()
|
||||
def snapshot():
|
||||
result={}
|
||||
for service in ['api','postgres','lb']:
|
||||
for id in dc('ps','-q',service).splitlines():
|
||||
raw=subprocess.check_output(['docker','exec',id,'sh','-c','cat /sys/fs/cgroup/cpu.stat; cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.peak'],text=True).splitlines()
|
||||
values={};numbers=[]
|
||||
for line in raw:
|
||||
items=line.split()
|
||||
if len(items)==2:values[items[0]]=int(items[1])
|
||||
else:numbers.append(int(line))
|
||||
result[id[:12]]={'service':service,'usage_usec':values['usage_usec'],'nr_throttled':values['nr_throttled'],'throttled_usec':values['throttled_usec'],'memory_current':numbers[0],'memory_peak':numbers[1]}
|
||||
return result
|
||||
|
||||
def main():
|
||||
binary=ROOT/'bin/bench';binary.parent.mkdir(exist_ok=True)
|
||||
subprocess.run(['go','build','-o',str(binary),'./cmd/bench'],cwd=ROOT,env=dict(os.environ,GOCACHE='/private/tmp/highload-go-cache'),check=True)
|
||||
redo=set(filter(None,os.environ.get('SCALING_REDO','').split(',')))
|
||||
report={'host':{'platform':platform.platform(),'machine':platform.machine(),'logical_cpus':os.cpu_count(),'docker':subprocess.check_output(['docker','info','--format','{{.Architecture}} CPUs={{.NCPU}} Memory={{.MemTotal}}'],text=True).strip()},'method':{'warmup_seconds':2,'duration_seconds':6,'repetitions':2,'chats':16,'profile':'one immutable ~128-character POST per worker, uniform round-robin among 16 chats; fresh unique key; no retry; successful percentiles; closed loop'},'runs':[]}
|
||||
if redo:report=json.loads((ROOT/'evidence/scaling.json').read_text())
|
||||
def configure(n,cpu,memory,pool=10):
|
||||
env=dict(ENV,API_REPLICAS=str(n),API_CPUS=str(cpu),API_MEMORY=str(memory)+'m',DB_POOL_MAX=str(pool))
|
||||
dc('up','-d','--no-deps','--scale','api='+str(n),'--force-recreate','--wait','api',env=env)
|
||||
time.sleep(3)
|
||||
return env
|
||||
def bench(fixture,concurrency,duration):
|
||||
waits=[];stop=threading.Event()
|
||||
def observe():
|
||||
while not stop.is_set():
|
||||
try:waits.append(dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atqc',"SELECT coalesce(wait_event_type,'CPU')||':'||coalesce(wait_event,'running')||':'||count(*) FROM pg_stat_activity WHERE datname='messenger' AND pid<>pg_backend_pid() AND state<>'idle' GROUP BY wait_event_type,wait_event"))
|
||||
except subprocess.CalledProcessError:pass
|
||||
stop.wait(.5)
|
||||
monitor=threading.Thread(target=observe);monitor.start()
|
||||
try:output=subprocess.check_output([str(binary),'-base',BASE,'-concurrency',str(concurrency),'-duration',str(duration)+'s'],input=json.dumps(fixture),text=True)
|
||||
finally:stop.set();monitor.join()
|
||||
result=json.loads(output);result['pg_wait_samples']=waits;return result
|
||||
|
||||
try:
|
||||
for series in ['fixed','growing']:
|
||||
for n in [1,2,4]:
|
||||
if redo and series+':'+str(n) not in redo:continue
|
||||
if redo:report['runs']=[r for r in report['runs'] if not (r['series']==series and r['replicas']==n)]
|
||||
cpu=2/n if series=='fixed' else 1;memory=1024//n if series=='fixed' else 512
|
||||
configure(n,cpu,memory)
|
||||
c=Client(BASE);a=c.user('scaling');chats=[]
|
||||
for i in range(16):chats.append(c.call('POST','/api/v1/chats',201,actor=a,body={'title':'Scaling','member_ids':[a['id']]},schema='Chat')['json']['id'])
|
||||
fixture={'token':a['token'],'chats':chats}
|
||||
for clients in [4,16,64]:
|
||||
bench(fixture,clients,2)
|
||||
for repeat in range(2):
|
||||
before=snapshot();started=time.time();result=bench(fixture,clients,6);after=snapshot()
|
||||
result.update(started_unix=started,series=series,replicas=n,cpu_per_api=cpu,memory_mib_per_api=memory,pool_per_api=10,repeat=repeat+1,cgroup_before=before,cgroup_after=after)
|
||||
for id,stat in after.items():
|
||||
stat['cpu_percent']=100*(stat['usage_usec']-before[id]['usage_usec'])/1e6/(time.time()-started)
|
||||
result['messages_in_database_after']=int(dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atqc','SELECT count(*) FROM messages'))
|
||||
report['runs'].append(result);(ROOT/'evidence/scaling.json').write_text(json.dumps(report,indent=2)+'\n')
|
||||
print(series,n,clients,repeat+1,round(result['successful_rps']),flush=True)
|
||||
# Deliberate pool starvation baseline and one measured improvement.
|
||||
for pool in [1,10]:
|
||||
if redo and 'pool' not in redo:continue
|
||||
if redo:report['runs']=[r for r in report['runs'] if not (r['series']=='pool_improvement' and r['pool_per_api']==pool)]
|
||||
configure(2,1,512,pool)
|
||||
c=Client(BASE);a=c.user('pool');chats=[c.call('POST','/api/v1/chats',201,actor=a,body={'title':'Pool','member_ids':[a['id']]},schema='Chat')['json']['id'] for _ in range(16)]
|
||||
fixture={'token':a['token'],'chats':chats};bench(fixture,32,2)
|
||||
for rep in range(3):
|
||||
result=bench(fixture,32,6);result.update(series='pool_improvement',replicas=2,pool_per_api=pool,repeat=rep+1)
|
||||
report['runs'].append(result)
|
||||
report.setdefault('pool_diagnostics',{})[str(pool)]=[json.loads(line) for line in dc('logs','--no-log-prefix','--tail','10000','api').splitlines() if line.startswith('{') and '"msg":"pool"' in line]
|
||||
(ROOT/'evidence/scaling.json').write_text(json.dumps(report,indent=2)+'\n')
|
||||
finally:dc('up','-d','--no-deps','--scale','api=2','--force-recreate','--wait','api',env=dict(os.environ,API_REPLICAS='2',API_CPUS='1',API_MEMORY='256m',DB_POOL_MAX='10'))
|
||||
print('DONE',flush=True)
|
||||
if __name__=='__main__':main()
|
||||
@@ -0,0 +1,13 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Small sanitized runtime manifest; no environment, passwords or tokens."""
|
||||
import json,platform,subprocess
|
||||
from pathlib import Path
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
ids=subprocess.check_output(['docker','compose','ps','-q'],cwd=ROOT,text=True).splitlines()
|
||||
result={'platform':platform.platform(),'containers':[]}
|
||||
for id in ids:
|
||||
item=json.loads(subprocess.check_output(['docker','inspect',id],text=True))[0]
|
||||
result['containers'].append({'service':item['Config']['Labels']['com.docker.compose.service'],'name':item['Name'],'alias':item['Config']['Hostname'],'image':item['Config']['Image'],'image_id':item['Image'],'user':item['Config']['User'],'pid1_path':item['Path'],'started_at':item['State']['StartedAt'],'memory_limit_bytes':item['HostConfig']['Memory'],'nano_cpus_limit':item['HostConfig']['NanoCpus'],'published_ports':item['NetworkSettings']['Ports'],'health':item['State'].get('Health',{}).get('Status'),'mount_targets':[m['Destination'] for m in item['Mounts']]})
|
||||
result['postgres_durability']=subprocess.check_output(['docker','compose','exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atqc',"SELECT name||'='||setting FROM pg_settings WHERE name IN ('fsync','synchronous_commit','full_page_writes','max_connections') ORDER BY name"],cwd=ROOT,text=True).splitlines()
|
||||
(ROOT/'evidence/runtime.json').write_text(json.dumps(result,indent=2)+'\n')
|
||||
print('Saved sanitized runtime manifest: resources, images, PID1, ports, durability')
|
||||
Reference in New Issue
Block a user