61 changed files with 9188 additions and 24 deletions
+34
View File
@@ -0,0 +1,34 @@
name: solution
on: [push, pull_request]
permissions:
contents: read
jobs:
application:
runs-on: ubuntu-24.04
timeout-minutes: 20
steps:
- uses: actions/checkout@v4
- name: Fresh stack, contract and public API
run: |
make up
make check
make test
- name: Real PostgreSQL and race detector
run: make test-race
- name: Student HTTP cases
run: python3 student-tests/integration.py --base-url http://localhost:8083
- name: Persistence of existing session and data
run: make test-persistence ACTION_SCRIPT=scripts/restart.sh
- name: API failover through LB
run: make test-failover ACTION_SCRIPT=scripts/stop-one.sh
- name: Safe diagnostics
if: always()
run: docker compose logs --tail 100 > evidence/ci-containers.txt
- uses: actions/upload-artifact@v4
if: always()
with:
name: solution-evidence
path: evidence/
- name: Dispose this CI-only stack
if: always()
run: docker compose --profile verify down -v --remove-orphans
+2
View File
@@ -30,3 +30,5 @@ coverage/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
.venv-research/
+191
View File
@@ -0,0 +1,191 @@
# Защита ЛР 3: понимать решение, а не заучивать названия
Автор: Крайкин Глеб, БВТ 2303. Читай вместе с кодом и `REPORT.md`. Измеренные результаты находятся в `evidence/`, команды — в `QUICKSTART.md`.
## Рассказ на 90 секунд
«Во второй работе был один Go API и PostgreSQL. В третьей я запустил два взаимозаменяемых процесса API за HAProxy. Сессии остались в общей PostgreSQL, а Valkey по-прежнему кэширует только неизменяемый публичный профиль. Поэтому запрос с одним токеном может попасть на любую реплику.
Добавился обязательный Idempotency-Key. При потере ответа клиент не знает, записано ли сообщение. Он повторяет тот же запрос с тем же ключом. Сервер проверяет сессию и членство, берёт транзакционную advisory-блокировку по пользователю, чату и ключу. В одной SQL-транзакции сохраняются сообщение и исходный результат. Конкурентный повтор ждёт, затем получает то же сообщение; другой текст с тем же ключом даёт 409.
Я проверил отказ каждого API отдельно, замену контейнеров под записью и полный перезапуск с прежним токеном. Для пятёрки сравнил 1/2/4 API при фиксированном и растущем бюджете, измерил RPS, ошибки, задержки, ресурсы и ожидания БД. Несколько API защищают от отказа одного процесса. PostgreSQL, балансировщик и Docker-host в этом стенде остаются единичными точками отказа».
## Сначала восстанови основу второй работы
| Что | Где | Зачем |
|---|---|---|
| Argon2id + случайная соль | `internal/messenger/password.go` | Проверка человеческого пароля без его хранения |
| Basic | `login` в `server.go` | Только первоначальный обмен username/password на сессию |
| Opaque Bearer | `login`, `authenticate` | 32 случайных байта; в БД SHA-256 токена и абсолютный expiry |
| Авторизация чата | `getChat` | Проверка `(chat_id,user_id)` в `chat_members` |
| Valkey | `profile` | Только User JSON, TTL 300; ошибка кэша → PostgreSQL |
| Keyset | `pagination`, `listMessages` | Следующая страница после `(created_at,id)` |
| HMAC | `encodeCursor` | Защищает курсор от изменения; секрет одинаков у API |
Аутентификация отвечает «кто ты», авторизация — «можно ли тебе этот чат». Кэш профиля не подтверждает сессию. `FLUSHDB` не отзывает сессии, потому что они хранятся в PostgreSQL. Logout удаляет сессию; оставшийся профиль не даёт доступ. Повтори эти ответы без чтения, прежде чем идти дальше.
## Архитектура и состояние
```mermaid
flowchart LR
C[Клиент] --> LB[HAProxy :8083]
LB --> A[API A]
LB --> B[API B]
A --> PG[(PostgreSQL)]
B --> PG
A --> VK[(Valkey: профили)]
B --> VK
M[Однократная migration job] --> PG
```
Оба процесса имеют один и тот же образ, DATABASE_URL, CURSOR_KEY и CACHE_URL. У каждого свой pool и память. Сессии, история, членство и результат идемпотентности общие. Ключ курсора — общий локальный Compose-secret, не случайный ключ на каждый запуск.
В памяти остаются допустимые локальные вещи: число выполняющихся KDF, HTTP-соединения, флаг остановки, конфигурация. Если потеря такой памяти меняет владельца сессии или создаёт дубль сообщения — состояние выбрано неправильно.
API не публикуют host ports. Только LB связан с `127.0.0.1:8083`. Контейнеры находят сервисы по Docker DNS. `deploy.replicas` поддерживается выбранной версией Compose; исследование явно использует `--scale api=N`. Предел конфигурации HAProxy — четыре API, а не бесконечное масштабирование.
## Один запрос по коду
Возьми `POST /api/v1/chats/{id}/messages` и открой `internal/messenger/server.go`.
1. `ServeHTTP` создаёт `X-Request-Id` и `X-Instance-Id`, ставит deadline 3 s, выбирает маршрут.
2. `authenticate` разбирает Bearer, вычисляет SHA-256, ищет неистёкшую сессию в PostgreSQL. Затем `profile` получает User.
3. `getChat` проверяет членство. Неизвестный и чужой чат одинаково дают 404.
4. `createMessage` строго читает JSON, проверяет текст и ровно один корректный `Idempotency-Key`.
5. `BEGIN`; `pg_advisory_xact_lock(hashtextextended(scope,0))` сериализует запросы одного ключа.
6. Если действующий результат уже есть: сравнить hash нормализованного body. Совпадает → COMMIT → исходный 201/Message. Отличается → 409, транзакция откатывается через defer.
7. Иначе обновить `chats.last_message_at`, вставить сообщение, сохранить JSON результата и expiry в `message_requests`.
8. `COMMIT`, затем отправить 201. Если ошибка/неопределённый результат COMMIT — 503; клиент повторяет исходный ключ.
Найди самостоятельно все восемь шагов. Умение показать конкретный SQL важнее определения «горизонтальное масштабирование».
## Почему идемпотентность устроена именно так
**Проблема неопределённости:** сервер сделал COMMIT, сеть оборвалась до ответа. Timeout говорит только об отсутствии полученного ответа. Он не доказывает rollback.
```mermaid
sequenceDiagram
participant C as Клиент
participant A as API A
participant P as PostgreSQL
participant B as API B
C->>A: POST + key K
A->>P: BEGIN, lock K, INSERT message + result
P-->>A: COMMIT
Note over A,C: Ответ потерян
C->>B: Тот же POST + K
B->>P: Проверить сессию, lock K, SELECT result
P-->>B: Исходный Message
B-->>C: 201, тот же id и created_at
```
Область ключа — пользователь + метод POST + путь конкретного чата + сам ключ. Метод/тип операции здесь фиксированы одной таблицей и единственным handler. Один ключ Алисы в разных чатах независим. Ключ Алисы и такой же ключ Боба независимы.
`message_requests` содержит `user_id,chat_id,key,body_hash,response,expires_at`; составной PK закрепляет уникальность. TTL — 24 часа, отсчитываемые часами БД. Истёкший ключ можно использовать заново; прежнее сообщение при этом остаётся. Встроенной массовой очистки этой таблицы нет, значит для долгой эксплуатации потребуется обслуживание.
**Зачем advisory lock, если есть UNIQUE?** UNIQUE не даёт две записи результата, но сам по себе не задаёт весь алгоритм «кто пишет сообщение, кто ждёт и читает прежний результат». Здесь lock делает эту последовательность явной до побочного эффекта. Можно реализовать и через INSERT ... ON CONFLICT с корректными транзакционными границами. Простая проверка `SELECT отсутствует → INSERT` без синхронизации содержит гонку.
**Зачем и hash, и response?** Hash отличает повтор от нового содержания. Response позволяет вернуть первоначальные id и время, а не генерировать новое сообщение. JSON ключи нормализуются при декодировании в структуру. Пробелы внутри самого текста значимы.
**Почему hash collision lock не ломает корректность?** Advisory lock использует 64-битный hash области. Коллизия лишь заставит два разных ключа ждать друг друга. Сравнение и уникальность результата используют полные user/chat/key, а не hash блокировки. SHA-256 body отдельно имеет криптографически малую вероятность коллизии; это не парольный KDF.
**Что если процесс умер:** до COMMIT PostgreSQL откатит message и result вместе, lock освободится. После COMMIT оба уже существуют. Между сообщением и результатом нет отдельного успешного COMMIT.
**Что если logout:** повтор снова проходит `authenticate` и `getChat`. Сохранённый результат не обходит проверку доступа. Уже выполняющийся авторизованный запрос может завершиться после logout — это указанная граница модели.
**Это exactly once?** Нет общего обещания единственной доставки по сети. В пределах одной операции и 24-часового ключа мы получаем один зафиксированный побочный эффект и повторяемый ответ. Повторы чата/регистрации/upload не получают эту гарантию автоматически.
## Две разные блокировки
| Механизм | Что сериализует | Почему нужен | Цена |
|---|---|---|---|
| Advisory xact lock | Одинаковые user/chat/key | Межпроцессная идемпотентность | Один медленный дубль задерживает остальные дубли |
| Row lock при UPDATE chats | Все новые сообщения одного чата | Монотонное created_at и упорядоченная история | Горячий чат становится последовательной очередью |
`GREATEST(clock_timestamp(),last_message_at+interval '1 microsecond')` не даёт времени сообщения уйти назад внутри чата при откате часов. UUID — дополнительная граница порядка. Реплики не используют локальные часы для назначения времени.
Транзакция имеет уровень READ COMMITTED по умолчанию. После ожидания advisory lock следующий SELECT получает актуальный snapshot и видит зафиксированный результат конкурента. Транзакционная блокировка автоматически снимается при COMMIT/ROLLBACK/разрыве соединения. Это не локальный `sync.Mutex` Go.
## Что именно делает HAProxy
Файл `infra/haproxy.cfg`:
- `balance roundrobin` распределяет запросы между готовыми backend. Sticky sessions нет.
- `server-template api 4 api:8080` создаёт до четырёх слотов, адреса получает через Docker DNS `127.0.0.11`.
- DNS valid/obsolete — 1 s; при замене контейнера адрес обновляется без ручной правки IP.
- Проверка GET `/health/ready` раз в 1 s; `fall 2`, `rise 1`; timeout check 800 ms.
- Для падения процесса порядок обнаружения около 2–3 s с учётом phase/timeout; это оценка конфигурации, реальное восстановление измерено отдельно. В задании бюджет — ≤10 s.
- Connect timeout 500 ms, server/client 35 s, `retries 0`. LB сам не повторяет неопределённый POST.
`depends_on` только управляет порядком старта. Docker healthcheck только сообщает состояние контейнера. Именно HAProxy проверяет ready и решает, куда отправить очередной запрос. Остановка API не должна перезапускать PostgreSQL.
Keep-alive — повторное использование TCP-соединения; sticky session — привязка пользователя к backend. Это разные механизмы. В эксперименте Go-клиент использует keep-alive; взаимозаменяемость всё равно проверяется по ответам и реальным контейнерам.
## Готовность и завершение
`live` означает, что процесс отвечает. `ready` требует работающую PostgreSQL и отсутствие Stop-флага; Valkey некритичен, есть fallback. При SIGTERM `api.Stop()` запрещает новую работу, `http.Server.Shutdown` даёт выполняющимся запросам до 5 s. Compose stop grace 8 s больше этого бюджета.
Существующий запрос в момент SIGTERM может успеть завершиться либо клиент получит ошибку и повторит сообщение с прежним ключом. Отсутствие ошибки в одном прогоне не доказывает нулевую потерю TCP-соединений при любом отказе.
`migrate` — отдельный одноразовый сервис, API стартуют после exit 0. Ledger/checksum и advisory lock дополнительно защищают migration job. В текущем обновлении изменения схемы добавочные. Для будущего DROP/переименования колонки нужен expand → обновить все версии → contract; произвольная несовместимая migration в работающем rolling update не обещана.
`scripts/rolling.sh` последовательно останавливает и удаляет один API-контейнер, поднимает недостающую реплику из выбранного локального образа, ждёт healthy и DNS/ready, затем переходит ко второму. Перед реальным обновлением сначала собрать новый образ. Смена контейнеров и id в `operations.json` — проверенная эквивалентная поочерёдная замена. Это один Docker-host, не оркестратор с переносом на другой узел.
## Исследование на пять
Трек 1 — цена масштабирования. Открой `student-tests/scaling.py`, `cmd/bench/main.go`, `evidence/scaling-summary.md`, `evidence/scaling-conclusions.md`, график и raw JSON.
Гипотеза: добавление API поможет, пока ограничение находится в API. При фиксированном суммарном CPU/RAM само число процессов не создаёт дополнительные вычислительные ресурсы. Общие SQL-запросы, WAL, блокировки и LB ограничивают дальнейший рост.
Сравниваются 1/2/4 реплики, 4/16/64 клиента; два повтора по 6 s после 2 s прогрева. Фиксированный бюджет API — 2 CPU/1024 MiB суммарно, растущий — 1 CPU/512 MiB на реплику. PostgreSQL и LB имеют одинаковые лимиты между вариантами. Нагрузка — реальный POST с Bearer, ACL, общей идемпотентностью и COMMIT, равномерно по 16 чатам. Ошибки не повторяются прозрачно. Есть отдельный контролируемый эксперимент pool=1 против pool=10.
Не говори «в четыре раза больше реплик — в четыре раза быстрее». Покажи конкретную строку таблицы и ресурс, который ограничил результат. Saturation — рост конкуренции/ресурсов почти перестаёт увеличивать успешные RPS, но увеличивает latency/очереди. CPU, throttling, pg_stat_activity и pool waits помогают отличить причины. Число CPU в лимите — потолок, а не реально измеренная загрузка.
Ограничения: короткие локальные closed-loop прогоны, coordinated omission, warm caches, растущие таблицы, фиксированный порядок вариантов, один host. p99 считается по успешным запросам; доля ошибок дана отдельно. Это эксперимент данного профиля, не универсальная ёмкость мессенджера.
## Вопросы преподавателя: коротко и в глубину
1. **Что такое реплика здесь?** Независимый процесс API с отдельной памятью, pool и TCP-соединениями. Данные он читает из общей БД. Это не PostgreSQL replica.
2. **Чем scale out отличается от scale up?** Больше процессов/узлов против большего CPU/RAM одного процесса. В треке сравниваются обе причины отдельно.
3. **Почему нельзя хранить сессии в map?** Логин на A не даст B эту map; рестарт уничтожит её. Sticky может скрыть ошибку до отказа A.
4. **Почему общий секрет cursor?** Иначе B не проверит HMAC курсора A.
5. **Что обещает COMMIT?** Атомарность изменений в БД; локальная durability зависит от WAL/fsync/synchronous_commit. Это не резервная копия.
6. **Где гарантия одного сообщения?** Общая транзакция, межпроцессная блокировка и полный уникальный ключ результата, не заголовок сам по себе.
7. **Можно ли повторить POST после timeout?** Сообщение — с тем же ключом и body. Для других POST в обязательном контракте такой гарантии нет.
8. **Почему повтор возвращает 201?** Это заданный контракт исходного результата, даже если повтор сам не создаёт новую строку.
9. **Когда 409?** Тот же действующий ключ и другой нормализованный body. Занятый username тоже 409, но другая причина.
10. **Что будет через 24 часа?** Ключ истечёт, новая операция может создать ещё одно сообщение. Это ограниченное окно дедупликации.
11. **Если БД упала?** Ready/бизнес-путь дают ограниченный отказ; новые записи не подтверждаются. Два API не создают HA PostgreSQL.
12. **Если Valkey упал?** Профиль загрузится из PostgreSQL, SQL-нагрузка возрастёт, сессии не пропадут.
13. **Если LB упал?** Основной вход недоступен. Реплики API этого не исправят.
14. **Если упал ноутбук?** Все контейнеры одного host недоступны. Failover процесса не равен failover узла.
15. **Почему pool нельзя умножать бесконечно?** N API × max connections создают общий спрос на PostgreSQL; растут память и конкуренция, можно исчерпать max_connections.
16. **Почему увеличение pool не всегда помогает?** Pool может быть узким местом, но после его устранения ограничение переходит в CPU/locks/WAL/DB connections.
17. **Почему не SERIALIZABLE?** Для этого инварианта достаточно явных locks + UNIQUE + READ COMMITTED. Более строгая изоляция потребовала бы обработки serialization failures и не убрала необходимость корректного retry.
18. **Возможен deadlock?** В общем SQL — да. Здесь у одного сообщения один advisory key, потом одна строка чата, порядок един. В расширениях порядок ресурсов надо сохранять; таймауты ограничивают ожидание.
19. **Как проверить реальность двух API?** Сопоставить X-Instance-Id с Config.Hostname двух контейнеров через docker inspect и остановить именно выбранный id.
20. **Что доказывает smoke?** Один сквозной сценарий API. Он не доказывает rolling, все отказы, scaling или правильность всех отрицательных случаев.
21. **Почему успешных RPS мало при одном горячем чате?** Каждая запись UPDATE-ит одну строку chats; lock сериализует писателей независимо от числа API.
22. **Что изменил относительно второй?** Дополнительная миграция requests, обязательный ключ, shared transactional result, instance header, отдельные migrations, LB, scale/failure tests. Argon2id, sessions, ACL, история сохранены.
## Практические задания без подсказки
- Найди в коде место, после которого уже можно ответить 201, и объясни неопределённый результат ошибки COMMIT.
- Нарисуй гонку двух API с одним ключом. Поставь BEGIN, lock, SELECT, INSERT, COMMIT на обеих линиях.
- На бумаге убери advisory lock. Найди, где обе реплики могут увидеть отсутствие результата.
- Покажи таблицу, в которой живёт сессия, и объясни SHA-256 токена против Argon2id пароля.
- Покажи, почему чужой чат даёт 404 даже при правильном Bearer.
- Измени временно pool=1 на отдельном учебном запуске; предскажи, что изменится в очередях.
- Предскажи поведение после рестарта API, Valkey, PostgreSQL и всего host отдельно.
- Объясни разницу между успешными RPS, числом попыток, latency и recovery time.
- Покажи одну строку raw исследования и самостоятельно вычисли error_fraction и RPS.
- Объясни, почему rolling_action_seconds не является временем отсутствия обслуживания: запись выполняется и во время замены.
Готовность к защите: можешь пройти путь запроса без чтения и показать соответствующий SQL, объяснить отрицательные сценарии и границы измерений. Если остаётся только выученный термин — вернись к конкретному примеру.
## Первичные материалы
- [HAProxy 3.2: configuration, resolvers, server checks](https://docs.haproxy.org/3.2/configuration.html)
- [PostgreSQL 17: explicit and advisory locks](https://www.postgresql.org/docs/17/explicit-locking.html)
- [PostgreSQL 17: transaction isolation](https://www.postgresql.org/docs/17/transaction-iso.html)
- [Docker Compose services](https://docs.docker.com/reference/compose-file/services/)
+22
View File
@@ -0,0 +1,22 @@
FROM golang:1.24.4-alpine3.22 AS build
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY cmd/ ./cmd/
COPY internal/ ./internal/
RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
FROM build AS tests
RUN apk add --no-cache gcc musl-dev
ENV CGO_ENABLED=1
CMD ["go", "test", "-race", "-count=1", "-v", "./..."]
FROM alpine:3.22.1
RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
COPY --from=build /out/messenger /usr/local/bin/messenger
USER 10001:10001
ENV APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab
EXPOSE 8080
HEALTHCHECK --interval=5s --timeout=4s --start-period=3s --retries=3 CMD ["/usr/local/bin/messenger", "healthcheck"]
STOPSIGNAL SIGTERM
ENTRYPOINT ["/usr/local/bin/messenger"]
+7
View File
@@ -0,0 +1,7 @@
# ЛР 3 — БВТ 2303 — Крайкин — на 5
Два и более Go API работают за HAProxy с общими PostgreSQL-сессиями и транзакционной идемпотентностью сообщений. Повтор через другую реплику возвращает исходный Message, одновременные повторы не создают дубль; несовпадающий body даёт 409. Отдельная migration job, Docker DNS/readiness и graceful shutdown обеспечивают запуск и поочерёдную замену API.
Цель:5, трек 1 (цена масштабирования). Измерены 1/2/4 API при фиксированном/растущем CPU/RAM, p50/p95/p99, ошибки, cgroups, PG waits и улучшение pool1→10. Есть raw JSON/CSV и график.
Проверки: make check/test/test-race, parallel idempotency, полный persistence, отказ каждого API и rolling под записью, чистый clone. Команды/результаты/ограничения — REPORT.md и evidence/. Учебный стенд не заявляет HA PostgreSQL/LB/host. Контракт и публичные тесты не изменены. Исходная база — собственная ЛР 2; помощь Codex раскрыта в отчёте. Материалы защиты и Postman приложены.
+22 -1
View File
@@ -1,5 +1,5 @@
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
BASE_URL ?= http://localhost:8083
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
@@ -28,3 +28,24 @@ test-persistence:
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
.PHONY: bootstrap up down test-student experiment
bootstrap:
$(PYTHON) scripts/bootstrap.py
up: bootstrap
docker compose --env-file .env up -d --build --wait
down:
docker compose --env-file .env down
test-student:
go test -race -count=1 ./...
$(PYTHON) student-tests/integration.py --base-url "$(BASE_URL)"
experiment:
$(PYTHON) student-tests/scaling.py
test-race:
docker compose --profile verify run --build --rm tests
clean-clone:
$(PYTHON) student-tests/clean_clone.py
snapshot:
$(PYTHON) student-tests/snapshot.py
+41
View File
@@ -0,0 +1,41 @@
# Запуск и демонстрация ЛР 3
Docker Desktop должен работать. Нужны Compose v2 с `--wait`, Python 3.9+ и make. Go 1.24+ нужен только для локальных Go-тестов и исследования; обычное приложение собирается в Docker.
```sh
cd /Users/glebkraykin/Projects/highload-apps-labs/lab3
make up
curl http://localhost:8083/health/ready
make test
python3 student-tests/integration.py --base-url http://localhost:8083
```
`make up` сам создаёт `.env` и secrets, запускает PostgreSQL/Valkey, одноразовые migrations, два API и HAProxy. Единственный внешний порт — 127.0.0.1:8083. Для другого host port измени APP_PORT в .env и передай BASE_URL всем тестам и Postman.
```sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# failover оставляет одну реплику выключенной; вернуть обе:
docker compose up -d --wait
python3 student-tests/operations.py
make test-race
make experiment
# Для графика отдельно:
python3 -m venv .venv-research
.venv-research/bin/pip install -r requirements-research.txt
.venv-research/bin/python student-tests/plot_scaling.py
```
`operations.py` останавливает обе реплики по очереди и заменяет контейнеры под записью; подтверждённые сообщения проверяет по истории. `experiment` меняет число/ресурсы API, создаёт синтетические данные, по завершении возвращает две реплики. Не запускай эти два сценария одновременно.
```sh
docker compose ps
docker compose logs --tail 20 api
make down
```
`down` сохраняет PostgreSQL volume. Не добавляй `-v`, если данные нужны. Секреты и .env не коммитятся. Смена файла пароля после инициализации PostgreSQL не меняет пароль уже созданной роли.
Для демонстрации в Postman импортируй `postman/lab3.postman_collection.json`, запусти коллекцию. Она создаёт синтетические данные и сохраняет переменные автоматически. Ожидаемые 400/401/404/409 — проверки правильного отказа.
Перед защитой: `DEFENSE.md`, затем `evidence/scaling-summary.md`. Отчёт о выполненных критериях — `REPORT.md`.
+88 -23
View File
@@ -1,37 +1,102 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор: **Крайкин Глеб Алексеевич, БВТ 2303**.
- Целевая оценка: **5**, трек 1 — цена масштабирования.
- Исходный skeleton: `0ab3a341aa7ba32363ce43061d4ff02b1f2964af`.
- Ветка: `solution/bvt2303-kraykin`; commit: `git rev-parse HEAD`.
- Проверки: 29.10.2026, локальный Docker Desktop Linux/arm64 на macOS arm64. Точное окружение и ресурсы — `evidence/scaling.json`/`evidence/runtime.json`.
- Перенесено собственное решение ЛР 2: Go HTTP API, Argon2id, PostgreSQL/pgx, Valkey cache-aside профиля, Bearer sessions, ACL, HMAC cursors, keyset history, миграции 001. Исходный commit ЛР 2: `1d21d8e`.
- README/COURSE/CONTRIBUTING, обязательные contracts и публичные tests текущей работы не изменялись. Собственные проверки — `student-tests/` и Go tests.
- ИИ: Codex помог с проектированием, кодом, тестами, измерениями и подготовкой к защите. Преподавательский skeleton и сторонние библиотеки перечислены ниже; чужие студенческие решения не переносились.
## Запуск из чистого clone
## Воспроизводимый запуск
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Docker Desktop/Linux daemon, Docker Compose v2 с --wait, Python 3.9+, make. Локальный Go 1.24+ нужен для исследования и host Go tests; `make test-race` собирает тесты внутри Docker с настоящей БД.
## Архитектура и решения
```sh
make up
make check
make test
python3 student-tests/integration.py --base-url http://localhost:8083
make test-race
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
python3 student-tests/operations.py
make experiment
python3 -m venv .venv-research
.venv-research/bin/pip install -r requirements-research.txt
.venv-research/bin/python student-tests/plot_scaling.py
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
`make up` генерирует `.env`/secrets один раз, поднимает PostgreSQL/Valkey, запускает отдельную migration job до API, затем два API и HAProxy. Локальные секреты не печатаются и не попадают в Git/build context. Порт host по умолчанию 8083, внутренний API 8080. Только `127.0.0.1:8083` публикуется наружу; у API/БД/кэша host ports нет. Курсорный ключ и БД общие для API.
## Доказательства критериев
Образы: Go **1.24.4-alpine3.22** build; Alpine **3.22.1** runtime; PostgreSQL **17.6-alpine**; Valkey **8.1.3-alpine**; HAProxy **3.2.6-alpine**. Runtime non-root UID 10001, приложение PID 1. Зависимости закреплены в go.mod/go.sum (pgx 5.7.6, go-redis 9.12.1, x/crypto 0.41.0). Фактические image IDs, user, ресурсы и StartedAt записаны отдельно. API по умолчанию 1 CPU/256 MiB каждый, PostgreSQL 2 CPU/512 MiB, Valkey 0.5 CPU/128 MiB, LB 1 CPU/128 MiB; исследование переопределяет API-лимиты явно.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
`.env.example` оставлен преподавательским. Реальные переменные: APP_PORT управляет host-портом; SESSION_TTL_SECONDS передаётся API; DATABASE_URL_FILE/CACHE_URL_FILE/CURSOR_KEY_FILE читают secrets; API_REPLICAS (1–4 для текущего HAProxy), API_CPUS/API_MEMORY, DB_POOL_MAX (1–64) и POOL_DIAGNOSTICS управляют стендом/исследованием. SESSION_STORE фиксирован PostgreSQL. Идемпотентность использует фиксированное контрактом окно 24 h, поэтому IDEMPOTENCY_TTL_SECONDS не является runtime-переключателем.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
```sh
make down
make up
# Только для намеренного удаления ненужных учебных данных:
# docker compose down -v
```
## Эксперименты и отказы
Обычные проверки не удаляют рабочие volumes. Clean-clone тест удаляет только собственный уникальный disposable project. Secrets bootstrap не изменяет уже созданные credentials; замена файла пароля не меняет роль в существующем PostgreSQL volume.
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Migration job получает только database_url. Команды CLI завершают нужный путь до чтения остальных секретов.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
## Архитектура и корректность
## Ограничения и следующие шаги
Клиент → HAProxy → API ×2 → общая PostgreSQL; Valkey — только неизменяемые User profiles с TTL 300. Источник сессий и бизнес-данных PostgreSQL; API не хранит требуемое состояние локально. Профиль не заменяет SQL-проверку сессии, история не кэшируется. Read-after-write через любую API идёт в тот же primary.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Миграции запускаются отдельным сервисом migrate до API, а не всеми API одновременно. Ledger/checksum и advisory lock дополнительно защищают повторный запуск. Первая миграция ЛР 2 сохранена; 002 добавляет `message_requests`, полный составной PK user/chat/key и expiry index.
Операция сообщения: аутентификация/ACL → строгая валидация → BEGIN → advisory xact lock по полному scope → проверка действующего результата → UPDATE времени чата → INSERT message → INSERT/replace expired idempotency result → COMMIT → 201. Другой body при прежнем ключе →409. Сохранённый JSON содержит исходный id/created_at; повтор возвращает те же бизнес-поля. Транзиентные 5xx не записываются как итог. Сообщение и результат фиксируются атомарно. Expiry от часов БД, не продлевается повтором. Новый запрос снова проверяет сессию/доступ, включая replay.
Монотонное время истории сериализует писателей одного чата row lock: `GREATEST(clock_timestamp(),last_message_at+1µs)`. Это сознательное ограничение горячего чата. Курсор HMAC со стабильным общим ключом и `(created_at,id)` сохраняет порядок/область. Полной snapshot-изоляции между страницами нет.
HAProxy: round-robin, без sticky; Docker DNS resolvers с valid/obsolete 1 s и server-template до 4 адресов. Ready probe раз в 1 s, fall=2/rise=1, timeout check 800 ms, connect 500 ms. Оценка обнаружения отказа порядка 2–3 s, фактический recovery измерен. LB не делает прозрачный retry POST (`retries 0`). HTTP request budget 3 s, SQL statement timeout 2 s/lock timeout 1 s, pool default10/API. Valkey budgets сохранены из ЛР 2; отсутствие кэша допускается, отсутствие БД —503/ready503.
SIGTERM: Stop-флаг исключает новые операции, Shutdown даёт 5 s, Compose grace 8 s. Воспроизводимые скрипты остановки сопоставляют `X-Instance-Id` с настоящим Config.Hostname контейнера. Rolling последовательно заменяет контейнеры и ждёт готовности; migrations только добавочные, произвольные несовместимые schema changes требуют expand/contract отдельно.
## Все критерии и доказательства
| Критерий | Команда/наблюдение | Доказательство |
|---|---|---|
| Контракт/skeleton сохранены | make check; git diff по README/COURSE/contracts/tests пуст | check.txt, Git |
| Прежний API + Basic/Bearer/ACL/history | make test | smoke.txt |
| ≥2 реальных API, общий вход и session | 24 конкурентных повтора с прежним Bearer через LB, ≥2 alias | integration.json, runtime.json |
| Общая идемпотентность/409/scope/logout | 24 requests → 1 id; разные user/chat независимы; revoked replay401 | integration.json |
| Конкуренция с race detector и реальной БД | 100 writes + 12 repeats одного ключа →101 messages | race-final.txt |
| Перезапуск API+PG+Valkey, same token/data | public persistence + started-at snapshots | persistence.txt, persistence-processes.json |
| Failover ≤10 s, confirmed сохранены | публичный сценарий, повтор неопределённого POST прежним key | failover-public.txt |
| Остановка каждого API по очереди | inspect + 2 отказа с restore | operations.json |
| Health/timeouts/grace/DNS | конфигурация + наблюдаемый recovery | compose.yaml, haproxy.cfg, operations.json |
| CPU/RAM и отсутствие портов API/container_name | фактический inspect и Compose | runtime.json |
| Поочерёдная замена под записью | новые контейнеры/alias, все подтверждённые сообщения читаются | operations.json, operations.txt |
| Отдельные согласованные migrations | migrate exit0 до запуска API, ledger checksums | startup-final.txt, код |
| Трек 5: fixed/growing 1/2/4 | одинаковый профиль, RPS/errors/p50/95/99, cgroups, PG waits | scaling.json, scaling-summary.md, scaling.png |
| Подтверждённое улучшение | pool=1 vs10, 3 повтора, pool wait diagnostics | scaling.json, scaling-summary.md |
| Чистый clone без соседних labs/готовой БД | новый project/secrets/volumes, smoke/persistence | clean-clone.txt |
## Исследование и отказы
Гипотеза/методика/все результаты: `evidence/scaling-summary.md`. Выводы: `evidence/scaling-conclusions.md`. При growing64 throughput1/2/4 API: 1612.0/3735.5/3624.7 RPS; PostgreSQL достигает CPU/WAL/lock saturation. Pool1→10: 2134.6→3845.3 RPS (+80.1%). Raw JSON сохраняет каждый прогон, concurrency, ресурсы, ошибки, percentiles, наблюдаемые API, CPU/RAM/throttling и samples pg_stat_activity. График строится `student-tests/plot_scaling.py` без ручной правки данных.
Публичный первый failover: 127 successful writes, 2 failed attempts, first recovery 0.22 s. Отдельно остановлены оба настоящих процесса: 1.247/0.731 s, 3 ошибки на каждый сценарий, подтверждённые записи сохранены. Rolling: 576 успешных записей, 3 ошибки, вся история сохранена; длительность действия 15.858 s **не равна** длительности отсутствия обслуживания — запросы выполнялись во время действия. Ограниченный probe с паузой 20 ms не измеряет максимальную capacity.
Публичный persistence сохраняет прежний токен и данные; дополнительный snapshot проверяет фактический restart контейнеров. Время жизни сессии не сбрасывается. Ошибки переходного периода допустимы и учитываются; нулевая потеря подтверждённых сообщений проверена по идентификаторам.
## Границы решения
Один PostgreSQL primary, один LB, один Docker-host; нет HA/failover этих узлов. Процессный failover не является узловым. Локальный HTTP разрешён только для учебных синтетических данных; удалённый показ требует TLS. Нет automatic schema rollback, PITR и очистки expired sessions/message_requests. DB bootstrap role учебная superuser; следующий шаг — migration owner/runtime roles. CPU-сравнение зависит от host/профиля; нет универсального проходного RPS.
Материал защиты: `DEFENSE.md`; быстрые команды: `QUICKSTART.md`; Postman: `postman/`.
## Источники
- [HAProxy 3.2 configuration](https://docs.haproxy.org/3.2/configuration.html)
- [PostgreSQL 17 locks](https://www.postgresql.org/docs/17/explicit-locking.html)
- [Docker Compose services](https://docs.docker.com/reference/compose-file/services/)
- [pgx pool statistics](https://pkg.go.dev/github.com/jackc/pgx/v5/pgxpool)
+93
View File
@@ -0,0 +1,93 @@
// bench is a closed-loop HTTP write generator with reusable connections.
// Credentials arrive only on stdin and never appear in output.
package main
import (
"bytes"
"encoding/json"
"flag"
"fmt"
"io"
"net/http"
"os"
"sort"
"sync"
"time"
)
func main() {
base := flag.String("base", "http://localhost:8083", "")
duration := flag.Duration("duration", 5*time.Second, "")
concurrency := flag.Int("concurrency", 16, "")
flag.Parse()
var fixture struct {
Token string `json:"token"`
Chats []string `json:"chats"`
}
if json.NewDecoder(os.Stdin).Decode(&fixture) != nil || len(fixture.Chats) == 0 {
panic("invalid fixture")
}
transport := &http.Transport{MaxIdleConns: 256, MaxIdleConnsPerHost: 256, MaxConnsPerHost: 256}
client := &http.Client{Transport: transport, Timeout: 4 * time.Second}
prefix := fmt.Sprint(time.Now().UnixNano())
start := time.Now()
deadline := start.Add(*duration)
var wg sync.WaitGroup
var mu sync.Mutex
all := []float64{}
errors := map[int]int{}
instances := map[string]int{}
for worker := 0; worker < *concurrency; worker++ {
wg.Add(1)
go func(worker int) {
defer wg.Done()
latencies := []float64{}
bad := map[int]int{}
observed := map[string]int{}
for n := 0; time.Now().Before(deadline); n++ {
chat := fixture.Chats[(worker+n)%len(fixture.Chats)]
req, _ := http.NewRequest("POST", *base+"/api/v1/chats/"+chat+"/messages", bytes.NewBufferString(`{"text":"`+prefix+` fixed payload 012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789"}`))
req.Header.Set("Content-Type", "application/json")
req.Header.Set("Authorization", "Bearer "+fixture.Token)
req.Header.Set("Idempotency-Key", fmt.Sprintf("%s-%d-%d", prefix, worker, n))
t := time.Now()
res, e := client.Do(req)
if e != nil {
bad[0]++
continue
}
_, e = io.Copy(io.Discard, res.Body)
res.Body.Close()
if res.StatusCode == 201 && e == nil {
latencies = append(latencies, float64(time.Since(t).Microseconds())/1000)
observed[res.Header.Get("X-Instance-Id")]++
} else {
bad[res.StatusCode]++
}
}
mu.Lock()
all = append(all, latencies...)
for k, v := range bad {
errors[k] += v
}
for k, v := range observed {
instances[k] += v
}
mu.Unlock()
}(worker)
}
wg.Wait()
elapsed := time.Since(start).Seconds()
sort.Float64s(all)
p := func(q float64) float64 {
if len(all) == 0 {
return 0
}
return all[int(float64(len(all)-1)*q)]
}
failed := 0
for _, v := range errors {
failed += v
}
json.NewEncoder(os.Stdout).Encode(map[string]any{"duration_seconds": elapsed, "concurrency": *concurrency, "successful_requests": len(all), "successful_rps": float64(len(all)) / elapsed, "failed_requests": failed, "error_fraction": float64(failed) / float64(len(all)+failed), "errors_by_status": errors, "p50_ms": p(.5), "p95_ms": p(.95), "p99_ms": p(.99), "instances": instances, "latency_scope": "successful responses only; closed loop"})
}
+154
View File
@@ -0,0 +1,154 @@
package main
import (
"context"
"encoding/base64"
"errors"
"fmt"
"github.com/redis/go-redis/v9"
"log/slog"
"mtusi/messenger/internal/database"
"mtusi/messenger/internal/messenger"
"net"
"net/http"
"os"
"os/signal"
"strconv"
"strings"
"syscall"
"time"
)
func env(key, fallback string) string {
if v := os.Getenv(key); v != "" {
return v
}
return fallback
}
func main() {
if err := run(); err != nil {
slog.Error("server failed", "error", err)
os.Exit(1)
}
}
func run() error {
host := env("APP_HOST", "0.0.0.0")
port := env("APP_PORT", "8080")
p, err := strconv.Atoi(port)
if err != nil || p < 1 || p > 65535 {
return fmt.Errorf("invalid APP_PORT")
}
if len(os.Args) == 2 && os.Args[1] == "healthcheck" {
c := http.Client{Timeout: time.Second}
r, e := c.Get("http://127.0.0.1:" + port + "/health/ready")
if e != nil {
return e
}
defer r.Body.Close()
if r.StatusCode != 200 {
return fmt.Errorf("not ready: %d", r.StatusCode)
}
return nil
}
log := slog.New(slog.NewJSONHandler(os.Stdout, nil))
ttl, err := strconv.Atoi(env("SESSION_TTL_SECONDS", "3600"))
if err != nil || ttl < 1 || ttl > 86400 {
return fmt.Errorf("SESSION_TTL_SECONDS must be 1..86400")
}
databaseURL, err := secret("DATABASE_URL_FILE")
if err != nil {
return err
}
startup, cancel := context.WithTimeout(context.Background(), 15*time.Second)
defer cancel()
pool, err := database.Open(startup, databaseURL)
if err != nil {
return err
}
defer pool.Close()
if len(os.Args) == 2 && os.Args[1] == "migrate" {
return database.Migrate(startup, pool)
}
cacheURL, err := secret("CACHE_URL_FILE")
if err != nil {
return err
}
cursorKey, err := secret("CURSOR_KEY_FILE")
if err != nil {
return err
}
key, err := base64.RawURLEncoding.DecodeString(cursorKey)
if err != nil || len(key) != 32 {
return fmt.Errorf("invalid cursor key")
}
opts, err := redis.ParseURL(cacheURL)
if err != nil {
return fmt.Errorf("invalid cache configuration")
}
opts.DialTimeout = 60 * time.Millisecond
opts.ReadTimeout = 60 * time.Millisecond
opts.WriteTimeout = 60 * time.Millisecond
opts.PoolTimeout = 60 * time.Millisecond
opts.ContextTimeoutEnabled = true
opts.MaxRetries = -1
opts.PoolSize = 10
cache := redis.NewClient(opts)
defer cache.Close()
api := messenger.New(pool, cache, key, ttl, log)
srv := &http.Server{Addr: net.JoinHostPort(host, port), Handler: api, ReadHeaderTimeout: 3 * time.Second, ReadTimeout: 5 * time.Second, WriteTimeout: 10 * time.Second, IdleTimeout: 30 * time.Second, MaxHeaderBytes: 16 << 10}
ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGINT, syscall.SIGTERM)
defer stop()
if os.Getenv("POOL_DIAGNOSTICS") == "1" {
go func() {
ticker := time.NewTicker(time.Second)
defer ticker.Stop()
for {
select {
case <-ctx.Done():
return
case <-ticker.C:
stat := pool.Stat()
log.Info("pool", "instance", os.Getenv("HOSTNAME"), "acquires", stat.AcquireCount(), "empty_acquires", stat.EmptyAcquireCount(), "wait_ns", stat.EmptyAcquireWaitTime().Nanoseconds(), "in_use", stat.AcquiredConns(), "max", stat.MaxConns())
}
}
}()
}
done := make(chan error, 1)
go func() {
log.Info("listening", "address", srv.Addr, "session_store", "postgres", "profile_cache", "valkey", "environment", env("APP_ENV", "lab"))
done <- srv.ListenAndServe()
}()
select {
case err := <-done:
return err
case <-ctx.Done():
}
start := time.Now()
api.Stop()
log.Info("shutdown started")
shutdown, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
if err := srv.Shutdown(shutdown); err != nil {
_ = srv.Close()
return err
}
err = <-done
if !errors.Is(err, http.ErrServerClosed) {
return err
}
log.Info("shutdown completed", "duration_ms", time.Since(start).Milliseconds())
return nil
}
func secret(name string) (string, error) {
path := os.Getenv(name)
if path == "" {
return "", fmt.Errorf("missing %s", name)
}
raw, err := os.ReadFile(path)
if err != nil {
return "", fmt.Errorf("cannot read %s", name)
}
return strings.TrimSpace(string(raw)), nil
}
+87
View File
@@ -0,0 +1,87 @@
name: mtusi-lab3-kraykin
x-api: &api
image: mtusi-messenger:lab3
build: .
environment: &api-env
APP_PORT: 8080
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
CURSOR_KEY_FILE: /run/secrets/cursor_key
POOL_DIAGNOSTICS: ${POOL_DIAGNOSTICS:-0}
DB_POOL_MAX: ${DB_POOL_MAX:-10}
secrets: [database_url, cache_url, cursor_key]
cpus: ${API_CPUS:-1}
mem_limit: ${API_MEMORY:-256m}
stop_grace_period: 8s
services:
postgres:
image: postgres:17.6-alpine
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes: [postgres_data:/var/lib/postgresql/data]
cpus: 2
mem_limit: 512m
shm_size: 128m
healthcheck:
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
interval: 1s
timeout: 2s
retries: 30
valkey:
image: valkey/valkey:8.1.3-alpine
command: [valkey-server, /run/secrets/valkey_config]
secrets: [valkey_config]
cpus: 0.5
mem_limit: 128m
migrate:
<<: *api
secrets: [database_url]
command: [migrate]
depends_on:
postgres: {condition: service_healthy}
restart: 'no'
api:
<<: *api
deploy:
replicas: ${API_REPLICAS:-2}
depends_on:
migrate: {condition: service_completed_successfully}
valkey: {condition: service_started}
tests:
image: mtusi-messenger-tests:lab3
cpus: 2
mem_limit: 1024m
profiles: [verify]
build:
context: .
target: tests
environment:
DATABASE_TEST_URL_FILE: /run/secrets/database_url
secrets: [database_url]
depends_on:
migrate: {condition: service_completed_successfully}
lb:
image: haproxy:3.2.6-alpine
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
ports: ['127.0.0.1:${APP_PORT:-8083}:8080']
cpus: 1
mem_limit: 128m
depends_on:
api: {condition: service_healthy}
healthcheck:
test: [CMD-SHELL, 'wget -q -O /dev/null http://127.0.0.1:8080/health/ready']
interval: 2s
timeout: 4s
retries: 20
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
valkey_config: {file: ./secrets/valkey_config}
cache_url: {file: ./secrets/cache_url}
cursor_key: {file: ./secrets/cursor_key}
volumes:
postgres_data:
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+227
View File
@@ -0,0 +1,227 @@
Cloning into '/var/folders/hx/czbzpyk92ds_mnf7n9xrzn_80000gn/T/verify-lab3-3d1cfe9e4b-ko8mbln1/repo'...
done.
python3 scripts/bootstrap.py
Local secrets ready (values hidden); .env and secrets/ are ignored by Git.
docker compose --env-file .env up -d --build --wait
Compose can now delegate builds to bake for better performance.
To do so, set COMPOSE_BAKE=true.
#0 building with "desktop-linux" instance using docker driver
#1 [migrate internal] load build definition from Dockerfile
#1 transferring dockerfile: 782B done
#1 DONE 0.0s
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 ...
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
#3 DONE 1.8s
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 2.4s
#4 [migrate internal] load .dockerignore
#4 transferring context: 196B done
#4 DONE 0.0s
#5 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
#5 DONE 0.0s
#6 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
#6 DONE 0.0s
#7 [migrate internal] load build context
#7 transferring context: 43.68kB done
#7 DONE 0.0s
#8 [migrate build 2/7] WORKDIR /src
#8 CACHED
#9 [migrate build 3/7] COPY go.mod go.sum ./
#9 CACHED
#10 [migrate build 4/7] RUN go mod download
#10 CACHED
#11 [migrate build 5/7] COPY cmd/ ./cmd/
#11 DONE 0.0s
#12 [migrate build 6/7] COPY internal/ ./internal/
#12 DONE 0.0s
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#13 DONE 7.0s
#14 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
#14 CACHED
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
#15 DONE 0.0s
#16 [migrate] exporting to image
#16 exporting layers
#16 exporting layers 0.2s done
#16 exporting manifest sha256:f7380d7051363acd4702899a1e8ad175aa53c078154b17c62c5e59cee97a644b done
#16 exporting config sha256:3daf5ec7aaf6178dac55bd97878eef02f864f3479df3dbc8833ecb7235f8279d done
#16 exporting attestation manifest sha256:d71e230f86da2e96399dbb58073dfcf23033e5c12f0c141f29d5c4e0ec279344 done
#16 exporting manifest list sha256:21f40481448ca2c9f161a35b73b8060e44c39cdde6c4db710c5c75f4b961d054 done
#16 naming to docker.io/library/mtusi-messenger:lab3 done
#16 unpacking to docker.io/library/mtusi-messenger:lab3 0.0s done
#16 DONE 0.3s
#17 [migrate] resolving provenance for metadata file
#17 DONE 0.0s
#18 [api internal] load build definition from Dockerfile
#18 transferring dockerfile: 782B done
#18 DONE 0.0s
#2 [api internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 ...
#3 [api internal] load metadata for docker.io/library/alpine:3.22.1
#3 DONE 2.0s
#5 [api stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
#5 DONE 0.0s
#6 [api build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
#6 DONE 0.0s
#14 [api stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
#14 CACHED
#2 [api internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 2.7s
#19 [api internal] load .dockerignore
#19 transferring context: 196B done
#19 DONE 0.0s
#20 [api internal] load build context
#20 transferring context: 752B done
#20 DONE 0.0s
#21 [api build 6/7] COPY internal/ ./internal/
#21 CACHED
#22 [api build 4/7] RUN go mod download
#22 CACHED
#23 [api build 5/7] COPY cmd/ ./cmd/
#23 CACHED
#24 [api build 3/7] COPY go.mod go.sum ./
#24 CACHED
#25 [api build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#25 CACHED
#8 [api build 2/7] WORKDIR /src
#8 CACHED
#26 [api stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
#26 CACHED
#27 [api] exporting to image
#27 exporting layers done
#27 exporting manifest sha256:3ac7943022d61d9ba1c93be355cc6f7a1b4c95f010f9714a46b828746050c472 done
#27 exporting config sha256:66fa0f8621d48563a19f968e462bf1df4ef2d9342a96fa5a6dbadf968342ff3d done
#27 exporting attestation manifest sha256:917da5c859cd99031f83bf873695fc268beeea6a8911aa8041eb72e586dec04a 0.0s done
#27 exporting manifest list sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5 0.0s done
#27 naming to docker.io/library/mtusi-messenger:lab3 done
#27 unpacking to docker.io/library/mtusi-messenger:lab3 done
#27 DONE 0.1s
#28 [api] resolving provenance for metadata file
#28 DONE 0.0s
api Built
migrate Built
Network verify-lab3-3d1cfe9e4b_default Creating
Network verify-lab3-3d1cfe9e4b_default Created
Volume "verify-lab3-3d1cfe9e4b_postgres_data" Creating
Volume "verify-lab3-3d1cfe9e4b_postgres_data" Created
Container verify-lab3-3d1cfe9e4b-postgres-1 Creating
Container verify-lab3-3d1cfe9e4b-valkey-1 Creating
Container verify-lab3-3d1cfe9e4b-valkey-1 Created
Container verify-lab3-3d1cfe9e4b-postgres-1 Created
Container verify-lab3-3d1cfe9e4b-migrate-1 Creating
Container verify-lab3-3d1cfe9e4b-migrate-1 Created
Container verify-lab3-3d1cfe9e4b-api-2 Creating
Container verify-lab3-3d1cfe9e4b-api-1 Creating
Container verify-lab3-3d1cfe9e4b-api-1 Created
Container verify-lab3-3d1cfe9e4b-api-2 Created
Container verify-lab3-3d1cfe9e4b-lb-1 Creating
Container verify-lab3-3d1cfe9e4b-lb-1 Created
Container verify-lab3-3d1cfe9e4b-postgres-1 Starting
Container verify-lab3-3d1cfe9e4b-valkey-1 Starting
Container verify-lab3-3d1cfe9e4b-valkey-1 Started
Container verify-lab3-3d1cfe9e4b-postgres-1 Started
Container verify-lab3-3d1cfe9e4b-postgres-1 Waiting
Container verify-lab3-3d1cfe9e4b-postgres-1 Healthy
Container verify-lab3-3d1cfe9e4b-migrate-1 Starting
Container verify-lab3-3d1cfe9e4b-migrate-1 Started
Container verify-lab3-3d1cfe9e4b-migrate-1 Waiting
Container verify-lab3-3d1cfe9e4b-migrate-1 Exited
Container verify-lab3-3d1cfe9e4b-api-2 Starting
Container verify-lab3-3d1cfe9e4b-api-2 Started
Container verify-lab3-3d1cfe9e4b-api-1 Starting
Container verify-lab3-3d1cfe9e4b-api-1 Started
Container verify-lab3-3d1cfe9e4b-api-2 Waiting
Container verify-lab3-3d1cfe9e4b-api-1 Waiting
Container verify-lab3-3d1cfe9e4b-api-2 Healthy
Container verify-lab3-3d1cfe9e4b-api-1 Healthy
Container verify-lab3-3d1cfe9e4b-lb-1 Starting
Container verify-lab3-3d1cfe9e4b-lb-1 Started
Container verify-lab3-3d1cfe9e4b-migrate-1 Waiting
Container verify-lab3-3d1cfe9e4b-api-2 Waiting
Container verify-lab3-3d1cfe9e4b-api-1 Waiting
Container verify-lab3-3d1cfe9e4b-lb-1 Waiting
Container verify-lab3-3d1cfe9e4b-postgres-1 Waiting
Container verify-lab3-3d1cfe9e4b-valkey-1 Waiting
Container verify-lab3-3d1cfe9e4b-valkey-1 Healthy
Container verify-lab3-3d1cfe9e4b-postgres-1 Healthy
Container verify-lab3-3d1cfe9e4b-migrate-1 Exited
Container verify-lab3-3d1cfe9e4b-api-2 Healthy
Container verify-lab3-3d1cfe9e4b-api-1 Healthy
Container verify-lab3-3d1cfe9e4b-lb-1 Healthy
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
python3 tests/smoke.py --base-url "http://localhost:49829"
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:49829"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
Container verify-lab3-3d1cfe9e4b-lb-1 Stopping
Container verify-lab3-3d1cfe9e4b-lb-1 Stopped
Container verify-lab3-3d1cfe9e4b-lb-1 Removing
Container verify-lab3-3d1cfe9e4b-lb-1 Removed
Container verify-lab3-3d1cfe9e4b-api-2 Stopping
Container verify-lab3-3d1cfe9e4b-api-1 Stopping
Container verify-lab3-3d1cfe9e4b-api-1 Stopped
Container verify-lab3-3d1cfe9e4b-api-1 Removing
Container verify-lab3-3d1cfe9e4b-api-2 Stopped
Container verify-lab3-3d1cfe9e4b-api-2 Removing
Container verify-lab3-3d1cfe9e4b-api-1 Removed
Container verify-lab3-3d1cfe9e4b-api-2 Removed
Container verify-lab3-3d1cfe9e4b-migrate-1 Stopping
Container verify-lab3-3d1cfe9e4b-valkey-1 Stopping
Container verify-lab3-3d1cfe9e4b-migrate-1 Stopped
Container verify-lab3-3d1cfe9e4b-migrate-1 Removing
Container verify-lab3-3d1cfe9e4b-migrate-1 Removed
Container verify-lab3-3d1cfe9e4b-postgres-1 Stopping
Container verify-lab3-3d1cfe9e4b-valkey-1 Stopped
Container verify-lab3-3d1cfe9e4b-valkey-1 Removing
Container verify-lab3-3d1cfe9e4b-postgres-1 Stopped
Container verify-lab3-3d1cfe9e4b-postgres-1 Removing
Container verify-lab3-3d1cfe9e4b-valkey-1 Removed
Container verify-lab3-3d1cfe9e4b-postgres-1 Removed
Network verify-lab3-3d1cfe9e4b_default Removing
Volume verify-lab3-3d1cfe9e4b_postgres_data Removing
Volume verify-lab3-3d1cfe9e4b_postgres_data Removed
Network verify-lab3-3d1cfe9e4b_default Removed
PASS: real clean clone, fresh secrets/volumes, smoke, same-session persistence, actual store/API restart, non-root PID1
+4
View File
@@ -0,0 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8083"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 127, "failed_attempts": 2, "first_recovery_seconds": 0.22}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+35
View File
@@ -0,0 +1,35 @@
Container mtusi-lab3-kraykin-postgres-1 Running
Container mtusi-lab3-kraykin-valkey-1 Running
Container mtusi-lab3-kraykin-migrate-1 Recreate
Container mtusi-lab3-kraykin-migrate-1 Recreated
Container mtusi-lab3-kraykin-api-5 Recreate
Container mtusi-lab3-kraykin-api-4 Recreate
Container mtusi-lab3-kraykin-api-4 Recreated
Container mtusi-lab3-kraykin-api-5 Recreated
Container mtusi-lab3-kraykin-lb-1 Running
Container mtusi-lab3-kraykin-postgres-1 Waiting
Container mtusi-lab3-kraykin-postgres-1 Healthy
Container mtusi-lab3-kraykin-migrate-1 Starting
Container mtusi-lab3-kraykin-migrate-1 Started
Container mtusi-lab3-kraykin-migrate-1 Waiting
Container mtusi-lab3-kraykin-migrate-1 Exited
Container mtusi-lab3-kraykin-api-5 Starting
Container mtusi-lab3-kraykin-api-5 Started
Container mtusi-lab3-kraykin-api-4 Starting
Container mtusi-lab3-kraykin-api-4 Started
Container mtusi-lab3-kraykin-api-5 Waiting
Container mtusi-lab3-kraykin-api-4 Waiting
Container mtusi-lab3-kraykin-api-5 Healthy
Container mtusi-lab3-kraykin-api-4 Healthy
Container mtusi-lab3-kraykin-lb-1 Waiting
Container mtusi-lab3-kraykin-postgres-1 Waiting
Container mtusi-lab3-kraykin-valkey-1 Waiting
Container mtusi-lab3-kraykin-migrate-1 Waiting
Container mtusi-lab3-kraykin-api-5 Waiting
Container mtusi-lab3-kraykin-api-4 Waiting
Container mtusi-lab3-kraykin-valkey-1 Healthy
Container mtusi-lab3-kraykin-migrate-1 Exited
Container mtusi-lab3-kraykin-lb-1 Healthy
Container mtusi-lab3-kraykin-postgres-1 Healthy
Container mtusi-lab3-kraykin-api-5 Healthy
Container mtusi-lab3-kraykin-api-4 Healthy
+10
View File
@@ -0,0 +1,10 @@
{
"parallel_requests": 24,
"created_messages": 1,
"observed_instances": [
"06c17f3fd78c",
"46116d767576"
],
"user_chat_scope": true,
"revalidation_after_logout": true
}
+1
View File
@@ -0,0 +1 @@
PASS: {"parallel_requests": 24, "created_messages": 1, "observed_instances": ["06c17f3fd78c", "46116d767576"], "user_chat_scope": true, "revalidation_after_logout": true}
+3
View File
@@ -0,0 +1,3 @@
/private/tmp/highload-plot-venv/lib/python3.9/site-packages/urllib3/__init__.py:35: NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'. See: https://github.com/urllib3/urllib3/issues/3020
warnings.warn(
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+44
View File
@@ -0,0 +1,44 @@
{
"failures": [
{
"successful_writes": 233,
"errors": 3,
"successful_rps": 28.26398295000387,
"first_recovery_seconds": 1.247,
"action_seconds": 0.215,
"instances": [
"32d750fe3f45",
"738574307aaf"
],
"confirmed_preserved": true,
"stopped_alias": "738574307aaf"
},
{
"successful_writes": 225,
"errors": 3,
"successful_rps": 27.114240700400842,
"first_recovery_seconds": 0.731,
"action_seconds": 0.247,
"instances": [
"32d750fe3f45",
"738574307aaf"
],
"confirmed_preserved": true,
"stopped_alias": "32d750fe3f45"
}
],
"rolling": {
"successful_writes": 576,
"errors": 3,
"successful_rps": 30.377124752850243,
"first_recovery_seconds": 15.885,
"action_seconds": 15.858,
"instances": [
"32d750fe3f45",
"738574307aaf",
"7c6406e3d6f5",
"c56a9ffc6739"
],
"confirmed_preserved": true
}
}
+19
View File
@@ -0,0 +1,19 @@
Container mtusi-lab3-kraykin-api-2 Running
Container mtusi-lab3-kraykin-api-3 Creating
Container mtusi-lab3-kraykin-api-3 Created
Container mtusi-lab3-kraykin-api-3 Starting
Container mtusi-lab3-kraykin-api-3 Started
Container mtusi-lab3-kraykin-api-3 Waiting
Container mtusi-lab3-kraykin-api-2 Waiting
Container mtusi-lab3-kraykin-api-3 Healthy
Container mtusi-lab3-kraykin-api-2 Healthy
Container mtusi-lab3-kraykin-api-3 Running
Container mtusi-lab3-kraykin-api-4 Creating
Container mtusi-lab3-kraykin-api-4 Created
Container mtusi-lab3-kraykin-api-4 Starting
Container mtusi-lab3-kraykin-api-4 Started
Container mtusi-lab3-kraykin-api-4 Waiting
Container mtusi-lab3-kraykin-api-3 Waiting
Container mtusi-lab3-kraykin-api-4 Healthy
Container mtusi-lab3-kraykin-api-3 Healthy
PASS: each API stopped and rolling replacement completed; confirmed writes preserved
+63
View File
@@ -0,0 +1,63 @@
{
"scope": "disposable real clean clone",
"before": {
"/verify-lab3-3d1cfe9e4b-api-1": {
"service": "api",
"started_at": "2026-10-29T18:42:57.725979425Z",
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
"user": "10001:10001",
"pid1": "/usr/local/bin/messenger"
},
"/verify-lab3-3d1cfe9e4b-api-2": {
"service": "api",
"started_at": "2026-10-29T18:42:57.630652258Z",
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
"user": "10001:10001",
"pid1": "/usr/local/bin/messenger"
},
"/verify-lab3-3d1cfe9e4b-postgres-1": {
"service": "postgres",
"started_at": "2026-10-29T18:42:55.42012759Z",
"image_id": "sha256:ef257d85f76e48da1c64832459b59fcaba1a4dac97bf5d7450c77753542eee94",
"user": "",
"pid1": "docker-entrypoint.sh"
},
"/verify-lab3-3d1cfe9e4b-valkey-1": {
"service": "valkey",
"started_at": "2026-10-29T18:42:55.42020359Z",
"image_id": "sha256:d827e7f7552cdee40cc7482dbae9da020f42bc47669af6f71182a4ef76a22773",
"user": "",
"pid1": "docker-entrypoint.sh"
}
},
"after": {
"/verify-lab3-3d1cfe9e4b-api-1": {
"service": "api",
"started_at": "2026-10-29T18:43:10.151873542Z",
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
"user": "10001:10001",
"pid1": "/usr/local/bin/messenger"
},
"/verify-lab3-3d1cfe9e4b-api-2": {
"service": "api",
"started_at": "2026-10-29T18:43:10.222155042Z",
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
"user": "10001:10001",
"pid1": "/usr/local/bin/messenger"
},
"/verify-lab3-3d1cfe9e4b-postgres-1": {
"service": "postgres",
"started_at": "2026-10-29T18:43:08.015650305Z",
"image_id": "sha256:ef257d85f76e48da1c64832459b59fcaba1a4dac97bf5d7450c77753542eee94",
"user": "",
"pid1": "docker-entrypoint.sh"
},
"/verify-lab3-3d1cfe9e4b-valkey-1": {
"service": "valkey",
"started_at": "2026-10-29T18:43:08.041235555Z",
"image_id": "sha256:d827e7f7552cdee40cc7482dbae9da020f42bc47669af6f71182a4ef76a22773",
"user": "",
"pid1": "docker-entrypoint.sh"
}
}
}
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8083"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+1
View File
@@ -0,0 +1 @@
Wrote PNG/PDF/CSV/Markdown from raw evidence
+159
View File
@@ -0,0 +1,159 @@
docker compose --profile verify run --build --rm tests
Compose can now delegate builds to bake for better performance.
To do so, set COMPOSE_BAKE=true.
#0 building with "desktop-linux" instance using docker driver
#1 [migrate internal] load build definition from Dockerfile
#1 transferring dockerfile: 782B done
#1 DONE 0.0s
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 0.3s
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
#3 DONE 0.3s
#4 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
#4 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 0.0s done
#4 DONE 0.0s
#5 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#5 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a 0.0s done
#5 DONE 0.0s
#6 [migrate internal] load .dockerignore
#6 transferring context: 196B done
#6 DONE 0.0s
#7 [migrate internal] load build context
#7 transferring context: 5.34kB done
#7 DONE 0.0s
#8 [migrate build 2/7] WORKDIR /src
#8 CACHED
#9 [migrate build 3/7] COPY go.mod go.sum ./
#9 CACHED
#10 [migrate build 4/7] RUN go mod download
#10 CACHED
#11 [migrate build 5/7] COPY cmd/ ./cmd/
#11 CACHED
#12 [migrate build 6/7] COPY internal/ ./internal/
#12 DONE 0.3s
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#13 DONE 5.1s
#14 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
#14 CACHED
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
#15 CACHED
#16 [migrate] exporting to image
#16 exporting layers done
#16 exporting manifest sha256:479caccf1b376a731376de59ec25689e8ecf7564074a3075e853894fd49295bc done
#16 exporting config sha256:a86075f392678de5f157a45da823caf1e985ed402d7a8e56c4e59096370ece40 done
#16 exporting attestation manifest sha256:ed3666ae24617e9f559f2155f1bee622742a745844eafbe50da557cb6f07e6b2 done
#16 exporting manifest list sha256:fdde101e220e9726275ee8c068be667b9a69637b8724ebfce5e4385b06d8033d done
#16 naming to docker.io/library/mtusi-messenger:lab3 done
#16 unpacking to docker.io/library/mtusi-messenger:lab3 done
#16 DONE 0.0s
#17 [migrate] resolving provenance for metadata file
#17 DONE 0.0s
migrate Built
Container mtusi-lab3-kraykin-postgres-1 Running
Container mtusi-lab3-kraykin-migrate-1 Recreate
Container mtusi-lab3-kraykin-migrate-1 Recreated
Container mtusi-lab3-kraykin-postgres-1 Waiting
Container mtusi-lab3-kraykin-postgres-1 Healthy
Container mtusi-lab3-kraykin-migrate-1 Starting
Container mtusi-lab3-kraykin-migrate-1 Started
#0 building with "desktop-linux" instance using docker driver
#1 [tests internal] load build definition from Dockerfile
#1 transferring dockerfile: 782B done
#1 DONE 0.0s
#2 [tests internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 0.3s
#3 [tests internal] load .dockerignore
#3 transferring context: 196B done
#3 DONE 0.0s
#4 [tests build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#4 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
#4 DONE 0.0s
#5 [tests internal] load build context
#5 transferring context: 752B done
#5 DONE 0.0s
#6 [tests build 3/7] COPY go.mod go.sum ./
#6 CACHED
#7 [tests build 4/7] RUN go mod download
#7 CACHED
#8 [tests build 6/7] COPY internal/ ./internal/
#8 CACHED
#9 [tests build 2/7] WORKDIR /src
#9 CACHED
#10 [tests build 5/7] COPY cmd/ ./cmd/
#10 CACHED
#11 [tests build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#11 CACHED
#12 [tests tests 1/1] RUN apk add --no-cache gcc musl-dev
#12 0.085 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/main/aarch64/APKINDEX.tar.gz
#12 0.952 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/community/aarch64/APKINDEX.tar.gz
#12 3.857 (1/14) Upgrading musl (1.2.5-r10 -> 1.2.5-r13)
#12 4.265 (2/14) Installing libgcc (14.2.0-r6)
#12 4.373 (3/14) Installing jansson (2.14.1-r0)
#12 4.577 (4/14) Installing libstdc++ (14.2.0-r6)
#12 5.223 (5/14) Installing zstd-libs (1.5.7-r0)
#12 5.673 (6/14) Installing binutils (2.44-r3)
#12 12.60 (7/14) Installing libgomp (14.2.0-r6)
#12 12.93 (8/14) Installing libatomic (14.2.0-r6)
#12 13.01 (9/14) Installing gmp (6.3.0-r3)
#12 13.54 (10/14) Installing isl26 (0.26-r1)
#12 16.22 (11/14) Installing mpfr4 (4.2.1_p1-r0)
#12 17.13 (12/14) Installing mpc1 (1.3.1-r1)
#12 17.29 (13/14) Installing gcc (14.2.0-r6)
#12 93.80 (14/14) Installing musl-dev (1.2.5-r13)
#12 95.48 Executing busybox-1.37.0-r18.trigger
#12 95.49 OK: 163 MiB in 30 packages
#12 DONE 95.6s
#13 [tests] exporting to image
#13 exporting layers
#13 exporting layers 3.2s done
#13 exporting manifest sha256:2948a3bd161f3868bcd0cd8605e21410a47f5f09df7877bcb515c5131f0772de done
#13 exporting config sha256:f25ea1a182acdb13804c4ecfcdb4ed4cd137531595a047a3bc493108b50293cd done
#13 exporting attestation manifest sha256:7e1b47374a0223c7914872d55781e4be71c95df238f1823cdd9df156ef04ee45 done
#13 exporting manifest list sha256:6290cc89df8d6b85ef6d93e48951b5395b536406cf8e0c58250e6e0e3f72c1ea done
#13 naming to docker.io/library/mtusi-lab3-kraykin-tests:latest done
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest 0.9s done
#13 DONE 4.2s
#14 [tests] resolving provenance for metadata file
#14 DONE 0.0s
? mtusi/messenger/cmd/bench [no test files]
? mtusi/messenger/cmd/server [no test files]
? mtusi/messenger/internal/database [no test files]
=== RUN TestDatabaseConcurrentHTTP
database_test.go:162: 100 confirmed messages from 10 clients through real HTTP and PostgreSQL; race detector enabled
--- PASS: TestDatabaseConcurrentHTTP (1.83s)
=== RUN TestPasswordFullUnicodeRange
--- PASS: TestPasswordFullUnicodeRange (2.10s)
PASS
ok mtusi/messenger/internal/messenger 4.957s
+160
View File
@@ -0,0 +1,160 @@
docker compose --profile verify run --build --rm tests
Compose can now delegate builds to bake for better performance.
To do so, set COMPOSE_BAKE=true.
#0 building with "desktop-linux" instance using docker driver
#1 [migrate internal] load build definition from Dockerfile
#1 transferring dockerfile: 782B done
#1 DONE 0.0s
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 0.2s
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
#3 DONE 0.3s
#4 [migrate internal] load .dockerignore
#4 transferring context: 196B done
#4 DONE 0.0s
#5 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 0.0s done
#5 DONE 0.0s
#6 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a 0.0s done
#6 DONE 0.0s
#7 [migrate internal] load build context
#7 transferring context: 752B done
#7 DONE 0.0s
#8 [migrate build 2/7] WORKDIR /src
#8 CACHED
#9 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
#9 CACHED
#10 [migrate build 6/7] COPY internal/ ./internal/
#10 CACHED
#11 [migrate build 4/7] RUN go mod download
#11 CACHED
#12 [migrate build 5/7] COPY cmd/ ./cmd/
#12 CACHED
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#13 CACHED
#14 [migrate build 3/7] COPY go.mod go.sum ./
#14 CACHED
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
#15 CACHED
#16 [migrate] exporting to image
#16 exporting layers done
#16 exporting manifest sha256:479caccf1b376a731376de59ec25689e8ecf7564074a3075e853894fd49295bc done
#16 exporting config sha256:a86075f392678de5f157a45da823caf1e985ed402d7a8e56c4e59096370ece40 done
#16 exporting attestation manifest sha256:7abe9b6d56a952512b86cb6d5f0f040db2bffd7d0dc24e5f9f2ea880bee01be3 done
#16 exporting manifest list sha256:70cb65187adb8e4b8a11df2a4b94115f251a1f0289531305e774dd7de4ca5a1e done
#16 naming to docker.io/library/mtusi-messenger:lab3 done
#16 unpacking to docker.io/library/mtusi-messenger:lab3 done
#16 DONE 0.0s
#17 [migrate] resolving provenance for metadata file
#17 DONE 0.0s
migrate Built
Container mtusi-lab3-kraykin-postgres-1 Running
Container mtusi-lab3-kraykin-migrate-1 Recreate
Container mtusi-lab3-kraykin-migrate-1 Recreated
Container mtusi-lab3-kraykin-postgres-1 Waiting
Container mtusi-lab3-kraykin-postgres-1 Healthy
Container mtusi-lab3-kraykin-migrate-1 Starting
Container mtusi-lab3-kraykin-migrate-1 Started
#0 building with "desktop-linux" instance using docker driver
#1 [tests internal] load build definition from Dockerfile
#1 transferring dockerfile: 782B done
#1 DONE 0.0s
#2 [tests internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 0.5s
#3 [tests internal] load .dockerignore
#3 transferring context: 196B done
#3 DONE 0.0s
#4 [tests build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#4 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
#4 DONE 0.0s
#5 [tests internal] load build context
#5 transferring context: 752B done
#5 DONE 0.0s
#6 [tests build 4/7] RUN go mod download
#6 CACHED
#7 [tests build 2/7] WORKDIR /src
#7 CACHED
#8 [tests build 5/7] COPY cmd/ ./cmd/
#8 CACHED
#9 [tests build 6/7] COPY internal/ ./internal/
#9 CACHED
#10 [tests build 3/7] COPY go.mod go.sum ./
#10 CACHED
#11 [tests build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#11 CACHED
#12 [tests tests 1/1] RUN apk add --no-cache gcc musl-dev
#12 0.112 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/main/aarch64/APKINDEX.tar.gz
#12 5.322 fetch https://dl-cdn.alpinelinux.org/alpine/v3.22/community/aarch64/APKINDEX.tar.gz
#12 21.47 (1/14) Upgrading musl (1.2.5-r10 -> 1.2.5-r13)
#12 84.10 (2/14) Installing libgcc (14.2.0-r6)
#12 85.02 (3/14) Installing jansson (2.14.1-r0)
#12 85.35 (4/14) Installing libstdc++ (14.2.0-r6)
#12 87.72 (5/14) Installing zstd-libs (1.5.7-r0)
#12 88.36 (6/14) Installing binutils (2.44-r3)
#12 93.81 (7/14) Installing libgomp (14.2.0-r6)
#12 94.03 (8/14) Installing libatomic (14.2.0-r6)
#12 94.11 (9/14) Installing gmp (6.3.0-r3)
#12 94.47 (10/14) Installing isl26 (0.26-r1)
#12 95.44 (11/14) Installing mpfr4 (4.2.1_p1-r0)
#12 95.80 (12/14) Installing mpc1 (1.3.1-r1)
#12 95.93 (13/14) Installing gcc (14.2.0-r6)
#12 132.6 (14/14) Installing musl-dev (1.2.5-r13)
#12 134.9 Executing busybox-1.37.0-r18.trigger
#12 134.9 OK: 163 MiB in 30 packages
#12 DONE 135.0s
#13 [tests] exporting to image
#13 exporting layers
#13 exporting layers 3.2s done
#13 exporting manifest sha256:bfa1e3e3bb8a1f6a9a4db0899715c9e3909ee29ce8cf082a49822e8cb91fbe18
#13 exporting manifest sha256:bfa1e3e3bb8a1f6a9a4db0899715c9e3909ee29ce8cf082a49822e8cb91fbe18 done
#13 exporting config sha256:1506a136748cfbd472d81c1d74ea8e9a2579892d87ce708fd801f768e7b1e344 done
#13 exporting attestation manifest sha256:809ca57a725da3c94f2b46bd49447e42e57698653aea568f1c52be0eb7ac05f4 done
#13 exporting manifest list sha256:c884cefe063a10970ba9fcf0607a91b2631391d793c9d1172334a601fc66329c done
#13 naming to docker.io/library/mtusi-lab3-kraykin-tests:latest done
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest
#13 unpacking to docker.io/library/mtusi-lab3-kraykin-tests:latest 1.1s done
#13 DONE 4.4s
#14 [tests] resolving provenance for metadata file
#14 DONE 0.0s
? mtusi/messenger/cmd/bench [no test files]
? mtusi/messenger/cmd/server [no test files]
? mtusi/messenger/internal/database [no test files]
=== RUN TestDatabaseConcurrentHTTP
database_test.go:122: 100 confirmed messages from 10 clients through real HTTP and PostgreSQL; race detector enabled
--- PASS: TestDatabaseConcurrentHTTP (1.62s)
=== RUN TestPasswordFullUnicodeRange
--- PASS: TestPasswordFullUnicodeRange (2.04s)
PASS
ok mtusi/messenger/internal/messenger 4.669s
+117
View File
@@ -0,0 +1,117 @@
{
"platform": "macOS-26.6.2-arm64-arm-64bit",
"containers": [
{
"service": "api",
"name": "/mtusi-lab3-kraykin-api-4",
"alias": "ab9a07063365",
"image": "mtusi-messenger:lab3",
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
"user": "10001:10001",
"pid1_path": "/usr/local/bin/messenger",
"started_at": "2026-10-29T18:45:03.296181553Z",
"memory_limit_bytes": 268435456,
"nano_cpus_limit": 1000000000,
"published_ports": {
"8080/tcp": null
},
"health": "healthy",
"mount_targets": [
"/run/secrets/cursor_key",
"/run/secrets/database_url",
"/run/secrets/cache_url"
]
},
{
"service": "api",
"name": "/mtusi-lab3-kraykin-api-5",
"alias": "016f3ea1bd17",
"image": "mtusi-messenger:lab3",
"image_id": "sha256:e03032e9d848be5778704bbe143dae952e38c824ed360d30e45e5f95ab5b76e5",
"user": "10001:10001",
"pid1_path": "/usr/local/bin/messenger",
"started_at": "2026-10-29T18:45:03.232049678Z",
"memory_limit_bytes": 268435456,
"nano_cpus_limit": 1000000000,
"published_ports": {
"8080/tcp": null
},
"health": "healthy",
"mount_targets": [
"/run/secrets/cache_url",
"/run/secrets/cursor_key",
"/run/secrets/database_url"
]
},
{
"service": "lb",
"name": "/mtusi-lab3-kraykin-lb-1",
"alias": "92c6d29aef68",
"image": "haproxy:3.2.6-alpine",
"image_id": "sha256:3a819392f5a6af2a9203d1c63ff0feba74f0c940623a558511be06d7d85e361c",
"user": "haproxy",
"pid1_path": "docker-entrypoint.sh",
"started_at": "2026-10-29T18:15:13.909943835Z",
"memory_limit_bytes": 134217728,
"nano_cpus_limit": 1000000000,
"published_ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8083"
}
]
},
"health": "healthy",
"mount_targets": [
"/usr/local/etc/haproxy/haproxy.cfg"
]
},
{
"service": "postgres",
"name": "/mtusi-lab3-kraykin-postgres-1",
"alias": "1d0cf8d740b1",
"image": "postgres:17.6-alpine",
"image_id": "sha256:ef257d85f76e48da1c64832459b59fcaba1a4dac97bf5d7450c77753542eee94",
"user": "",
"pid1_path": "docker-entrypoint.sh",
"started_at": "2026-10-29T18:15:06.073096012Z",
"memory_limit_bytes": 536870912,
"nano_cpus_limit": 2000000000,
"published_ports": {
"5432/tcp": null
},
"health": "healthy",
"mount_targets": [
"/var/lib/postgresql/data",
"/run/secrets/postgres_password"
]
},
{
"service": "valkey",
"name": "/mtusi-lab3-kraykin-valkey-1",
"alias": "8c5779560cc7",
"image": "valkey/valkey:8.1.3-alpine",
"image_id": "sha256:d827e7f7552cdee40cc7482dbae9da020f42bc47669af6f71182a4ef76a22773",
"user": "",
"pid1_path": "docker-entrypoint.sh",
"started_at": "2026-10-29T18:15:06.127369887Z",
"memory_limit_bytes": 134217728,
"nano_cpus_limit": 500000000,
"published_ports": {
"6379/tcp": null
},
"health": null,
"mount_targets": [
"/run/secrets/valkey_config",
"/data"
]
}
],
"postgres_durability": [
"fsync=on",
"full_page_writes=on",
"max_connections=100",
"synchronous_commit=on"
]
}
+11
View File
@@ -0,0 +1,11 @@
## Вывод по гипотезе и подтверждённое улучшение
При fixed total 2 CPU/1024 MiB и 64 клиентах 1/2/4 API дали **3455.8/3790.2/3562.1 RPS**. Удвоение числа процессов не удваивает ресурс; четыре процесса здесь хуже двух. p99 вырос с 49.6 до 71.9 ms.
При growing resources и 64 клиентах 1/2/4 API дали **1612.0/3735.5/3624.7 RPS**. Переход 2→4 увеличил бюджет API с 2 до 4 CPU, но throughput не вырос. PostgreSQL при 4 API использует около 187%CPU при лимите 200%, throttled примерно в каждом 100 ms периоде; API суммарно около 157% из доступных 400%, LB около 27% из 100%. Samples содержат WalSync/WALWrite и transactionid/tuple waits. Это указывает на saturation общей SQL/WAL/lock части профиля, а не дефицит backend-слотов LB. Нельзя по этим данным отделить точный вклад WAL от row locks: нужен отдельный профилирующий эксперимент.
У 1 API с лимитом 1 CPU повышение конкуренции 4→16 ухудшило RPS, p99 резко вырос. В cgroups при высокой конкуренции видны постоянное CPU throttling API и загрузка около одного core. Дополнительные запросы создают очереди и накладные расходы в условиях CPU quota, а не гарантируют рост RPS; сами по себе эти наблюдения не доказывают единственную причину падения. Это полезная граница модели, а не пропущенные неудачные прогоны.
**Проверенное улучшение:** при неизменных 2 API×1 CPU/512 MiB,16 чатах и 32 клиентах увеличение pool1→10 дало медианы **2134.6→3845.3 RPS**, **80.1%**. p99: **24.438→40.739 ms**; ошибок 0. Выигрыш throughput имеет цену: p99 здесь ухудшился, поэтому это улучшение пропускной способности, не хвостовой задержки. В cumulative diagnostics время ожидания пустого пула уменьшилось, хотя число обслуженных обращений выросло. Выбран default10; дальнейшее бесконечное увеличение pool не обосновано — общая PostgreSQL уже ограничивает масштабирование. Диагностические counters накоплены за 20s warm+measurement окна и setup; они не являются точной per-request latency или отдельным суммируемым временем CPU.
Итоговые точки fixed4/growing1 и pool comparison повторены отдельно от функциональных нагрузок ЛР 4; raw отчёт содержит именно повторную серию. Набор данных и размеры таблиц растут между прогонами; для каждого scaling point сохранён count сообщений после измерения. Это позволяет оценить ограничение сравнения, но не заменяет рандомизацию и длинные confidence intervals.
+13
View File
@@ -0,0 +1,13 @@
fixed 4 4 1 2325
fixed 4 4 2 2350
fixed 4 16 1 3231
fixed 4 16 2 3203
fixed 4 64 1 3532
fixed 4 64 2 3592
growing 1 4 1 2655
growing 1 4 2 2572
growing 1 16 1 1594
growing 1 16 2 1586
growing 1 64 1 1612
growing 1 64 2 1612
DONE
+37
View File
@@ -0,0 +1,37 @@
fixed 1 4 1 2600
fixed 1 4 2 2454
fixed 1 16 1 3035
fixed 1 16 2 3302
fixed 1 64 1 3586
fixed 1 64 2 3325
fixed 2 4 1 2549
fixed 2 4 2 2551
fixed 2 16 1 3490
fixed 2 16 2 3461
fixed 2 64 1 3778
fixed 2 64 2 3803
fixed 4 4 1 2348
fixed 4 4 2 2336
fixed 4 16 1 3280
fixed 4 16 2 3312
fixed 4 64 1 3538
fixed 4 64 2 3528
growing 1 4 1 2585
growing 1 4 2 2649
growing 1 16 1 1648
growing 1 16 2 1621
growing 1 64 1 1659
growing 1 64 2 1658
growing 2 4 1 2553
growing 2 4 2 2553
growing 2 16 1 3454
growing 2 16 2 3494
growing 2 64 1 3823
growing 2 64 2 3648
growing 4 4 1 2333
growing 4 4 2 2356
growing 4 16 1 3708
growing 4 16 2 3762
growing 4 64 1 3667
growing 4 64 2 3582
DONE
+21
View File
@@ -0,0 +1,21 @@
series,replicas,clients,pool_per_api,repeats,successful_rps,error_fraction,p50_ms,p95_ms,p99_ms
fixed,1,4,10,2,2526.7821716808385,0.0,1.4655,2.2385,3.3475
fixed,1,16,10,2,3168.568037715847,0.0,3.8255,9.702,22.808999999999997
fixed,1,64,10,2,3455.8048788974993,0.0,14.1775,41.173,49.584
fixed,2,4,10,2,2549.9768154882013,0.0,1.4980000000000002,2.0105,2.6235
fixed,2,16,10,2,3475.4139686012795,0.0,3.0519999999999996,12.9225,37.8275
fixed,2,64,10,2,3790.17126227632,0.0,11.0245,51.482,61.117999999999995
fixed,4,4,10,2,2337.54022524052,0.0,1.6480000000000001,2.1574999999999998,2.783
fixed,4,16,10,2,3216.765588952754,0.0,3.0095,17.4,44.254999999999995
fixed,4,64,10,2,3562.144152545966,0.0,8.338000000000001,65.682,71.8925
growing,1,4,10,2,2613.533998135019,0.0,1.4209999999999998,2.1479999999999997,3.145
growing,1,16,10,2,1589.9087121230227,0.0,3.6045,67.6925,76.37100000000001
growing,1,64,10,2,1612.0391778347437,0.0,15.611,87.81450000000001,91.053
growing,2,4,10,2,2552.619687178545,0.0,1.4935,2.02,2.7595
growing,2,16,10,2,3473.7263637419273,0.0,3.0345,17.1825,34.192499999999995
growing,2,64,10,2,3735.458582718481,0.0,11.5075,53.346000000000004,61.7555
growing,4,4,10,2,2344.574773428969,0.0,1.645,2.1574999999999998,2.7895000000000003
growing,4,16,10,2,3735.0366232022843,0.0,3.0645,6.1745,33.475
growing,4,64,10,2,3624.6849244654904,0.0,9.866,61.2975,69.81299999999999
pool_improvement,2,32,1,3,2134.5603419921717,0,14.851,21.305,24.438
pool_improvement,2,32,10,3,3845.2509210131784,0,4.961,31.46,40.739
1 series replicas clients pool_per_api repeats successful_rps error_fraction p50_ms p95_ms p99_ms
2 fixed 1 4 10 2 2526.7821716808385 0.0 1.4655 2.2385 3.3475
3 fixed 1 16 10 2 3168.568037715847 0.0 3.8255 9.702 22.808999999999997
4 fixed 1 64 10 2 3455.8048788974993 0.0 14.1775 41.173 49.584
5 fixed 2 4 10 2 2549.9768154882013 0.0 1.4980000000000002 2.0105 2.6235
6 fixed 2 16 10 2 3475.4139686012795 0.0 3.0519999999999996 12.9225 37.8275
7 fixed 2 64 10 2 3790.17126227632 0.0 11.0245 51.482 61.117999999999995
8 fixed 4 4 10 2 2337.54022524052 0.0 1.6480000000000001 2.1574999999999998 2.783
9 fixed 4 16 10 2 3216.765588952754 0.0 3.0095 17.4 44.254999999999995
10 fixed 4 64 10 2 3562.144152545966 0.0 8.338000000000001 65.682 71.8925
11 growing 1 4 10 2 2613.533998135019 0.0 1.4209999999999998 2.1479999999999997 3.145
12 growing 1 16 10 2 1589.9087121230227 0.0 3.6045 67.6925 76.37100000000001
13 growing 1 64 10 2 1612.0391778347437 0.0 15.611 87.81450000000001 91.053
14 growing 2 4 10 2 2552.619687178545 0.0 1.4935 2.02 2.7595
15 growing 2 16 10 2 3473.7263637419273 0.0 3.0345 17.1825 34.192499999999995
16 growing 2 64 10 2 3735.458582718481 0.0 11.5075 53.346000000000004 61.7555
17 growing 4 4 10 2 2344.574773428969 0.0 1.645 2.1574999999999998 2.7895000000000003
18 growing 4 16 10 2 3735.0366232022843 0.0 3.0645 6.1745 33.475
19 growing 4 64 10 2 3624.6849244654904 0.0 9.866 61.2975 69.81299999999999
20 pool_improvement 2 32 1 3 2134.5603419921717 0 14.851 21.305 24.438
21 pool_improvement 2 32 10 3 3845.2509210131784 0 4.961 31.46 40.739
+62
View File
@@ -0,0 +1,62 @@
# Масштабирование: измеренные результаты
Raw: `scaling.json`. График: `scaling.png`; таблица: `scaling-summary.csv`.
Медианы двух 6-секундных прогонов после 2 s прогрева на каждую конкуренцию. PostgreSQL2 CPU/512MiB, LB1 CPU/128MiB. 16 чатов, 4/16/64 closed-loop клиента, reusable HTTP connections; без retry. Процентили только успешных HTTP201; ошибки отдельно. Каждый point содержит raw cgroups и samples PostgreSQL.
| Серия | API | Клиенты | RPS | Ошибки % | p50 ms | p95 ms | p99 ms |
|---|---:|---:|---:|---:|---:|---:|---:|
| fixed | 1 | 4 | 2526.8 | 0.000 | 1.466 | 2.239 | 3.348 |
| fixed | 1 | 16 | 3168.6 | 0.000 | 3.825 | 9.702 | 22.809 |
| fixed | 1 | 64 | 3455.8 | 0.000 | 14.178 | 41.173 | 49.584 |
| fixed | 2 | 4 | 2550.0 | 0.000 | 1.498 | 2.010 | 2.623 |
| fixed | 2 | 16 | 3475.4 | 0.000 | 3.052 | 12.922 | 37.828 |
| fixed | 2 | 64 | 3790.2 | 0.000 | 11.024 | 51.482 | 61.118 |
| fixed | 4 | 4 | 2337.5 | 0.000 | 1.648 | 2.157 | 2.783 |
| fixed | 4 | 16 | 3216.8 | 0.000 | 3.010 | 17.400 | 44.255 |
| fixed | 4 | 64 | 3562.1 | 0.000 | 8.338 | 65.682 | 71.892 |
| growing | 1 | 4 | 2613.5 | 0.000 | 1.421 | 2.148 | 3.145 |
| growing | 1 | 16 | 1589.9 | 0.000 | 3.604 | 67.692 | 76.371 |
| growing | 1 | 64 | 1612.0 | 0.000 | 15.611 | 87.815 | 91.053 |
| growing | 2 | 4 | 2552.6 | 0.000 | 1.494 | 2.020 | 2.760 |
| growing | 2 | 16 | 3473.7 | 0.000 | 3.034 | 17.183 | 34.192 |
| growing | 2 | 64 | 3735.5 | 0.000 | 11.508 | 53.346 | 61.755 |
| growing | 4 | 4 | 2344.6 | 0.000 | 1.645 | 2.157 | 2.790 |
| growing | 4 | 16 | 3735.0 | 0.000 | 3.064 | 6.175 | 33.475 |
| growing | 4 | 64 | 3624.7 | 0.000 | 9.866 | 61.297 | 69.813 |
| pool_improvement pool=1 | 2 | 32 | 2134.6 | 0.000 | 14.851 | 21.305 | 24.438 |
| pool_improvement pool=10 | 2 | 32 | 3845.3 | 0.000 | 4.961 | 31.460 | 40.739 |
## Ресурсы и ожидания
| Серия | API | Клиенты | CPU API sum % | CPU PostgreSQL % | CPU LB % | API max cgroup peak MiB |
|---|---:|---:|---:|---:|---:|---:|
| fixed | 1 | 4 | 93.8 | 90.9 | 16.1 | 141.2 |
| fixed | 1 | 16 | 150.4 | 161.7 | 25.0 | 141.2 |
| fixed | 1 | 64 | 187.3 | 161.0 | 25.7 | 141.2 |
| fixed | 2 | 4 | 122.2 | 97.0 | 16.8 | 140.1 |
| fixed | 2 | 16 | 186.5 | 165.8 | 25.1 | 140.1 |
| fixed | 2 | 64 | 183.5 | 185.6 | 26.6 | 140.1 |
| fixed | 4 | 4 | 162.2 | 101.1 | 17.7 | 137.5 |
| fixed | 4 | 16 | 184.9 | 164.6 | 25.0 | 137.5 |
| fixed | 4 | 64 | 156.7 | 185.8 | 28.2 | 137.5 |
| growing | 1 | 4 | 93.1 | 96.4 | 15.8 | 137.8 |
| growing | 1 | 16 | 94.3 | 78.9 | 12.1 | 137.8 |
| growing | 1 | 64 | 95.3 | 81.2 | 12.8 | 137.8 |
| growing | 2 | 4 | 125.1 | 97.4 | 16.8 | 137.1 |
| growing | 2 | 16 | 188.8 | 164.1 | 24.9 | 137.1 |
| growing | 2 | 64 | 182.7 | 185.7 | 26.3 | 137.1 |
| growing | 4 | 4 | 161.6 | 99.2 | 17.5 | 137.0 |
| growing | 4 | 16 | 207.2 | 185.6 | 35.8 | 137.0 |
| growing | 4 | 64 | 156.8 | 186.8 | 27.0 | 137.0 |
CPU100%=один core. CPU измерен за окно snapshots, включающее небольшую инструментальную накладную стоимость, не только ровно6s. memory.peak накоплен с запуска контейнера, current до/после тоже сохранён. Pg_stat_activity samples позволяют наблюдать WAL/locks/CPU, но не являются непрерывным профилем.
- Pool1, instance420ec0304c59: acquires=64076, empty_acquires=63562, accumulated empty wait=227.262s (process lifetime counters).
- Pool1, instance95ed258e2e00: acquires=63957, empty_acquires=63919, accumulated empty wait=348.705s (process lifetime counters).
- Pool10, instance0ee0266b5951: acquires=115748, empty_acquires=75758, accumulated empty wait=48.476s (process lifetime counters).
- Pool10, instance0a0d445bde35: acquires=115747, empty_acquires=79577, accumulated empty wait=56.580s (process lifetime counters).
## Границы измерения
Короткие прогоны на одном host, warm caches, fixed ordering, растущие tables и coordinated omission. Предельные задержки во время перегрузки могут быть недооценены closed-loop моделью. Токены только в памяти и stdin генератора, в evidence не сохраняются. SQL/RAM/WAL и работа нескольких процессов ограничивают масштабирование; выводы относятся к измеренному POST-профилю.
File diff suppressed because it is too large Load Diff
Binary file not shown.
Binary file not shown.

After

Width:  |  Height:  |  Size: 212 KiB

+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8083"
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8083"
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+174
View File
@@ -0,0 +1,174 @@
python3 scripts/bootstrap.py
Local secrets ready (values hidden); .env and secrets/ are ignored by Git.
docker compose --env-file .env up -d --build --wait
Compose can now delegate builds to bake for better performance.
To do so, set COMPOSE_BAKE=true.
#0 building with "desktop-linux" instance using docker driver
#1 [migrate internal] load build definition from Dockerfile
#1 transferring dockerfile: 782B done
#1 DONE 0.0s
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 ...
#3 [migrate internal] load metadata for docker.io/library/alpine:3.22.1
#3 DONE 2.2s
#2 [migrate internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 2.2s
#4 [migrate internal] load .dockerignore
#4 transferring context: 196B done
#4 DONE 0.0s
#5 [migrate stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
#5 DONE 0.0s
#6 [migrate build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
#6 DONE 0.0s
#7 [migrate internal] load build context
#7 transferring context: 4.90kB done
#7 DONE 0.0s
#8 [migrate build 3/7] COPY go.mod go.sum ./
#8 CACHED
#9 [migrate build 2/7] WORKDIR /src
#9 CACHED
#10 [migrate build 4/7] RUN go mod download
#10 CACHED
#11 [migrate build 5/7] COPY cmd/ ./cmd/
#11 DONE 0.0s
#12 [migrate build 6/7] COPY internal/ ./internal/
#12 DONE 0.0s
#13 [migrate build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#13 DONE 5.0s
#14 [migrate stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
#14 CACHED
#15 [migrate stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
#15 DONE 0.0s
#16 [migrate] exporting to image
#16 exporting layers
#16 exporting layers 0.2s done
#16 exporting manifest sha256:914121e1994b898b5227e70e0c9d8dd70a8267b8ee148bc610ea6e791b6325a9
#16 exporting manifest sha256:914121e1994b898b5227e70e0c9d8dd70a8267b8ee148bc610ea6e791b6325a9 done
#16 exporting config sha256:760e2d33c701da4980c1d4dfe67cb32236675384bcaa14eb1c192ef213658b91 done
#16 exporting attestation manifest sha256:076c4d4f1e88b43ed28523d1f29c16ad35683c66a2fcf9188f086674e8b283f1 done
#16 exporting manifest list sha256:a6cb3e7311677571829ff9f38ae6d1689d89eed23677bcb64fdf96d4f28038ed done
#16 naming to docker.io/library/mtusi-messenger:lab3 done
#16 unpacking to docker.io/library/mtusi-messenger:lab3 0.0s done
#16 DONE 0.3s
#17 [migrate] resolving provenance for metadata file
#17 DONE 0.0s
#18 [api internal] load build definition from Dockerfile
#18 transferring dockerfile: 782B done
#18 DONE 0.0s
#2 [api internal] load metadata for docker.io/library/golang:1.24.4-alpine3.22
#2 DONE 3.5s
#3 [api internal] load metadata for docker.io/library/alpine:3.22.1
#3 DONE 3.5s
#19 [api internal] load .dockerignore
#19 transferring context: 196B done
#19 DONE 0.0s
#5 [api stage-2 1/3] FROM docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1
#5 resolve docker.io/library/alpine:3.22.1@sha256:4bcff63911fcb4448bd4fdacec207030997caf25e9bea4045fa6c8c44de311d1 done
#5 DONE 0.0s
#6 [api build 1/7] FROM docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a
#6 resolve docker.io/library/golang:1.24.4-alpine3.22@sha256:68932fa6d4d4059845c8f40ad7e654e626f3ebd3706eef7846f319293ab5cb7a done
#6 DONE 0.0s
#20 [api internal] load build context
#20 transferring context: 752B done
#20 DONE 0.0s
#9 [api build 2/7] WORKDIR /src
#9 CACHED
#21 [api build 6/7] COPY internal/ ./internal/
#21 CACHED
#22 [api build 4/7] RUN go mod download
#22 CACHED
#23 [api build 3/7] COPY go.mod go.sum ./
#23 CACHED
#24 [api build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/messenger ./cmd/server
#24 CACHED
#25 [api build 5/7] COPY cmd/ ./cmd/
#25 CACHED
#14 [api stage-2 2/3] RUN addgroup -g 10001 app && adduser -D -u 10001 -G app app
#14 CACHED
#26 [api stage-2 3/3] COPY --from=build /out/messenger /usr/local/bin/messenger
#26 CACHED
#27 [api] exporting to image
#27 exporting layers done
#27 exporting manifest sha256:b57f8cd185cd559ee119ce1f32af9840c2e3351bca2ddd635ed84cd60d1d7046 done
#27 exporting config sha256:baaabcb3786c817cb129fdb7a2075bf92322689e25cc77661c85f49d51b28c99 done
#27 exporting attestation manifest sha256:3cd7e2f98562ce22c384b473c3ec4dc67eb4be89e2346f063cbcff4c19028124 done
#27 exporting manifest list sha256:0d6cc9cc717039d834bb9f3266766d267c13f54334c9e686eadd16a549e4d9c0 done
#27 naming to docker.io/library/mtusi-messenger:lab3 done
#27 unpacking to docker.io/library/mtusi-messenger:lab3 done
#27 DONE 0.0s
#28 [api] resolving provenance for metadata file
#28 DONE 0.0s
api Built
migrate Built
Container mtusi-lab3-kraykin-valkey-1 Running
Container mtusi-lab3-kraykin-postgres-1 Running
Container mtusi-lab3-kraykin-migrate-1 Recreate
Container mtusi-lab3-kraykin-migrate-1 Recreated
Container mtusi-lab3-kraykin-api-3 Recreate
Container mtusi-lab3-kraykin-api-4 Recreate
Container mtusi-lab3-kraykin-api-4 Recreated
Container mtusi-lab3-kraykin-api-3 Recreated
Container mtusi-lab3-kraykin-lb-1 Running
Container mtusi-lab3-kraykin-postgres-1 Waiting
Container mtusi-lab3-kraykin-postgres-1 Healthy
Container mtusi-lab3-kraykin-migrate-1 Starting
Container mtusi-lab3-kraykin-migrate-1 Started
Container mtusi-lab3-kraykin-migrate-1 Waiting
Container mtusi-lab3-kraykin-migrate-1 Exited
Container mtusi-lab3-kraykin-api-3 Starting
Container mtusi-lab3-kraykin-api-3 Started
Container mtusi-lab3-kraykin-api-4 Starting
Container mtusi-lab3-kraykin-api-4 Started
Container mtusi-lab3-kraykin-api-3 Waiting
Container mtusi-lab3-kraykin-api-4 Waiting
Container mtusi-lab3-kraykin-api-3 Healthy
Container mtusi-lab3-kraykin-api-4 Healthy
Container mtusi-lab3-kraykin-api-3 Waiting
Container mtusi-lab3-kraykin-api-4 Waiting
Container mtusi-lab3-kraykin-lb-1 Waiting
Container mtusi-lab3-kraykin-postgres-1 Waiting
Container mtusi-lab3-kraykin-valkey-1 Waiting
Container mtusi-lab3-kraykin-migrate-1 Waiting
Container mtusi-lab3-kraykin-lb-1 Healthy
Container mtusi-lab3-kraykin-postgres-1 Healthy
Container mtusi-lab3-kraykin-migrate-1 Exited
Container mtusi-lab3-kraykin-valkey-1 Healthy
Container mtusi-lab3-kraykin-api-3 Healthy
Container mtusi-lab3-kraykin-api-4 Healthy
+4
View File
@@ -0,0 +1,4 @@
? mtusi/messenger/cmd/bench [no test files]
? mtusi/messenger/cmd/server [no test files]
? mtusi/messenger/internal/database [no test files]
ok mtusi/messenger/internal/messenger 3.022s
View File
+20
View File
@@ -0,0 +1,20 @@
module mtusi/messenger
go 1.24.0
require (
github.com/jackc/pgx/v5 v5.7.6
github.com/redis/go-redis/v9 v9.12.1
golang.org/x/crypto v0.41.0
)
require (
github.com/cespare/xxhash/v2 v2.3.0 // indirect
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
github.com/jackc/pgpassfile v1.0.0 // indirect
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
github.com/jackc/puddle/v2 v2.2.2 // indirect
golang.org/x/sync v0.16.0 // indirect
golang.org/x/sys v0.35.0 // indirect
golang.org/x/text v0.28.0 // indirect
)
+40
View File
@@ -0,0 +1,40 @@
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0=
github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs=
github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
github.com/jackc/pgx/v5 v5.7.6 h1:rWQc5FwZSPX58r1OQmkuaNicxdmExaEz5A2DO2hUuTk=
github.com/jackc/pgx/v5 v5.7.6/go.mod h1:aruU7o91Tc2q2cFp5h4uP3f6ztExVpyVv88Xl/8Vl8M=
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/redis/go-redis/v9 v9.12.1 h1:k5iquqv27aBtnTm2tIkROUDp8JBXhXZIVu1InSgvovg=
github.com/redis/go-redis/v9 v9.12.1/go.mod h1:huWgSWd8mW6+m0VPhJjSSQ+d6Nh1VICQ6Q5lHuCH/Iw=
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
github.com/stretchr/testify v1.8.1 h1:w7B6lhMri9wdJUVmEZPGGhZzrYTPvgJArz7wNPgYKsk=
github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4=
golang.org/x/crypto v0.41.0 h1:WKYxWedPGCTVVl5+WHSSrOBT0O8lx32+zxmHxijgXp4=
golang.org/x/crypto v0.41.0/go.mod h1:pO5AFd7FA68rFak7rOAGVuygIISepHftHnr8dr6+sUc=
golang.org/x/sync v0.16.0 h1:ycBJEhp9p4vXvUZNszeOq0kGTPghopOL8q0fq3vstxw=
golang.org/x/sync v0.16.0/go.mod h1:1dzgHSNfp02xaA81J2MS99Qcpr2w7fw1gpm99rleRqA=
golang.org/x/sys v0.35.0 h1:vz1N37gP5bs89s7He8XuIYXpyY0+QlsKmzipCbUtyxI=
golang.org/x/sys v0.35.0/go.mod h1:BJP2sWEmIv4KK5OTEluFJCKSidICx8ciO85XgH3Ak8k=
golang.org/x/text v0.28.0 h1:rhazDwis8INMIwQ4tpjLDzUhx6RlXqZNPEM0huQojng=
golang.org/x/text v0.28.0/go.mod h1:U8nCwOR8jO/marOQ0QbDiOngZVEBB7MAiitBuMjXiNU=
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
+27
View File
@@ -0,0 +1,27 @@
global
maxconn 512
log stdout format raw local0
defaults
log global
mode http
timeout connect 500ms
timeout client 35s
timeout server 35s
timeout check 800ms
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 2
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
frontend public
bind :8080
default_backend replicas
backend replicas
balance roundrobin
option httpchk GET /health/ready
http-check expect status 200
default-server inter 1s fall 2 rise 1
server-template api 4 api:8080 check resolvers docker init-addr libc,none resolve-prefer ipv4
+103
View File
@@ -0,0 +1,103 @@
package database
import (
"context"
"crypto/sha256"
"embed"
"fmt"
"github.com/jackc/pgx/v5/pgxpool"
"os"
"sort"
"strconv"
"time"
)
//go:embed migrations/*.sql
var migrations embed.FS
func Open(ctx context.Context, url string) (*pgxpool.Pool, error) {
cfg, err := pgxpool.ParseConfig(url)
if err != nil {
return nil, fmt.Errorf("invalid database configuration")
}
cfg.MaxConns = 10
if v := os.Getenv("DB_POOL_MAX"); v != "" {
n, e := strconv.Atoi(v)
if e != nil || n < 1 || n > 64 {
return nil, fmt.Errorf("DB_POOL_MAX must be 1..64")
}
cfg.MaxConns = int32(n)
}
cfg.MinConns = 0
cfg.MaxConnLifetime = 30 * time.Minute
cfg.MaxConnIdleTime = 5 * time.Minute
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
cfg.ConnConfig.RuntimeParams["statement_timeout"] = "2000"
cfg.ConnConfig.RuntimeParams["lock_timeout"] = "1000"
pool, err := pgxpool.NewWithConfig(ctx, cfg)
if err != nil {
return nil, fmt.Errorf("cannot create database pool")
}
if err = pool.Ping(ctx); err != nil {
pool.Close()
return nil, fmt.Errorf("database unavailable")
}
return pool, nil
}
// All migrations and the version ledger commit together. An advisory lock also
// serializes bootstrap across API instances; edited applied migrations fail.
func Migrate(ctx context.Context, pool *pgxpool.Pool) error {
tx, err := pool.Begin(ctx)
if err != nil {
return err
}
defer tx.Rollback(context.Background())
if _, err = tx.Exec(ctx, "SELECT pg_advisory_xact_lock(2026002)"); err != nil {
return err
}
if _, err = tx.Exec(ctx, `CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, checksum text NOT NULL, applied_at timestamptz NOT NULL DEFAULT clock_timestamp())`); err != nil {
return err
}
entries, err := migrations.ReadDir("migrations")
if err != nil {
return err
}
sort.Slice(entries, func(i, j int) bool { return entries[i].Name() < entries[j].Name() })
for _, entry := range entries {
body, err := migrations.ReadFile("migrations/" + entry.Name())
if err != nil {
return err
}
checksum := fmt.Sprintf("%x", sha256.Sum256(body))
var stored string
rows, err := tx.Query(ctx, "SELECT checksum FROM schema_migrations WHERE version=$1", entry.Name())
if err != nil {
return err
}
found := rows.Next()
if found {
err = rows.Scan(&stored)
}
if err == nil {
err = rows.Err()
}
rows.Close()
if err != nil {
return err
}
if found {
if stored != checksum {
return fmt.Errorf("applied migration changed: %s", entry.Name())
}
continue
}
if _, err = tx.Exec(ctx, string(body)); err != nil {
return err
}
if _, err = tx.Exec(ctx, "INSERT INTO schema_migrations(version,checksum) VALUES($1,$2)", entry.Name(), checksum); err != nil {
return err
}
}
return tx.Commit(ctx)
}
@@ -0,0 +1,36 @@
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
last_message_at timestamptz NOT NULL DEFAULT '-infinity'
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats(id),
user_id uuid NOT NULL REFERENCES users(id),
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members(user_id, chat_id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id),
sender_id uuid NOT NULL,
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
created_at timestamptz NOT NULL,
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
);
CREATE INDEX messages_history_idx ON messages(chat_id, created_at, id);
CREATE INDEX chats_order_idx ON chats(created_at, id);
CREATE TABLE sessions (
token_hash bytea PRIMARY KEY CHECK (octet_length(token_hash) = 32),
user_id uuid NOT NULL REFERENCES users(id),
expires_at timestamptz NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE INDEX sessions_expiry_idx ON sessions(expires_at);
@@ -0,0 +1,10 @@
CREATE TABLE message_requests (
user_id uuid NOT NULL REFERENCES users(id),
chat_id uuid NOT NULL REFERENCES chats(id),
key text NOT NULL,
body_hash bytea NOT NULL,
response jsonb NOT NULL,
expires_at timestamptz NOT NULL,
PRIMARY KEY(user_id,chat_id,key)
);
CREATE INDEX message_requests_expiry_idx ON message_requests(expires_at);
+163
View File
@@ -0,0 +1,163 @@
package messenger
import (
"context"
"encoding/base64"
"encoding/json"
"fmt"
"io"
"mtusi/messenger/internal/database"
"net/http"
"net/http/httptest"
"os"
"strings"
"sync"
"testing"
"time"
)
// Real PostgreSQL + HTTP + the race detector, in the optional Compose tests
// service. Local go test skips this test unless the DB secret path is supplied.
func TestDatabaseConcurrentHTTP(t *testing.T) {
path := os.Getenv("DATABASE_TEST_URL_FILE")
if path == "" {
t.Skip("run make test-race for real PostgreSQL HTTP integration")
}
raw, err := os.ReadFile(path)
if err != nil {
t.Fatal(err)
}
ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
defer cancel()
pool, err := database.Open(ctx, strings.TrimSpace(string(raw)))
if err != nil {
t.Fatal(err)
}
defer pool.Close()
if err = database.Migrate(ctx, pool); err != nil {
t.Fatal(err)
}
api := New(pool, nil, make([]byte, 32), 3600, nil)
ts := httptest.NewServer(api)
defer ts.Close()
call := func(method, path, body, auth string, status int) map[string]any {
t.Helper()
r, err := http.NewRequest(method, ts.URL+path, strings.NewReader(body))
if err != nil {
t.Error(err)
return nil
}
if body != "" {
r.Header.Set("Content-Type", "application/json")
}
r.Header.Set("Authorization", auth)
if method == "POST" && strings.HasSuffix(path, "/messages") {
r.Header.Set("Idempotency-Key", uuid())
}
response, err := ts.Client().Do(r)
if err != nil {
t.Error(err)
return nil
}
defer response.Body.Close()
b, err := io.ReadAll(response.Body)
if err != nil {
t.Error(err)
return nil
}
if response.StatusCode != status {
t.Errorf("%s %s: want %d got %d", method, path, status, response.StatusCode)
return nil
}
var v map[string]any
if err = json.Unmarshal(b, &v); err != nil {
t.Error(err)
}
return v
}
username := "go_" + strings.ReplaceAll(uuid(), "-", "")[:20]
user := call("POST", "/api/v1/users", fmt.Sprintf(`{"username":%q,"display_name":"Race","password":"Synthetic-Go-Test-123"}`, username), "", 201)
if user == nil {
t.Fatal("create failed")
}
basic := "Basic " + base64.StdEncoding.EncodeToString([]byte(username+":Synthetic-Go-Test-123"))
session := call("POST", "/api/v1/auth/sessions", "", basic, 201)
if session == nil {
t.Fatal("login failed")
}
bearer := "Bearer " + session["token"].(string)
chat := call("POST", "/api/v1/chats", fmt.Sprintf(`{"title":"Race","member_ids":[%q]}`, user["id"]), bearer, 201)
if chat == nil {
t.Fatal("chat failed")
}
messages := "/api/v1/chats/" + chat["id"].(string) + "/messages"
var wg sync.WaitGroup
for worker := 0; worker < 10; worker++ {
wg.Add(1)
go func(worker int) {
defer wg.Done()
for j := 0; j < 10; j++ {
call("POST", messages, fmt.Sprintf(`{"text":"worker-%d-message-%d"}`, worker, j), bearer, 201)
}
}(worker)
}
wg.Wait()
page := call("GET", messages+"?limit=100", "", bearer, 200)
if page == nil {
t.Fatal("history failed")
}
items := page["items"].([]any)
if len(items) != 100 {
t.Fatalf("expected 100 messages, got %d", len(items))
}
seen := map[string]bool{}
for _, v := range items {
m := v.(map[string]any)
id := m["id"].(string)
if seen[id] {
t.Fatal("duplicate ID")
}
seen[id] = true
}
// Race a single key through the real server, then verify only one side effect.
var repeatWG sync.WaitGroup
ids := make(chan string, 12)
for i := 0; i < 12; i++ {
repeatWG.Add(1)
go func() {
defer repeatWG.Done()
req, _ := http.NewRequest("POST", ts.URL+messages, strings.NewReader(`{"text":"one key"}`))
req.Header.Set("Content-Type", "application/json")
req.Header.Set("Authorization", bearer)
req.Header.Set("Idempotency-Key", "same-concurrent-key")
res, err := ts.Client().Do(req)
if err != nil {
t.Error(err)
return
}
defer res.Body.Close()
var m Message
if res.StatusCode != 201 || json.NewDecoder(res.Body).Decode(&m) != nil {
t.Error("repeat failed")
return
}
ids <- m.ID
}()
}
repeatWG.Wait()
close(ids)
var expected string
for id := range ids {
if expected == "" {
expected = id
}
if id != expected {
t.Error("idempotency duplicate")
}
}
var count int
if err := pool.QueryRow(context.Background(), "SELECT count(*) FROM messages WHERE chat_id=$1", chat["id"]).Scan(&count); err != nil || count != 101 {
t.Errorf("want 101 persisted messages, got %d: %v", count, err)
}
t.Log("100 confirmed messages from 10 clients through real HTTP and PostgreSQL; race detector enabled")
}
+33
View File
@@ -0,0 +1,33 @@
package messenger
import (
"crypto/rand"
"crypto/subtle"
"encoding/base64"
"golang.org/x/crypto/argon2"
"strings"
)
// Fixed, bounded parameters: 64 MiB, 3 passes, 2 lanes, 16-byte salt,
// 32-byte result. The HTTP layer bounds simultaneous KDF work to 2 calls.
func hashPassword(password string) string {
salt := make([]byte, 16)
if _, err := rand.Read(salt); err != nil {
panic(err)
}
hash := argon2.IDKey([]byte(password), salt, 3, 64*1024, 2, 32)
return "$argon2id$v=19$m=65536,t=3,p=2$" + base64.RawStdEncoding.EncodeToString(salt) + "$" + base64.RawStdEncoding.EncodeToString(hash)
}
func verifyPassword(password, encoded string) bool {
parts := strings.Split(encoded, "$")
if len(parts) != 6 || strings.Join(parts[:4], "$") != "$argon2id$v=19$m=65536,t=3,p=2" {
return false
}
salt, e1 := base64.RawStdEncoding.DecodeString(parts[4])
want, e2 := base64.RawStdEncoding.DecodeString(parts[5])
if e1 != nil || e2 != nil || len(salt) != 16 || len(want) != 32 {
return false
}
got := argon2.IDKey([]byte(password), salt, 3, 64*1024, 2, 32)
return subtle.ConstantTimeCompare(got, want) == 1
}
+20
View File
@@ -0,0 +1,20 @@
package messenger
import (
"strings"
"testing"
)
func TestPasswordFullUnicodeRange(t *testing.T) {
password := strings.Repeat("🙂", 128) // 512 bytes: exceeds bcrypt's 72-byte limit.
hash := hashPassword(password)
if !verifyPassword(password, hash) || verifyPassword(password+"x", hash) {
t.Fatal("password mismatch")
}
if hash == hashPassword(password) {
t.Fatal("salt reused")
}
if verifyPassword(password, "$argon2id$v=19$m=999999999,t=3,p=2$abc$def") {
t.Fatal("unbounded parameters accepted")
}
}
+734
View File
@@ -0,0 +1,734 @@
// Package messenger implements the lab3 contract. PostgreSQL is authoritative.
package messenger
import (
"bytes"
"context"
"crypto/hmac"
"crypto/rand"
"crypto/sha256"
"encoding/base64"
"encoding/json"
"errors"
"fmt"
"github.com/jackc/pgx/v5"
"github.com/jackc/pgx/v5/pgconn"
"github.com/jackc/pgx/v5/pgxpool"
"github.com/redis/go-redis/v9"
"io"
"log/slog"
"mime"
"net/http"
"net/url"
"os"
"regexp"
"strconv"
"strings"
"sync/atomic"
"time"
"unicode/utf8"
)
type User struct {
ID string `json:"id"`
Username string `json:"username"`
DisplayName string `json:"display_name"`
CreatedAt string `json:"created_at"`
}
type Chat struct {
ID string `json:"id"`
Title string `json:"title"`
MemberIDs []string `json:"member_ids"`
CreatedAt string `json:"created_at"`
}
type Message struct {
ID string `json:"id"`
ChatID string `json:"chat_id"`
SenderID string `json:"sender_id"`
Text string `json:"text"`
CreatedAt string `json:"created_at"`
}
type Page[T any] struct {
Items []T `json:"items"`
NextCursor *string `json:"next_cursor"`
}
func uuid() string {
b := make([]byte, 16)
if _, err := rand.Read(b); err != nil {
panic(err)
}
b[6] = (b[6] & 15) | 64
b[8] = (b[8] & 63) | 128
return fmt.Sprintf("%x-%x-%x-%x-%x", b[:4], b[4:6], b[6:8], b[8:10], b[10:])
}
var uuidRE = regexp.MustCompile(`^[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}$`)
var usernameRE = regexp.MustCompile(`^[a-z0-9_]{3,32}$`)
func validText(v string, max int) bool {
return utf8.ValidString(v) && strings.TrimSpace(v) != "" && utf8.RuneCountInString(v) <= max
}
func reply(w http.ResponseWriter, status int, v any) {
w.WriteHeader(status)
_ = json.NewEncoder(w).Encode(v)
}
func fail(w http.ResponseWriter, status int, code, msg string) {
reply(w, status, map[string]any{"error": map[string]string{"code": code, "message": msg, "request_id": w.Header().Get("X-Request-Id")}})
}
func bad(w http.ResponseWriter) { fail(w, 400, "invalid_request", "Invalid request") }
func missing(w http.ResponseWriter) { fail(w, 404, "not_found", "Object not found") }
// Decode exact object keys (encoding/json structs alone accept case variants).
// Reject null, duplicate keys, trailing documents and invalid UTF-8 as well.
func decode(w http.ResponseWriter, r *http.Request, dst any, fields ...string) bool {
media, _, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
if err != nil || media != "application/json" {
fail(w, 415, "unsupported_media_type", "Expected application/json")
return false
}
b, err := io.ReadAll(http.MaxBytesReader(w, r.Body, 1<<20))
if err != nil {
if _, ok := err.(*http.MaxBytesError); ok {
fail(w, 413, "payload_too_large", "Body exceeds 1 MiB")
} else {
bad(w)
}
return false
}
if !utf8.Valid(b) {
bad(w)
return false
}
d := json.NewDecoder(bytes.NewReader(b))
token, err := d.Token()
if err != nil || token != json.Delim('{') {
bad(w)
return false
}
allowed := map[string]bool{}
for _, f := range fields {
allowed[f] = true
}
seen := map[string]bool{}
for d.More() {
t, e := d.Token()
k, ok := t.(string)
if e != nil || !ok || !allowed[k] || seen[k] {
bad(w)
return false
}
seen[k] = true
var raw json.RawMessage
if d.Decode(&raw) != nil || bytes.Equal(raw, []byte("null")) {
bad(w)
return false
}
}
if _, err = d.Token(); err != nil {
bad(w)
return false
}
if _, err = d.Token(); err != io.EOF {
bad(w)
return false
}
if len(seen) != len(allowed) || json.Unmarshal(b, dst) != nil {
bad(w)
return false
}
return true
}
type cursor struct {
Scope string `json:"scope"`
Time string `json:"time"`
ID string `json:"id"`
}
func (s *Server) encodeCursor(c cursor) *string {
b, _ := json.Marshal(c)
mac := hmac.New(sha256.New, s.secret)
mac.Write(b)
v := base64.RawURLEncoding.EncodeToString(b) + "." + base64.RawURLEncoding.EncodeToString(mac.Sum(nil))
return &v
}
func (s *Server) pagination(w http.ResponseWriter, r *http.Request, scope string) (int, cursor, bool) {
var c cursor
limit := 50
// ParseQuery explicitly reports malformed escaping, unlike URL.Query.
values, e := url.ParseQuery(r.URL.RawQuery)
if e != nil {
bad(w)
return 0, c, false
}
if v, ok := values["limit"]; ok {
if len(v) != 1 || v[0] == "" || strings.Trim(v[0], "0123456789") != "" {
bad(w)
return 0, c, false
}
limit, e = strconv.Atoi(v[0])
if e != nil || limit < 1 || limit > 100 {
bad(w)
return 0, c, false
}
}
if v, ok := values["cursor"]; ok {
if len(v) != 1 || len(v[0]) > 2048 {
bad(w)
return 0, c, false
}
parts := strings.Split(v[0], ".")
if len(parts) != 2 {
bad(w)
return 0, c, false
}
b, e1 := base64.RawURLEncoding.DecodeString(parts[0])
sig, e2 := base64.RawURLEncoding.DecodeString(parts[1])
mac := hmac.New(sha256.New, s.secret)
mac.Write(b)
if e1 != nil || e2 != nil || !hmac.Equal(sig, mac.Sum(nil)) || json.Unmarshal(b, &c) != nil || c.Scope != scope || !uuidRE.MatchString(c.ID) {
bad(w)
return 0, c, false
}
}
if c.ID != "" {
if _, err := time.Parse(time.RFC3339Nano, c.Time); err != nil {
bad(w)
return 0, c, false
}
}
return limit, c, true
}
type Server struct {
db *pgxpool.Pool
cache *redis.Client
secret []byte
ttl int
log *slog.Logger
stopping atomic.Bool
kdf chan struct{}
instance string
dummyHash string
}
func New(db *pgxpool.Pool, cache *redis.Client, secret []byte, ttl int, logger *slog.Logger) *Server {
hostname, _ := os.Hostname()
return &Server{instance: hostname, db: db, cache: cache, secret: secret, ttl: ttl, log: logger, kdf: make(chan struct{}, 2), dummyHash: hashPassword("dummy-not-a-real-password")}
}
func (s *Server) Stop() { s.stopping.Store(true) }
func (s *Server) acquireKDF(ctx context.Context, w http.ResponseWriter) bool {
select {
case s.kdf <- struct{}{}:
return true
case <-ctx.Done():
unavailable(w)
return false
}
}
func unavailable(w http.ResponseWriter) {
fail(w, 503, "unavailable", "Dependency temporarily unavailable")
}
func unauthorized(w http.ResponseWriter, scheme string) {
challenge := scheme + ` realm="messenger"`
if scheme == "Basic" {
challenge += `, charset="UTF-8"`
}
w.Header().Set("WWW-Authenticate", challenge)
fail(w, 401, "unauthorized", "Invalid or missing credentials")
}
func stamp(t time.Time) string { return t.UTC().Format("2006-01-02T15:04:05.000000Z") }
const userColumns = "id::text, username, display_name, created_at"
type scanner interface{ Scan(...any) error }
func scanUser(row scanner) (User, error) {
var u User
var t time.Time
err := row.Scan(&u.ID, &u.Username, &u.DisplayName, &t)
u.CreatedAt = stamp(t)
return u, err
}
func scanMessage(row scanner) (Message, error) {
var m Message
var t time.Time
err := row.Scan(&m.ID, &m.ChatID, &m.SenderID, &m.Text, &t)
m.CreatedAt = stamp(t)
return m, err
}
func (s *Server) profile(ctx context.Context, uid string) (User, error) {
// Valkey caches ONLY immutable User JSON. Session validity is always read
// from PostgreSQL first; cache loss never permits anonymous access.
key := "profile:v1:" + uid
if s.cache != nil {
c, cancel := context.WithTimeout(ctx, 80*time.Millisecond)
raw, err := s.cache.Get(c, key).Bytes()
cancel()
var u User
if err == nil && json.Unmarshal(raw, &u) == nil && u.ID == uid {
return u, nil
}
}
u, err := scanUser(s.db.QueryRow(ctx, "SELECT "+userColumns+" FROM users WHERE id=$1", uid))
if err != nil {
return u, err
}
if s.cache != nil {
raw, _ := json.Marshal(u)
c, cancel := context.WithTimeout(ctx, 80*time.Millisecond)
_ = s.cache.Set(c, key, raw, 300*time.Second).Err()
cancel()
}
return u, nil
}
func (s *Server) authenticate(w http.ResponseWriter, r *http.Request) (User, []byte, bool) {
parts := strings.Fields(r.Header.Get("Authorization"))
if len(parts) != 2 || !strings.EqualFold(parts[0], "Bearer") {
unauthorized(w, "Bearer")
return User{}, nil, false
}
raw, err := base64.RawURLEncoding.DecodeString(parts[1])
if err != nil || len(raw) != 32 {
unauthorized(w, "Bearer")
return User{}, nil, false
}
digest := sha256.Sum256([]byte(parts[1]))
var uid string
err = s.db.QueryRow(r.Context(), "SELECT user_id::text FROM sessions WHERE token_hash=$1 AND expires_at>clock_timestamp()", digest[:]).Scan(&uid)
if errors.Is(err, pgx.ErrNoRows) {
unauthorized(w, "Bearer")
return User{}, nil, false
}
if err != nil {
unavailable(w)
return User{}, nil, false
}
u, err := s.profile(r.Context(), uid)
if err != nil {
unavailable(w)
return User{}, nil, false
}
return u, digest[:], true
}
type recorder struct {
http.ResponseWriter
status int
}
func (w *recorder) WriteHeader(status int) { w.status = status; w.ResponseWriter.WriteHeader(status) }
func (s *Server) ServeHTTP(w http.ResponseWriter, r *http.Request) {
start := time.Now()
out := &recorder{w, 200}
w = out
w.Header().Set("Content-Type", "application/json; charset=utf-8")
w.Header().Set("X-Request-Id", uuid())
w.Header().Set("X-Instance-Id", s.instance)
ctx, cancel := context.WithTimeout(r.Context(), 3*time.Second)
defer cancel()
r = r.WithContext(ctx)
route := "unknown"
defer func() {
if recover() != nil {
fail(w, 500, "internal_error", "Internal server error")
}
if s.log != nil {
s.log.Info("request", "method", r.Method, "route", route, "status", out.status, "duration_us", time.Since(start).Microseconds(), "request_id", w.Header().Get("X-Request-Id"))
}
}()
if r.Method == "GET" && (r.URL.Path == "/health/live" || r.URL.Path == "/health/ready") {
route = r.URL.Path
if r.URL.Path == "/health/ready" && (s.stopping.Load() || s.db.Ping(ctx) != nil) {
unavailable(w)
} else {
reply(w, 200, map[string]string{"status": "ok"})
}
return
}
if s.stopping.Load() {
unavailable(w)
return
}
if r.Method == "POST" && r.URL.Path == "/api/v1/users" {
route = "/users"
s.createUser(w, r)
return
}
if r.Method == "POST" && r.URL.Path == "/api/v1/auth/sessions" {
route = "/auth/sessions"
s.login(w, r)
return
}
user, digest, ok := s.authenticate(w, r)
if !ok {
return
}
if r.Method == "DELETE" && r.URL.Path == "/api/v1/auth/sessions/current" {
route = "/auth/sessions/current"
tag, err := s.db.Exec(ctx, "DELETE FROM sessions WHERE token_hash=$1", digest)
if err != nil {
unavailable(w)
} else if tag.RowsAffected() == 0 {
unauthorized(w, "Bearer")
} else {
w.WriteHeader(204)
}
return
}
if r.Method == "GET" && r.URL.Path == "/api/v1/users/me" {
route = "/users/me"
reply(w, 200, user)
return
}
if r.URL.Path == "/api/v1/chats" {
route = "/chats"
switch r.Method {
case "POST":
s.createChat(w, r, user.ID)
case "GET":
s.listChats(w, r, user.ID)
default:
missing(w)
}
return
}
parts := strings.Split(strings.TrimPrefix(r.URL.Path, "/"), "/")
if len(parts) < 4 || len(parts) > 5 || parts[0] != "api" || parts[1] != "v1" || parts[2] != "chats" {
missing(w)
return
}
cid := strings.ToLower(parts[3])
route = "/chats/{id}"
if !uuidRE.MatchString(cid) {
bad(w)
return
}
chat, err := s.getChat(ctx, cid, user.ID)
if errors.Is(err, pgx.ErrNoRows) {
missing(w)
return
}
if err != nil {
unavailable(w)
return
}
if len(parts) == 4 && r.Method == "GET" {
reply(w, 200, chat)
return
}
if len(parts) == 5 && parts[4] == "messages" {
route = "/chats/{id}/messages"
switch r.Method {
case "POST":
s.createMessage(w, r, user.ID, cid)
case "GET":
s.listMessages(w, r, cid)
default:
missing(w)
}
return
}
missing(w)
}
func (s *Server) createUser(w http.ResponseWriter, r *http.Request) {
var input struct {
Username string `json:"username"`
DisplayName string `json:"display_name"`
Password string `json:"password"`
}
if !decode(w, r, &input, "username", "display_name", "password") {
return
}
if !usernameRE.MatchString(input.Username) || !validText(input.DisplayName, 100) || !validText(input.Password, 128) || utf8.RuneCountInString(input.Password) < 12 {
bad(w)
return
}
if !s.acquireKDF(r.Context(), w) {
return
}
hash := hashPassword(input.Password)
<-s.kdf
u, err := scanUser(s.db.QueryRow(r.Context(), "INSERT INTO users(id,username,display_name,password_hash) VALUES($1,$2,$3,$4) RETURNING "+userColumns, uuid(), input.Username, input.DisplayName, hash))
var pgerr *pgconn.PgError
if errors.As(err, &pgerr) && pgerr.Code == "23505" {
fail(w, 409, "conflict", "Username already exists")
return
}
if err != nil {
unavailable(w)
return
}
reply(w, 201, u)
}
func (s *Server) login(w http.ResponseWriter, r *http.Request) {
body, err := io.ReadAll(http.MaxBytesReader(w, r.Body, 1))
if err != nil || len(body) != 0 {
bad(w)
return
}
username, password, ok := r.BasicAuth()
if !ok || !usernameRE.MatchString(username) || !validText(password, 128) || utf8.RuneCountInString(password) < 12 {
unauthorized(w, "Basic")
return
}
var u User
var hash string
var t time.Time
err = s.db.QueryRow(r.Context(), "SELECT "+userColumns+", password_hash FROM users WHERE username=$1", username).Scan(&u.ID, &u.Username, &u.DisplayName, &t, &hash)
absent := errors.Is(err, pgx.ErrNoRows)
if err != nil && !absent {
unavailable(w)
return
}
if absent {
hash = s.dummyHash
}
if !s.acquireKDF(r.Context(), w) {
return
}
valid := verifyPassword(password, hash)
<-s.kdf
if !valid || absent {
unauthorized(w, "Basic")
return
}
raw := make([]byte, 32)
if _, err = rand.Read(raw); err != nil {
panic(err)
}
token := base64.RawURLEncoding.EncodeToString(raw)
digest := sha256.Sum256([]byte(token))
var expires time.Time
err = s.db.QueryRow(r.Context(), "INSERT INTO sessions(token_hash,user_id,expires_at) VALUES($1,$2,clock_timestamp()+make_interval(secs=>$3)) RETURNING expires_at", digest[:], u.ID, s.ttl).Scan(&expires)
if err != nil {
unavailable(w)
return
}
u.CreatedAt = stamp(t)
reply(w, 201, map[string]any{"token": token, "token_type": "Bearer", "expires_at": stamp(expires), "user": u})
}
func (s *Server) createChat(w http.ResponseWriter, r *http.Request, uid string) {
var input struct {
Title string `json:"title"`
MemberIDs []string `json:"member_ids"`
}
if !decode(w, r, &input, "title", "member_ids") {
return
}
if !validText(input.Title, 100) || len(input.MemberIDs) < 1 || len(input.MemberIDs) > 100 {
bad(w)
return
}
seen := map[string]bool{}
for i, id := range input.MemberIDs {
id = strings.ToLower(id)
if !uuidRE.MatchString(id) || seen[id] {
bad(w)
return
}
seen[id] = true
input.MemberIDs[i] = id
}
if !seen[uid] {
bad(w)
return
}
tx, err := s.db.Begin(r.Context())
if err != nil {
unavailable(w)
return
}
defer tx.Rollback(context.Background())
chat := Chat{ID: uuid(), Title: input.Title, MemberIDs: input.MemberIDs}
var t time.Time
err = tx.QueryRow(r.Context(), "INSERT INTO chats(id,title) VALUES($1,$2) RETURNING created_at", chat.ID, chat.Title).Scan(&t)
if err != nil {
unavailable(w)
return
}
for _, id := range input.MemberIDs {
_, err = tx.Exec(r.Context(), "INSERT INTO chat_members(chat_id,user_id) VALUES($1,$2)", chat.ID, id)
var pgerr *pgconn.PgError
if errors.As(err, &pgerr) && pgerr.Code == "23503" {
bad(w)
return
}
if err != nil {
unavailable(w)
return
}
}
if tx.Commit(r.Context()) != nil {
unavailable(w)
return
}
chat.CreatedAt = stamp(t)
reply(w, 201, chat)
}
const chatColumns = `c.id::text,c.title,c.created_at,ARRAY(SELECT m.user_id::text FROM chat_members m WHERE m.chat_id=c.id ORDER BY m.user_id)`
func scanChat(row scanner) (Chat, error) {
var c Chat
var t time.Time
err := row.Scan(&c.ID, &c.Title, &t, &c.MemberIDs)
c.CreatedAt = stamp(t)
return c, err
}
func (s *Server) getChat(ctx context.Context, cid, uid string) (Chat, error) {
return scanChat(s.db.QueryRow(ctx, "SELECT "+chatColumns+" FROM chats c JOIN chat_members a ON a.chat_id=c.id AND a.user_id=$2 WHERE c.id=$1", cid, uid))
}
var idempotencyRE = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`)
func (s *Server) createMessage(w http.ResponseWriter, r *http.Request, uid, cid string) {
var input struct {
Text string `json:"text"`
}
if !decode(w, r, &input, "text") {
return
}
keys := r.Header.Values("Idempotency-Key")
if len(keys) != 1 || !idempotencyRE.MatchString(keys[0]) || !validText(input.Text, 4000) {
bad(w)
return
}
body, _ := json.Marshal(input)
digest := sha256.Sum256(body)
ctx := r.Context()
tx, err := s.db.Begin(ctx)
if err != nil {
unavailable(w)
return
}
defer tx.Rollback(context.Background())
// Serialize only the same scope/key, across processes. Hash collisions only
// serialize unrelated requests; the full unique key still decides identity.
_, err = tx.Exec(ctx, "SELECT pg_advisory_xact_lock(hashtextextended($1,0))", uid+":"+cid+":"+keys[0])
if err != nil {
unavailable(w)
return
}
var previous, saved []byte
err = tx.QueryRow(ctx, "SELECT body_hash,response FROM message_requests WHERE user_id=$1 AND chat_id=$2 AND key=$3 AND expires_at>clock_timestamp()", uid, cid, keys[0]).Scan(&previous, &saved)
if err == nil {
if !bytes.Equal(previous, digest[:]) {
fail(w, 409, "conflict", "Key already used with another message")
return
}
if tx.Commit(ctx) != nil {
unavailable(w)
return
}
w.WriteHeader(201)
_, _ = w.Write(saved)
return
}
if !errors.Is(err, pgx.ErrNoRows) {
unavailable(w)
return
}
var t time.Time
err = tx.QueryRow(ctx, "UPDATE chats SET last_message_at=GREATEST(clock_timestamp(),last_message_at+interval '1 microsecond') WHERE id=$1 RETURNING last_message_at", cid).Scan(&t)
if err != nil {
unavailable(w)
return
}
m, err := scanMessage(tx.QueryRow(ctx, "INSERT INTO messages(id,chat_id,sender_id,text,created_at) VALUES($1,$2,$3,$4,$5) RETURNING id::text,chat_id::text,sender_id::text,text,created_at", uuid(), cid, uid, input.Text, t))
if err != nil {
unavailable(w)
return
}
response, _ := json.Marshal(m)
_, err = tx.Exec(ctx, `INSERT INTO message_requests(user_id,chat_id,key,body_hash,response,expires_at) VALUES($1,$2,$3,$4,$5,clock_timestamp()+interval '24 hours') ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body_hash=EXCLUDED.body_hash,response=EXCLUDED.response,expires_at=EXCLUDED.expires_at`, uid, cid, keys[0], digest[:], response)
if err != nil || tx.Commit(ctx) != nil {
unavailable(w)
return
}
reply(w, 201, m)
}
func (s *Server) listMessages(w http.ResponseWriter, r *http.Request, cid string) {
scope := "messages:" + cid
limit, c, ok := s.pagination(w, r, scope)
if !ok {
return
}
query := `SELECT id::text,chat_id::text,sender_id::text,text,created_at FROM messages WHERE chat_id=$1`
args := []any{cid}
if c.ID != "" {
query += ` AND (created_at,id)>($2::timestamptz,$3::uuid)`
args = append(args, c.Time, c.ID)
}
query += fmt.Sprintf(" ORDER BY messages.created_at,messages.id LIMIT $%d", len(args)+1)
args = append(args, limit+1)
rows, err := s.db.Query(r.Context(), query, args...)
if err != nil {
unavailable(w)
return
}
defer rows.Close()
items := []Message{}
for rows.Next() {
m, err := scanMessage(rows)
if err != nil {
unavailable(w)
return
}
items = append(items, m)
}
if rows.Err() != nil {
unavailable(w)
return
}
var next *string
if len(items) > limit {
items = items[:limit]
last := items[limit-1]
next = s.encodeCursor(cursor{scope, last.CreatedAt, last.ID})
}
reply(w, 200, Page[Message]{items, next})
}
func (s *Server) listChats(w http.ResponseWriter, r *http.Request, uid string) {
scope := "chats:" + uid
limit, c, ok := s.pagination(w, r, scope)
if !ok {
return
}
query := "SELECT " + chatColumns + " FROM chats c JOIN chat_members a ON a.chat_id=c.id AND a.user_id=$1"
args := []any{uid}
if c.ID != "" {
query += " WHERE (c.created_at,c.id)>($2::timestamptz,$3::uuid)"
args = append(args, c.Time, c.ID)
}
query += fmt.Sprintf(" ORDER BY c.created_at,c.id LIMIT $%d", len(args)+1)
args = append(args, limit+1)
rows, err := s.db.Query(r.Context(), query, args...)
if err != nil {
unavailable(w)
return
}
defer rows.Close()
items := []Chat{}
for rows.Next() {
chat, err := scanChat(rows)
if err != nil {
unavailable(w)
return
}
items = append(items, chat)
}
if rows.Err() != nil {
unavailable(w)
return
}
var next *string
if len(items) > limit {
items = items[:limit]
last := items[limit-1]
next = s.encodeCursor(cursor{scope, last.CreatedAt, last.ID})
}
reply(w, 200, Page[Chat]{items, next})
}
File diff suppressed because it is too large Load Diff
+2
View File
@@ -0,0 +1,2 @@
# Optional graph rendering; runtime application has no Python dependencies.
matplotlib==3.9.4
+32
View File
@@ -0,0 +1,32 @@
#!/usr/bin/env python3
"""Generate local-only credentials. Existing credentials are never overwritten."""
import base64
import os
from pathlib import Path
import secrets
root=Path(__file__).resolve().parents[1]
directory=root/'secrets'
directory.mkdir(mode=0o700,exist_ok=True)
password_file=directory/'postgres_password'
if not password_file.exists():
password=secrets.token_hex(24)
password_file.write_text(password+'\n')
else:
password=password_file.read_text().strip()
cache_file=directory/'valkey_config'
if not cache_file.exists():
cache_password=secrets.token_hex(24)
cache_file.write_text('bind 0.0.0.0\nprotected-mode yes\nport 6379\ndir /data\nsave ""\nappendonly no\nrequirepass '+cache_password+'\n')
else:
cache_password=next(line.split()[1] for line in cache_file.read_text().splitlines() if line.startswith('requirepass '))
values={'database_url':f'postgres://messenger:{password}@postgres:5432/messenger?sslmode=disable',
'cache_url':f'redis://:{cache_password}@valkey:6379/0',
'cursor_key':base64.urlsafe_b64encode(secrets.token_bytes(32)).decode().rstrip('=')}
for name,value in values.items():
p=directory/name
if not p.exists():p.write_text(value+'\n')
# Compose mounts individual files. Readable by container UID 10001; host
# directory 0700 prevents traversal by other local users.
for p in directory.iterdir():os.chmod(p,0o444)
if not (root/'.env').exists():(root/'.env').write_text('APP_PORT=8083\nSESSION_TTL_SECONDS=3600\n')
print('Local secrets ready (values hidden); .env and secrets/ are ignored by Git.')
+6
View File
@@ -0,0 +1,6 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
docker compose stop lb api
docker compose restart postgres valkey
docker compose up -d --wait
+11
View File
@@ -0,0 +1,11 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
ids=$(docker compose ps -q api)
count=$(printf '%s\n' "$ids" | wc -l | tr -d ' ')
for id in $ids; do
docker stop --time 6 "$id" >/dev/null
docker rm "$id" >/dev/null
docker compose up -d --no-deps --scale api="$count" --wait api >/dev/null
sleep 2
done
+13
View File
@@ -0,0 +1,13 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
: "${TARGET_INSTANCE_ID:?required API alias}"
for id in $(docker compose ps -q api); do
alias=$(docker inspect --format '{{.Config.Hostname}}' "$id")
if [ "$alias" = "$TARGET_INSTANCE_ID" ]; then
docker stop --time 6 "$id" >/dev/null
exit 0
fi
done
printf '%s\n' 'Target API instance is not running' >&2
exit 1
+31
View File
@@ -0,0 +1,31 @@
#!/usr/bin/env python3
"""Run committed solution from a real local clone, new credentials and volumes."""
import json,os,socket,subprocess,tempfile,uuid
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1]
lab=json.loads((ROOT/'lab.json').read_text())['number']
project='verify-lab'+str(lab)+'-'+uuid.uuid4().hex[:10]
with socket.socket() as sock:sock.bind(('127.0.0.1',0));port=sock.getsockname()[1]
with tempfile.TemporaryDirectory(prefix=project+'-') as directory:
clone=Path(directory)/'repo';subprocess.run(['git','clone','--no-hardlinks',str(ROOT),str(clone)],check=True)
env=dict(os.environ,COMPOSE_PROJECT_NAME=project,APP_PORT=str(port),API_REPLICAS='2',SESSION_TTL_SECONDS='3600')
def run(*args):subprocess.run(args,cwd=clone,env=env,check=True)
def snapshots():
ids=subprocess.check_output(['docker','compose','ps','-q'],cwd=clone,env=env,text=True).splitlines()
result={}
for id in ids:
item=json.loads(subprocess.check_output(['docker','inspect',id],text=True))[0]
service=item['Config']['Labels']['com.docker.compose.service']
if service in ['api','postgres','valkey','s3']:result[item['Name']]={'service':service,'started_at':item['State']['StartedAt'],'image_id':item['Image'],'user':item['Config'].get('User',''),'pid1':item['Path']}
return result
try:
run('make','up');run('make','check');run('make','test','BASE_URL=http://localhost:'+str(port))
before=snapshots();run('make','test-persistence','ACTION_SCRIPT=scripts/restart.sh','BASE_URL=http://localhost:'+str(port));after=snapshots()
for name,item in before.items():assert after[name]['started_at']!=item['started_at'],name+' was not restarted'
for item in after.values():
if item['service']=='api':assert item['user']=='10001:10001' and item['pid1']=='/usr/local/bin/messenger'
(ROOT/'evidence/persistence-processes.json').write_text(json.dumps({'scope':'disposable real clean clone','before':before,'after':after},indent=2)+'\n')
print('PASS: real clean clone, fresh secrets/volumes, smoke, same-session persistence, actual store/API restart, non-root PID1')
finally:
# Only this unique synthetic project, never the working lab volumes.
run('docker','compose','down','-v','--remove-orphans')
+36
View File
@@ -0,0 +1,36 @@
#!/usr/bin/env python3
"""Concurrent repeats through LB and the full idempotency scope."""
import concurrent.futures as futures
import json
from pathlib import Path
import sys
import uuid
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
from client import Client,arguments,check
def main():
args=arguments('Student idempotency tests')
c=Client(args.base_url)
alice,bob,eve,chat=c.bootstrap()
key=uuid.uuid4().hex
def send(_):
return Client(c.base).message(alice,chat,'Concurrent one',key=key)
with futures.ThreadPoolExecutor(max_workers=12) as pool:results=list(pool.map(send,range(24)))
check(len({r['json']['id'] for r in results})==1,'duplicate committed message')
instances=sorted({r['headers']['X-Instance-Id'] for r in results})
check(len(instances)>=2,'must observe two API processes')
path='/api/v1/chats/'+chat['id']+'/messages'
c.call('POST',path,409,actor=alice,body={'text':'changed'},headers={'Idempotency-Key':key})
for headers in [{},{'Idempotency-Key':'x'*129},{'Idempotency-Key':'bad key'}]:c.call('POST',path,400,actor=alice,body={'text':'x'},headers=headers)
different=c.message(bob,chat,'Bob independent',key=key)['json']
check(different['id']!=results[0]['json']['id'],'user scope collided')
other=c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json']
c.message(alice,other,'Other scope',key=key)
page=c.call('GET',path,actor=alice,schema='MessagePage')['json']
check(len(page['items'])==2,'history has a duplicate')
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
c.call('POST',path,401,actor=alice,body={'text':'Concurrent one'},headers={'Idempotency-Key':key})
result={'parallel_requests':24,'created_messages':1,'observed_instances':instances,'user_chat_scope':True,'revalidation_after_logout':True}
(Path(__file__).resolve().parents[1]/'evidence/integration.json').write_text(json.dumps(result,indent=2)+'\n')
print('PASS:',json.dumps(result))
if __name__=='__main__':main()
+61
View File
@@ -0,0 +1,61 @@
#!/usr/bin/env python3
"""Stop each real container, then replace them in sequence under writes."""
import json,os,subprocess,sys,threading,time,uuid
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1]
sys.path.insert(0,str(ROOT/'tests'))
from client import Client,Failure,check
BASE=os.environ.get('BASE_URL','http://localhost:8083')
def dc(*args):return subprocess.check_output(['docker','compose',*args],cwd=ROOT,text=True,stderr=subprocess.DEVNULL).strip()
def inspect(id):return json.loads(subprocess.check_output(['docker','inspect',id],text=True))[0]
def ready():
deadline=time.monotonic()+45
while time.monotonic()<deadline:
try:
dc('up','-d','--no-deps','--wait','api');time.sleep(2);return
except subprocess.CalledProcessError:time.sleep(1)
raise AssertionError('API did not recover')
def run_phase(c,actor,chat,action,seconds=7):
results=[];failed=0;stop=threading.Event();events=[];seen=set()
def write():
nonlocal failed
client=Client(BASE,timeout=2);key=uuid.uuid4().hex
while not stop.is_set():
try:
response=client.message(actor,chat,'operation probe '+key,key=key)
results.append((time.monotonic(),response['json']['id']))
seen.add(response['headers']['X-Instance-Id']);key=uuid.uuid4().hex
except Failure:failed+=1
time.sleep(.02)
worker=threading.Thread(target=write);worker.start();time.sleep(1)
started=time.monotonic();action();action_done=time.monotonic();time.sleep(seconds);stop.set();worker.join()
history=[];path='/api/v1/chats/'+chat['id']+'/messages?limit=100'
from urllib.parse import quote
while True:
page=c.call('GET',path,actor=actor,schema='MessagePage')['json'];history+=page['items']
if page['next_cursor'] is None:break
path='/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(page['next_cursor'],safe='')
ids=[m['id'] for m in history];check(len(ids)==len(set(ids)),'duplicate IDs')
check({i for _,i in results}.issubset(set(ids)),'lost confirmed message')
successes_after=[t for t,_ in results if t>=action_done]
check(successes_after,'no successful write after action')
recovery=successes_after[0]-started
return {'successful_writes':len(results),'errors':failed,'successful_rps':len(results)/(time.monotonic()-started+1),'first_recovery_seconds':round(recovery,3),'action_seconds':round(action_done-started,3),'instances':sorted(seen),'confirmed_preserved':True}
def main():
ready();c=Client(BASE);a,b,e,chat=c.bootstrap();results={'failures':[]}
ids=dc('ps','-q','api').splitlines();check(len(ids)==2,'requires two API containers')
for id in ids:
alias=inspect(id)['Config']['Hostname']
env=dict(os.environ,TARGET_INSTANCE_ID=alias)
def action():subprocess.run([str(ROOT/'scripts/stop-one.sh')],env=env,check=True,stdout=subprocess.DEVNULL)
try:
result=run_phase(c,a,chat,action);result['stopped_alias']=alias
check(not inspect(id)['State']['Running'],'target is still running')
check(result['first_recovery_seconds']<10,'recovery >10s')
results['failures'].append(result)
finally:ready()
results['rolling']=run_phase(c,a,chat,lambda:subprocess.run([str(ROOT/'scripts/rolling.sh')],check=True,stdout=subprocess.DEVNULL),seconds=2)
check(len(dc('ps','-q','api').splitlines())==2,'rolling lost replicas')
(ROOT/'evidence/operations.json').write_text(json.dumps(results,indent=2)+'\n')
print('PASS: each API stopped and rolling replacement completed; confirmed writes preserved')
if __name__=='__main__':main()
+52
View File
@@ -0,0 +1,52 @@
#!/usr/bin/env python3
"""Render source JSON as a reproducible scientific figure and a compact table."""
import csv,json,statistics
from collections import defaultdict
from pathlib import Path
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
ROOT=Path(__file__).resolve().parents[1]
report=json.loads((ROOT/'evidence/scaling.json').read_text());groups=defaultdict(list)
for run in report['runs']:groups[(run['series'],run['replicas'],run['concurrency'],run.get('pool_per_api',10))].append(run)
summary=[]
for (series,n,clients,pool),rows in sorted(groups.items()):
result={'series':series,'replicas':n,'clients':clients,'pool_per_api':pool,'repeats':len(rows)}
for field in ['successful_rps','error_fraction','p50_ms','p95_ms','p99_ms']:result[field]=statistics.median(r[field] for r in rows)
summary.append(result)
with (ROOT/'evidence/scaling-summary.csv').open('w') as f:
w=csv.DictWriter(f,fieldnames=list(summary[0]));w.writeheader();w.writerows(summary)
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':10,'axes.spines.top':False,'axes.spines.right':False})
fig,axes=plt.subplots(2,2,figsize=(11,7),layout='constrained')
colors={1:'#147d92',2:'#d27925',4:'#814eac'}
for col,series in enumerate(['fixed','growing']):
for n in [1,2,4]:
rows=[r for r in summary if r['series']==series and r['replicas']==n]
axes[0,col].plot([r['clients'] for r in rows],[r['successful_rps'] for r in rows],marker='o',color=colors[n],label=f'{n} API')
axes[1,col].plot([r['clients'] for r in rows],[r['p99_ms'] for r in rows],marker='o',color=colors[n])
axes[0,col].set_title('Fixed: total API 2 CPU / 1024 MiB' if series=='fixed' else 'Growing: 1 CPU / 512 MiB per API')
axes[0,col].set_ylabel('Successful responses / s');axes[0,col].legend(frameon=False)
axes[1,col].set_ylabel('p99 of successful responses, ms');axes[1,col].set_xlabel('Concurrent clients')
for ax in axes[:,col]:ax.set_xticks([4,16,64]);ax.grid(alpha=.2)
fig.suptitle('Messenger POST scaling — medians of two 6 s runs, 16 chats',fontsize=14)
fig.savefig(ROOT/'evidence/scaling.png',dpi=180)
fig.savefig(ROOT/'evidence/scaling.pdf')
lines=['# Масштабирование: измеренные результаты','', 'Raw: `scaling.json`. График: `scaling.png`; таблица: `scaling-summary.csv`.', '', 'Медианы двух 6-секундных прогонов после 2 s прогрева на каждую конкуренцию. PostgreSQL2 CPU/512MiB, LB1 CPU/128MiB. 16 чатов, 4/16/64 closed-loop клиента, reusable HTTP connections; без retry. Процентили только успешных HTTP201; ошибки отдельно. Каждый point содержит raw cgroups и samples PostgreSQL.','', '| Серия | API | Клиенты | RPS | Ошибки % | p50 ms | p95 ms | p99 ms |','|---|---:|---:|---:|---:|---:|---:|---:|']
for r in summary:
lines.append(f"| {r['series']}"+(f" pool={r['pool_per_api']}" if r['series']=='pool_improvement' else '')+f" | {r['replicas']} | {r['clients']} | {r['successful_rps']:.1f} | {100*r['error_fraction']:.3f} | {r['p50_ms']:.3f} | {r['p95_ms']:.3f} | {r['p99_ms']:.3f} |")
lines += ['','## Ресурсы и ожидания','', '| Серия | API | Клиенты | CPU API sum % | CPU PostgreSQL % | CPU LB % | API max cgroup peak MiB |','|---|---:|---:|---:|---:|---:|---:|']
for (series,n,clients,pool),runs in sorted(groups.items()):
if series=='pool_improvement':continue
def cpu(service):return statistics.median(sum(v['cpu_percent'] for v in r['cgroup_after'].values() if v['service']==service) for r in runs)
peak=max(v['memory_peak'] for r in runs for v in r['cgroup_after'].values() if v['service']=='api')/2**20
lines.append(f'| {series} | {n} | {clients} | {cpu("api"):.1f} | {cpu("postgres"):.1f} | {cpu("lb"):.1f} | {peak:.1f} |')
lines += ['','CPU100%=один core. CPU измерен за окно snapshots, включающее небольшую инструментальную накладную стоимость, не только ровно6s. memory.peak накоплен с запуска контейнера, current до/после тоже сохранён. Pg_stat_activity samples позволяют наблюдать WAL/locks/CPU, но не являются непрерывным профилем.','']
for pool,rows in report.get('pool_diagnostics',{}).items():
# Each instance emits cumulative counters; retain the final sample per instance
# when available; otherwise show conservative maxima rather than sum duplicates.
last={}
for row in rows:last[row.get('instance','unknown')]=row
for instance,row in last.items():lines.append(f"- Pool{pool}, instance{instance}: acquires={row['acquires']}, empty_acquires={row['empty_acquires']}, accumulated empty wait={row['wait_ns']/1e9:.3f}s (process lifetime counters).")
lines += ['','## Границы измерения','', 'Короткие прогоны на одном host, warm caches, fixed ordering, растущие tables и coordinated omission. Предельные задержки во время перегрузки могут быть недооценены closed-loop моделью. Токены только в памяти и stdin генератора, в evidence не сохраняются. SQL/RAM/WAL и работа нескольких процессов ограничивают масштабирование; выводы относятся к измеренному POST-профилю.']
(ROOT/'evidence/scaling-summary.md').write_text('\n'.join(lines)+'\n')
print('Wrote PNG/PDF/CSV/Markdown from raw evidence')
+80
View File
@@ -0,0 +1,80 @@
#!/usr/bin/env python3
"""1/2/4 replicas, fixed and growing resources, raw cgroups and pool diagnostics."""
import json,os,platform,statistics,subprocess,sys,time,threading
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1];sys.path.insert(0,str(ROOT/'tests'))
from client import Client,check
BASE='http://localhost:8083'
ENV=dict(os.environ,POOL_DIAGNOSTICS='1')
def dc(*a,env=None):return subprocess.check_output(['docker','compose',*a],cwd=ROOT,env=env or ENV,text=True,stderr=subprocess.DEVNULL).strip()
def snapshot():
result={}
for service in ['api','postgres','lb']:
for id in dc('ps','-q',service).splitlines():
raw=subprocess.check_output(['docker','exec',id,'sh','-c','cat /sys/fs/cgroup/cpu.stat; cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.peak'],text=True).splitlines()
values={};numbers=[]
for line in raw:
items=line.split()
if len(items)==2:values[items[0]]=int(items[1])
else:numbers.append(int(line))
result[id[:12]]={'service':service,'usage_usec':values['usage_usec'],'nr_throttled':values['nr_throttled'],'throttled_usec':values['throttled_usec'],'memory_current':numbers[0],'memory_peak':numbers[1]}
return result
def main():
binary=ROOT/'bin/bench';binary.parent.mkdir(exist_ok=True)
subprocess.run(['go','build','-o',str(binary),'./cmd/bench'],cwd=ROOT,env=dict(os.environ,GOCACHE='/private/tmp/highload-go-cache'),check=True)
redo=set(filter(None,os.environ.get('SCALING_REDO','').split(',')))
report={'host':{'platform':platform.platform(),'machine':platform.machine(),'logical_cpus':os.cpu_count(),'docker':subprocess.check_output(['docker','info','--format','{{.Architecture}} CPUs={{.NCPU}} Memory={{.MemTotal}}'],text=True).strip()},'method':{'warmup_seconds':2,'duration_seconds':6,'repetitions':2,'chats':16,'profile':'one immutable ~128-character POST per worker, uniform round-robin among 16 chats; fresh unique key; no retry; successful percentiles; closed loop'},'runs':[]}
if redo:report=json.loads((ROOT/'evidence/scaling.json').read_text())
def configure(n,cpu,memory,pool=10):
env=dict(ENV,API_REPLICAS=str(n),API_CPUS=str(cpu),API_MEMORY=str(memory)+'m',DB_POOL_MAX=str(pool))
dc('up','-d','--no-deps','--scale','api='+str(n),'--force-recreate','--wait','api',env=env)
time.sleep(3)
return env
def bench(fixture,concurrency,duration):
waits=[];stop=threading.Event()
def observe():
while not stop.is_set():
try:waits.append(dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atqc',"SELECT coalesce(wait_event_type,'CPU')||':'||coalesce(wait_event,'running')||':'||count(*) FROM pg_stat_activity WHERE datname='messenger' AND pid<>pg_backend_pid() AND state<>'idle' GROUP BY wait_event_type,wait_event"))
except subprocess.CalledProcessError:pass
stop.wait(.5)
monitor=threading.Thread(target=observe);monitor.start()
try:output=subprocess.check_output([str(binary),'-base',BASE,'-concurrency',str(concurrency),'-duration',str(duration)+'s'],input=json.dumps(fixture),text=True)
finally:stop.set();monitor.join()
result=json.loads(output);result['pg_wait_samples']=waits;return result
try:
for series in ['fixed','growing']:
for n in [1,2,4]:
if redo and series+':'+str(n) not in redo:continue
if redo:report['runs']=[r for r in report['runs'] if not (r['series']==series and r['replicas']==n)]
cpu=2/n if series=='fixed' else 1;memory=1024//n if series=='fixed' else 512
configure(n,cpu,memory)
c=Client(BASE);a=c.user('scaling');chats=[]
for i in range(16):chats.append(c.call('POST','/api/v1/chats',201,actor=a,body={'title':'Scaling','member_ids':[a['id']]},schema='Chat')['json']['id'])
fixture={'token':a['token'],'chats':chats}
for clients in [4,16,64]:
bench(fixture,clients,2)
for repeat in range(2):
before=snapshot();started=time.time();result=bench(fixture,clients,6);after=snapshot()
result.update(started_unix=started,series=series,replicas=n,cpu_per_api=cpu,memory_mib_per_api=memory,pool_per_api=10,repeat=repeat+1,cgroup_before=before,cgroup_after=after)
for id,stat in after.items():
stat['cpu_percent']=100*(stat['usage_usec']-before[id]['usage_usec'])/1e6/(time.time()-started)
result['messages_in_database_after']=int(dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atqc','SELECT count(*) FROM messages'))
report['runs'].append(result);(ROOT/'evidence/scaling.json').write_text(json.dumps(report,indent=2)+'\n')
print(series,n,clients,repeat+1,round(result['successful_rps']),flush=True)
# Deliberate pool starvation baseline and one measured improvement.
for pool in [1,10]:
if redo and 'pool' not in redo:continue
if redo:report['runs']=[r for r in report['runs'] if not (r['series']=='pool_improvement' and r['pool_per_api']==pool)]
configure(2,1,512,pool)
c=Client(BASE);a=c.user('pool');chats=[c.call('POST','/api/v1/chats',201,actor=a,body={'title':'Pool','member_ids':[a['id']]},schema='Chat')['json']['id'] for _ in range(16)]
fixture={'token':a['token'],'chats':chats};bench(fixture,32,2)
for rep in range(3):
result=bench(fixture,32,6);result.update(series='pool_improvement',replicas=2,pool_per_api=pool,repeat=rep+1)
report['runs'].append(result)
report.setdefault('pool_diagnostics',{})[str(pool)]=[json.loads(line) for line in dc('logs','--no-log-prefix','--tail','10000','api').splitlines() if line.startswith('{') and '"msg":"pool"' in line]
(ROOT/'evidence/scaling.json').write_text(json.dumps(report,indent=2)+'\n')
finally:dc('up','-d','--no-deps','--scale','api=2','--force-recreate','--wait','api',env=dict(os.environ,API_REPLICAS='2',API_CPUS='1',API_MEMORY='256m',DB_POOL_MAX='10'))
print('DONE',flush=True)
if __name__=='__main__':main()
+13
View File
@@ -0,0 +1,13 @@
#!/usr/bin/env python3
"""Small sanitized runtime manifest; no environment, passwords or tokens."""
import json,platform,subprocess
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1]
ids=subprocess.check_output(['docker','compose','ps','-q'],cwd=ROOT,text=True).splitlines()
result={'platform':platform.platform(),'containers':[]}
for id in ids:
item=json.loads(subprocess.check_output(['docker','inspect',id],text=True))[0]
result['containers'].append({'service':item['Config']['Labels']['com.docker.compose.service'],'name':item['Name'],'alias':item['Config']['Hostname'],'image':item['Config']['Image'],'image_id':item['Image'],'user':item['Config']['User'],'pid1_path':item['Path'],'started_at':item['State']['StartedAt'],'memory_limit_bytes':item['HostConfig']['Memory'],'nano_cpus_limit':item['HostConfig']['NanoCpus'],'published_ports':item['NetworkSettings']['Ports'],'health':item['State'].get('Health',{}).get('Status'),'mount_targets':[m['Destination'] for m in item['Mounts']]})
result['postgres_durability']=subprocess.check_output(['docker','compose','exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atqc',"SELECT name||'='||setting FROM pg_settings WHERE name IN ('fsync','synchronous_commit','full_page_writes','max_connections') ORDER BY name"],cwd=ROOT,text=True).splitlines()
(ROOT/'evidence/runtime.json').write_text(json.dumps(result,indent=2)+'\n')
print('Saved sanitized runtime manifest: resources, images, PID1, ports, durability')