Author SHA1 Message Date
Roflyan 338ae15f92 Обновить REPORT.md 2026-10-23 16:22:40 +03:00
R0flyan f5d79d1886 выполнение lab3, track-1 2026-10-23 16:16:50 +03:00
64 changed files with 35863 additions and 58 deletions
+11 -20
View File
@@ -1,20 +1,11 @@
.git
.github
.env
.env.*
!.env.example
secrets
certs
volumes
data
backups
*.key
*.pem
*.p12
*.pfx
*.jks
.venv
__pycache__
node_modules
evidence
.DS_Store
**
!go.mod
!go.sum
!*.go
!migrations/
!migrations/*.sql
!Dockerfile
!cmd/
!cmd/load/
!cmd/load/*.go
!requirements-dev.txt
+11 -3
View File
@@ -1,13 +1,21 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
# Effective settings of the local Compose implementation.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
# Shared durable sessions use Valkey in this implementation.
SESSION_STORE=valkey
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
API_CPUS=1.0
API_MEMORY=512m
DB_CPUS=1.0
DB_POOL_MAX=8
MAX_INFLIGHT=32
GOMEMLIMIT=160MiB
POOL_METRICS=0
REQUEST_LOG=1
+5
View File
@@ -0,0 +1,5 @@
*.sh text eol=lf
*.py text eol=lf
*.go text eol=lf
*.sql text eol=lf
Dockerfile* text eol=lf
+69 -14
View File
@@ -1,18 +1,73 @@
## Лабораторная 3
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Максим Ситосенко / БВТ2303.
Целевая оценка (3/4/5): **5**.
Трек 5, если заявлен: **1 — цена масштабирования**.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Что реализовано и что перенесено: из собственной lab2 перенесены Go API,
PostgreSQL, миграции, Argon2id и общие Bearer-сессии в Valkey с TTL/AOF.
Сохранены валидация, членство в чатах и cursor-пагинация. Добавлены HAProxy,
две взаимозаменяемые API-реплики, динамический Docker DNS, readiness,
X-Instance-Id и согласованный SIGTERM. Порты API наружу не публикуются.
Обязательный Idempotency-Key защищает отправку сообщений общей транзакцией
PostgreSQL, включая конкурентные повторы через разные реплики. Миграции
вынесены в отдельный сервис. Проверены отказ каждой API и поочерёдная замена
контейнеров под нагрузкой. Исследованы 1/2/4 реплики при фиксированном и
растущем бюджете ресурсов, насыщение и настройка пула соединений.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Команды запуска из чистого clone (Docker с Linux Engine, Compose, Python 3.9+):
```powershell
python -X utf8 scripts/manage.py start
```
Полная проверка и воспроизведение всех исследовательских серий, включая
отрицательный перегрузочный опыт:
```powershell
python -X utf8 scripts/verify.py --include-overload
```
Сценарий сам собирает Linux runner, выполняет исходные make check/validate/test,
собственные и race-тесты, persistence, failover и исследование. Перезапуски
сохраняют volumes. Короткая проверка уровней 3/4 — тот же вызов с
`--no-research` вместо `--include-overload`. На Linux используется `python3`.
Ручная демонстрация: `. .\scripts\manual.ps1`, инструкция — [MANUAL.md](../MANUAL.md).
Результаты проверок и ссылка на REPORT.md: [отчёт](../REPORT.md),
фактический статус — [verification.json](../evidence/verification.json)
(`complete: true`), реальный вывод, raw JSON/CSV и графики — в `evidence/`.
Публичные smoke, OpenAPI, persistence и failover, собственные и race-тесты
пройдены. 16 конкурентных повторов через две API вернули одно Message;
проверены конфликт тела, независимость ключей по пользователю/чату и отзыв
сессии. Публичный failover: восстановление записи за 2.024 s, 137 успешных
записей, 4 переходные ошибки, без потерь подтверждений и дублей. После
перезапуска всех сервисов прежняя сессия и данные сохранились; обе API
последовательно остановлены и заменены под нагрузкой.
Трек 5 завершён: 45 замеров, по три повтора конфигурации. При фиксированном
бюджете 1/2/4 API дали 886.9/771.3/739.9 median RPS; увеличение ресурсов API
не сняло общее ограничение DB. Контроль DB_POOL_MAX 1 → 8 при 32 клиентах:
618.8 → 739.9 median RPS (+19.57%), ошибок нет. При этом p95 ухудшился
74.2 → 92.7 ms: улучшен throughput, не все задержки. Опыт при 64 клиентах
с ростом ошибок сохранён как отрицательный. Методика, CPU/RAM, диапазоны
повторов, диагностика насыщения и границы выводов приведены в REPORT.md.
Ограничения / известные ошибки: локальный HTTP, один физический host;
LB, PostgreSQL, Valkey и storage остаются SPOF, отказ узла не заявлен.
Поочерёдная замена проверена для контейнеров текущей версии; миграция 002
требует первоначального окна остановки, 003 добавляет таблицу. Нагрузочный
генератор closed-loop, перцентили рассчитаны только для успешных запросов;
история и состояние кэша накапливаются, cursor не гарантирует snapshot.
Промышленный предел RPS и универсальное ускорение не заявляются.
Источники и использование ИИ: Docker Compose, HAProxy, PostgreSQL,
Valkey и Argon2id — ссылки и версии в REPORT.md; Codex помог с переносом,
реализацией, инфраструктурой, тестами, исследованием и отчётом.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов своего уровня и выбранный трек 5 воспроизведены.
- [x] Все секреты находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+30
View File
@@ -0,0 +1,30 @@
name: Lab3 application
on: [push, pull_request]
permissions:
contents: read
jobs:
application:
runs-on: ubuntu-24.04
timeout-minutes: 20
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.12'
- name: Build, contracts, API, persistence and failures
run: python -X utf8 scripts/verify.py --no-research
- name: Test evidence
if: always()
uses: actions/upload-artifact@v4
with:
name: lab3-checks
path: |
evidence/*.txt
!evidence/research*.txt
evidence/verification.json
evidence/failures.json
evidence/infrastructure.json
evidence/public-integrity.json
- name: Stop local CI stack
if: always()
run: docker compose down
+21
View File
@@ -0,0 +1,21 @@
FROM golang:1.26.0-bookworm@sha256:2a0ba12e116687098780d3ce700f9ce3cb340783779646aafbabed748fa6677c AS build
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY *.go ./
COPY cmd ./cmd
COPY migrations ./migrations
RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /messenger .
RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /load ./cmd/load
FROM scratch AS load
COPY --from=build /load /load
USER 65532:65532
ENTRYPOINT ["/load"]
FROM scratch AS runtime
COPY --from=build /messenger /messenger
USER 65532:65532
ENV APP_HOST=0.0.0.0 APP_PORT=8080 GOMEMLIMIT=256MiB
EXPOSE 8080
HEALTHCHECK --interval=5s --timeout=3s --start-period=10s --retries=3 CMD ["/messenger","healthcheck"]
STOPSIGNAL SIGTERM
ENTRYPOINT ["/messenger"]
+12
View File
@@ -0,0 +1,12 @@
# Optional Linux tools for Windows hosts; contains no application secrets.
FROM docker:29.3.0-cli@sha256:067c301efe497cd5d174d468b7b3422a485ae4aca8f7ec1ffd4655c9fa383af2 AS cli
FROM golang:1.26.0-bookworm@sha256:2a0ba12e116687098780d3ce700f9ce3cb340783779646aafbabed748fa6677c
COPY --from=cli /usr/local/bin/docker /usr/local/bin/docker
COPY --from=cli /usr/local/libexec/docker/cli-plugins/docker-compose /usr/local/libexec/docker/cli-plugins/docker-compose
ENV PYTHONUTF8=1 PYTHONUNBUFFERED=1 GOTELEMETRY=off
RUN apt-get update && apt-get install -y --no-install-recommends python3 python3-venv make && rm -rf /var/lib/apt/lists/*
RUN python3 -m venv /opt/test-env
ENV PATH=/opt/test-env/bin:$PATH
COPY requirements-dev.txt /tmp/requirements-dev.txt
RUN pip install --no-cache-dir -r /tmp/requirements-dev.txt
WORKDIR /workspace
+125
View File
@@ -0,0 +1,125 @@
# Ручная проверка HLAlab3
Команды выполняются в обычном PowerShell из `C:\Users\maxsi\HLAlab3\mtusi2026lab3-fork`. Нужен работающий Docker Desktop, стандартный порт 8080 свободен. Сценарии создают синтетические данные.
## Запуск
```powershell
python -X utf8 scripts/manage.py start
python -X utf8 scripts/manage.py status
curl.exe -i http://127.0.0.1:8080/health/live
curl.exe -i http://127.0.0.1:8080/health/ready
```
В status должны быть две API, DB, Valkey, LB; migrate завершён с exit 0. Наружу опубликован только LB. Health возвращает 200, X-Request-Id и X-Instance-Id.
## Пользователи, сессия, чат и сообщение
```powershell
. .\scripts\manual.ps1
```
Точка и пробел в начале обязательны: функция `Invoke-LabApi` и `$Lab` останутся в текущем терминале. Сценарий создаст Alice/Bob, войдёт за Alice, создаст чат и несколько раз отправит одно сообщение через LB. В консоли видны HTTP-код и заголовки, токен не печатается. Все повторы должны вернуть один Message ID.
```powershell
1..10 | ForEach-Object { $null = Invoke-LabApi GET '/api/v1/users/me' }
Invoke-LabApi GET ($Lab.MessagePath+'?limit=100')
```
Одна сессия обслуживается минимум двумя X-Instance-Id. В истории нет дублей повторного POST.
## Повтор и конфликт
```powershell
$replay = Invoke-LabApi POST $Lab.MessagePath $Lab.Body
$replay.id -eq $Lab.Message.id
try {
Invoke-LabApi POST $Lab.MessagePath @{text='Другое тело с прежним ключом'}
} catch {
[int]$_.Exception.Response.StatusCode
}
```
Первый результат — True, второй — 409. Для новой записи нужен новый ключ:
```powershell
$Lab.Headers['Idempotency-Key'] = [guid]::NewGuid().ToString('N')
Invoke-LabApi POST $Lab.MessagePath @{text='Новое сообщение'}
```
## Отказ обслужившей реплики
```powershell
$Lab.Headers['Idempotency-Key'] = $Lab.Key
$null = Invoke-LabApi POST $Lab.MessagePath $Lab.Body
python -X utf8 scripts/manage.py stop-one --instance $Lab.LastInstance
python -X utf8 scripts/manage.py status
```
Одна API должна быть exited, другая running. С прежним токеном и ключом:
```powershell
$replay = Invoke-LabApi POST $Lab.MessagePath $Lab.Body
$replay.id -eq $Lab.Message.id
Invoke-LabApi GET ($Lab.MessagePath+'?limit=100')
```
Ожидается 201 с прежним ID, без дубля. При краткой ошибке обнаружения отказа повторяется то же тело с тем же ключом. Новую запись проверяют после замены ключа. Восстановите API и повторите для другой:
```powershell
python -X utf8 scripts/manage.py restore
python -X utf8 scripts/manage.py status
```
Автоматическая конкурентная проверка и последовательный отказ каждой API под измеряемой нагрузкой:
```powershell
python -X utf8 student-tests/acceptance.py
python -X utf8 student-tests/failures.py
```
## Перезапуск и logout
Не закрывайте текущий терминал и не создавайте новую сессию:
```powershell
python -X utf8 scripts/manage.py restart
$null = Invoke-LabApi GET '/api/v1/users/me'
$Lab.Headers['Idempotency-Key'] = $Lab.Key
$replay = Invoke-LabApi POST $Lab.MessagePath $Lab.Body
$replay.id -eq $Lab.Message.id
Invoke-LabApi DELETE '/api/v1/auth/sessions/current'
try {
Invoke-LabApi GET '/api/v1/users/me'
} catch {
[int]$_.Exception.Response.StatusCode
}
```
После рестарта прежняя сессия действует до исходного expiry; повтор возвращает прежний Message. Logout — 204, следующий GET — 401. Для новой демонстрации снова выполните `. .\scripts\manual.ps1`.
## Полная проверка и исследование
```powershell
python -X utf8 scripts/verify.py
```
`evidence/verification.json` должен иметь complete=true. Фактические измерения — research.md/research.csv/research.json и scaling.png/saturation.png. Ручные остановки и другой нагрузочный сценарий во время полной проверки не запускаются. Для короткой проверки уровней 3/4: `python -X utf8 scripts/verify.py --no-research`.
После прерывания можно выполнить `python -X utf8 scripts/verify.py --resume`: уже завершённые проверки и замеры будут использованы повторно. Этот режим применяется к тому же стенду и неизменённым исходникам API/инфраструктуры; после их изменения нужен обычный полный прогон.
Публичные сценарии с Linux hooks отдельно:
```powershell
python -X utf8 scripts/linux_tests.py test-persistence
python -X utf8 scripts/linux_tests.py test-failover
python -X utf8 scripts/manage.py restore
```
## Остановка
```powershell
docker compose down
```
Volumes и данные сохраняются. `down -v` для проверки сохранности не используется.
+6
View File
@@ -6,6 +6,12 @@ TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
test-own:
$(PYTHON) student-tests/acceptance.py --base-url "$(BASE_URL)"
test-race:
go test -race ./...
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
+124 -21
View File
@@ -1,37 +1,140 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор: Максим Ситосенко, БВТ2303.
- Целевая оценка: 5, трек 1 «Цена масштабирования».
- Основа: собственная HLAlab2. README задания, contracts/ и публичные tests/ сохранены.
- Публикация: ветка `solution/bvt2303-sitosenko`; PR: [запрос на слияние](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/41).
- Статус на 23.10.2026: Go/race, go vet, структурная проверка, полная OpenAPI, публичные smoke/persistence/failover, собственные проверки и исследование завершены; `evidence/verification.json` содержит `complete: true`. Дополнительный аудит — `evidence/audit.json`; ручной PowerShell-клиент проверен реальными запросами.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker Desktop с Linux Engine, Compose v2+ и Python 3.9+. Стандартный локальный порт — 8080. Go на хосте не нужен: race-тесты выполняются в Linux runner.
## Архитектура и решения
```powershell
cd C:\Users\maxsi\HLAlab3\mtusi2026lab3-fork
python -X utf8 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait
curl.exe -i http://127.0.0.1:8080/health/ready
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Полная проверка из обычного PowerShell:
```powershell
python -X utf8 scripts/verify.py
```
Сценарий собирает API/runner/генератор, запускает публичные и собственные проверки, последовательно останавливает обе API, заменяет их под нагрузкой, выполняет 39 исследовательских запусков и возвращает две реплики с обычными лимитами. Ориентир — 15–25 минут плюс первая загрузка образов. Данные накапливаются, volumes не удаляются. Параллельно не запускайте другие тесты отказов этого стенда. `--no-research` проверяет уровни 3/4 без подтверждения трека 5.
`.github/workflows/application.yml` запускает сборку и уровни 3/4 на Ubuntu отдельно от исходного workflow проверки контракта. Нагрузочное исследование выполняется на заявленном локальном хосте и не выдаётся за стабильный performance threshold общего CI runner. Новый CI workflow локально подготовлен; запуск на GitHub до публикации не заявляется.
Безопасная остановка: `docker compose down`. Намеренное удаление **учебных данных HLAlab3**: `docker compose down -v`; при проверке сохранности эта команда не используется. Ручные запросы — в [MANUAL.md](MANUAL.md).
## Архитектура
```text
localhost:8080 → HAProxy → api × 2 (до 4) → PostgreSQL
↘ Valkey: общие сессии
migrate → PostgreSQL, однократное применение SQL
```
Перенесены Go API, строгая JSON/Unicode-валидация, Argon2id, Bearer-сессии с абсолютным TTL, keyset pagination с общим HMAC-секретом и миграции. Go 1.26.0, PostgreSQL 17.6 и Valkey 8.1.3 закреплены digest; HAProxy — версией 3.2.6-alpine. Runtime API — scratch, UID/GID 65532, read-only root, без capabilities. Только LB публикует порт на loopback. API не имеют container_name и масштабируются одним Compose-service.
PostgreSQL — источник истины, чтение после 201 идёт в ту же БД, кэша истории нет. Valkey хранит общие сессии с AOF/appendfsync always и volume; рестарт не продлевает TTL. Локального бизнес-состояния API нет. Секреты выдаются по ролям: DB — пароль БД; migrate — только database_url; API — database_url/cache_url/cursor_secret; Valkey — собственные конфигурация/пароль; LB — без секретов приложения.
Все ответы API получают X-Instance-Id из hostname контейнера, стабильного в течение процесса. Сопоставление с контейнером подтверждает docker inspect. X-Request-Id уникален для запроса. Ошибки соединения, созданные LB, могут быть без API-заголовков — это допускает контракт.
### Идемпотентность и данные
Idempotency-Key обязателен только для POST сообщения и проверяется по ASCII-шаблону контракта. Сначала проверяются сессия и доступ к чату. JSON разбирается в text, поэтому пробелы/Unicode escapes не меняют результат. В OpenAPI lab3 CreateMessage содержит только text; attachment_ids здесь не добавляется в обход схемы.
`message_keys` имеет PK `(user_id,chat_id,key)`; POST и канонический путь чата заданы назначением таблицы. Транзакционный advisory lock сериализует ключ между процессами. В одной транзакции создаются Message и ссылка с expiry ≥24 часов. Повтор возвращает исходное Message с 201; другой text — 409. Отмена/timeout/сбой до COMMIT откатывает обе записи; потеря HTTP-ответа после COMMIT разрешается повтором с прежним ключом. 5xx не сохраняются. Коллизия hash lock лишь сериализует независимые запросы: идентичность определяется полным PK.
Истёкший ключ заменяется при следующем использовании, сообщение остаётся. Фоновой очистки неиспользуемых ключей нет, таблица растёт. Пагинация `(created_at,id)` не повторяет записи неизменной истории. Между HTTP-запросами snapshot не обещается: конкурентный COMMIT с более ранним временем может оказаться до уже пройденного cursor.
### Готовность, DNS и SIGTERM
HAProxy использует round-robin без sticky sessions, четыре server-template слота и Docker DNS 127.0.0.11 с hold valid/obsolete/nx=1 s. IP backend не зашиты. GET /health/ready выполняется каждые 500 ms, timeout=500 ms, fall=2/rise=2. Номинальный бюджет обнаружения — 1.5–2 s с учётом таймаута/планирования; фактический разрыв измеряется. Публичный предел восстановления — 10 s.
Readiness зависит от DB, Valkey и stopping; liveness — только от процесса. SIGTERM сразу снимает readiness; после 1.5 s на реакцию LB выполняется HTTP Shutdown до 6 s. Compose grace=10 s. HTTP context=5 s, SQL statement_timeout=3 s/lock_timeout=1 s, connect=2 s; HTTP write=8 s, LB server=9 s/client=10 s. LB retries=0: POST создания пользователя/чата прозрачно не повторяются. Неопределённый POST сообщения повторяется клиентом только с прежним ключом.
API не запускают миграции. Отдельный migrate защищён advisory lock и проверяет checksum SQL. Миграция 003 добавляет таблицу и совместима с предыдущей схемой. Первоначальные 001/002, включая переход строк к bytea, требуют окна до запуска API и не заявлены rolling-совместимыми. При последовательной замене сначала поднимается третья API и появляется в LB, затем старая останавливается/удаляется; повторяется для второй. Проверяется замена контейнеров текущей версии, а не произвольная миграция между версиями приложения.
### Лимиты и настройки
Обычно каждая API: 1 CPU/512 MiB, пул 8, MAX_INFLIGHT=32, GOMEMLIMIT=160 MiB. DB: 1 CPU/512 MiB; Valkey: 0.5 CPU/256 MiB; LB: 0.5 CPU/128 MiB; migrate: 0.5 CPU/256 MiB. Argon2id — максимум две KDF одновременно на процесс. PostgreSQL fsync/full_page_writes включены по умолчанию, соединение задаёт synchronous_commit=on.
Переменные .env.example используются Compose/приложением: APP_HOST/APP_PORT/APP_ENV, SESSION_STORE/SESSION_TTL_SECONDS, *_URL_FILE/CURSOR_SECRET_FILE, API_REPLICAS/API_CPUS/API_MEMORY/DB_CPUS, DB_POOL_MAX, MAX_INFLIGHT, GOMEMLIMIT, IDEMPOTENCY_TTL_SECONDS. POOL_METRICS=1 включает счётчики пула, REQUEST_LOG=0 отключает журнал запросов при исследовании. Смена .env требует пересоздания затронутых контейнеров.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Ниже указаны проверяемые условия, не заранее объявленные PASS. Выводы и коды завершения записывает verify.py в evidence.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий | Команда/сценарий | Наблюдение | Доказательство |
|---|---|---|---|
| Публичные источники сохранены | public_integrity в verify.py | Сравнение с HEAD, SHA-256 | public-integrity.json |
| Структура/полная OpenAPI | make check / make validate через runner | exit 0 валидаторов | check.txt, validate.txt |
| API/доступ/пагинация/ошибки | make test | Публичный smoke без изменений | test.txt, final-smoke.txt |
| ≥2 реальные API, общая сессия | test-own и inspect | 16 одновременных ответов через ≥2 реплики | test-own.txt, final-containers.txt |
| Общая идемпотентность | test-own | Один Message; 409 другого тела; независимые user/chat; logout=401 | test-own.txt |
| Полный рестарт с прежним токеном | test-persistence/restart.sh | Прежние данные; новый StartedAt API/DB/Valkey/LB | test-persistence.txt, restart-before.txt, restart-after.txt |
| Отказ выбранной API | test-failover/stop-one.sh | ≤10 s, записи без дублей, реальный exited | test-failover.txt, stopped-before.txt, stopped-after.txt |
| Отказ каждой API по очереди | student-tests/failures.py | Восстановление предыдущей; чтение/запись, RPS/ошибки/задержки | failures.txt, failures.json |
| Health/timeouts/SIGTERM | конфигурация и failures | Чистый exit 0, доступ через оставшуюся API | failures.json, compose.yaml, haproxy.cfg |
| Лимиты/порты/нет affinity | compose config и status | CPU/RAM всех ролей; наружу только LB | compose.yaml, final-containers.txt |
| Поочерёдная замена под нагрузкой | rolling внутри failures | Оба container ID заменены, подтверждения сохранены | failures.json |
| Ручной PowerShell-клиент | manual.ps1 | Две реплики, прежний ID повтора, 409 конфликта, logout 204/401 | manual.txt |
| Трек 5: fixed/growing 1/2/4 | research.py | Три повтора каждого режима, raw и графики | research.json, research.csv, scaling.png |
| Насыщение/улучшение | sweep и pool-tuning | CPU/RAM, DB/пул/LB; сравнение пула 1 → 8 | saturation.png, research.md, research.json |
## Эксперименты и отказы
## Исследование: гипотеза и методика
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Измерительный хост: Windows 11, Intel Core i5-12450H, 12 логических CPU. Docker Desktop 29.3.0: 12 CPU и 3 956 072 448 bytes (около 3.68 GiB RAM) доступны Linux Engine. Python хоста 3.14.0; генератор/API — Go 1.26.0, matplotlib 3.10.7. Это локальный Docker Desktop, не несколько физических узлов.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Гипотеза: общая зависимость или очередь пула ограничивает масштабирование; увеличение числа API само по себе не даёт линейного роста. Fixed делит суммарные 2 CPU/1024 MiB API и 8 соединений между 1/2/4 процессами. Growing выделяет каждой API 1 CPU/512 MiB и пул 8. DB/Valkey/LB остаются теми же.
## Ограничения и следующие шаги
Профиль: closed-loop POST, text=128 ASCII-символов, уникальные ключи, без retry, persistent connections. Go-генератор работает отдельным контейнером с 2 CPU/256 MiB. Основное сравнение: concurrency=32, прогрев 3 s, измерение 15 s, три повтора. Порядок реплик циклически меняется, направление sweep чередуется. Каждый запуск получает новый чат; рост истории входит в профиль. Журнал запросов API одинаково отключён, счётчики пула включены.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Saturation: 4 API, 1/8/32/64/128 клиентов. Контрольный pool-tuning: 2 API, 32 клиента, пул 1 против 8, три повтора с чередованием порядка. Это отдельный намеренно ограниченный пул, не выдуманный дефект штатного пула 8. Подтверждение улучшения: median successful RPS вырос >5%, общее число ошибок не увеличилось. Иначе сценарий завершается ошибкой и не отмечает трек выполненным.
Первоначальное сравнение пула при 64 клиентах сохраняется отдельно как pool-overload: при MAX_INFLIGHT=32 на API суммарно 64 слота, но round-robin не гарантирует равного числа незавершённых запросов. Это допускает отказы приёма у занятого backend и согласуется с наблюдавшимися 503. Сборщик считает HTTP-коды, не разделяя источник API/LB, поэтому все 503 не приписываются одному механизму. Рост RPS с ростом ошибок не принимается за улучшение. Контроль с 32 клиентами оставляет запас слотов; перегрузочные результаты сохраняются.
Штатный прогон содержит 39 замеров; дополнительные 6 pool-overload воспроизводятся с `python -X utf8 scripts/verify.py --include-overload`. В сохранённом исследовании 32-клиентный контроль был добавлен после основных/перегрузочных серий; этот сдвиг по времени и накопление данных ограничивают точность сравнения. Неудачный перегрузочный опыт не заменён успешными данными задним числом.
Raw JSON содержит hardware Docker/хоста, параметры запусков, successful RPS, ошибки по кодам, p50/p95/p99, обслужившие реплики, CPU/RAM контейнеров, активные ожидания DB, счётчики ожидания пула и LB. Scaling показывает median и диапазон повторов. Численные результаты и интерпретация — в [evidence/research.md](evidence/research.md) после запуска.
## Полученные результаты
Завершены 45 измерений: 9 fixed, 9 growing, 15 saturation, 6 pool-overload и 6 контрольных pool-tuning. На снимке перед дополнительной ручной проверкой: 572 124 сообщений и столько же idempotency keys, 73 пользователя, 57 чатов, pg_database_size=370 461 843 bytes. Данные и прогрев накапливались в одном volume; это не 45 изолированных пустых БД. Снимок лимитов, портов и fsync/synchronous_commit/full_page_writes=on сохранён в infrastructure.json.
| Серия, concurrency=32 | 1 API: median RPS | 2 API | 4 API | Ошибки |
|---|---:|---:|---:|---:|
| Fixed: суммарно 2 CPU/1024 MiB API, пул 8 | 886.9 | 771.3 | 739.9 | 0 |
| Growing: 1 CPU/512 MiB и пул 8 на API | 857.1 | 791.1 | 673.0 | 0 |
При фиксированном бюджете 4 API дали на 16.6% меньше throughput, чем одна; увеличение суммарных ресурсов API тоже не помогло. В saturation после 8 → 32 клиентов RPS вырос лишь 717.0 → 737.7 (+2.9%), а p95 — 58.2 → 92.8 ms. При 64 клиентах median RPS=789.5, доля ошибок 0.276%; при 128 — 741.3 RPS, 20.98% ошибок, p95=215.7 ms. Практическое колено этого профиля — примерно 8–32 клиента; дальнейший рост concurrency увеличивает задержки и затем отказы.
Это согласуется с общим ограничением DB/очереди: средний Docker CPU PostgreSQL в показательных sweep-запусках — примерно 87–104% одного ядра при лимите 1 CPU, память около 256–278 из 512 MiB. LB — примерно 17–27% ядра при лимите 0.5 CPU, генератор — 10–18% при лимите 2 CPU; qmax HAProxy=0. Сам LB и генератор в этих запусках не выглядят насыщенными. Ожидания пула дополнительно видны в pool_stats. Это вывод по согласующимся наблюдениям, не доказательство, что только CPU DB определяет каждую разницу RPS.
Подтверждённая настройка в контроле 2 API/32 клиента: DB_POOL_MAX 1 → 8 дал median 618.8 → 739.9 RPS (+19.57%), ошибок 0 в обоих вариантах за три повтора. Диапазоны RPS: 567.4–638.8 против 728.5–767.1. p50 улучшился 53.0 → 15.1 ms, но p95 ухудшился 74.2 → 92.7 ms, p99 — 91.5 → 99.2 ms. Это улучшение throughput с ценой в хвосте задержек; универсальное ускорение всех запросов не заявляется. Пул 8 оставлен штатным, а не увеличивается бесконечно при росте API.
Отрицательный pool-overload при 64 клиентах сохранён: RPS вырос 613.8 → 786.2, но ошибки — 970 → 5472. Этот результат отвергнут как улучшение. Уменьшение DB/LB/SPOF и увеличение CPU DB — возможные следующие эксперименты; их эффект здесь не измерен.
## Ограничения
Один физический host. Выдерживается отказ одной API при живой другой. LB/DB/Valkey/storage остаются SPOF; отказ узла и HA БД не заявлены. AOF/WAL/COMMIT не заменяют резервное копирование. Удаление volumes уничтожает соответствующие данные.
Closed-loop имеет coordinated omission и стоимость клиента. Измеряются HTTP-подтверждения, а не точное число COMMIT при timeout. Перцентили — только успехов. CPU/DB-счётчики включают прогрев; кэш не сбрасывается; выборки короткие, три повтора не доказывают универсальную производительность. Нужно проверять предел генератора по его CPU. Плоский RPS сам по себе не доказывает насыщение DB: нужны согласующиеся CPU/ожидания/очереди.
По ходу длинного прогона throughput некоторых конфигураций снижался. Порядок менялся и диапазоны показаны на графике, но накопление таблиц/кэша и состояние хоста полностью не изолированы; частота и температура CPU не измерялись. Точные численные различия нельзя переносить на другое железо или production.
Фактический публичный отказ: 2 наблюдаемые API, 137 успешных записей за сценарий, 4 переходные ошибки, first_recovery=2.024 s; подтверждённые сообщения и прежний токен сохранены, дублей нет. Проверка StartedAt подтвердила рестарт всех пяти рабочих контейнеров. Собственная последовательная остановка каждой API дала first_success_after_action 2.087/2.043 s, по 0 неуспешных read/write cycles; rolling — 1 неуспешный цикл, оба исходных container ID заменены, потерь подтверждений нет. Эти собственные задержки/RPS включают Windows/Python-клиент и установление соединений; серверная пропускная способность измеряется отдельным Go-генератором внутри Docker.
## Источники и помощь
- Собственная HLAlab2: Go API, SQL, Argon2id, Valkey и базовый Dockerfile.
- [HAProxy DNS/server-template](https://www.haproxy.com/documentation/haproxy-configuration-tutorials/proxying-essentials/dns-resolution/).
- [PostgreSQL 17: статистика](https://www.postgresql.org/docs/17/monitoring-stats.html), [advisory locks](https://www.postgresql.org/docs/17/explicit-locking.html#ADVISORY-LOCKS).
- [Compose services](https://docs.docker.com/reference/compose-file/services/).
- Библиотеки: pgx/v5, go-redis/v9, golang.org/x/crypto; matplotlib для графиков, openapi-spec-validator для схемы.
- Codex использован для переноса, реализации идемпотентности, инфраструктуры, дополнительных проверок и отчёта. Результаты подтверждаются выполнением команд.
+147
View File
@@ -0,0 +1,147 @@
package main
import (
"context"
"crypto/rand"
"crypto/sha256"
"crypto/subtle"
"encoding/base64"
"encoding/hex"
"encoding/json"
"errors"
"net/http"
"strings"
"time"
"unicode/utf8"
"github.com/jackc/pgx/v5"
"github.com/redis/go-redis/v9"
"golang.org/x/crypto/argon2"
)
func password(body map[string]json.RawMessage) (string, error) {
var p string
if json.Unmarshal(body["password"], &p) != nil || utf8.RuneCountInString(p) < 12 || utf8.RuneCountInString(p) > 128 {
return "", invalid()
}
return p, nil
}
func hashPassword(p string) string {
salt := make([]byte, 16)
if _, err := rand.Read(salt); err != nil {
panic(err)
}
key := argon2.IDKey([]byte(p), salt, 3, 64*1024, 1, 32)
return "$argon2id$v=19$m=65536,t=3,p=1$" + base64.RawStdEncoding.EncodeToString(salt) + "$" + base64.RawStdEncoding.EncodeToString(key)
}
func verifyPassword(hash, p string) bool {
parts := strings.Split(hash, "$")
if len(parts) != 6 || parts[1] != "argon2id" || parts[2] != "v=19" || parts[3] != "m=65536,t=3,p=1" {
return false
}
salt, e := base64.RawStdEncoding.DecodeString(parts[4])
if e != nil || len(salt) != 16 {
return false
}
want, e := base64.RawStdEncoding.DecodeString(parts[5])
if e != nil || len(want) != 32 {
return false
}
actual := argon2.IDKey([]byte(p), salt, 3, 64*1024, 1, 32)
return subtle.ConstantTimeCompare(want, actual) == 1
}
func (a *App) kdfSlot(ctx context.Context) error {
select {
case a.kdf <- struct{}{}:
return nil
case <-ctx.Done():
return unavailable()
}
}
type storedSession struct {
UserID string `json:"user_id"`
ExpiresAt time.Time `json:"expires_at"`
}
func sessionKey(token string) string {
h := sha256.Sum256([]byte(token))
return "sess:" + hex.EncodeToString(h[:])
}
func (a *App) authenticate(ctx context.Context, r *http.Request) (string, string, error) {
values := r.Header.Values("Authorization")
if len(values) != 1 {
return "", "", unauthorized()
}
parts := strings.Fields(values[0])
if len(parts) != 2 || !strings.EqualFold(parts[0], "Bearer") {
return "", "", unauthorized()
}
token, e := base64.RawURLEncoding.DecodeString(parts[1])
if e != nil || len(token) != 32 {
return "", "", unauthorized()
}
key := sessionKey(parts[1])
raw, err := a.sessions.Get(ctx, key).Bytes()
if errors.Is(err, redis.Nil) {
return "", "", unauthorized()
}
if err != nil {
return "", "", unavailable()
}
var session storedSession
if json.Unmarshal(raw, &session) != nil {
return "", "", unavailable()
}
if !time.Now().Before(session.ExpiresAt) {
return "", "", unauthorized()
}
if _, err = a.user(ctx, session.UserID); err != nil {
var ae apiError
if errors.As(err, &ae) && ae.status == 404 {
return "", "", unauthorized()
}
return "", "", err
}
return session.UserID, key, nil
}
func (a *App) login(ctx context.Context, r *http.Request) (int, any, error) {
if r.ContentLength > 0 || len(r.TransferEncoding) > 0 {
return 0, nil, invalid()
}
username, p, ok := r.BasicAuth()
if len(r.Header.Values("Authorization")) != 1 || !ok || !usernamePattern.MatchString(username) || !utf8.ValidString(p) || utf8.RuneCountInString(p) < 12 || utf8.RuneCountInString(p) > 128 {
return 0, nil, unauthorized()
}
var hash string
var u User
var created time.Time
err := a.db.QueryRow(ctx, "SELECT id::text,username,display_name,created_at,password_hash FROM users WHERE username=$1", username).Scan(&u.ID, &u.Username, utf8String{&u.DisplayName}, &created, &hash)
absent := errors.Is(err, pgx.ErrNoRows)
if err != nil && !absent {
return 0, nil, unavailable()
}
if absent {
hash = a.dummyHash
}
if err = a.kdfSlot(ctx); err != nil {
return 0, nil, err
}
valid := verifyPassword(hash, p)
<-a.kdf
if !valid || absent {
return 0, nil, unauthorized()
}
u.CreatedAt = stamp(created)
tokenBytes := make([]byte, 32)
if _, err = rand.Read(tokenBytes); err != nil {
return 0, nil, unavailable()
}
token := base64.RawURLEncoding.EncodeToString(tokenBytes)
expires := time.Now().UTC().Truncate(time.Second).Add(a.ttl)
raw, _ := json.Marshal(storedSession{u.ID, expires})
if err = a.sessions.SetArgs(ctx, sessionKey(token), raw, redis.SetArgs{Mode: "NX", ExpireAt: expires}).Err(); err != nil {
return 0, nil, unavailable()
}
return 201, map[string]any{"token": token, "token_type": "Bearer", "expires_at": expires.Format(time.RFC3339), "user": u}, nil
}
+50
View File
@@ -0,0 +1,50 @@
package main
import (
"net/http/httptest"
"strings"
"testing"
)
func TestPasswordHashSaltAndFullUnicode(t *testing.T) {
p := strings.Repeat("😀", 127) + ":"
a, b := hashPassword(p), hashPassword(p)
if a == b {
t.Fatal("salt reused")
}
if !verifyPassword(a, p) || verifyPassword(a, strings.Repeat("😀", 127)+"!") {
t.Fatal("password truncated or incorrect")
}
for _, bad := range []string{"", p, strings.Replace(a, "m=65536", "m=1", 1), a[:len(a)-5]} {
if verifyPassword(bad, p) {
t.Fatal("invalid hash accepted")
}
}
}
func TestCursorIntegrityResourceAndRestart(t *testing.T) {
a := &App{secret: []byte("stable-local-test-secret-32-bytes")}
encoded := a.encodeCursor("messages:one", "2026-01-01T00:00:00.000000Z", uuid())
restarted := &App{secret: append([]byte(nil), a.secret...)}
req := httptest.NewRequest("GET", "/messages?cursor="+encoded+"&limit=7", nil)
if limit, _, e := restarted.pagination(req, "messages:one"); e != nil || limit != 7 {
t.Fatal("cursor lost across restart")
}
if _, _, e := a.pagination(req, "messages:two"); e == nil {
t.Fatal("cross-resource cursor accepted")
}
forged := httptest.NewRequest("GET", "/messages?cursor="+encoded[:len(encoded)-4]+"AAAA", nil)
if _, _, e := a.pagination(forged, "messages:one"); e == nil {
t.Fatal("forged cursor accepted")
}
}
func TestStrictJSON(t *testing.T) {
for _, raw := range []string{`{"text":"a","text":"b"}`, `{"text":"\ud800"}`, `{} {}`, `{"unknown":1}`} {
req := httptest.NewRequest("POST", "/", strings.NewReader(raw))
req.Header.Set("Content-Type", "application/json")
if _, e := readObject(httptest.NewRecorder(), req, 1024, []string{"text"}); e == nil {
t.Fatalf("accepted %q", raw)
}
}
}
+159
View File
@@ -0,0 +1,159 @@
// Closed-loop load generator with persistent HTTP connections. No POST retries.
package main
import (
"bytes"
"crypto/rand"
"encoding/hex"
"encoding/json"
"flag"
"fmt"
"io"
"math"
"net/http"
"os"
"sort"
"strings"
"sync"
"time"
)
func nonce() string {
b := make([]byte, 16)
if _, err := rand.Read(b); err != nil {
panic(err)
}
return hex.EncodeToString(b)
}
type result struct {
latencies []float64
errors map[string]int
instances map[string]int
}
func main() {
base := flag.String("base-url", "http://lb:8080", "LB URL")
duration := flag.Duration("duration", 15*time.Second, "measurement duration")
warmup := flag.Duration("warmup", 3*time.Second, "warmup duration")
concurrency := flag.Int("concurrency", 32, "workers")
flag.Parse()
if *concurrency < 1 || *concurrency > 512 || *duration < time.Second || *warmup < 0 {
panic("invalid load configuration")
}
transport := &http.Transport{MaxIdleConns: 2 * (*concurrency), MaxIdleConnsPerHost: 2 * (*concurrency), MaxConnsPerHost: 2 * (*concurrency), IdleConnTimeout: 30 * time.Second}
client := &http.Client{Transport: transport, Timeout: 6 * time.Second}
defer transport.CloseIdleConnections()
call := func(path string, body any, username, password, token string) map[string]any {
raw, _ := json.Marshal(body)
req, _ := http.NewRequest("POST", *base+path, bytes.NewReader(raw))
if body == nil {
req.Body = nil
req.ContentLength = 0
} else {
req.Header.Set("Content-Type", "application/json")
}
if username != "" {
req.SetBasicAuth(username, password)
}
if token != "" {
req.Header.Set("Authorization", "Bearer "+token)
}
response, err := client.Do(req)
if err != nil {
panic("bootstrap connection failed")
}
defer response.Body.Close()
if response.StatusCode != 201 {
panic(fmt.Sprintf("bootstrap status %d", response.StatusCode))
}
var value map[string]any
if json.NewDecoder(response.Body).Decode(&value) != nil {
panic("bootstrap invalid JSON")
}
return value
}
username := "load_" + nonce()[:20]
password := "Synthetic-" + nonce()
user := call("/api/v1/users", map[string]any{"username": username, "display_name": "Synthetic load", "password": password}, "", "", "")
session := call("/api/v1/auth/sessions", nil, username, password, "")
token := session["token"].(string)
chat := call("/api/v1/chats", map[string]any{"title": "Research load", "member_ids": []string{user["id"].(string)}}, "", "", token)
path := *base + "/api/v1/chats/" + chat["id"].(string) + "/messages"
body, _ := json.Marshal(map[string]string{"text": strings.Repeat("x", 128)})
batch := func(d time.Duration) (result, float64) {
start := time.Now()
deadline := start.Add(d)
values := make(chan result, *concurrency)
var group sync.WaitGroup
prefix := nonce()
for worker := 0; worker < *concurrency; worker++ {
group.Add(1)
go func(worker int) {
defer group.Done()
r := result{errors: map[string]int{}, instances: map[string]int{}}
for index := 0; time.Now().Before(deadline); index++ {
req, _ := http.NewRequest("POST", path, bytes.NewReader(body))
req.Header.Set("Content-Type", "application/json")
req.Header.Set("Authorization", "Bearer "+token)
req.Header.Set("Idempotency-Key", fmt.Sprintf("%s-%d-%d", prefix, worker, index))
begin := time.Now()
response, err := client.Do(req)
if err != nil {
r.errors["transport"]++
continue
}
raw, err := io.ReadAll(io.LimitReader(response.Body, 65536))
response.Body.Close()
if response.StatusCode != 201 {
r.errors[fmt.Sprint(response.StatusCode)]++
continue
}
var message struct {
ID string `json:"id"`
}
if err != nil || json.Unmarshal(raw, &message) != nil || message.ID == "" {
r.errors["body"]++
continue
}
r.latencies = append(r.latencies, float64(time.Since(begin).Microseconds())/1000)
r.instances[response.Header.Get("X-Instance-Id")]++
}
values <- r
}(worker)
}
group.Wait()
close(values)
merged := result{errors: map[string]int{}, instances: map[string]int{}}
for r := range values {
merged.latencies = append(merged.latencies, r.latencies...)
for k, v := range r.errors {
merged.errors[k] += v
}
for k, v := range r.instances {
merged.instances[k] += v
}
}
return merged, time.Since(start).Seconds()
}
if *warmup > 0 {
batch(*warmup)
}
measured, elapsed := batch(*duration)
sort.Float64s(measured.latencies)
percentile := func(p float64) any {
if len(measured.latencies) == 0 {
return nil
}
return measured.latencies[int(math.Ceil(float64(len(measured.latencies))*p))-1]
}
failures := 0
for _, n := range measured.errors {
failures += n
}
report := map[string]any{"workload": "closed-loop POST 128 ASCII characters, unique keys, persistent connections, no retries", "concurrency": *concurrency, "warmup_seconds": warmup.Seconds(), "requested_duration_seconds": duration.Seconds(), "elapsed_seconds": elapsed, "successful_requests": len(measured.latencies), "failed_requests": failures, "errors": measured.errors, "successful_rps": float64(len(measured.latencies)) / elapsed, "latency_ms": map[string]any{"p50": percentile(.5), "p95": percentile(.95), "p99": percentile(.99)}, "instances": measured.instances, "note": "Success-only latency; closed-loop has coordinated omission. Counts HTTP confirmations, not unique DB commits."}
json.NewEncoder(os.Stdout).Encode(report)
if len(measured.latencies) == 0 {
os.Exit(1)
}
}
+106
View File
@@ -0,0 +1,106 @@
name: mtusi-lab3
services:
db:
image: postgres:17.6-bookworm@sha256:f3bd19c606e442c3d7bdfa8002e03fe260a1023351e0ea4598032022b68dd6e3
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes: [pgdata:/var/lib/postgresql/data]
healthcheck:
test: [CMD-SHELL, "pg_isready -U messenger -d messenger"]
interval: 2s
timeout: 2s
retries: 30
mem_limit: 512m
cpus: ${DB_CPUS:-1.0}
valkey:
image: valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571
command: [valkey-server, /run/secrets/valkey_config]
secrets: [valkey_config, valkey_password]
volumes: [sessions:/data]
healthcheck:
test: [CMD-SHELL, 'REDISCLI_AUTH="$$(cat /run/secrets/valkey_password)" valkey-cli ping | grep -q PONG']
interval: 2s
timeout: 2s
retries: 30
mem_limit: 256m
cpus: 0.5
migrate:
image: mtusi-messenger:lab3
build: .
command: [migrate]
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
depends_on:
db: {condition: service_healthy}
mem_limit: 256m
cpus: 0.5
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
api:
image: mtusi-messenger:lab3
build: .
deploy:
replicas: ${API_REPLICAS:-2}
environment:
APP_HOST: ${APP_HOST:-0.0.0.0}
APP_PORT: 8080
APP_ENV: ${APP_ENV:-lab}
SESSION_STORE: ${SESSION_STORE:-valkey}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DB_POOL_MAX: ${DB_POOL_MAX:-8}
MAX_INFLIGHT: ${MAX_INFLIGHT:-32}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
GOMEMLIMIT: ${GOMEMLIMIT:-160MiB}
POOL_METRICS: ${POOL_METRICS:-0}
REQUEST_LOG: ${REQUEST_LOG:-1}
DATABASE_URL_FILE: ${DATABASE_URL_FILE:-/run/secrets/database_url}
CACHE_URL_FILE: ${CACHE_URL_FILE:-/run/secrets/cache_url}
CURSOR_SECRET_FILE: ${CURSOR_SECRET_FILE:-/run/secrets/cursor_secret}
secrets: [database_url, cache_url, cursor_secret]
depends_on:
db: {condition: service_healthy}
valkey: {condition: service_healthy}
migrate: {condition: service_completed_successfully}
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: ${API_MEMORY:-512m}
cpus: ${API_CPUS:-1.0}
pids_limit: 128
logging:
options: {max-size: 10m, max-file: "2"}
stop_grace_period: 10s
lb:
image: haproxy:3.2.6-alpine
ports: ["127.0.0.1:${APP_PORT:-8080}:8080"]
volumes: [./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
depends_on:
api: {condition: service_healthy}
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 128m
cpus: 0.5
stop_grace_period: 10s
logging:
options: {max-size: 10m, max-file: "2"}
healthcheck:
test: [CMD-SHELL, "wget -q -O /dev/null http://127.0.0.1:8080/health/ready"]
interval: 2s
timeout: 2s
retries: 30
volumes:
pgdata:
sessions:
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
valkey_password: {file: ./secrets/valkey_password}
valkey_config: {file: ./secrets/valkey.conf}
cache_url: {file: ./secrets/cache_url}
cursor_secret: {file: ./secrets/cursor_secret}
+34
View File
@@ -0,0 +1,34 @@
{
"protected_files_unchanged": 9,
"required_checks_passed": [
"check",
"failures",
"final-containers",
"final-own",
"final-smoke",
"research",
"test",
"test-failover",
"test-own",
"test-persistence",
"test-race",
"validate"
],
"research_runs": 45,
"api_replicas": 2,
"database": {
"users": 73,
"chats": 57,
"messages": 572124,
"idempotency_keys": 572124,
"database_bytes": 370461843,
"fsync": "on",
"synchronous_commit": "on",
"full_page_writes": "on"
},
"pool_tuning_rps": {
"1": 618.7677762820396,
"8": 739.8691144738191
},
"improvement_percent": 19.57
}
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+1
View File
@@ -0,0 +1 @@
29.3.0 12 CPU 3956072448 bytes
+102
View File
@@ -0,0 +1,102 @@
[
{
"scenario": "stop adaa005d3240",
"before": [
{
"instance": "adaa005d3240",
"id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"
},
{
"instance": "50e63551289c",
"id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"
}
],
"after": [
{
"instance": "50e63551289c",
"id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"
}
],
"successful_read_write_cycles": 8,
"failed_cycles": 0,
"elapsed_seconds": 8.429,
"successful_cycles_per_second": 0.949,
"confirmed_pair_http_rps": 1.898,
"first_success_after_action_seconds": 2.087,
"max_success_gap_seconds": 4.069,
"cycle_latency_ms": {
"p50": 4055.938200000128,
"p95": 4072.180400000434
},
"all_confirmations_preserved": true,
"duplicate_messages": 0
},
{
"scenario": "stop 50e63551289c",
"before": [
{
"instance": "adaa005d3240",
"id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"
},
{
"instance": "50e63551289c",
"id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"
}
],
"after": [
{
"instance": "adaa005d3240",
"id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"
}
],
"successful_read_write_cycles": 8,
"failed_cycles": 0,
"elapsed_seconds": 8.358,
"successful_cycles_per_second": 0.957,
"confirmed_pair_http_rps": 1.914,
"first_success_after_action_seconds": 2.043,
"max_success_gap_seconds": 4.053,
"cycle_latency_ms": {
"p50": 4039.179299999887,
"p95": 4047.002899999825
},
"all_confirmations_preserved": true,
"duplicate_messages": 0
},
{
"scenario": "rolling",
"before": [
{
"instance": "adaa005d3240",
"id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"
},
{
"instance": "50e63551289c",
"id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"
}
],
"after": [
{
"instance": "780258ad77d3",
"id": "780258ad77d30bcdcd1ad1a79f241e11a14fe32092d2480fbd953ef2fe60ffe0"
},
{
"instance": "da902e057868",
"id": "da902e0578680ca8714c702d7c5d6e1f2105826248e5fc00011e0fe9db0a9cd2"
}
],
"successful_read_write_cycles": 15,
"failed_cycles": 1,
"elapsed_seconds": 16.549,
"successful_cycles_per_second": 0.906,
"confirmed_pair_http_rps": 1.813,
"first_success_after_action_seconds": 10.202,
"max_success_gap_seconds": 4.063,
"cycle_latency_ms": {
"p50": 4034.967499999766,
"p95": 4060.810599999968
},
"all_confirmations_preserved": true,
"duplicate_messages": 0
}
]
+74
View File
@@ -0,0 +1,74 @@
Flag --time has been deprecated, use --timeout instead
adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a
{"scenario": "stop adaa005d3240", "before": [{"instance": "adaa005d3240", "id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"}, {"instance": "50e63551289c", "id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"}], "after": [{"instance": "50e63551289c", "id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"}], "successful_read_write_cycles": 8, "failed_cycles": 0, "elapsed_seconds": 8.429, "successful_cycles_per_second": 0.949, "confirmed_pair_http_rps": 1.898, "first_success_after_action_seconds": 2.087, "max_success_gap_seconds": 4.069, "cycle_latency_ms": {"p50": 4055.938200000128, "p95": 4072.180400000434}, "all_confirmations_preserved": true, "duplicate_messages": 0}
Container mtusi-lab3-db-1 Waiting
Container mtusi-lab3-db-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-valkey-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-db-1 Waiting
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-valkey-1 Healthy
Container mtusi-lab3-db-1 Healthy
Container mtusi-lab3-api-1 Starting
Container mtusi-lab3-api-1 Started
Flag --time has been deprecated, use --timeout instead
50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821
{"scenario": "stop 50e63551289c", "before": [{"instance": "adaa005d3240", "id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"}, {"instance": "50e63551289c", "id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"}], "after": [{"instance": "adaa005d3240", "id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"}], "successful_read_write_cycles": 8, "failed_cycles": 0, "elapsed_seconds": 8.358, "successful_cycles_per_second": 0.957, "confirmed_pair_http_rps": 1.914, "first_success_after_action_seconds": 2.043, "max_success_gap_seconds": 4.053, "cycle_latency_ms": {"p50": 4039.179299999887, "p95": 4047.002899999825}, "all_confirmations_preserved": true, "duplicate_messages": 0}
Container mtusi-lab3-db-1 Waiting
Container mtusi-lab3-db-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-db-1 Waiting
Container mtusi-lab3-valkey-1 Waiting
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-db-1 Healthy
Container mtusi-lab3-valkey-1 Healthy
Container mtusi-lab3-api-2 Starting
Container mtusi-lab3-api-2 Started
Container mtusi-lab3-api-1 Running
Container mtusi-lab3-api-2 Running
Container mtusi-lab3-api-3 Creating
Container mtusi-lab3-api-3 Created
Container mtusi-lab3-api-3 Starting
Container mtusi-lab3-api-3 Started
Flag --time has been deprecated, use --timeout instead
adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a
adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a
Container mtusi-lab3-api-2 Running
Container mtusi-lab3-api-3 Running
Container mtusi-lab3-api-4 Creating
Container mtusi-lab3-api-4 Created
Container mtusi-lab3-api-4 Starting
Container mtusi-lab3-api-4 Started
Flag --time has been deprecated, use --timeout instead
50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821
50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821
{
"before": [
{
"instance": "adaa005d3240",
"id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"
},
{
"instance": "50e63551289c",
"id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"
}
],
"after": [
{
"instance": "780258ad77d3",
"id": "780258ad77d30bcdcd1ad1a79f241e11a14fe32092d2480fbd953ef2fe60ffe0"
},
{
"instance": "da902e057868",
"id": "da902e0578680ca8714c702d7c5d6e1f2105826248e5fc00011e0fe9db0a9cd2"
}
]
}
{"scenario": "rolling", "before": [{"instance": "adaa005d3240", "id": "adaa005d3240ce595adb462d5ed9d35a2c84b819c91d0536543b033c1700728a"}, {"instance": "50e63551289c", "id": "50e63551289cec0181ab78471bb7c852f17522a370a99f4ff804b34a7db19821"}], "after": [{"instance": "780258ad77d3", "id": "780258ad77d30bcdcd1ad1a79f241e11a14fe32092d2480fbd953ef2fe60ffe0"}, {"instance": "da902e057868", "id": "da902e0578680ca8714c702d7c5d6e1f2105826248e5fc00011e0fe9db0a9cd2"}], "successful_read_write_cycles": 15, "failed_cycles": 1, "elapsed_seconds": 16.549, "successful_cycles_per_second": 0.906, "confirmed_pair_http_rps": 1.813, "first_success_after_action_seconds": 10.202, "max_success_gap_seconds": 4.063, "cycle_latency_ms": {"p50": 4034.967499999766, "p95": 4060.810599999968}, "all_confirmations_preserved": true, "duplicate_messages": 0}
Container mtusi-lab3-api-3 Running
Container mtusi-lab3-api-4 Running
PASS: each replica stopped, real containers verified, rolling replacement preserved sessions/data
+17
View File
@@ -0,0 +1,17 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-8 mtusi-messenger:lab3 "/messenger" api 8 seconds ago Up 5 seconds (healthy) 8080/tcp
mtusi-lab3-api-9 mtusi-messenger:lab3 "/messenger" api 8 seconds ago Up 6 seconds (healthy) 8080/tcp
mtusi-lab3-db-1 postgres:17.6-bookworm@sha256:f3bd19c606e442c3d7bdfa8002e03fe260a1023351e0ea4598032022b68dd6e3 "docker-entrypoint.s…" db 24 minutes ago Up 22 minutes (healthy) 5432/tcp
mtusi-lab3-lb-1 haproxy:3.2.6-alpine "docker-entrypoint.s…" lb 24 minutes ago Up 22 minutes (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-migrate-1 mtusi-messenger:lab3 "/messenger migrate" migrate 24 minutes ago Exited (0) 21 minutes ago
mtusi-lab3-valkey-1 valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571 "docker-entrypoint.s…" valkey 24 minutes ago Up 22 minutes (healthy) 6379/tcp
[
{
"instance": "3fed3866f477",
"id": "3fed3866f4775c4d0475ef770a59b70fcfe95949f80f2f121a746bc45758c982"
},
{
"instance": "7f5ddf72d9b1",
"id": "7f5ddf72d9b1da7b79b165414d42b2e203bab61751631a7d96528bbbf9b4ff7e"
}
]
+2
View File
@@ -0,0 +1,2 @@
{"concurrent_requests": 16, "instances": ["3fed3866f477", "7f5ddf72d9b1"], "identical_result": true, "key_scopes": "user + POST + chat path", "revocation_rechecked": true}
PASS: concurrent replay, Unicode, conflict, key validation, isolation and logout
+1
View File
@@ -0,0 +1 @@
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+96
View File
@@ -0,0 +1,96 @@
{
"timestamp_utc": "2026-10-23T12:36:44.857341+00:00",
"containers": [
{
"id": "3fed3866f4775c4d0475ef770a59b70fcfe95949f80f2f121a746bc45758c982",
"name": "/mtusi-lab3-api-8",
"instance": "3fed3866f477",
"state": "running",
"started_at": "2026-10-23T12:36:38.213957105Z",
"nano_cpus": 1000000000,
"memory_bytes": 536870912,
"ports": {
"8080/tcp": null
},
"image": "mtusi-messenger:lab3"
},
{
"id": "7f5ddf72d9b1da7b79b165414d42b2e203bab61751631a7d96528bbbf9b4ff7e",
"name": "/mtusi-lab3-api-9",
"instance": "7f5ddf72d9b1",
"state": "running",
"started_at": "2026-10-23T12:36:38.034140943Z",
"nano_cpus": 1000000000,
"memory_bytes": 536870912,
"ports": {
"8080/tcp": null
},
"image": "mtusi-messenger:lab3"
},
{
"id": "16f66e71d6f11ec87802055d002ffdc955cb7e45a4d49d65cbb855d5b9a05ff1",
"name": "/mtusi-lab3-db-1",
"instance": "16f66e71d6f1",
"state": "running",
"started_at": "2026-10-23T12:13:45.663039253Z",
"nano_cpus": 1000000000,
"memory_bytes": 536870912,
"ports": {
"5432/tcp": null
},
"image": "postgres:17.6-bookworm@sha256:f3bd19c606e442c3d7bdfa8002e03fe260a1023351e0ea4598032022b68dd6e3"
},
{
"id": "3ab85f1808aa04096c15c57985cedade3cf2317f7c04cea78bd891a9523a801a",
"name": "/mtusi-lab3-lb-1",
"instance": "3ab85f1808aa",
"state": "running",
"started_at": "2026-10-23T12:13:45.60706352Z",
"nano_cpus": 500000000,
"memory_bytes": 134217728,
"ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
]
},
"image": "haproxy:3.2.6-alpine"
},
{
"id": "477b5a8721f414b11c79e196cbc914eb54754d17d3100b363cdf377c1525e4f3",
"name": "/mtusi-lab3-migrate-1",
"instance": "477b5a8721f4",
"state": "exited",
"started_at": "2026-10-23T12:15:16.604003267Z",
"nano_cpus": 500000000,
"memory_bytes": 268435456,
"ports": {},
"image": "mtusi-messenger:lab3"
},
{
"id": "d05b4b0c0e14422e029990de042ac54aedba88cd5c2de77b269a105148dea512",
"name": "/mtusi-lab3-valkey-1",
"instance": "d05b4b0c0e14",
"state": "running",
"started_at": "2026-10-23T12:13:45.319020586Z",
"nano_cpus": 500000000,
"memory_bytes": 268435456,
"ports": {
"6379/tcp": null
},
"image": "valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571"
}
],
"database": {
"users": 73,
"chats": 57,
"messages": 572124,
"idempotency_keys": 572124,
"database_bytes": 370461843,
"fsync": "on",
"synchronous_commit": "on",
"full_page_writes": "on"
}
}
+25
View File
@@ -0,0 +1,25 @@
HTTP 201; X-Instance-Id=3fed3866f477; X-Request-Id=a56a2da8-c92d-4cd7-a69d-bf39e621e49e
HTTP 201; X-Instance-Id=3fed3866f477; X-Request-Id=fbf1422d-ae90-4576-b5b5-f7944dab5274
HTTP 201; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=0d225bff-4171-4d78-8195-c872821921e3
HTTP 201; X-Instance-Id=3fed3866f477; X-Request-Id=57db16cb-30c9-45dc-b3a1-32fc7361d048
HTTP 201; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=b5db9985-3ae1-484c-99bb-efe522267add
HTTP 201; X-Instance-Id=3fed3866f477; X-Request-Id=96b2718b-5b8f-4182-840b-02165ca78777
HTTP 201; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=d6e57bf6-013b-4538-8174-624bd3767c2c
HTTP 201; X-Instance-Id=3fed3866f477; X-Request-Id=6b051cf1-d67e-4909-87b9-d489d347527a
HTTP 201; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=dd82b913-5bbc-4479-981a-e9d35953b7ae
Ready: chat=e2f617ca-fa67-46ea-a693-43dd913330b7; message=e6939269-38b8-4669-9560-ca1363298f99. Session is kept in $Lab; do not print or save its Authorization header.
HTTP 200; X-Instance-Id=3fed3866f477; X-Request-Id=a85a22f1-3f87-46f1-a5b8-fd9238d72718
HTTP 200; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=84e2577a-54b4-4ca4-9005-74f44874a7f7
HTTP 200; X-Instance-Id=3fed3866f477; X-Request-Id=a5fa5d4a-b426-4ade-a64c-1c4c0edc8ba7
HTTP 200; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=7f8139f5-3ef6-4d5c-838c-9ca62ad2dab2
HTTP 200; X-Instance-Id=3fed3866f477; X-Request-Id=70a246c6-c239-47e7-8057-c533b0f50265
HTTP 200; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=431b02c5-6b81-4371-a344-bfe23f0e5718
HTTP 200; X-Instance-Id=3fed3866f477; X-Request-Id=c46a990b-8d39-4b59-abfc-f0b844e55beb
HTTP 200; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=2d54f876-ba25-4488-bccd-73ffa76ac7b3
HTTP 200; X-Instance-Id=3fed3866f477; X-Request-Id=b0451430-12e6-48a8-afda-2721daaa9e65
HTTP 200; X-Instance-Id=7f5ddf72d9b1; X-Request-Id=4b1a473e-8738-48a0-8219-fcdd229574c9
HTTP 201; X-Instance-Id=3fed3866f477; X-Request-Id=48bab8b1-b30d-41bd-9a8e-8a00cf1ff890
PASS: manual conflict returned 409
HTTP 204; X-Instance-Id=3fed3866f477; X-Request-Id=664f9bfa-4802-4290-809e-db35b7ef2b0e
PASS: manual logout returned 204 then 401
PASS: real manual.ps1, two replicas, replay, conflict and logout
+11
View File
@@ -0,0 +1,11 @@
{
"contracts/README.md": "72df27a559f88ffa3fd8c3c79d3c32f6db2c5986a0602677c51994c434a3fc4f",
"contracts/examples.json": "0a71cec72903af556df85f939c7e347fc73a86a1a4ffc39fb9c8ded169b7df45",
"contracts/infrastructure.json": "99320becab20381c3d31983336dd4e0aef4bca992d672538f049b6684714a577",
"contracts/openapi.json": "9c3787e5d08a60c59ae67eeb429e9d75fbf134992a4e1f0954e926db49e111be",
"tests/README.md": "e0bfa7e196797f6a5bf6e44d8ad2ffeb82651927ff5d8484eb1c2dda1ec7dec5",
"tests/client.py": "8d50976fc7c7bbb81e88a152f613c61ab25eaf53dba33c6a9dfab19f868d546d",
"tests/load.py": "6d3511ea719c7a7e841083e73d435c86dcbfd9f4e5c2a07d62eb9614b01d9933",
"tests/resilience.py": "1f96663a174b3978d24eff66f2741f5f8c9b788d3242261d37a972720c52788b",
"tests/smoke.py": "52ac38eb343ff7d43e7543588e1da58ca06c9fce74b2b0d0bf0e4982bc23c1db"
}
+16
View File
@@ -0,0 +1,16 @@
series,replicas,concurrency,pool,rps_median,rps_min,rps_max,p95_ms_median,failed_requests,successful_requests
fixed,1,32,8,886.9461686760884,881.4178866396619,899.3373554288052,80.669,0,40097
fixed,2,32,4,771.2523180982048,716.5367836352365,784.259414417926,90.155,0,34117
fixed,4,32,2,739.8841106280001,682.5050710662169,765.7859737448264,106.102,0,32981
growing,1,32,8,857.0531353180658,823.9402470054877,881.2296440856634,81.755,0,38529
growing,2,32,8,791.1205947157969,661.7999685496053,807.7429139912415,91.095,0,33934
growing,4,32,8,673.03625889995,612.3727267865354,703.1937884909651,96.117,0,29902
pool-overload,2,64,1,613.8354608801379,400.05557214497736,637.0205809658438,136.494,970,24964
pool-overload,2,64,8,786.2380926858069,766.640896558756,788.3564934630954,105.633,5472,35332
pool-tuning,2,32,1,618.7677762820396,567.3583671166701,638.7578278789013,74.209,0,27477
pool-tuning,2,32,8,739.8691144738191,728.491254986141,767.1283378921763,92.695,0,33617
saturation,4,1,8,301.68129598468346,296.02447062816464,327.7593962264186,4.633,0,13884
saturation,4,8,8,716.9622981055238,715.6392517794219,766.7709536056492,58.212,0,33000
saturation,4,32,8,737.7180474082401,725.12070375995,816.0401171115877,92.77,0,34198
saturation,4,64,8,789.5121631221782,651.3516389390559,790.2397086830756,187.653,93,33632
saturation,4,128,8,741.293867201931,689.2117244152156,792.7357194191711,215.681,8970,33776
1 series replicas concurrency pool rps_median rps_min rps_max p95_ms_median failed_requests successful_requests
2 fixed 1 32 8 886.9461686760884 881.4178866396619 899.3373554288052 80.669 0 40097
3 fixed 2 32 4 771.2523180982048 716.5367836352365 784.259414417926 90.155 0 34117
4 fixed 4 32 2 739.8841106280001 682.5050710662169 765.7859737448264 106.102 0 32981
5 growing 1 32 8 857.0531353180658 823.9402470054877 881.2296440856634 81.755 0 38529
6 growing 2 32 8 791.1205947157969 661.7999685496053 807.7429139912415 91.095 0 33934
7 growing 4 32 8 673.03625889995 612.3727267865354 703.1937884909651 96.117 0 29902
8 pool-overload 2 64 1 613.8354608801379 400.05557214497736 637.0205809658438 136.494 970 24964
9 pool-overload 2 64 8 786.2380926858069 766.640896558756 788.3564934630954 105.633 5472 35332
10 pool-tuning 2 32 1 618.7677762820396 567.3583671166701 638.7578278789013 74.209 0 27477
11 pool-tuning 2 32 8 739.8691144738191 728.491254986141 767.1283378921763 92.695 0 33617
12 saturation 4 1 8 301.68129598468346 296.02447062816464 327.7593962264186 4.633 0 13884
13 saturation 4 8 8 716.9622981055238 715.6392517794219 766.7709536056492 58.212 0 33000
14 saturation 4 32 8 737.7180474082401 725.12070375995 816.0401171115877 92.77 0 34198
15 saturation 4 64 8 789.5121631221782 651.3516389390559 790.2397086830756 187.653 93 33632
16 saturation 4 128 8 741.293867201931 689.2117244152156 792.7357194191711 215.681 8970 33776
+32428
View File
File diff suppressed because it is too large Load Diff
+35
View File
@@ -0,0 +1,35 @@
# Измерения трека 1
Fixed: суммарно 2 CPU / 1024 MiB API, суммарный пул 8. Growing: 1 CPU / 512 MiB и пул 8 на каждую API. PostgreSQL 1 CPU / 512 MiB, LB 0.5 CPU / 128 MiB, Valkey 0.5 CPU / 256 MiB, генератор 2 CPU / 256 MiB.
| Серия | API | Клиенты | Пул/реплика | RPS median [min;max] | p95 ms | Ошибки |
|---|---:|---:|---:|---:|---:|---:|
| fixed | 1 | 32 | 8 | 886.9 [881.4; 899.3] | 80.7 | 0 |
| fixed | 2 | 32 | 4 | 771.3 [716.5; 784.3] | 90.2 | 0 |
| fixed | 4 | 32 | 2 | 739.9 [682.5; 765.8] | 106.1 | 0 |
| growing | 1 | 32 | 8 | 857.1 [823.9; 881.2] | 81.8 | 0 |
| growing | 2 | 32 | 8 | 791.1 [661.8; 807.7] | 91.1 | 0 |
| growing | 4 | 32 | 8 | 673.0 [612.4; 703.2] | 96.1 | 0 |
| pool-overload | 2 | 64 | 1 | 613.8 [400.1; 637.0] | 136.5 | 970 |
| pool-overload | 2 | 64 | 8 | 786.2 [766.6; 788.4] | 105.6 | 5472 |
| pool-tuning | 2 | 32 | 1 | 618.8 [567.4; 638.8] | 74.2 | 0 |
| pool-tuning | 2 | 32 | 8 | 739.9 [728.5; 767.1] | 92.7 | 0 |
| saturation | 4 | 1 | 8 | 301.7 [296.0; 327.8] | 4.6 | 0 |
| saturation | 4 | 8 | 8 | 717.0 [715.6; 766.8] | 58.2 | 0 |
| saturation | 4 | 32 | 8 | 737.7 [725.1; 816.0] | 92.8 | 0 |
| saturation | 4 | 64 | 8 | 789.5 [651.4; 790.2] | 187.7 | 93 |
| saturation | 4 | 128 | 8 | 741.3 [689.2; 792.7] | 215.7 | 8970 |
Контролируемая настройка пула 1 → 8 (2 API, 32 клиента): изменение median RPS +19.6%. Критерий подтверждения: >5% без увеличения общего числа ошибок. Подтверждено: True.
Диагностика: research.json содержит CPU/RAM каждого контейнера, активные ожидания PostgreSQL, счётчики ожидания пула и очереди/ошибки HAProxy. Pool-tuning — отдельный намеренно ограниченный сценарий; он не выдаётся за дефект исходного пула 8.
Интерпретация этого прогона: fixed 1/2/4 API дали 886.9/771.3/739.9 median RPS, growing — 857.1/791.1/673.0; в этих сериях ошибок нет. Увеличение числа API и суммарных ресурсов API не повысило throughput. В sweep рост 8 → 32 клиентов дал лишь +2.9% RPS (717.0 → 737.7), одновременно p95 вырос 58.2 → 92.8 ms. При 128 клиентах доля неуспешных попыток 20.98%, p95=215.7 ms. Практическое колено этого профиля — около 8–32 клиентов.
В показательных sweep-запусках средний CPU DB около 87–104% ядра при лимите 1 CPU, память примерно 256–278/512 MiB. CPU LB около 17–27% при лимите 0.5 CPU, генератора 10–18% при лимите 2 CPU; qmax LB=0. Наблюдения согласуются с общим пределом DB/очереди пула; насыщение LB или клиента не видно. Конкретные различия RPS нельзя приписать исключительно CPU DB без отдельного эксперимента с её ресурсами.
Контроль пула 1 → 8 улучшил median throughput на 19.57% (618.8 → 739.9), все шесть запусков без ошибок. Диапазоны RPS не пересекаются: 567.4–638.8 против 728.5–767.1. p50 улучшился 53.0 → 15.1 ms, но p95 ухудшился 74.2 → 92.7 ms, p99 — 91.5 → 99.2 ms. Подтверждено улучшение throughput с ценой в хвосте, не ускорение каждого запроса. Отрицательный pool-overload при 64 клиентах сохранён отдельно и не принят за улучшение из-за роста ошибок 970 → 5472.
Контрольные 32-клиентные серии добавлены после исходных серий. В raw сохранены все 45 завершённых запусков. Порядок, накопление истории и состояние хоста ограничивают точность сравнения; частота/температура CPU не измерялись. Снимок перед дополнительной ручной проверкой содержит 572124 сообщений/ключей и pg_database_size=370461843 bytes.
Ограничения: один Docker Desktop/хост; closed-loop и coordinated omission; p95 только успехов; контейнерные CPU/RAM и PostgreSQL-счётчики включают прогрев; история растёт; дисковый кэш между сериями не сбрасывается; max RPS промышленной системы не заявляется.
+64
View File
@@ -0,0 +1,64 @@
Reusing 39 completed measurements
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
Measuring {"series": "pool-tuning", "replicas": 2, "cpu_per_api": 1, "memory_mib_per_api": 512, "pool": 1, "concurrency": 32, "repeat": 1}
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
Measuring {"series": "pool-tuning", "replicas": 2, "cpu_per_api": 1, "memory_mib_per_api": 512, "pool": 8, "concurrency": 32, "repeat": 1}
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Measuring {"series": "pool-tuning", "replicas": 2, "cpu_per_api": 1, "memory_mib_per_api": 512, "pool": 8, "concurrency": 32, "repeat": 2}
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
Measuring {"series": "pool-tuning", "replicas": 2, "cpu_per_api": 1, "memory_mib_per_api": 512, "pool": 1, "concurrency": 32, "repeat": 2}
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
Measuring {"series": "pool-tuning", "replicas": 2, "cpu_per_api": 1, "memory_mib_per_api": 512, "pool": 1, "concurrency": 32, "repeat": 3}
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Measuring {"series": "pool-tuning", "replicas": 2, "cpu_per_api": 1, "memory_mib_per_api": 512, "pool": 8, "concurrency": 32, "repeat": 3}
Container mtusi-lab3-api-9 Recreate
Container mtusi-lab3-api-8 Recreate
Container mtusi-lab3-api-9 Recreated
Container mtusi-lab3-api-8 Recreated
Container mtusi-lab3-api-9 Starting
Container mtusi-lab3-api-9 Started
Container mtusi-lab3-api-8 Starting
Container mtusi-lab3-api-8 Started
PASS: repeated scaling/saturation series and pool improvement measured; see evidence/research.md
+5
View File
@@ -0,0 +1,5 @@
809671ea9e156b63efb0e814356e296f7763b44f6e3a3fd7bb35ae7f8aa6244b api 2026-10-23T12:13:46.830894808Z running
d37b1b1c131fbba70e88871316faf75d5a999c1ebb4a5c44c9a5acd23be5b75a api 2026-10-23T12:13:46.753675356Z running
16f66e71d6f11ec87802055d002ffdc955cb7e45a4d49d65cbb855d5b9a05ff1 db 2026-10-23T12:13:45.663039253Z running
3ab85f1808aa04096c15c57985cedade3cf2317f7c04cea78bd891a9523a801a lb 2026-10-23T12:13:45.60706352Z running
d05b4b0c0e14422e029990de042ac54aedba88cd5c2de77b269a105148dea512 valkey 2026-10-23T12:13:45.319020586Z running
+5
View File
@@ -0,0 +1,5 @@
809671ea9e156b63efb0e814356e296f7763b44f6e3a3fd7bb35ae7f8aa6244b api 2026-10-23T12:12:37.237236606Z running
d37b1b1c131fbba70e88871316faf75d5a999c1ebb4a5c44c9a5acd23be5b75a api 2026-10-23T12:12:37.077670375Z running
16f66e71d6f11ec87802055d002ffdc955cb7e45a4d49d65cbb855d5b9a05ff1 db 2026-10-23T12:12:33.390812174Z running
3ab85f1808aa04096c15c57985cedade3cf2317f7c04cea78bd891a9523a801a lb 2026-10-23T12:12:43.161972189Z running
d05b4b0c0e14422e029990de042ac54aedba88cd5c2de77b269a105148dea512 valkey 2026-10-23T12:12:33.392857899Z running
Binary file not shown.

After

Width:  |  Height:  |  Size: 91 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 87 KiB

+36
View File
@@ -0,0 +1,36 @@
{
"auth.go": "d46cc3640891c1c0249352e297df8bd1daa4ef89ba86b968db40b6ec0bf4b139",
"auth_test.go": "172e59bd8413744d0448b57f168c5a6b3b1abc2cd3f47fb0cca3a8f418582665",
"compose.yaml": "2d623732093f0e522df660b12fb8815ee5c7b10aa6ec4cae1f4e3a34c64a186f",
"Dockerfile": "04bd53ca10e5e4ad9a8fa6eceb92044eec9523bfda397596fd16a6f3082ec65c",
"Dockerfile.tests": "2e56bd135892d2d12ba85ba5194bbb4ee29ddc08e87067865d1f668f6d5d2325",
"go.mod": "62ea9165ef562a8767ee94cabcefd2386e30657bea4f953fc92fbd12d69edf5f",
"go.sum": "c8c6aeb5caa7db83ebde4b4eb9643ae9b9e0c942806f44da4eb3389c3640f928",
"idempotency.go": "2bda0d19736f1be2208684df2243e7ec6db6e3ccce0b6c4957fdb813e79d50d1",
"main.go": "d527399f424d0b52d059bf170dedbb6aa16856376058a7f3f1da93c22726bbcd",
"protocol.go": "ee4464b917b138455a710a553b901642a914bc0479ccf764bf8494729508a905",
"store.go": "9a28caff699f25555bf9303b81b59a62ca1a62e42794d72a15395f947e4f3067",
"infra/haproxy.cfg": "28e14266088d438ad687a3f87066df9a94adfd9361fa2f3461d9cab625c01939",
"migrations/001_initial.sql": "00bed85481a6fa28e9469dee045d0c1da00ea93e67a834a57fc9e0b681f5af5a",
"migrations/002_unicode_storage.sql": "fb9abffe9f0937b55a44039f4e4f90a035c66284121560deb0c89568ec66a7f1",
"migrations/003_idempotency.sql": "ab5b28929d16fc0ae14605e95a0b6542a04c834bf928e79c95db2fca883c240c",
"scripts/bootstrap.py": "c1c827478574d3997fa731f33718fc1fb8d8b6d57ea8368d5febca71ca48bbbf",
"scripts/check_contract.py": "61e300fe5c1074360418e24b4653b12f96808247a2beaf2a64859aa360f81493",
"scripts/linux_tests.py": "06b74d5e4c08f0a52e701916d5f15404f1597896885af452703ba9de1c538890",
"scripts/manage.py": "0aa8425c2941a379a2fe6803cadb702f46150764a159f5658de3ad85e0fda27b",
"scripts/manual.ps1": "c65612a4a64595287aaa4a51b10cc310b883a8659a3b4a346b6b45e53614712e",
"scripts/research.py": "7d09a0f19e4b9e25ef753163e603d87dc95aa5c46c1f6ce8b10f6e90ec8698cf",
"scripts/restart.example.sh": "7cbfc7f518b975ee3ca37a645359ff734ab0686789b795a9ac845789eb46fbd9",
"scripts/restart.sh": "1b6b768bfe3afdff7a965626b846cc8e1d2a31a3856922e12fd6ff0988a1efe8",
"scripts/stop-one.example.sh": "6467c6e1515dee72982f85bced3f3862601ae0dbfafd4fd4818ef420f1dea040",
"scripts/stop-one.sh": "853660e83760e87659807f5064c0c3658634ce4c1a9572e786b0e82c933cd18d",
"scripts/validate_openapi.py": "cd7a33221b1860c5d2330e52afa6cb222d375db671ae9ab379ba51a0d3a77946",
"scripts/verify.py": "2d7cc020b5ebe8f3dde4b9c9f69568db96c00e49223e263640c781d433c41d3d",
"student-tests/acceptance.py": "0855dfe766185213db528d33dc08fab6e698bc815f509de79f35b26391453e2f",
"student-tests/failures.py": "8d074519f2ce3150c452de793443e531a3e4b1233ae6d6022eb67459ef15ae3c",
"tests/client.py": "b318084e2a4c380db91a55d082190bf33979fa556a4c4ca87e01f46ae275775c",
"tests/load.py": "9a9aff05e109630e243c3b092d7bd564344e4872b29e38b6618647a08460a72e",
"tests/resilience.py": "4ba30b9c81a0664127ddab2b0bea5e76aa2087be8bb25aa13cd5a8e69be23fdd",
"tests/smoke.py": "354e168e1e644145c3ff50bbbe189fd217cce5659aa125f588098025ffab0fdf",
"cmd/load/main.go": "59d98b803ac77763ba84582be755bf2b94e5197de844cacd7ace0b5cbdfb4836"
}
+1
View File
@@ -0,0 +1 @@
809671ea9e156b63efb0e814356e296f7763b44f6e3a3fd7bb35ae7f8aa6244b exited 2026-10-23T12:13:52.154097487Z 0
+1
View File
@@ -0,0 +1 @@
809671ea9e156b63efb0e814356e296f7763b44f6e3a3fd7bb35ae7f8aa6244b running 2026-10-23T12:13:46.830894808Z
+4
View File
@@ -0,0 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 137, "failed_attempts": 4, "first_recovery_seconds": 2.024}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+3
View File
@@ -0,0 +1,3 @@
python3 student-tests/acceptance.py --base-url "http://lb:8080"
{"concurrent_requests": 16, "instances": ["809671ea9e15", "d37b1b1c131f"], "identical_result": true, "key_scopes": "user + POST + chat path", "revocation_rechecked": true}
PASS: concurrent replay, Unicode, conflict, key validation, isolation and logout
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://lb:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+14
View File
@@ -0,0 +1,14 @@
go test -race ./...
go: downloading github.com/jackc/pgx/v5 v5.7.6
go: downloading github.com/redis/go-redis/v9 v9.12.1
go: downloading golang.org/x/crypto v0.43.0
go: downloading github.com/jackc/puddle/v2 v2.2.2
go: downloading golang.org/x/text v0.30.0
go: downloading github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761
go: downloading github.com/jackc/pgpassfile v1.0.0
go: downloading golang.org/x/sync v0.17.0
go: downloading github.com/cespare/xxhash/v2 v2.3.0
go: downloading github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f
go: downloading golang.org/x/sys v0.37.0
ok mtusi-messenger 2.155s
? mtusi-messenger/cmd/load [no test files]
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://lb:8080"
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+233
View File
@@ -0,0 +1,233 @@
{
"timestamp_utc": "2026-10-23T12:36:44.872473+00:00",
"complete": true,
"levels_3_4_passed": true,
"track_5_measured": true,
"checks": [
{
"check": "bootstrap",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/bootstrap.py"
]
},
{
"check": "docker-info",
"exit_code": 0,
"command": [
"docker",
"info",
"--format",
"{{.ServerVersion}} {{.NCPU}} CPU {{.MemTotal}} bytes"
]
},
{
"check": "compose-check",
"exit_code": 0,
"command": [
"docker",
"compose",
"config",
"--quiet"
]
},
{
"check": "build-start",
"exit_code": 0,
"command": [
"docker",
"compose",
"up",
"-d",
"--build",
"--wait"
]
},
{
"check": "build-tests",
"exit_code": 0,
"command": [
"docker",
"build",
"-f",
"Dockerfile.tests",
"-t",
"mtusi-messenger:lab3-tests",
"."
]
},
{
"check": "check",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"check"
]
},
{
"check": "validate",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"validate"
]
},
{
"check": "test",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test"
]
},
{
"check": "test-own",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-own"
]
},
{
"check": "test-race",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-race"
]
},
{
"check": "test-persistence",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-persistence"
]
},
{
"check": "test-failover",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-failover"
]
},
{
"check": "restore",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"restore"
]
},
{
"check": "failures",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/failures.py"
]
},
{
"check": "build-load",
"exit_code": 0,
"command": [
"docker",
"build",
"--target",
"load",
"-t",
"mtusi-messenger:lab3-load",
"."
]
},
{
"check": "research-dependencies",
"exit_code": 0,
"command": [
"C:\\Users\\maxsi\\HLAlab3\\mtusi2026lab3-fork\\.venv\\Scripts\\python.exe",
"-m",
"pip",
"install",
"--disable-pip-version-check",
"-r",
"requirements-research.txt"
]
},
{
"check": "research",
"exit_code": 0,
"command": [
"C:\\Users\\maxsi\\HLAlab3\\mtusi2026lab3-fork\\.venv\\Scripts\\python.exe",
"-X",
"utf8",
"scripts/research.py",
"--resume"
]
},
{
"check": "final-smoke",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"tests/smoke.py",
"--base-url",
"http://127.0.0.1:8080"
]
},
{
"check": "final-own",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/acceptance.py",
"--base-url",
"http://127.0.0.1:8080"
]
},
{
"check": "final-containers",
"exit_code": 0,
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"status"
]
}
]
}
+20
View File
@@ -0,0 +1,20 @@
module mtusi-messenger
go 1.26.0
require (
github.com/jackc/pgx/v5 v5.7.6
github.com/redis/go-redis/v9 v9.12.1
golang.org/x/crypto v0.43.0
)
require (
github.com/cespare/xxhash/v2 v2.3.0 // indirect
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
github.com/jackc/pgpassfile v1.0.0 // indirect
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
github.com/jackc/puddle/v2 v2.2.2 // indirect
golang.org/x/sync v0.17.0 // indirect
golang.org/x/sys v0.37.0 // indirect
golang.org/x/text v0.30.0 // indirect
)
+40
View File
@@ -0,0 +1,40 @@
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0=
github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs=
github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
github.com/jackc/pgx/v5 v5.7.6 h1:rWQc5FwZSPX58r1OQmkuaNicxdmExaEz5A2DO2hUuTk=
github.com/jackc/pgx/v5 v5.7.6/go.mod h1:aruU7o91Tc2q2cFp5h4uP3f6ztExVpyVv88Xl/8Vl8M=
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/redis/go-redis/v9 v9.12.1 h1:k5iquqv27aBtnTm2tIkROUDp8JBXhXZIVu1InSgvovg=
github.com/redis/go-redis/v9 v9.12.1/go.mod h1:huWgSWd8mW6+m0VPhJjSSQ+d6Nh1VICQ6Q5lHuCH/Iw=
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
github.com/stretchr/testify v1.8.1 h1:w7B6lhMri9wdJUVmEZPGGhZzrYTPvgJArz7wNPgYKsk=
github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4=
golang.org/x/crypto v0.43.0 h1:dduJYIi3A3KOfdGOHX8AVZ/jGiyPa3IbBozJ5kNuE04=
golang.org/x/crypto v0.43.0/go.mod h1:BFbav4mRNlXJL4wNeejLpWxB7wMbc79PdRGhWKncxR0=
golang.org/x/sync v0.17.0 h1:l60nONMj9l5drqw6jlhIELNv9I0A4OFgRsG9k2oT9Ug=
golang.org/x/sync v0.17.0/go.mod h1:9KTHXmSnoGruLpwFjVSX0lNNA75CykiMECbovNTZqGI=
golang.org/x/sys v0.37.0 h1:fdNQudmxPjkdUTPnLn5mdQv7Zwvbvpaxqs831goi9kQ=
golang.org/x/sys v0.37.0/go.mod h1:OgkHotnGiDImocRcuBABYBEXf8A9a87e/uXjp9XT3ks=
golang.org/x/text v0.30.0 h1:yznKA/E9zq54KzlzBEAWn1NXSQ8DIp/NYMy88xJjl4k=
golang.org/x/text v0.30.0/go.mod h1:yDdHFIX9t+tORqspjENWgzaCVXgk0yYnYuSZ8UzzBVM=
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
+54
View File
@@ -0,0 +1,54 @@
package main
import (
"context"
"errors"
"time"
"github.com/jackc/pgx/v5"
)
// The advisory lock serializes this key across processes. Message and result
// commit together; an interrupted/rolled-back transaction reserves nothing.
func (a *App) createMessage(ctx context.Context, chat, user, key, text string) (Message, error) {
m := Message{ChatID: chat, SenderID: user, Text: text}
tx, err := a.db.Begin(ctx)
if err != nil {
return m, unavailable()
}
defer tx.Rollback(ctx)
// POST and the canonical chat path are implicit in this dedicated table.
if _, err = tx.Exec(ctx, "SELECT pg_advisory_xact_lock(hashtextextended($1,0))", user+":"+chat+":"+key); err != nil {
return m, unavailable()
}
var previous Message
var created time.Time
err = tx.QueryRow(ctx, `SELECT m.id::text,m.chat_id::text,m.sender_id::text,m.text,m.created_at
FROM message_keys k JOIN messages m ON m.id=k.message_id
WHERE k.user_id=$1 AND k.chat_id=$2 AND k.key=$3 AND k.expires_at>clock_timestamp()`, user, chat, key).Scan(&previous.ID, &previous.ChatID, &previous.SenderID, utf8String{&previous.Text}, &created)
if err == nil {
if previous.Text != text {
return m, apiError{409, "conflict", "Idempotency key has a different message"}
}
previous.CreatedAt = stamp(created)
return previous, nil
}
if !errors.Is(err, pgx.ErrNoRows) {
return m, unavailable()
}
if _, err = tx.Exec(ctx, "DELETE FROM message_keys WHERE user_id=$1 AND chat_id=$2 AND key=$3", user, chat, key); err != nil {
return m, unavailable()
}
m.ID = uuid()
if err = tx.QueryRow(ctx, "INSERT INTO messages(id,chat_id,sender_id,text) VALUES($1,$2,$3,$4) RETURNING created_at", m.ID, chat, user, []byte(text)).Scan(&created); err != nil {
return m, dbError(err)
}
if _, err = tx.Exec(ctx, "INSERT INTO message_keys(user_id,chat_id,key,message_id,expires_at) VALUES($1,$2,$3,$4,clock_timestamp()+$5::bigint*interval '1 second')", user, chat, key, m.ID, int64(a.idempotencyTTL.Seconds())); err != nil {
return m, unavailable()
}
if err = tx.Commit(ctx); err != nil {
return m, unavailable()
}
m.CreatedAt = stamp(created)
return m, nil
}
+41
View File
@@ -0,0 +1,41 @@
global
log stdout format raw local0
maxconn 2048
defaults
log global
mode http
option httplog
timeout connect 500ms
timeout client 10s
timeout server 9s
timeout http-request 3s
timeout http-keep-alive 5s
timeout check 500ms
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
accepted_payload_size 8192
resolve_retries 2
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
hold nx 1s
frontend public
bind :8080
default_backend api
backend api
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
server-template replica 1-4 api:8080 check inter 500ms fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
listen stats
bind :8404
stats enable
stats uri /stats
+394
View File
@@ -0,0 +1,394 @@
package main
import (
"context"
"encoding/json"
"errors"
"fmt"
"log/slog"
"net"
"net/http"
"os"
"os/signal"
"strconv"
"strings"
"sync/atomic"
"syscall"
"time"
"github.com/jackc/pgx/v5/pgxpool"
"github.com/redis/go-redis/v9"
)
type App struct {
db *pgxpool.Pool
sessions *redis.Client
secret []byte
ttl time.Duration
slots, kdf chan struct{}
stopping atomic.Bool
dummyHash string
instance string
idempotencyTTL time.Duration
}
func env(key, value string) string {
if v := os.Getenv(key); v != "" {
return v
}
return value
}
func positive(key string, fallback int) int {
n, e := strconv.Atoi(env(key, strconv.Itoa(fallback)))
if e != nil || n <= 0 {
panic("invalid positive configuration: " + key)
}
return n
}
func secretFile(key string) (string, error) {
b, e := os.ReadFile(os.Getenv(key))
if e != nil {
return "", fmt.Errorf("cannot read %s", key)
}
s := strings.TrimSpace(string(b))
if s == "" {
return "", fmt.Errorf("empty %s", key)
}
return s, nil
}
func (a *App) dispatch(ctx context.Context, w http.ResponseWriter, r *http.Request) (int, any, error) {
path := r.URL.Path
if r.Method == "GET" && (path == "/health/live" || path == "/health/ready") {
if path == "/health/ready" && (a.stopping.Load() || a.db.Ping(ctx) != nil || a.sessions.Ping(ctx).Err() != nil) {
return 0, nil, unavailable()
}
return 200, map[string]string{"status": "ok"}, nil
}
if a.stopping.Load() {
return 0, nil, unavailable()
}
if r.Method == "POST" && path == "/api/v1/auth/sessions" {
return a.login(ctx, r)
}
if r.Method == "POST" && path == "/api/v1/users" {
body, err := readObject(w, r, 128*1024, []string{"username", "display_name", "password"})
if err != nil {
return 0, nil, err
}
name, err := textField(body, "username", 32)
if err != nil || !usernamePattern.MatchString(name) {
return 0, nil, invalid()
}
display, err := textField(body, "display_name", 100)
if err != nil {
return 0, nil, err
}
p, err := password(body)
if err != nil {
return 0, nil, err
}
if err = a.kdfSlot(ctx); err != nil {
return 0, nil, err
}
hash := hashPassword(p)
<-a.kdf
u, err := scanUser(a.db.QueryRow(ctx, "INSERT INTO users(id,username,display_name,password_hash) VALUES($1,$2,$3,$4) RETURNING id::text,username,display_name,created_at", uuid(), name, []byte(display), hash))
return 201, u, err
}
user, key, err := a.authenticate(ctx, r)
if err != nil {
return 0, nil, err
}
if r.Method == "DELETE" && path == "/api/v1/auth/sessions/current" {
count, e := a.sessions.Del(ctx, key).Result()
if e != nil {
return 0, nil, unavailable()
}
if count == 0 {
return 0, nil, unauthorized()
}
return 204, nil, nil
}
if r.Method == "GET" && path == "/api/v1/users/me" {
u, e := a.user(ctx, user)
return 200, u, e
}
if path == "/api/v1/chats" {
if r.Method == "GET" {
scope := "chats:" + user
limit, c, e := a.pagination(r, scope)
if e != nil {
return 0, nil, e
}
page, e := a.listChats(ctx, user, limit, c, scope)
return 200, page, e
}
if r.Method == "POST" {
body, e := readObject(w, r, 128*1024, []string{"title", "member_ids"})
if e != nil {
return 0, nil, e
}
title, e := textField(body, "title", 100)
if e != nil {
return 0, nil, e
}
var ids []string
if json.Unmarshal(body["member_ids"], &ids) != nil || len(ids) < 1 || len(ids) > 100 {
return 0, nil, invalid()
}
seen := map[string]bool{}
for i, id := range ids {
normalized, e := normalizeID(id)
if e != nil || seen[normalized] {
return 0, nil, invalid()
}
ids[i] = normalized
seen[normalized] = true
}
if !seen[user] {
return 0, nil, invalid()
}
chat, e := a.createChat(ctx, title, ids)
return 201, chat, e
}
}
if strings.HasPrefix(path, "/api/v1/chats/") {
parts := strings.Split(strings.TrimPrefix(path, "/api/v1/chats/"), "/")
id, e := normalizeID(parts[0])
if e != nil {
return 0, nil, e
}
if len(parts) > 2 || (len(parts) == 2 && parts[1] != "messages") {
return 0, nil, missing()
}
chat, e := a.chat(ctx, id, user)
if e != nil {
return 0, nil, e
}
if len(parts) == 1 && r.Method == "GET" {
return 200, chat, nil
}
if len(parts) == 2 {
if r.Method == "GET" {
scope := "messages:" + id
limit, c, e := a.pagination(r, scope)
if e != nil {
return 0, nil, e
}
page, e := a.history(ctx, id, limit, c, scope)
return 200, page, e
}
if r.Method == "POST" {
keys := r.Header.Values("Idempotency-Key")
if len(keys) != 1 || !idempotencyPattern.MatchString(keys[0]) {
return 0, nil, invalid()
}
body, e := readObject(w, r, 128*1024, []string{"text"})
if e != nil {
return 0, nil, e
}
text, e := textField(body, "text", 4000)
if e != nil {
return 0, nil, e
}
m, e := a.createMessage(ctx, id, user, keys[0], text)
return 201, m, e
}
}
}
return 0, nil, missing()
}
func (a *App) ServeHTTP(w http.ResponseWriter, r *http.Request) {
start := time.Now()
requestID := uuid()
status := 500
w.Header().Set("Content-Type", "application/json")
w.Header().Set("X-Request-Id", requestID)
w.Header().Set("X-Instance-Id", a.instance)
fail := func(err error) {
var e apiError
if !errors.As(err, &e) {
e = unavailable()
}
status = e.status
if status == 401 {
scheme := `Bearer realm="messenger"`
if r.URL.Path == "/api/v1/auth/sessions" {
scheme = `Basic realm="messenger", charset="UTF-8"`
}
w.Header().Set("WWW-Authenticate", scheme)
}
if status == 503 {
w.Header().Set("Retry-After", "1")
}
w.WriteHeader(status)
json.NewEncoder(w).Encode(map[string]any{"error": map[string]string{"code": e.code, "message": e.message, "request_id": requestID}})
}
defer func() {
if recover() != nil {
fail(apiError{500, "internal_error", "Internal server error"})
}
if env("REQUEST_LOG", "1") == "1" {
slog.Info("request", "method", r.Method, "status", status, "request_id", requestID, "duration_ms", time.Since(start).Milliseconds())
}
}()
ctx, cancel := context.WithTimeout(r.Context(), 5*time.Second)
defer cancel()
health := r.Method == "GET" && (r.URL.Path == "/health/live" || r.URL.Path == "/health/ready")
if !health {
select {
case a.slots <- struct{}{}:
defer func() { <-a.slots }()
default:
fail(unavailable())
return
}
}
code, value, err := a.dispatch(ctx, w, r)
if err != nil {
fail(err)
return
}
status = code
w.WriteHeader(code)
if code != 204 {
json.NewEncoder(w).Encode(value)
}
}
func run() error {
if env("SESSION_STORE", "valkey") != "valkey" {
return errors.New("SESSION_STORE must be valkey")
}
address := net.JoinHostPort(env("APP_HOST", "0.0.0.0"), env("APP_PORT", "8080"))
if len(os.Args) > 1 && os.Args[1] == "healthcheck" {
client := http.Client{Timeout: 2 * time.Second}
res, e := client.Get("http://127.0.0.1:" + env("APP_PORT", "8080") + "/health/ready")
if e != nil {
return errors.New("not ready")
}
defer res.Body.Close()
if res.StatusCode != 200 {
return errors.New("not ready")
}
return nil
}
dbURL, err := secretFile("DATABASE_URL_FILE")
if err != nil {
return err
}
cfg, err := pgxpool.ParseConfig(dbURL)
if err != nil {
return errors.New("invalid database configuration")
}
cfg.MaxConns = int32(positive("DB_POOL_MAX", 8))
cfg.MinConns = 0
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
cfg.ConnConfig.RuntimeParams["statement_timeout"] = "3000"
cfg.ConnConfig.RuntimeParams["lock_timeout"] = "1000"
cfg.ConnConfig.RuntimeParams["synchronous_commit"] = "on"
startup, cancel := context.WithTimeout(context.Background(), 45*time.Second)
defer cancel()
db, err := pgxpool.NewWithConfig(startup, cfg)
if err != nil {
return errors.New("database setup failed")
}
defer db.Close()
if len(os.Args) > 1 && os.Args[1] == "migrate" {
if err = migrate(startup, db); err != nil {
return fmt.Errorf("migration failed: %w", err)
}
slog.Info("migrations complete")
return nil
}
var schemaReady bool
if err = db.QueryRow(startup, "SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version='003_idempotency.sql')").Scan(&schemaReady); err != nil || !schemaReady {
return errors.New("run the migrate service before starting API")
}
cacheURL, err := secretFile("CACHE_URL_FILE")
if err != nil {
return err
}
signing, err := secretFile("CURSOR_SECRET_FILE")
if err != nil {
return err
}
if len(signing) < 32 {
return errors.New("cursor secret too short")
}
options, err := redis.ParseURL(cacheURL)
if err != nil {
return errors.New("invalid session store configuration")
}
options.PoolSize = 8
options.MaxActiveConns = 8
options.DialTimeout = time.Second
options.ReadTimeout = time.Second
options.WriteTimeout = time.Second
options.PoolTimeout = time.Second
options.MaxRetries = -1
options.ContextTimeoutEnabled = true
sessions := redis.NewClient(options)
defer sessions.Close()
hostname, err := os.Hostname()
if err != nil {
return errors.New("cannot identify instance")
}
a := &App{db: db, sessions: sessions, secret: []byte(signing), ttl: time.Duration(positive("SESSION_TTL_SECONDS", 3600)) * time.Second, slots: make(chan struct{}, positive("MAX_INFLIGHT", 32)), kdf: make(chan struct{}, 2), dummyHash: hashPassword("unknown-user-dummy-password"), instance: hostname, idempotencyTTL: time.Duration(positive("IDEMPOTENCY_TTL_SECONDS", 86400)) * time.Second}
if a.idempotencyTTL < 24*time.Hour {
return errors.New("idempotency retention must be at least 24 hours")
}
server := &http.Server{Addr: address, Handler: a, ReadHeaderTimeout: 2 * time.Second, ReadTimeout: 3 * time.Second, WriteTimeout: 8 * time.Second, IdleTimeout: 5 * time.Second, MaxHeaderBytes: 16 * 1024}
listener, err := net.Listen("tcp", address)
if err != nil {
return errors.New("listen failed")
}
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
defer stop()
if env("POOL_METRICS", "0") == "1" {
go func() {
ticker := time.NewTicker(time.Second)
defer ticker.Stop()
for {
select {
case <-ctx.Done():
return
case <-ticker.C:
s := db.Stat()
slog.Info("pool", "instance", a.instance, "acquired", s.AcquiredConns(), "max", s.MaxConns(), "empty_acquires", s.EmptyAcquireCount(), "acquire_ns", s.AcquireDuration().Nanoseconds())
}
}
}()
}
done := make(chan struct{})
go func() {
<-ctx.Done()
a.stopping.Store(true)
slog.Info("shutdown started")
// Allow two LB readiness checks to drain this backend before closing it.
time.Sleep(1500 * time.Millisecond)
shutdown, cancel := context.WithTimeout(context.Background(), 6*time.Second)
defer cancel()
err := server.Shutdown(shutdown)
if err != nil {
server.Close()
}
slog.Info("shutdown complete", "forced", err != nil)
close(done)
}()
slog.Info("listening", "address", address, "environment", env("APP_ENV", "lab"), "session_store", "valkey", "session_ttl_seconds", int(a.ttl.Seconds()))
if err = server.Serve(listener); err != nil && !errors.Is(err, http.ErrServerClosed) {
return errors.New("serve failed")
}
<-done
return nil
}
func main() {
slog.SetDefault(slog.New(slog.NewJSONHandler(os.Stdout, nil)))
if err := run(); err != nil {
slog.Error("startup failed", "reason", err.Error())
os.Exit(1)
}
}
+28
View File
@@ -0,0 +1,28 @@
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100),
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats(id),
user_id uuid NOT NULL REFERENCES users(id),
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members(user_id, chat_id);
CREATE INDEX chats_page_idx ON chats(created_at, id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id),
sender_id uuid NOT NULL,
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
);
CREATE INDEX messages_history_idx ON messages(chat_id, created_at, id);
+12
View File
@@ -0,0 +1,12 @@
-- PostgreSQL text cannot contain U+0000, although it is a valid JSON string
-- code point. Keep exact UTF-8 bytes for free-form API strings. The API checks
-- Unicode length/whitespace; these checks also bound stored byte lengths.
ALTER TABLE users DROP CONSTRAINT users_display_name_check;
ALTER TABLE users ALTER COLUMN display_name TYPE bytea USING convert_to(display_name,'UTF8');
ALTER TABLE users ADD CHECK (octet_length(display_name) BETWEEN 1 AND 400);
ALTER TABLE chats DROP CONSTRAINT chats_title_check;
ALTER TABLE chats ALTER COLUMN title TYPE bytea USING convert_to(title,'UTF8');
ALTER TABLE chats ADD CHECK (octet_length(title) BETWEEN 1 AND 400);
ALTER TABLE messages DROP CONSTRAINT messages_text_check;
ALTER TABLE messages ALTER COLUMN text TYPE bytea USING convert_to(text,'UTF8');
ALTER TABLE messages ADD CHECK (octet_length(text) BETWEEN 1 AND 16000);
+8
View File
@@ -0,0 +1,8 @@
CREATE TABLE message_keys (
user_id uuid NOT NULL REFERENCES users(id),
chat_id uuid NOT NULL REFERENCES chats(id),
key text NOT NULL CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'),
message_id uuid NOT NULL REFERENCES messages(id),
expires_at timestamptz NOT NULL,
PRIMARY KEY (user_id, chat_id, key)
);
+238
View File
@@ -0,0 +1,238 @@
package main
import (
"crypto/hmac"
"crypto/rand"
"crypto/sha256"
"encoding/base64"
"encoding/hex"
"encoding/json"
"errors"
"io"
"mime"
"net/http"
"net/url"
"regexp"
"strconv"
"strings"
"unicode/utf8"
)
type User struct {
ID string `json:"id"`
Username string `json:"username"`
DisplayName string `json:"display_name"`
CreatedAt string `json:"created_at"`
}
type Chat struct {
ID string `json:"id"`
Title string `json:"title"`
MemberIDs []string `json:"member_ids"`
CreatedAt string `json:"created_at"`
}
type Message struct {
ID string `json:"id"`
ChatID string `json:"chat_id"`
SenderID string `json:"sender_id"`
Text string `json:"text"`
CreatedAt string `json:"created_at"`
}
type Page[T any] struct {
Items []T `json:"items"`
NextCursor *string `json:"next_cursor"`
}
type apiError struct {
status int
code, message string
}
func (e apiError) Error() string { return e.code }
func invalid() apiError { return apiError{400, "invalid_request", "Invalid request"} }
func unavailable() apiError { return apiError{503, "unavailable", "Dependency unavailable"} }
func missing() apiError { return apiError{404, "not_found", "Object not found"} }
func unauthorized() apiError { return apiError{401, "unauthorized", "Valid Bearer session required"} }
func uuid() string {
b := make([]byte, 16)
if _, err := rand.Read(b); err != nil {
panic(err)
}
b[6] = (b[6] & 15) | 64
b[8] = (b[8] & 63) | 128
s := hex.EncodeToString(b)
return s[:8] + "-" + s[8:12] + "-" + s[12:16] + "-" + s[16:20] + "-" + s[20:]
}
var uuidPattern = regexp.MustCompile(`^[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}$`)
var usernamePattern = regexp.MustCompile(`^[a-z0-9_]{3,32}$`)
var idempotencyPattern = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`)
func normalizeID(s string) (string, error) {
if !uuidPattern.MatchString(s) {
return "", invalid()
}
return strings.ToLower(s), nil
}
func textField(m map[string]json.RawMessage, key string, max int) (string, error) {
var s string
b, ok := m[key]
if !ok || string(b) == "null" || json.Unmarshal(b, &s) != nil || strings.TrimSpace(s) == "" || utf8.RuneCountInString(s) > max {
return "", invalid()
}
return s, nil
}
// Reject duplicate keys, invalid UTF-8, and unpaired UTF-16 escapes rather than
// letting encoding/json silently replace malformed Unicode with U+FFFD.
func validUnicode(b []byte) bool {
if !utf8.Valid(b) {
return false
}
for i := 0; i < len(b); i++ {
if b[i] != '\\' {
continue
}
i++
if i >= len(b) {
return false
}
if b[i] != 'u' {
continue
}
if i+4 >= len(b) {
return false
}
n, e := strconv.ParseUint(string(b[i+1:i+5]), 16, 16)
if e != nil {
return false
}
i += 4
if n >= 0xDC00 && n <= 0xDFFF {
return false
}
if n >= 0xD800 && n <= 0xDBFF {
if i+6 >= len(b) || string(b[i+1:i+3]) != `\u` {
return false
}
low, e := strconv.ParseUint(string(b[i+3:i+7]), 16, 16)
if e != nil || low < 0xDC00 || low > 0xDFFF {
return false
}
i += 6
}
}
return true
}
func readObject(w http.ResponseWriter, r *http.Request, max int, fields []string) (map[string]json.RawMessage, error) {
media, params, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
if err != nil || media != "application/json" || (params["charset"] != "" && !strings.EqualFold(params["charset"], "utf-8")) {
return nil, apiError{415, "unsupported_media_type", "Expected application/json UTF-8"}
}
b, err := io.ReadAll(http.MaxBytesReader(w, r.Body, int64(max)))
if err != nil {
var large *http.MaxBytesError
if errors.As(err, &large) {
return nil, apiError{413, "payload_too_large", "Request body exceeds byte limit"}
}
return nil, invalid()
}
if !validUnicode(b) {
return nil, invalid()
}
d := json.NewDecoder(strings.NewReader(string(b)))
token, err := d.Token()
if err != nil || token != json.Delim('{') {
return nil, invalid()
}
m := map[string]json.RawMessage{}
for d.More() {
t, err := d.Token()
if err != nil {
return nil, invalid()
}
key, ok := t.(string)
if !ok {
return nil, invalid()
}
allowed := false
for _, f := range fields {
if key == f {
allowed = true
}
}
if !allowed || m[key] != nil {
return nil, invalid()
}
var value json.RawMessage
if d.Decode(&value) != nil {
return nil, invalid()
}
m[key] = value
}
if _, err = d.Token(); err != nil {
return nil, invalid()
}
if _, err = d.Token(); err != io.EOF {
return nil, invalid()
}
return m, nil
}
type cursor struct {
Scope string `json:"s"`
Time string `json:"t"`
ID string `json:"i"`
}
func (a *App) encodeCursor(scope, t, id string) string {
b, _ := json.Marshal(cursor{scope, t, id})
h := hmac.New(sha256.New, a.secret)
h.Write(b)
return base64.RawURLEncoding.EncodeToString(b) + "." + base64.RawURLEncoding.EncodeToString(h.Sum(nil))
}
func (a *App) pagination(r *http.Request, scope string) (int, cursor, error) {
values, e := url.ParseQuery(r.URL.RawQuery)
if e != nil {
return 0, cursor{}, invalid()
}
limit := 50
if v, ok := values["limit"]; ok {
if len(v) != 1 || v[0] == "" {
return 0, cursor{}, invalid()
}
for _, c := range v[0] {
if c < '0' || c > '9' {
return 0, cursor{}, invalid()
}
}
limit, e = strconv.Atoi(v[0])
if e != nil || limit < 1 || limit > 100 {
return 0, cursor{}, invalid()
}
}
c := cursor{}
if v, ok := values["cursor"]; ok {
if len(v) != 1 || len(v[0]) > 1024 {
return 0, c, invalid()
}
parts := strings.Split(v[0], ".")
if len(parts) != 2 {
return 0, c, invalid()
}
b, e := base64.RawURLEncoding.DecodeString(parts[0])
if e != nil {
return 0, c, invalid()
}
sig, e := base64.RawURLEncoding.DecodeString(parts[1])
if e != nil {
return 0, c, invalid()
}
h := hmac.New(sha256.New, a.secret)
h.Write(b)
if !hmac.Equal(sig, h.Sum(nil)) || json.Unmarshal(b, &c) != nil || c.Scope != scope {
return 0, c, invalid()
}
}
return limit, c, nil
}
+1
View File
@@ -0,0 +1 @@
matplotlib==3.10.7
+31
View File
@@ -0,0 +1,31 @@
"""Create local secrets once. Never print values or overwrite existing secrets."""
from pathlib import Path
import secrets
import shutil
root = Path(__file__).resolve().parents[1]
folder = root / 'secrets'
folder.mkdir(exist_ok=True)
folder.chmod(0o700)
def put(name, value):
path = folder / name
if not path.exists():
with path.open('x', encoding='utf-8', newline='\n') as f:
f.write(value + '\n')
# Parent directory is private; Compose mounts individual files for non-root services.
path.chmod(0o644)
return path.read_text(encoding='utf-8').strip()
pg = put('postgres_password', secrets.token_hex(32))
vk = put('valkey_password', secrets.token_hex(32))
put('database_url', f'postgres://messenger:{pg}@db:5432/messenger?sslmode=disable')
put('cache_url', f'redis://:{vk}@valkey:6379/0')
put('cursor_secret', secrets.token_hex(32))
put('valkey.conf', '\n'.join(['bind 0.0.0.0', 'protected-mode yes', f'requirepass {vk}',
'dir /data', 'appendonly yes', 'appendfsync always', 'maxmemory 128mb',
'maxmemory-policy noeviction', 'save 60 1000']))
if not (root / '.env').exists():
shutil.copyfile(root / '.env.example', root / '.env')
for name in ('restart.sh', 'stop-one.sh'):
(root / 'scripts' / name).chmod(0o755)
print('Local .env and secrets ready; existing values preserved.')
+18
View File
@@ -0,0 +1,18 @@
"""Run the unchanged public make targets with executable Linux action hooks."""
import argparse
from pathlib import Path
import subprocess
root = Path(__file__).resolve().parents[1]
p = argparse.ArgumentParser()
p.add_argument('target', choices=['check', 'validate', 'test', 'test-own', 'test-race', 'test-persistence', 'test-failover'])
args = p.parse_args()
command = ['docker', 'run', '--rm', '--network', 'mtusi-lab3_default',
'--mount', 'type=bind,source='+str(root)+',target=/workspace']
hooks = {'test-persistence': 'scripts/restart.sh', 'test-failover': 'scripts/stop-one.sh'}
if args.target in hooks:
command += ['--mount', 'type=bind,source=/var/run/docker.sock,target=/var/run/docker.sock']
command += ['mtusi-messenger:lab3-tests', 'make', args.target, 'BASE_URL=http://lb:8080']
if args.target in hooks:
command += ['ACTION_SCRIPT='+hooks[args.target]]
raise SystemExit(subprocess.call(command, cwd=root))
+93
View File
@@ -0,0 +1,93 @@
"""Cross-platform operator commands for the local lab; never delete volumes."""
import argparse
import datetime as dt
import json
from pathlib import Path
import subprocess
import sys
import time
import urllib.request
ROOT = Path(__file__).resolve().parents[1]
def docker(*args, capture=False, env=None):
result = subprocess.run(['docker', *args], cwd=ROOT, check=True,
text=True, encoding='utf-8', capture_output=capture, env=env)
return result.stdout.strip() if capture else None
def replicas():
ids = docker('compose', 'ps', '-q', 'api', capture=True).split()
if not ids:
return []
# Only operational fields; never persist Env or secret values.
raw = docker('inspect', '--format', '{{json .Config.Hostname}} {{json .Id}}', *ids, capture=True)
return [dict(zip(('instance', 'id'), (json.loads(x) for x in line.split()))) for line in raw.splitlines()]
def ready(count=2, base='http://127.0.0.1:8080'):
deadline = time.monotonic()+90
observed = set()
while time.monotonic() < deadline:
try:
with urllib.request.urlopen(base+'/health/ready', timeout=2) as response:
observed.add(response.headers['X-Instance-Id'])
if len(observed) >= count:
return
except OSError:
observed.clear()
time.sleep(.2)
raise RuntimeError('expected ready replicas did not appear through LB')
def main():
p = argparse.ArgumentParser(description=__doc__)
p.add_argument('action', choices=['start','stop','restart','restore','status','stop-one','rolling'])
p.add_argument('--instance')
args = p.parse_args()
if args.action == 'start':
subprocess.run([sys.executable, '-X', 'utf8', 'scripts/bootstrap.py'], cwd=ROOT, check=True)
docker('compose', 'up', '-d', '--build', '--wait')
ready()
elif args.action == 'stop':
docker('compose', 'down')
elif args.action == 'restart':
docker('compose', 'restart', 'db', 'valkey', 'api', 'lb')
ready()
elif args.action == 'restore':
docker('compose', 'up', '-d', '--no-deps', '--scale', 'api=2', 'api')
ready()
elif args.action == 'status':
docker('compose', 'ps', '-a')
print(json.dumps(replicas(), indent=2))
ids = docker('compose','ps','-a','-q',capture=True).split()
template = '[{{json .Id}},{{json .Name}},{{json .Config.Hostname}},{{json .State.Status}},{{json .State.StartedAt}},{{.HostConfig.NanoCpus}},{{.HostConfig.Memory}},{{json .NetworkSettings.Ports}},{{json .Config.Image}}]'
containers = [dict(zip(('id','name','instance','state','started_at','nano_cpus','memory_bytes','ports','image'),json.loads(line)))
for line in docker('inspect','--format',template,*ids,capture=True).splitlines()]
query = "SELECT json_build_object('users',(SELECT count(*) FROM users),'chats',(SELECT count(*) FROM chats),'messages',(SELECT count(*) FROM messages),'idempotency_keys',(SELECT count(*) FROM message_keys),'database_bytes',pg_database_size(current_database()),'fsync',current_setting('fsync'),'synchronous_commit',current_setting('synchronous_commit'),'full_page_writes',current_setting('full_page_writes'))"
counts = json.loads(docker('compose','exec','-T','db','psql','-U','messenger','-d','messenger','-At','-c',query,capture=True))
snapshot = {'timestamp_utc':dt.datetime.now(dt.timezone.utc).isoformat(),'containers':containers,'database':counts}
folder = ROOT/'evidence'
folder.mkdir(exist_ok=True)
(folder/'infrastructure.json').write_text(json.dumps(snapshot,indent=2)+'\n',encoding='utf-8')
elif args.action == 'stop-one':
selected = [r for r in replicas() if r['instance']==args.instance]
if len(selected) != 1:
p.error('--instance must match exactly one running API hostname (see status)')
docker('stop', '--time', '9', selected[0]['id'])
else:
original = replicas()
if len(original) != 2:
p.error('rolling replacement requires exactly two running replicas')
for old in original:
docker('compose', 'up', '-d', '--no-deps', '--scale', 'api=3', 'api')
ready(3)
docker('stop', '--time', '9', old['id'])
docker('rm', old['id'])
ready(2)
print(json.dumps({'before':original, 'after':replicas()}, indent=2))
if __name__ == '__main__':
main()
+42
View File
@@ -0,0 +1,42 @@
param([string]$BaseUrl = 'http://127.0.0.1:8080')
# Dot-source this script to keep the synthetic session in the current terminal.
$Lab = @{ BaseUrl = $BaseUrl.TrimEnd('/'); Headers = @{} }
function Invoke-LabApi {
param(
[string]$Method,
[string]$Path,
[object]$Body = $null,
[hashtable]$Headers = $Lab.Headers
)
$request = @{ Method=$Method; Uri=($Lab.BaseUrl+$Path); Headers=$Headers; UseBasicParsing=$true; ErrorAction='Stop' }
if ($null -ne $Body) {
$request.ContentType = 'application/json; charset=utf-8'
$request.Body = [Text.Encoding]::UTF8.GetBytes(($Body | ConvertTo-Json -Depth 8 -Compress))
}
$response = Invoke-WebRequest @request
$Lab.LastInstance = $response.Headers['X-Instance-Id'] -join ','
Write-Host ('HTTP {0}; X-Instance-Id={1}; X-Request-Id={2}' -f [int]$response.StatusCode, $Lab.LastInstance, ($response.Headers['X-Request-Id'] -join ','))
if ($response.Content) { return ($response.Content | ConvertFrom-Json) }
}
$suffix = [guid]::NewGuid().ToString('N').Substring(0,10)
$password = 'Synthetic-' + [guid]::NewGuid().ToString('N')
$username = 'manual_a_' + $suffix
$Lab.Alice = Invoke-LabApi POST '/api/v1/users' @{username=$username; display_name='Alice'; password=$password}
$Lab.Bob = Invoke-LabApi POST '/api/v1/users' @{username=('manual_b_'+$suffix); display_name='Bob'; password=$password}
$basic = [Convert]::ToBase64String([Text.Encoding]::UTF8.GetBytes(($username+':'+$password)))
$session = Invoke-LabApi POST '/api/v1/auth/sessions' -Headers @{Authorization=('Basic '+$basic)}
$Lab.Headers = @{ Authorization=('Bearer '+$session.token) }
$Lab.Chat = Invoke-LabApi POST '/api/v1/chats' @{title='Manual lab3'; member_ids=@($Lab.Alice.id,$Lab.Bob.id)}
$Lab.MessagePath = '/api/v1/chats/'+$Lab.Chat.id+'/messages'
$Lab.Key = [guid]::NewGuid().ToString('N')
$Lab.Headers['Idempotency-Key'] = $Lab.Key
$Lab.Body = @{ text='Manual idempotent message' }
$Lab.Message = Invoke-LabApi POST $Lab.MessagePath $Lab.Body
for ($i=0; $i -lt 4; $i++) {
$replay = Invoke-LabApi POST $Lab.MessagePath $Lab.Body
if ($replay.id -ne $Lab.Message.id) { throw 'Replay created a duplicate' }
}
Remove-Variable password,basic,session
Write-Host ('Ready: chat={0}; message={1}. Session is kept in $Lab; do not print or save its Authorization header.' -f $Lab.Chat.id,$Lab.Message.id)
+243
View File
@@ -0,0 +1,243 @@
"""Grade-5 track 1: controlled scaling, saturation sweep and pool tuning."""
import argparse
import csv
import datetime as dt
import io
import json
import os
from pathlib import Path
import platform
import statistics
import subprocess
import threading
import time
from manage import ROOT, docker, ready
def sql(query):
return json.loads(docker('compose','exec','-T','db','psql','-U','messenger','-d','messenger','-At','-c',query,capture=True))
def db_stats():
return sql("SELECT row_to_json(s) FROM (SELECT xact_commit,xact_rollback,blks_read,blks_hit,tup_inserted,deadlocks FROM pg_stat_database WHERE datname=current_database()) s")
def lb_stats():
text = docker('compose','exec','-T','lb','wget','-q','-O','-','http://127.0.0.1:8404/stats;csv',capture=True)
rows = list(csv.DictReader(io.StringIO(text.removeprefix('# '))))
return [{k:r.get(k) for k in ('svname','status','qcur','qmax','scur','smax','econ','eresp','stot')} for r in rows if r.get('pxname')=='api']
def configure(n, cpu, memory, pool):
env = dict(os.environ, DB_CPUS='1.0', API_REPLICAS=str(n), API_CPUS=str(cpu), API_MEMORY=str(memory)+'m',
DB_POOL_MAX=str(pool), POOL_METRICS='1', REQUEST_LOG='0')
docker('compose','up','-d','--no-deps','--force-recreate','--scale','api='+str(n),'api',env=env)
ready(n)
return env
def measure(config, duration, warmup):
began = dt.datetime.now(dt.timezone.utc).isoformat()
before, lb_before = db_stats(), lb_stats()
samples = []
finished = threading.Event()
sample_errors = []
def monitor():
while not finished.is_set():
try:
ids = docker('ps','-q','--filter','label=com.docker.compose.project=mtusi-lab3',capture=True).split()
ids += docker('ps','-q','--filter','label=mtusi.lab3.role=load',capture=True).split()
text = docker('stats','--no-stream','--format','{{json .}}',*ids,capture=True)
stats = [json.loads(line) for line in text.splitlines() if line.strip()]
waits = sql("SELECT coalesce(json_object_agg(kind,n),'{}') FROM (SELECT coalesce(wait_event_type,'CPU/runnable') kind,count(*) n FROM pg_stat_activity WHERE datname=current_database() AND pid<>pg_backend_pid() AND state='active' GROUP BY 1) s")
samples.append({'time':dt.datetime.now(dt.timezone.utc).isoformat(),'containers':stats,'db_active_waits':waits})
except (subprocess.CalledProcessError, ValueError) as error:
sample_errors.append(type(error).__name__)
finished.wait(.5)
thread = threading.Thread(target=monitor)
thread.start()
try:
output = docker('run','--rm','--network','mtusi-lab3_default','--cpus','2','--memory','256m',
'--label','mtusi.lab3.role=load','mtusi-messenger:lab3-load',
'-duration',str(duration)+'s','-warmup',str(warmup)+'s',
'-concurrency',str(config['concurrency']),capture=True)
result = json.loads(output)
finally:
finished.set()
thread.join()
after = db_stats()
logs = docker('compose','logs','--no-log-prefix','--since',began,'api',capture=True)
pools = {}
for line in logs.splitlines():
try:
item = json.loads(line)
except ValueError:
continue
if item.get('msg')=='pool':
pools.setdefault(item['instance'],[]).append(item)
pool_summary = {}
for instance, values in pools.items():
pool_summary[instance] = {'max_acquired':max(v['acquired'] for v in values),'max_connections':values[-1]['max'],
'empty_acquires_delta':values[-1]['empty_acquires']-values[0]['empty_acquires'],
'acquire_seconds_delta':(values[-1]['acquire_ns']-values[0]['acquire_ns'])/1e9}
if len(result['instances']) != config['replicas']:
raise RuntimeError('load did not reach the configured number of replicas')
if not samples or not pool_summary:
raise RuntimeError('missing CPU/DB/pool observations')
return dict(config, result=result, samples=samples, sample_errors=sample_errors, pool_stats=pool_summary,
db_delta={k:after[k]-before[k] for k in before},lb_before=lb_before,lb_after=lb_stats())
def summarize(rows, folder):
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
grouped = {}
for row in rows:
key = (row['series'],row['replicas'],row['concurrency'],row['pool'])
grouped.setdefault(key,[]).append(row)
summaries = []
for key, values in sorted(grouped.items()):
rps = [r['result']['successful_rps'] for r in values]
summaries.append({'series':key[0],'replicas':key[1],'concurrency':key[2],'pool':key[3],
'rps_median':statistics.median(rps),'rps_min':min(rps),'rps_max':max(rps),
'p95_ms_median':statistics.median(r['result']['latency_ms']['p95'] for r in values),
'failed_requests':sum(r['result']['failed_requests'] for r in values),
'successful_requests':sum(r['result']['successful_requests'] for r in values)})
with (folder/'research.csv').open('w',newline='',encoding='utf-8') as output:
writer = csv.DictWriter(output,fieldnames=list(summaries[0]))
writer.writeheader()
writer.writerows(summaries)
fig, axes = plt.subplots(1,2,figsize=(11,4),layout='constrained')
labels = {'fixed':'fixed total: 2 CPU / 1024 MiB','growing':'growing: 1 CPU / 512 MiB per API'}
for series in ('fixed','growing'):
points = sorted((s for s in summaries if s['series']==series),key=lambda p:p['replicas'])
axes[0].errorbar([p['replicas'] for p in points],[p['rps_median'] for p in points],
yerr=[[p['rps_median']-p['rps_min'] for p in points],[p['rps_max']-p['rps_median'] for p in points]],marker='o',capsize=4,label=labels[series])
axes[1].plot([p['replicas'] for p in points],[p['p95_ms_median'] for p in points],marker='o',label=labels[series])
for axis in axes:
axis.set_xlabel('API replicas')
axis.set_xticks([1,2,4])
axis.grid(alpha=.25)
axis.legend(fontsize=8)
axis.set_ylim(bottom=0)
fig.suptitle('3 repetitions; 15 s after 3 s warm-up; 32 closed-loop clients')
axes[0].set_ylabel('Successful HTTP confirmations / second')
axes[0].set_title('Median and range across repetitions')
axes[1].set_ylabel('p95 of successful requests, ms')
fig.savefig(folder/'scaling.png',dpi=160)
plt.close(fig)
sweep = sorted((s for s in summaries if s['series']=='saturation'),key=lambda p:p['concurrency'])
fig, axes = plt.subplots(1,3,figsize=(12,4),layout='constrained')
clients = [p['concurrency'] for p in sweep]
axes[0].errorbar(clients,[p['rps_median'] for p in sweep],
yerr=[[p['rps_median']-p['rps_min'] for p in sweep],[p['rps_max']-p['rps_median'] for p in sweep]],marker='o',capsize=4)
axes[0].set_ylabel('Successful confirmations / second')
axes[1].plot(clients,[p['p95_ms_median'] for p in sweep],marker='o')
axes[1].set_ylabel('p95 of successful requests, ms')
axes[2].plot(clients,[100*p['failed_requests']/(p['failed_requests']+p['successful_requests']) for p in sweep],marker='o',color='tab:red')
axes[2].set_ylabel('Pooled failed attempts, %')
for axis in axes:
axis.set_xscale('log',base=2)
axis.set_xticks(clients,labels=[str(c) for c in clients])
axis.set_xlabel('Concurrent clients')
axis.set_ylim(bottom=0)
axis.grid(alpha=.25)
fig.suptitle('Saturation: 4 API replicas; 3 repetitions; 15 s measurements')
fig.savefig(folder/'saturation.png',dpi=160)
plt.close(fig)
tuning = {s['pool']:s for s in summaries if s['series']=='pool-tuning' and s['concurrency']==32}
if set(tuning)!={1,8}:
raise RuntimeError('controlled pool tuning at concurrency 32 is missing; continue with --resume')
improvement = tuning[8]['rps_median']/tuning[1]['rps_median']-1
confirmed = improvement>.05 and tuning[8]['failed_requests']<=tuning[1]['failed_requests']
lines = ['# Измерения трека 1','',
'Fixed: суммарно 2 CPU / 1024 MiB API, суммарный пул 8. Growing: 1 CPU / 512 MiB и пул 8 на каждую API. PostgreSQL 1 CPU / 512 MiB, LB 0.5 CPU / 128 MiB, Valkey 0.5 CPU / 256 MiB, генератор 2 CPU / 256 MiB.','',
'| Серия | API | Клиенты | Пул/реплика | RPS median [min;max] | p95 ms | Ошибки |',
'|---|---:|---:|---:|---:|---:|---:|']
for s in summaries:
lines.append('| {series} | {replicas} | {concurrency} | {pool} | {rps_median:.1f} [{rps_min:.1f}; {rps_max:.1f}] | {p95_ms_median:.1f} | {failed_requests} |'.format(**s))
lines += ['',f'Контролируемая настройка пула 1 → 8 (2 API, 32 клиента): изменение median RPS {improvement:+.1%}. Критерий подтверждения: >5% без увеличения общего числа ошибок. Подтверждено: {confirmed}.',
'', 'Диагностика: research.json содержит CPU/RAM каждого контейнера, активные ожидания PostgreSQL, счётчики ожидания пула и очереди/ошибки HAProxy. Pool-tuning — отдельный намеренно ограниченный сценарий; он не выдаётся за дефект исходного пула 8.',
'', 'Нужно интерпретировать насыщение по совместным данным: занятый пул и рост empty_acquires указывают на очередь пула; PostgreSQL около 100% при лимите 1 CPU и отсутствие прироста RPS указывают на CPU БД; очередь/CPU LB — на LB. Один плоский график не доказывает причину.',
'', 'Ограничения: один Docker Desktop/хост; closed-loop и coordinated omission; p95 только успехов; контейнерные CPU/RAM и PostgreSQL-счётчики включают прогрев; история растёт; дисковый кэш между сериями не сбрасывается; max RPS промышленной системы не заявляется.','']
(folder/'research.md').write_text('\n'.join(lines),encoding='utf-8')
return confirmed
def main():
p = argparse.ArgumentParser(description=__doc__)
p.add_argument('--duration',type=int,default=15)
p.add_argument('--warmup',type=int,default=3)
p.add_argument('--repeats',type=int,default=3)
p.add_argument('--resume',action='store_true',help='reuse completed runs with identical measurement parameters')
p.add_argument('--include-overload',action='store_true',help='also reproduce the rejected 64-client pool experiment')
args = p.parse_args()
if args.duration<10 or args.warmup<2 or args.repeats<3:
p.error('research needs duration>=10, warmup>=2, repeats>=3')
import matplotlib # fail before altering running services if dependencies are absent
folder = ROOT/'evidence'
folder.mkdir(exist_ok=True)
metadata = {'timestamp_utc':dt.datetime.now(dt.timezone.utc).isoformat(),'host':platform.platform(),
'host_cpu':platform.processor(),'logical_cpus':os.cpu_count(),
'docker':json.loads(docker('info','--format','{"cpus":{{.NCPU}},"memory":{{.MemTotal}},"version":"{{.ServerVersion}}","os":"{{.OperatingSystem}}"}',capture=True)),
'profile':vars(args),'hypothesis':'Shared DB/LB or pool eventually limits scaling; more API replicas alone cannot remove that limit.'}
rows = []
saved = folder/'research.json'
if args.resume and saved.exists():
previous = json.loads(saved.read_text(encoding='utf-8'))
old_profile = previous['metadata']['profile']
if any(old_profile[k]!=getattr(args,k) for k in ('duration','warmup','repeats')):
p.error('saved measurement parameters differ; cannot resume')
metadata = previous['metadata']
rows = previous['runs']
# Upgrade early evidence where the pool telemetry shadowed its setting.
for row in rows:
if isinstance(row.get('pool'),dict):
row['pool_stats'] = row['pool']
row['pool'] = next(iter(row['pool_stats'].values()))['max_connections']
if row['series']=='pool-tuning' and row['concurrency']==64:
row['series']='pool-overload'
print('Reusing %d completed measurements' % len(rows),flush=True)
try:
for repeat in range(args.repeats):
configs = []
for series in ('fixed','growing'):
order = [1,2,4]
order = order[repeat%3:]+order[:repeat%3]
for n in order:
configs.append({'series':series,'replicas':n,'cpu_per_api':2/n if series=='fixed' else 1,
'memory_mib_per_api':1024//n if series=='fixed' else 512,
'pool':8//n if series=='fixed' else 8,'concurrency':32,'repeat':repeat+1})
for pool in ([1,8] if repeat%2==0 else [8,1]):
configs.append({'series':'pool-tuning','replicas':2,'cpu_per_api':1,'memory_mib_per_api':512,'pool':pool,'concurrency':32,'repeat':repeat+1})
if args.include_overload:
for pool in ([1,8] if repeat%2==0 else [8,1]):
configs.append({'series':'pool-overload','replicas':2,'cpu_per_api':1,'memory_mib_per_api':512,'pool':pool,'concurrency':64,'repeat':repeat+1})
for c in ([1,8,32,64,128] if repeat%2==0 else [128,64,32,8,1]):
configs.append({'series':'saturation','replicas':4,'cpu_per_api':1,'memory_mib_per_api':512,'pool':8,'concurrency':c,'repeat':repeat+1})
previous = None
for config in configs:
if any(all(row[k]==config[k] for k in ('series','replicas','concurrency','pool','repeat')) for row in rows):
continue
state = (config['replicas'],config['cpu_per_api'],config['memory_mib_per_api'],config['pool'])
if state!=previous:
configure(*state)
previous = state
print('Measuring '+json.dumps(config),flush=True)
rows.append(measure(config,args.duration,args.warmup))
(folder/'research.json').write_text(json.dumps({'metadata':metadata,'runs':rows},indent=2)+'\n',encoding='utf-8')
confirmed = summarize(rows,folder)
if not confirmed:
raise RuntimeError('pool tuning hypothesis was not confirmed; see research.md before claiming grade 5')
finally:
docker('compose','up','-d','--no-deps','--force-recreate','--scale','api=2','api')
ready(2)
print('PASS: repeated scaling/saturation series and pool improvement measured; see evidence/research.md')
if __name__=='__main__':
main()
+8
View File
@@ -0,0 +1,8 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
mkdir -p evidence
ids=$(docker compose ps -q db valkey api lb)
docker inspect --format '{{.Id}} {{index .Config.Labels "com.docker.compose.service"}} {{.State.StartedAt}} {{.State.Status}}' $ids > evidence/restart-before.txt
docker compose restart db valkey api lb
docker inspect --format '{{.Id}} {{index .Config.Labels "com.docker.compose.service"}} {{.State.StartedAt}} {{.State.Status}}' $ids > evidence/restart-after.txt
+16
View File
@@ -0,0 +1,16 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
for id in $(docker compose ps -q api); do
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$id")
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
mkdir -p evidence
docker inspect --format '{{.Id}} {{.State.Status}} {{.State.StartedAt}}' "$id" > evidence/stopped-before.txt
docker stop --time 9 "$id" > /dev/null
docker inspect --format '{{.Id}} {{.State.Status}} {{.State.FinishedAt}} {{.State.ExitCode}}' "$id" > evidence/stopped-after.txt
exit 0
fi
done
echo 'Target is not a running API container' >&2
exit 1
+92
View File
@@ -0,0 +1,92 @@
"""Run the complete lab-3 verification from an ordinary operator terminal."""
import argparse
import datetime as dt
import hashlib
import json
import os
from pathlib import Path
import subprocess
import sys
ROOT = Path(__file__).resolve().parents[1]
EVIDENCE = ROOT/'evidence'
def public_integrity():
names = subprocess.check_output(['git','ls-files','--','tests','contracts'],cwd=ROOT,text=True).splitlines()
hashes = {}
for name in names:
original = subprocess.check_output(['git','show','HEAD:'+name],cwd=ROOT).replace(b'\r\n',b'\n')
current = (ROOT/name).read_bytes().replace(b'\r\n',b'\n')
if current != original:
raise RuntimeError('protected source changed: '+name)
hashes[name] = hashlib.sha256(current).hexdigest()
return hashes
def main():
p = argparse.ArgumentParser(description=__doc__)
p.add_argument('--no-research',action='store_true',help='run levels 3/4 only; does not certify track 5')
p.add_argument('--resume',action='store_true',help='reuse completed work; API/infrastructure sources must be unchanged')
p.add_argument('--include-overload',action='store_true',help='also reproduce the additional overload experiment')
args = p.parse_args()
EVIDENCE.mkdir(exist_ok=True)
hashes = public_integrity()
results = []
previous_checks = {}
status = EVIDENCE/'verification.json'
if args.resume and status.exists():
previous_checks = {item['check']:item for item in json.loads(status.read_text(encoding='utf-8'))['checks'] if item['exit_code']==0}
env = dict(os.environ,PYTHONUTF8='1',PYTHONUNBUFFERED='1',GOTELEMETRY='off')
def run(name,command):
if args.resume and name in previous_checks and not name.startswith('final-') and name!='research':
results.append(previous_checks[name])
print('Reusing passed check: '+name,flush=True)
return
print('Running '+name+' ...',flush=True)
result = subprocess.run(command,cwd=ROOT,env=env,text=True,encoding='utf-8',errors='replace',stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
(EVIDENCE/(name+'.txt')).write_text(result.stdout,encoding='utf-8')
results.append({'check':name,'exit_code':result.returncode,'command':command})
(EVIDENCE/'verification.json').write_text(json.dumps({'timestamp_utc':dt.datetime.now(dt.timezone.utc).isoformat(),'complete':False,'checks':results},indent=2)+'\n',encoding='utf-8')
if result.returncode:
print(result.stdout[-5000:])
raise RuntimeError(name+' failed; see evidence/'+name+'.txt')
print('PASS: '+name,flush=True)
python = sys.executable
run('bootstrap',[python,'-X','utf8','scripts/bootstrap.py'])
run('docker-info',['docker','info','--format','{{.ServerVersion}} {{.NCPU}} CPU {{.MemTotal}} bytes'])
run('compose-check',['docker','compose','config','--quiet'])
run('build-start',['docker','compose','up','-d','--build','--wait'])
run('build-tests',['docker','build','-f','Dockerfile.tests','-t','mtusi-messenger:lab3-tests','.'])
for target in ('check','validate','test','test-own','test-race','test-persistence','test-failover'):
run(target,[python,'-X','utf8','scripts/linux_tests.py',target])
run('restore',[python,'-X','utf8','scripts/manage.py','restore'])
run('failures',[python,'-X','utf8','student-tests/failures.py'])
if not args.no_research:
run('build-load',['docker','build','--target','load','-t','mtusi-messenger:lab3-load','.'])
venv = ROOT/'.venv'
vpython = venv/('Scripts/python.exe' if os.name=='nt' else 'bin/python')
if not vpython.exists():
run('research-env',[python,'-m','venv',str(venv)])
run('research-dependencies',[str(vpython),'-m','pip','install','--disable-pip-version-check','-r','requirements-research.txt'])
research_command = [str(vpython),'-X','utf8','scripts/research.py']
if args.resume:
research_command.append('--resume')
if args.include_overload:
research_command.append('--include-overload')
run('research',research_command)
run('final-smoke',[python,'-X','utf8','tests/smoke.py','--base-url','http://127.0.0.1:8080'])
run('final-own',[python,'-X','utf8','student-tests/acceptance.py','--base-url','http://127.0.0.1:8080'])
if public_integrity()!=hashes:
raise RuntimeError('public sources changed during verification')
(EVIDENCE/'public-integrity.json').write_text(json.dumps(hashes,indent=2)+'\n',encoding='utf-8')
run('final-containers',[python,'-X','utf8','scripts/manage.py','status'])
complete = not args.no_research
(EVIDENCE/'verification.json').write_text(json.dumps({'timestamp_utc':dt.datetime.now(dt.timezone.utc).isoformat(),'complete':complete,'levels_3_4_passed':True,'track_5_measured':complete,'checks':results},indent=2)+'\n',encoding='utf-8')
print('Verification finished. '+('Full track-1 evidence is ready.' if complete else 'Levels 3/4 only; run without --no-research for track 5.'))
if __name__=='__main__':
main()
+223
View File
@@ -0,0 +1,223 @@
package main
import (
"context"
"crypto/sha256"
"embed"
"encoding/hex"
"errors"
"fmt"
"sort"
"time"
"github.com/jackc/pgx/v5"
"github.com/jackc/pgx/v5/pgconn"
"github.com/jackc/pgx/v5/pgxpool"
)
//go:embed migrations/*.sql
var migrations embed.FS
func migrate(ctx context.Context, db *pgxpool.Pool) error {
conn, err := db.Acquire(ctx)
if err != nil {
return err
}
defer conn.Release()
if _, err = conn.Exec(ctx, "SELECT pg_advisory_lock(202602)"); err != nil {
return err
}
defer conn.Exec(context.Background(), "SELECT pg_advisory_unlock(202602)")
if _, err = conn.Exec(ctx, "CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, checksum text NOT NULL, applied_at timestamptz NOT NULL DEFAULT clock_timestamp())"); err != nil {
return err
}
entries, err := migrations.ReadDir("migrations")
if err != nil {
return err
}
sort.Slice(entries, func(i, j int) bool { return entries[i].Name() < entries[j].Name() })
for _, entry := range entries {
raw, err := migrations.ReadFile("migrations/" + entry.Name())
if err != nil {
return err
}
sum := sha256.Sum256(raw)
checksum := hex.EncodeToString(sum[:])
var previous string
err = conn.QueryRow(ctx, "SELECT checksum FROM schema_migrations WHERE version=$1", entry.Name()).Scan(&previous)
if err == nil {
if previous != checksum {
return fmt.Errorf("migration checksum mismatch: %s", entry.Name())
}
continue
}
if !errors.Is(err, pgx.ErrNoRows) {
return err
}
tx, err := conn.Begin(ctx)
if err != nil {
return err
}
if _, err = tx.Exec(ctx, string(raw)); err == nil {
_, err = tx.Exec(ctx, "INSERT INTO schema_migrations(version,checksum) VALUES($1,$2)", entry.Name(), checksum)
}
if err != nil {
tx.Rollback(ctx)
return err
}
if err = tx.Commit(ctx); err != nil {
return err
}
}
return nil
}
func dbError(err error) error {
if err == nil {
return nil
}
if errors.Is(err, pgx.ErrNoRows) {
return missing()
}
var pe *pgconn.PgError
if errors.As(err, &pe) {
switch pe.Code {
case "23505":
return apiError{409, "conflict", "Username already exists"}
case "23503", "23514", "22P02", "22021":
return invalid()
}
}
return unavailable()
}
func stamp(t time.Time) string { return t.UTC().Format("2006-01-02T15:04:05.000000Z") }
// pgx BytesScanner preserves every validated UTF-8 code point, including NUL.
type utf8String struct{ dst *string }
func (s utf8String) ScanBytes(value []byte) error {
*s.dst = string(value)
return nil
}
func scanUser(row pgx.Row) (User, error) {
var u User
var t time.Time
err := row.Scan(&u.ID, &u.Username, utf8String{&u.DisplayName}, &t)
u.CreatedAt = stamp(t)
return u, dbError(err)
}
func (a *App) user(ctx context.Context, id string) (User, error) {
return scanUser(a.db.QueryRow(ctx, "SELECT id::text,username,display_name,created_at FROM users WHERE id=$1", id))
}
func (a *App) createChat(ctx context.Context, title string, ids []string) (Chat, error) {
c := Chat{ID: uuid(), Title: title, MemberIDs: ids}
var t time.Time
tx, err := a.db.Begin(ctx)
if err != nil {
return c, unavailable()
}
defer tx.Rollback(ctx)
err = tx.QueryRow(ctx, "INSERT INTO chats(id,title) VALUES($1,$2) RETURNING created_at", c.ID, []byte(title)).Scan(&t)
if err != nil {
return c, dbError(err)
}
// FK failure on any participant rolls back the chat and earlier participants.
for _, id := range ids {
if _, err = tx.Exec(ctx, "INSERT INTO chat_members(chat_id,user_id) VALUES($1,$2)", c.ID, id); err != nil {
return c, dbError(err)
}
}
if err = tx.Commit(ctx); err != nil {
return c, unavailable()
}
c.CreatedAt = stamp(t)
return c, nil
}
func (a *App) chat(ctx context.Context, id, user string) (Chat, error) {
c := Chat{}
var t time.Time
err := a.db.QueryRow(ctx, `SELECT c.id::text,c.title,c.created_at,
ARRAY(SELECT user_id::text FROM chat_members WHERE chat_id=c.id ORDER BY user_id)
FROM chats c WHERE c.id=$1 AND EXISTS(SELECT 1 FROM chat_members WHERE chat_id=c.id AND user_id=$2)`, id, user).Scan(&c.ID, utf8String{&c.Title}, &t, &c.MemberIDs)
c.CreatedAt = stamp(t)
return c, dbError(err)
}
func boundary(c cursor) (time.Time, string, error) {
if c.ID == "" {
return time.Date(1, 1, 1, 0, 0, 0, 0, time.UTC), "00000000-0000-0000-0000-000000000000", nil
}
t, err := time.Parse(time.RFC3339Nano, c.Time)
if err != nil {
return t, "", invalid()
}
id, err := normalizeID(c.ID)
return t, id, err
}
func (a *App) history(ctx context.Context, id string, limit int, c cursor, scope string) (Page[Message], error) {
result := Page[Message]{Items: []Message{}}
t, last, err := boundary(c)
if err != nil {
return result, err
}
rows, err := a.db.Query(ctx, `SELECT id::text,chat_id::text,sender_id::text,text,created_at FROM messages
WHERE chat_id=$1 AND (created_at,id)>($2,$3) ORDER BY messages.created_at,messages.id LIMIT $4`, id, t, last, limit+1)
if err != nil {
return result, unavailable()
}
defer rows.Close()
for rows.Next() {
var m Message
var created time.Time
if err = rows.Scan(&m.ID, &m.ChatID, &m.SenderID, utf8String{&m.Text}, &created); err != nil {
return result, unavailable()
}
m.CreatedAt = stamp(created)
result.Items = append(result.Items, m)
}
if rows.Err() != nil {
return result, unavailable()
}
if len(result.Items) > limit {
result.Items = result.Items[:limit]
m := result.Items[limit-1]
next := a.encodeCursor(scope, m.CreatedAt, m.ID)
result.NextCursor = &next
}
return result, nil
}
func (a *App) listChats(ctx context.Context, user string, limit int, c cursor, scope string) (Page[Chat], error) {
result := Page[Chat]{Items: []Chat{}}
t, last, err := boundary(c)
if err != nil {
return result, err
}
rows, err := a.db.Query(ctx, `SELECT c.id::text,c.title,c.created_at,
ARRAY(SELECT user_id::text FROM chat_members WHERE chat_id=c.id ORDER BY user_id)
FROM chats c JOIN chat_members own ON own.chat_id=c.id AND own.user_id=$1
WHERE (c.created_at,c.id)>($2,$3) ORDER BY c.created_at,c.id LIMIT $4`, user, t, last, limit+1)
if err != nil {
return result, unavailable()
}
defer rows.Close()
for rows.Next() {
var chat Chat
var created time.Time
if err = rows.Scan(&chat.ID, utf8String{&chat.Title}, &created, &chat.MemberIDs); err != nil {
return result, unavailable()
}
chat.CreatedAt = stamp(created)
result.Items = append(result.Items, chat)
}
if rows.Err() != nil {
return result, unavailable()
}
if len(result.Items) > limit {
result.Items = result.Items[:limit]
v := result.Items[limit-1]
next := a.encodeCursor(scope, v.CreatedAt, v.ID)
result.NextCursor = &next
}
return result, nil
}
+54
View File
@@ -0,0 +1,54 @@
"""Additional black-box checks; public tests and schemas are imported unchanged."""
from concurrent.futures import ThreadPoolExecutor
from pathlib import Path
import json
import sys
import threading
import uuid
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, arguments, check, run
def main():
args = arguments('Concurrent cross-replica idempotency and isolation')
c = Client(args.base_url)
alice, bob, eve, chat = c.bootstrap()
path = '/api/v1/chats/'+chat['id']+'/messages'
key = uuid.uuid4().hex
barrier = threading.Barrier(16)
def send(i):
local = Client(args.base_url)
barrier.wait()
raw = ('{ "text" : "same \\u0000 \\ud83d\\ude00" }' if i % 2 else '{"text":"same \\u0000 😀"}').encode('utf-8')
return local.call('POST', path, 201, actor=alice, raw=raw,
headers={'Content-Type':'application/json', 'Idempotency-Key':key}, schema='Message')
with ThreadPoolExecutor(max_workers=16) as pool:
responses = list(pool.map(send, range(16)))
first = responses[0]['json']
check(all(r['json'] == first for r in responses), 'concurrent replay changed result')
instances = sorted({r['headers']['X-Instance-Id'] for r in responses})
check(len(instances) >= 2, 'concurrency must reach different real replicas')
c.call('POST', path, 409, actor=alice, body={'text':'different'}, headers={'Idempotency-Key':key})
other_user = c.message(bob, chat, 'other user', key=key)['json']
check(other_user['id'] != first['id'], 'key was not scoped to user')
other_chat = c.call('POST', '/api/v1/chats', 201, actor=alice,
body={'title':'independent scope', 'member_ids':[alice['id']]}, schema='Chat')['json']
check(c.message(alice, other_chat, 'other chat', key=key)['json']['id'] != first['id'], 'key was not scoped to chat')
for bad in ['', 'bad key', 'é', 'a'*129, 'slash/key']:
c.call('POST', path, 400, actor=alice, body={'text':'bad'}, headers={'Idempotency-Key':bad})
c.call('POST', path, 400, actor=alice, body={'text':'missing key'})
c.call('POST', path, 404, actor=eve, body={'text':first['text']}, headers={'Idempotency-Key':key})
page = c.call('GET', path+'?limit=100', actor=bob, schema='MessagePage')['json']
check(sum(m['id']==first['id'] for m in page['items']) == 1, 'duplicate message')
c.call('DELETE', '/api/v1/auth/sessions/current', 204, actor=alice)
c.call('POST', path, 401, actor=alice, body={'text':first['text']}, headers={'Idempotency-Key':key})
print(json.dumps({'concurrent_requests':16, 'instances':instances, 'identical_result':True,
'key_scopes':'user + POST + chat path', 'revocation_rechecked':True}))
print('PASS: concurrent replay, Unicode, conflict, key validation, isolation and logout')
if __name__ == '__main__':
run(main)
+114
View File
@@ -0,0 +1,114 @@
"""Sequential real-container failures and rolling replacement under read/write load."""
from concurrent.futures import ThreadPoolExecutor
import json
from pathlib import Path
import statistics
import subprocess
import sys
import threading
import time
import uuid
ROOT = Path(__file__).resolve().parents[1]
sys.path[:0] = [str(ROOT/'tests'), str(ROOT/'scripts')]
from client import Client, Failure, check
from resilience import history
from manage import docker, ready, replicas
def exercise(label, action):
c = Client(timeout=2)
alice, bob, _, chat = c.bootstrap()
original = c.message(alice, chat, 'Before '+label)['json']
start = time.monotonic()
stop = threading.Event()
confirmations, latencies, successes, error_times = [], [], [], []
lock = threading.Lock()
def worker():
local = Client(timeout=2)
key = uuid.uuid4().hex
while not stop.is_set():
began = time.monotonic()
try:
message = local.message(alice, chat, key, key=key)['json']
local.call('GET', '/api/v1/chats/'+chat['id'], actor=bob, schema='Chat')
with lock:
confirmations.append(message)
successes.append(time.monotonic()-start)
latencies.append((time.monotonic()-began)*1000)
key = uuid.uuid4().hex
except Failure:
with lock:
error_times.append(time.monotonic()-start)
stop.wait(.03)
before = replicas()
with ThreadPoolExecutor(max_workers=4) as pool:
workers = [pool.submit(worker) for _ in range(4)]
time.sleep(2)
action_start = time.monotonic()-start
try:
action()
action_end = time.monotonic()-start
time.sleep(4)
finally:
stop.set()
for worker_result in workers:
worker_result.result()
elapsed = time.monotonic()-start
after = replicas()
stored = history(c, bob, chat)
by_id = {m['id']:m for m in stored}
check(by_id.get(original['id'])==original, 'pre-failure confirmation lost')
check(all(by_id.get(m['id'])==m for m in confirmations), 'confirmation lost')
check(len({m['text'] for m in stored})==len(stored), 'uncertain retry duplicated message')
post = [t for t in successes if t>=action_end]
check(bool(post), 'no reads/writes after action')
recovery = min(post)-action_start
# The total rolling action spans two replacements; each stop is checked separately.
if label != 'rolling':
check(recovery<=10, 'recovery exceeded 10 seconds')
times = sorted(successes)
gaps = [b-a for a,b in zip(times,times[1:])]
report = {'scenario':label, 'before':before, 'after':after,
'successful_read_write_cycles':len(successes), 'failed_cycles':len(error_times),
'elapsed_seconds':round(elapsed,3), 'successful_cycles_per_second':round(len(successes)/elapsed,3),
'confirmed_pair_http_rps':round(2*len(successes)/elapsed,3),
'first_success_after_action_seconds':round(recovery,3),
'max_success_gap_seconds':round(max(gaps,default=0),3),
'cycle_latency_ms':{'p50':statistics.median(latencies), 'p95':sorted(latencies)[int(.95*(len(latencies)-1))]},
'all_confirmations_preserved':True, 'duplicate_messages':0}
print(json.dumps(report))
return report
def main():
ready(2)
results = []
original = replicas()
check(len(original)==2, 'expected two API containers')
try:
for selected in original:
def action(selected=selected):
docker('stop', '--time', '9', selected['id'])
state = docker('inspect', '--format', '{{.State.Status}} {{.State.ExitCode}}', selected['id'], capture=True)
check(state=='exited 0', 'target did not shut down cleanly')
result = exercise('stop '+selected['instance'], action)
check(len(result['after'])==1 and result['after'][0]['id']!=selected['id'], 'wrong container stopped')
results.append(result)
docker('compose', 'start', 'api')
ready(2)
def rolling():
subprocess.run([sys.executable, '-X', 'utf8', 'scripts/manage.py', 'rolling'], cwd=ROOT, check=True)
results.append(exercise('rolling', rolling))
check(not {r['id'] for r in results[-1]['before']} & {r['id'] for r in results[-1]['after']}, 'rolling did not replace both containers')
(ROOT/'evidence/failures.json').write_text(json.dumps(results,ensure_ascii=False,indent=2)+'\n',encoding='utf-8')
finally:
docker('compose', 'up', '-d', '--no-deps', '--scale', 'api=2', 'api')
ready(2)
print('PASS: each replica stopped, real containers verified, rolling replacement preserved sessions/data')
if __name__=='__main__':
main()