ЛР3 - БВТ2301 - Дыханова - на 5 #46

Closed
dykhanovaa wants to merge 2 commits from dykhanovaa/mtusi2026lab3:solution/bvt2301-dykhanova into main
57 changed files with 32952 additions and 33 deletions
+7
View File
@@ -11,3 +11,10 @@ SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
# Per API container resources and database connections.
API_CPUS=0.5
API_MEMORY=256m
POOL_MAX=8
MESSAGE_ACCESS_FAST=1
DB_CPUS=1.0
+17 -14
View File
@@ -1,18 +1,21 @@
## Лабораторная 3
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Алина Дыханова / БВТ2301.
Целевая оценка: **5**, трек 1 — «Цена масштабирования».
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Из lab2 перенесены PostgreSQL, миграции, общие действующие сессии, Argon2id и Redis-кэш с fallback. Добавлены масштабируемый Compose-service API, HAProxy с readiness и Docker DNS, X-Instance-Id, транзакционная идемпотентность, hooks отказа/перезапуска и поочерёдная замена контейнеров.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск: `python3 scripts/bootstrap.py`, затем `docker compose --env-file .env up -d --build --wait --wait-timeout 120`. Миграции выполняет отдельный одноразовый сервис.
Команды проверок, измерения, графики, ошибки переходного периода и файлы доказательств — в [REPORT.md](../REPORT.md). Исходные агрегаты всех нагрузочных прогонов — `evidence/measurements.csv`; JSON также содержат CPU/RAM каждого контейнера. Проверены 1/2/4 API при фиксированном и растущем бюджете, диагностическое ограничение CPU БД и A/B-оптимизация проверки членства.
Ограничения: один узел, единственные PostgreSQL и LB; отказ узла/БД не защищён. Краткие ошибки в окне обнаружения остановленного API допустимы и измерены. HTTP предназначен для локальных синтетических данных. Автоматической очистки истёкших записей пока нет.
Источники и использование ИИ раскрыты в отчёте; основа — собственная lab2, доработка и оформление с Codex.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию решения.
+10
View File
@@ -0,0 +1,10 @@
FROM python:3.12.12-slim
WORKDIR /srv
COPY requirements.lock .
RUN pip install --no-cache-dir --timeout 120 --retries 5 -r requirements.lock
COPY app app
COPY migrations migrations
RUN useradd --uid 10001 --create-home api
USER api
EXPOSE 8080
CMD ["gunicorn", "--bind", "0.0.0.0:8080", "--workers", "1", "--threads", "16", "--timeout", "10", "--graceful-timeout", "5", "--keep-alive", "1", "app.main:app"]
+279 -16
View File
@@ -1,37 +1,300 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: **Алина Дыханова, БВТ2301**.
- Целевая оценка: **5**, трек 1 — **«Цена масштабирования»**; выполнены также критерии уровней 3 и 4.
- Commit/PR:
- Использованные источники, библиотеки и помощь ИИ: Python 3.12.12, Flask 3.1.2, Gunicorn 23.0.0, psycopg 3.2.10, psycopg-pool 3.3.3, redis-py 6.4.0, argon2-cffi 25.1.0. Транзитивные версии закреплены в [requirements.lock](requirements.lock). Для графиков используется Matplotlib 3.10.7; приложению он не нужен.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Требуются работающий Docker Engine/Desktop с Compose, Python 3.9+ на хосте и свободный `127.0.0.1:8080`. Для графиков на хосте рекомендуется Python 3.12+. Первый build требует доступа к registry и PyPI. В проверенном окружении — Docker Desktop на Apple Silicon. Точные версии и ресурсы записаны в [environment-final.json](evidence/environment-final.json).
```sh
python3 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 120
make check
make test
```
Bootstrap создаёт `.env` и локальные файлы `secrets/` (каталог 0700, файлы 0600), не печатает значения и не заменяет уже созданные секреты. Они исключены из Git. После инициализации PostgreSQL нельзя просто изменить пароль в файле: нужно согласованно изменить пароль роли в БД. Если Docker Hub недоступен, а образы уже собраны, повторный запуск выполняется без сборки и скачивания:
```sh
docker compose up -d --no-build --pull never --wait --wait-timeout 120
```
В пользовательском прогоне повторная сборка с `--build` не завершилась: Docker не разрешил DNS-имя `registry-1.docker.io` при получении метаданных Python-образа. После запуска из готовых локальных образов все функциональные и нагрузочные проверки завершились успешно. Этот прогон подтверждает работу локального стенда; повторная сборка без кэша при восстановленном доступе к registry остаётся отдельной проверкой воспроизводимости.
Экспериментальные hooks и подготовка стенда также используют локальные образы. `correctness` печатает шесть этапов, а при долгой Docker-команде — сообщение ожидания каждые 15 s. Весь сценарий занимает несколько минут. После Ctrl+C запустите команду восстановления выше перед повтором теста. Активация `.venv` для `correctness` не обязательна: его HTTP-клиент использует стандартную библиотеку Python.
Публичный адрес — **http://localhost:8080**. PostgreSQL, Redis и API не публикуют свои порты на хост. Необходимо освободить 8080, если там остался стенд lab2.
Миграции выполняет отдельный одноразовый сервис `migrate`. API стартуют после его успешного завершения; внутри API миграции не запускаются. Применение защищено транзакционной advisory lock и журналом `schema_migrations`. Повторный ручной запуск:
```sh
docker compose run --rm migrate
```
Версии образов: `python:3.12.12-slim`, `postgres:16.10-alpine`, `redis:7.4.6-alpine`, `haproxy:3.0.11-alpine`. Приложение запускается непривилегированным UID 10001. Это Compose-стенд на одном узле, публикация образа в registry для Swarm не требуется.
Полная проверка OpenAPI и подготовка графиков:
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt -r requirements-research.txt
make validate PYTHON=.venv/bin/python
```
Отказы и полный набор экспериментов выполняются явно; они создают синтетические данные, временно меняют число реплик и ресурсы, останавливают контейнеры этого проекта. До запуска надо закончить другие измерения на этом стенде.
```sh
python3 scripts/experiments.py scaling
python3 scripts/environment.py environment-before-db.json
python3 scripts/experiments.py bottleneck
python3 scripts/experiments.py improvement-low
python3 scripts/experiments.py correctness
python3 scripts/extra-checks.py
python3 scripts/final-audit.py
.venv/bin/python scripts/plots.py
```
Также доступна полная последовательность `sh scripts/run-all.sh` после создания `.venv` и установки двух файлов зависимостей выше. Нагрузочные серии занимают несколько минут. JSON и CSV не содержат сессионных токенов. Команды следует запускать из корня данного репозитория.
Для показа одного отказа отдельно:
```sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose ps -a
docker compose up -d --no-build --pull never --wait
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
Публичный тест сам передаёт `TARGET_INSTANCE_ID`; `stop-one.sh` сопоставляет hostname-префикс с настоящим контейнером API и оставляет его остановленным. Самостоятельный запуск hook требует это значение в окружении. Для исследования уровня 4 `correctness` проверяет отказ каждой физической API-реплики и восстанавливает стенд между отказами.
Поочерёдное обновление:
```sh
docker compose build api
docker compose run --rm migrate
sh scripts/rolling-update.sh
```
Скрипт запоминает старые контейнеры, создаёт одну дополнительную реплику нового локального образа, ждёт её готовности и включения в LB, затем останавливает и удаляет один старый контейнер. Повторяет замену для второго. Временно требуется ресурс ещё одной API-реплики. Перед обновлением схемы оператор должен убедиться в обратной совместимости миграции; destructive-миграции такой процедурой не поддерживаются.
Безопасная остановка: `docker compose down` — именованный volume `mtusi_lab3_solution_pgdata` остаётся. `restart.sh` выполняет именно `down` и `up`, пересоздавая API, LB, PostgreSQL и Redis; строки пользователей, сообщений и действующих сессий остаются в PostgreSQL. **Намеренное удаление всех учебных данных:** `docker compose down --volumes`. Эта команда не используется ни одним экспериментом.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```mermaid
flowchart LR
C[Клиент: одна Bearer-сессия] --> L[HAProxy :8080, round robin]
L --> A1[API 1: Gunicorn / Flask]
L --> A2[API 2: Gunicorn / Flask]
A1 --> P[(PostgreSQL: пользователи, чаты, сообщения, сессии, идемпотентность)]
A2 --> P
A1 --> R[(Redis: кэш профилей)]
A2 --> R
M[Однократные миграции] --> P
```
### Состояние, сессии и доступ
PostgreSQL — единственный источник истины. Сессии общие: таблица содержит SHA-256 случайного токена, user_id и абсолютный expires_at. Токен генерируется из 32 случайных байт, пароль хранится как Argon2id (`m=19456 KiB, t=2, p=1`). TTL не продлевается запросом или рестартом. Logout удаляет общую строку сессии, поэтому отзыв действует на всех API. Сессия проверяется заново и перед выдачей сохранённого идемпотентного ответа.
Redis — общий необязательный кэш неизменяемых профилей с TTL 60 секунд и fallback в PostgreSQL. Его потеря не теряет сообщения или сессии; readiness не зависит от Redis. История сообщений не кэшируется: следующий запрос к primary после COMMIT видит подтверждённую запись через любую API-реплику. Создание чата и всех участников атомарно. Посторонний получает 404 для чужого чата; `X-User-Id` не заменяет Bearer.
В каждой API-реплике один Gunicorn worker и 16 потоков. Значение `X-Instance-Id` — hostname контейнера и случайный суффикс процесса; оно стабильно в течение жизни worker. Заголовки `X-Request-Id` и `X-Instance-Id` добавляются также к health и ошибкам API. Сопоставление с Docker ID приведено в обезличенных inventory-файлах, поэтому разные заголовки подтверждаются разными контейнерами. Stickiness отсутствует.
Пагинация — keyset по `(created_at,id)`, чтение `limit+1`, cursor привязан к ресурсу. Все временные метки назначает одна PostgreSQL, а не часы отдельных API. Между HTTP-запросами нет snapshot: конкурентная транзакция с поздним COMMIT может добавить строку до уже пройденной границы. Для неизменной истории обход не дублирует строки.
### Общая идемпотентность
Область ключа — пользователь + POST + путь конкретного чата + `Idempotency-Key`. Таблица обслуживает только POST сообщения, поэтому метод и тип маршрута фиксированы самой схемой, а user_id/chat_id/key — составной первичный ключ. Ключ проверяется по `[A-Za-z0-9._:-]{1,128}`. Body канонизируется семантически: отсутствующий `attachment_ids` и `[]` равны, порядок полей не влияет. Непустые вложения относятся к lab4 и здесь не реализуются.
В одной транзакции берётся `pg_advisory_xact_lock(hashtextextended(scope,0))`, проверяется сохранённый результат, выполняются INSERT сообщения и INSERT результата. Контекст соединения завершает COMMIT до отправки HTTP-ответа. Конкурентная реплика ждёт lock, затем читает уже сохранённый ответ. Совпавший body возвращает тот же Message и 201, отличающийся — 409. Действительность сессии и членство проверяются до replay. Коллизия 64-битного хеша может лишь лишний раз сериализовать независимые операции: окончательный поиск всё равно использует точный составной ключ.
Срок replay — 24 часа. После истечения ключ может быть использован заново; старая запись результата заменяется атомарно. Ошибки 5xx не записываются как окончательный результат; SQL-ошибка откатывает и сообщение, и результат. Если соединение оборвалось после COMMIT, клиент повторяет исходный ключ/body. HAProxy сам не повторяет POST. Создание пользователей, чатов и сессий автоматически не повторяется.
### Health, DNS, timeouts и остановка
HAProxy использует Docker DNS `127.0.0.11`, `server-template` на восемь слотов, `hold valid/obsolete = 1s`; список адресов обновляется без перезапуска LB. HTTP-проверка `/health/ready` выполняется каждую 1 секунду, в переходном состоянии — каждые 500 ms; `fall=2`, `rise=1`, timeout проверки 1 s. Для обычного отказа процесса расчётный бюджет обнаружения — до примерно 3,5–4 s (ожидание проверки, две неудачные проверки и переходный интервал); при немедленном connection refused обычно быстрее. Это бюджет конфигурации при нормальном планировании CPU, а не гарантия при остановке всего узла.
`/health/live` не обращается к зависимостям. `/health/ready` проверяет доступность PostgreSQL через рабочий пул — критичную зависимость синхронного пути. Docker healthcheck помечает контейнер; исключение из маршрутизации выполняет собственная проверка HAProxy.
Таймауты: LB connect 500 ms, server 5 s, client 6 s; пул — ожидание 3 s, connect 3 s, SQL statement 3 s, lock 2 s. Gunicorn timeout 10 s, graceful-timeout 5 s, Docker stop_grace_period 7 s. SIGTERM получает Gunicorn: прекращается приём новых соединений worker и ограниченно завершаются принятые запросы. При превышении grace worker завершается; незавершённая транзакция откатывается. Если ответ потерян, повтор с тем же ключом безопасен. В коротком окне обнаружения возможны ошибки LB без API-заголовков; они посчитаны в экспериментах.
### Ресурсы и конфигурация
| Компонент | CPU | RAM | Публикация / состояние |
| --- | ---: | ---: | --- |
| API × 2 по умолчанию | 0,5 каждый | 256 MiB каждый | Только внутренняя сеть, без локальных сессий |
| PostgreSQL | 1 | 512 MiB | Именованный persistent volume |
| HAProxy | 0,5 | 128 MiB | Только `127.0.0.1:8080` |
| Redis | 0,25 | 128 MiB | Внутренний расходуемый кэш, maxmemory 64 MiB |
| migrate | Как одна API | Как одна API | Одноразовый процесс до API |
`container_name` отсутствует; масштабируется один Compose-service `api`. Секрет пароля БД передан PostgreSQL, DSN — API и мигратору; Redis-адрес — API. Приватная сеть и localhost предназначены для синтетических учебных данных. HTTP Basic является кодированием, поэтому для внешней демонстрации требуется TLS.
| Переменная | Реальное действие |
| --- | --- |
| `API_REPLICAS` | Число реплик Compose, по умолчанию 2 |
| `API_CPUS`, `API_MEMORY` | Лимиты одной API и мигратора |
| `DB_CPUS` | CPU PostgreSQL; обычное значение 1, диагностическое 0.1 |
| `POOL_MAX` | Соединения PostgreSQL на worker, по умолчанию 8; итого 16 при двух API, 32 при четырёх |
| `MESSAGE_ACCESS_FAST` | 1 — проверка членства без загрузки полного Chat; 0 — контрольная реализация для A/B |
| `SESSION_TTL_SECONDS` | TTL общей сессии, 3600; для отдельного теста истечения 2 |
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Пути фиксированных Compose secrets, читаемые приложением |
| `SESSION_STORE=postgres` | Декларирует выбранное хранилище; смена backend через эту переменную не поддерживается |
| `IDEMPOTENCY_TTL_SECONDS=86400` | Документирует фиксированное контрактом окно 24 h; изменение переменной не меняет реализацию |
| `APP_HOST`, `APP_PORT`, `APP_ENV` | Описательные значения профиля; Gunicorn фиксированно слушает `0.0.0.0:8080` внутри контейнера |
Миграция `002_idempotency.sql` только добавляет таблицу и индекс, не удаляет и не переименовывает столбцы lab2. Она совместима с продолжающей работать предыдущей версией. При следующих изменениях нужен подход expand/contract. При плановой замене PostgreSQL Compose может увидеть прежний unhealthy-статус API до восстановления пула; экспериментальный `up_wait` в этом случае пересоздаёт соединения перезапуском API и снова ждёт готовность. Этот этап исключён из измеряемой нагрузки.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Публичный smoke | `make test` | PASS; health, доступ, сессии, сообщения, cursor, replay/conflict/logout | [smoke.txt](evidence/smoke.txt) |
| Воспроизводимый весь стенд, ≥2 API и общая БД/сессии | `python3 scripts/bootstrap.py; docker compose up -d --build --wait` | Локальный запуск PASS: два API, HAProxy, PostgreSQL, Redis; общий volume. Повторная сборка в пользовательском прогоне остановилась на DNS Docker Hub; запуск без кэша этим прогоном не подтверждён | [containers-final.json](evidence/containers-final.json) |
| Одна сессия через разные реплики без sticky | `python3 scripts/experiments.py correctness` | 24 конкурентных запроса, ≥2 instance IDs, один Message | [idempotency.json](evidence/idempotency.json) |
| Остановка каждой API, запись восстанавливается ≤10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh (последовательно для каждой)` | Обе физические API останавливались; прежняя сессия и подтверждения сохранены | [failover.json](evidence/failover.json) |
| Чтение/запись под нагрузкой во время отказа каждой API | `python3 scripts/experiments.py correctness` | Обе API остановлены по очереди при C=16, чтения истории и новые записи; RPS/ошибки/percentiles сохранены | [availability-load.json](evidence/availability-load.json) |
| Идемпотентность при конкуренции, смене реплики, ошибке body | `python3 scripts/experiments.py correctness` | 24 одновременных replay: ровно одно сообщение, другой body=409; retry после отказа без дублей | [idempotency.json](evidence/idempotency.json) |
| Persistence API и всех используемых хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS с прежним токеном; настоящие контейнеры пересозданы, volume сохранён | [persistence.txt](evidence/persistence.txt) |
| Readiness, timeouts, DNS и SIGTERM | `correctness + extra-checks.py; infra/haproxy.cfg; Dockerfile` | При недоступной БД внутренние live=200/ready=503; LB исключает API; после замены обнаруживает новые адреса | [extra-checks.json](evidence/extra-checks.json) |
| Все контейнеры с CPU/RAM-лимитами, API без публичных портов | `docker compose config --quiet; inventory в experiments.py` | CPU/RAM подтверждены Docker inspect; публикуется только LB; container_name отсутствует | [containers-final.json](evidence/containers-final.json) |
| Поочерёдная замена под нагрузкой | `sh scripts/rolling-update.sh (внутри correctness)` | Новые Docker ID и instance IDs, action под C=16, подтверждения сверены с БД | [rolling.json](evidence/rolling.json) |
| Миграции отдельно, однократно и совместимо | `docker compose run --rm migrate; app/migrate.py` | Журнал и advisory lock; 002 только добавляет таблицу; API не запускают миграции | [migrations.txt](evidence/migrations.txt) |
| Трек 1: 1/2/4 с фиксированным суммарным CPU/RAM | `python3 scripts/experiments.py scaling` | Три повтора каждой точки, исходные JSON, CSV и графики | [scaling.json](evidence/scaling.json) |
| Трек 1: серия с ростом ресурсов | `python3 scripts/experiments.py scaling` | 0.5/1/2 CPU суммарно, один профиль; RPS/p50/p95/p99/CPU/RAM | [scaling.json](evidence/scaling.json) |
| Трек 1: предел общей зависимости | `python3 scripts/experiments.py bottleneck` | PostgreSQL 0.1 CPU насыщается; рост API не помогает; повышение только DB CPU снимает ограничение | [db-bottleneck.json](evidence/db-bottleneck.json) |
| Трек 1: подтверждённое улучшение | `scaling + python3 scripts/experiments.py improvement-low` | Убран лишний SELECT, два A/B-профиля, три повтора, поведение сохранено | [improvement-low.json](evidence/improvement-low.json) |
| Структура и полная OpenAPI | `make check; make validate PYTHON=.venv/bin/python` | Обе проверки PASS; исходные публичные тесты и контракт не изменены | [openapi.txt](evidence/openapi.txt) |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
### Гипотеза и повторяемая методика
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
**Гипотеза:** при неизменном суммарном CPU/RAM рост числа API сам по себе не увеличит полезную пропускную способность: появятся дополнительные пулы и накладные расходы, а более узкая CPU-квота каждой реплики усилит очередь. Если ресурсы API увеличиваются вместе с числом реплик, RPS вырастет до предела общей зависимости. Снижение числа SQL-запросов на сообщение должно уменьшить стоимость синхронного пути.
Стенд: Apple M4, 10 логических CPU, 24 GiB RAM; Docker VM получает 10 CPU и около 7,75 GiB RAM. Генератор работает на хосте через **тот же localhost:8080 → HAProxy**, прямые обращения к API для нагрузочных результатов не используются. Прочие Docker-сервисы лабораторных во время исследования не запускались.
Генератор [scripts/experiments.py](scripts/experiments.py) использует стандартный HTTP-клиент и закрытую модель: каждый поток ждёт ответ перед следующей операцией. Один прогон создаёт новый чат, трёх пользователей и сессии, затем делает 50 прогревочных POST. Измеряемая итерация — один POST сообщения с новым ключом; каждый десятый индекс потока дополнительно читает первую страницу истории с `limit=1`. **RPS в таблицах — успешные такие итерации в секунду**, а не сумма всех отдельных GET и POST. Если дополнительное чтение неуспешно, вся итерация считается ошибкой, даже если POST уже подтвердился. p50/p95/p99 относятся к длительности успешной итерации, включая это дополнительное чтение. Timeout клиента — 6 s. В нагрузочном генераторе нет автоматического retry; безопасный retry отдельно проверяет публичный failover-тест.
Каждый измеряемый интервал — 10 s после прогрева. Фактический elapsed включает завершение последних запросов и накладные расходы клиента; начало всех свежих нагрузочных прогонов фиксируется действием общего барьера после готовности потоков. Такой генератор подходит для сравнения конфигураций на одном стенде, но не доказывает production capacity и имеет coordinated omission. Между конфигурациями ожидаются readiness и ещё 3 s для DNS/LB. Сырые JSON содержат каждый прогон, наблюдённые instance IDs, ошибки и выборки `docker compose stats`; [measurements.csv](evidence/measurements.csv) — компактные исходные агрегаты, а не усреднённая единственная строка.
Основные серии: concurrency 32, три повтора каждой точки. **Фиксированный бюджет:** 1/2/4 API получают соответственно 1/0,5/0,25 CPU и 1024/512/256 MiB на реплику; итого всегда 1 CPU и 1 GiB API. **Рост бюджета:** каждая API получает 0,5 CPU / 256 MiB; сумма растёт от 0,5 CPU / 256 MiB до 2 CPU / 1 GiB. PostgreSQL/LB/Redis остаются фиксированными. Данные не очищаются между прогонами; каждый чат начинает с одинаковых 50 сообщений прогрева. Поэтому влияние растущей общей БД и фоновой работы нельзя полностью исключить.
Перед диагностикой БД в PostgreSQL уже было 523,342 сообщений. Итоговый snapshot: 412 пользователей, 138 чатов, 656,975 сообщений и 656,975 результатов ключей; размер БД 499.70 MiB. Snapshot и версии — `environment-final.json`. История первой страницы маленького нового чата и общий растущий размер БД являются частью данного профиля. Финальный snapshot собран 23.10.2026 в 17:50:58 (Europe/Moscow).
### 1. Цена масштабирования
Все точки — C=32, три повтора по 10 s, ноль ошибок. В таблице усреднены RPS и percentiles отдельных прогонов; это не percentiles объединённой выборки.
| Бюджет | API | Всего CPU / RAM API | RPS, среднее ± σ | p50 / p95 / p99, ms | Ошибки |
| --- | ---: | --- | ---: | --- | ---: |
| Фиксированный | 1 | 1 CPU / 1024 MiB | 524.49 ± 3.56 | 68.57 / 102.30 / 121.85 | 0 |
| Фиксированный | 2 | 1 CPU / 1024 MiB | 410.09 ± 6.36 | 99.19 / 192.83 / 280.55 | 0 |
| Фиксированный | 4 | 1 CPU / 1024 MiB | 367.37 ± 7.87 | 5.19 / 359.99 / 490.71 | 0 |
| Растущий | 1 | 0.5 CPU / 256 MiB | 213.15 ± 2.33 | 115.52 / 276.73 / 306.66 | 0 |
| Растущий | 2 | 1 CPU / 512 MiB | 409.30 ± 1.01 | 97.89 / 196.14 / 278.63 | 0 |
| Растущий | 4 | 2 CPU / 1024 MiB | 886.17 ± 19.81 | 7.44 / 147.49 / 185.88 | 0 |
При фиксированных ресурсах переход 1 → 4 дал -30.0% RPS. При росте ресурсов 1 → 4 дал 4.16× RPS при 4× суммарном CPU/RAM API. Это поддерживает гипотезу: реплики дают отказоустойчивость, а ускорение зависит от добавленных ресурсов и профиля, а не от количества процессов само по себе. Увеличение потоков и более узкая CFS-квота одной реплики способны повысить хвост задержки; вклад каждого механизма отдельно здесь не изолирован.
| Бюджет / API | CPU всех API, % одного ядра | CPU DB, % | CPU LB, % | Max RAM одной API, MiB |
| --- | ---: | ---: | ---: | ---: |
| fixed / 1 | 85.4 | 16.9 | 9.3 | 259.5 |
| fixed / 2 | 62.2 | 17.3 | 7.8 | 164.3 |
| fixed / 4 | 57.6 | 17.5 | 7.3 | 136.4 |
| growing / 1 | 43.2 | 9.3 | 4.6 | 241.3 |
| growing / 2 | 60.3 | 17.4 | 7.7 | 255.9 |
| growing / 4 | 126.7 | 43.8 | 18.4 | 238.5 |
Ресурсные значения — средние дискретных выборок; выборки в конце завершения нагрузки могут занижать среднее. RAM каждого контейнера и её лимит записаны в `stats[].containers[].MemUsage` исходных JSON. Отдельные выборки API достигают CPU-квот; на обычном профиле нельзя объявлять насыщение CPU БД или LB только по факту роста p95.
![Масштабирование: RPS и p95](evidence/scaling.png)
### 2. Насыщение и общая зависимость
Дополнительно при четырёх API × 0,5 CPU / 256 MiB и PostgreSQL 1 CPU изменялась concurrency: 1, 4, 16, 64, 128. Это диагностический sweep с одним прогоном точки; он показывает область перегрузки, а не точное универсальное максимальное значение RPS.
| Concurrency | RPS | Ошибки | p50 / p95 / p99, ms | CPU API / DB / LB, % |
| ---: | ---: | ---: | --- | --- |
| 1 | 493.38 | 0 | 1.80 / 3.44 / 4.55 | 39.3 / 13.6 / 8.7 |
| 4 | 1125.94 | 0 | 2.98 / 5.61 / 14.46 | 94.4 / 38.5 / 20.1 |
| 16 | 979.15 | 0 | 6.65 / 71.97 / 85.03 | 132.5 / 45.2 / 19.4 |
| 64 | 895.33 | 0 | 7.09 / 273.34 / 343.53 | 113.7 / 37.1 / 15.9 |
| 128 | 872.38 | 0 | 111.36 / 419.21 / 504.48 | 108.5 / 35.4 / 13.5 |
Лучший наблюдённый результат sweep — C=4: 1125.94 итераций/с. При C=128 RPS уже 872.38, p95 — 419.21 ms. Большая закрытая очередь усиливает конкуренцию за потоки/пулы и CPU-квоты, а не создаёт полезную работу. Обычная БД и LB по CPU ниже своих лимитов; точку C=4 нельзя считать доказанным физическим максимумом PostgreSQL. Для БД ниже проведена отдельная интервенция.
![Concurrency, полезная пропускная способность и очередь](evidence/saturation.png)
Чтобы причинно проверить именно общую БД, повторено сравнение 1/2/4 API × 0,5 CPU при PostgreSQL **0,1 CPU** и **1 CPU**, одинаковых 512 MiB RAM БД и concurrency **4**. Два повтора на точку. Малая CPU-квота БД — намеренная диагностическая интервенция, а не обычная конфигурация приложения. Эта серия отделяет предел PostgreSQL от недостаточной параллельности клиента и квот API.
| CPU БД | API | RPS, среднее | p50 / p95 / p99, ms | CPU DB, % одного ядра | Ошибки |
| ---: | ---: | ---: | --- | ---: | ---: |
| 0.1 | 1 | 148.65 | 5.33 / 95.85 / 197.29 | 9.26 | 0 |
| 0.1 | 2 | 99.85 | 6.28 / 102.69 / 245.39 | 9.86 | 0 |
| 0.1 | 4 | 88.90 | 7.10 / 104.57 / 203.37 | 9.94 | 0 |
| 1 | 1 | 487.03 | 3.62 / 54.61 / 64.38 | 16.32 | 0 |
| 1 | 2 | 1047.90 | 2.84 / 5.98 / 22.43 | 36.03 | 0 |
| 1 | 4 | 1159.91 | 2.85 / 5.39 / 11.22 | 43.23 | 0 |
При квоте БД 0,1 CPU наблюдается область насыщения порядка 89–150 итераций/с: CPU PostgreSQL близок к 10% одного ядра, то есть к 100% назначенной квоты. Дополнительные API/соединения не увеличивают общий бюджет DB, а добавляют конкуренцию процессов за квоту и увеличивают задержки. Для четырёх API увеличение только DB CPU с 0,1 до 1 дало 13.05× RPS и снизило средний p95 с 104.57 до 5.39 ms. Это причинное подтверждение общей зависимости, ограничивающей масштабирование. При DB=1 CPU и C=4 переход 2 → 4 API увеличил средний RPS только на 10.69% при удвоении ресурсов API. Загрузка CPU БД ниже лимита; этот результат не доказывает её насыщение. Возможные ограничения клиента и синхронного пути требуют отдельных измерений.
![Ограничение CPU PostgreSQL и эффект роста API](evidence/db-bottleneck.png)
### 3. Проверенное улучшение
Контрольный путь `MESSAGE_ACCESS_FAST=0` загружает Chat и список его участников перед обработкой сообщений: два SELECT. Рабочий путь `=1` выполняет один индексный SELECT членства, поскольку представление Chat сообщению не нужно. Проверки авторизации и идемпотентности сохраняются. На успешный POST число прикладных SQL-команд (без BEGIN/COMMIT) уменьшается с 7 до 6: сессия, доступ, lock, replay, INSERT сообщения, INSERT результата. Отдельная история также избегает лишней загрузки участников.
| Профиль | Путь доступа | RPS, среднее ± σ | p95, ms (среднее) | Ошибки |
| --- | --- | ---: | ---: | ---: |
| C=32 | Два SELECT | 834.34 ± 7.11 | 157.18 | 0 |
| C=32 | Один SELECT | 895.76 ± 6.90 | 148.04 | 0 |
| C=4 | Два SELECT | 1177.77 ± 6.81 | 5.36 | 0 |
| C=4 | Один SELECT | 1222.40 ± 8.65 | 5.21 | 0 |
Измеренный эффект: **C=32: +7.36% RPS; C=4: +3.79% RPS**. Дополнительный A/B при C=4 выполнялся с чередованием порядка A/B, B/A, A/B, чтобы уменьшить смещение из-за роста БД и прогрева. В каждом профиле быстрый путь оказался быстрее контрольного во всех трёх парных сравнениях. Три коротких повтора не доказывают универсальную величину прибавки и не заменяют длительную статистическую проверку. Удаление лишнего SELECT подтверждено структурой кода, неизменность поведения — публичным smoke, отрицательными проверками доступа и общей идемпотентностью. В обычной конфигурации включён быстрый путь.
![Проверка улучшения при concurrency 32 и 4](evidence/improvement.png)
### 4. Отказы, сохранность и поочерёдная замена
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Stop mtusi_lab3_solution-api-2 | Сессия и подтверждения сохранены, запись ≤10 s | 127 записей за 15 s (8.47/s), ошибок 2, до отказа 2 API | 0.943 s; тест подтвердил отсутствие потери/дублей |
| Stop mtusi_lab3_solution-api-1 | Сессия и подтверждения сохранены, запись ≤10 s | 127 записей за 15 s (8.47/s), ошибок 2, до отказа 2 API | 0.940 s; тест подтвердил отсутствие потери/дублей |
| Пересоздание всего стенда | Сохранение БД и токена | Публичный persistence PASS; ID PostgreSQL, Redis, LB и API изменились | Готовность в бюджете теста, прежний токен действует; потери нет |
| Последовательная замена контейнеров, C=16 | Доступность при замене, одна surge-реплика | 511.10 итераций/s, 17906 успешных, 177 ошибок; p50/p95/p99 7.20/92.65/107.29 ms | Action завершён за 17.66 s от начала нагрузки; проверены 17906 подтверждений, потери нет |
| Stop под нагрузкой: /mtusi_lab3_solution-api-3, C=16 | Чтение и запись продолжаются через оставшийся API | 231.55 итераций/s, 3492 успешных, 63 ошибок; p50/p95/p99 86.51/110.76/186.56 ms | Hook завершён на 2.43 s (запущен на 2 s); 3492 подтверждений сохранены |
| Stop под нагрузкой: /mtusi_lab3_solution-api-4, C=16 | Чтение и запись продолжаются через оставшийся API | 227.36 итераций/s, 3426 успешных, 62 ошибок; p50/p95/p99 86.23/117.15/195.03 ms | Hook завершён на 2.37 s (запущен на 2 s); 3426 подтверждений сохранены |
Подробный stdout, ошибки с отметками времени и CPU/RAM: [failover.json](evidence/failover.json), [availability-load.json](evidence/availability-load.json), [rolling.json](evidence/rolling.json), [persistence.txt](evidence/persistence.txt). Начальные/конечные Docker ID — `containers-*.json`. В rolling заменяются сами контейнеры, а не только значения заголовка. Один и тот же образ повторно развёрнут, что проверяет процедуру последовательной замены; совместимость произвольных будущих версий этим не доказана.
Для публичного failover время восстановления считается от старта action до первой подтверждённой записи после успешного завершения hook. Оно включает время самой остановки; это не время полного отсутствия сервиса. Тест продолжает запросы 15 s, сохраняет первоначальный ключ при неопределённом POST и проверяет историю, отсутствие дублей и прежнюю сессию. RPS этих тестов ограничен явной паузой 100 ms; он не является нагрузочной ёмкостью API. Под нагрузкой дополнительно останавливается каждая API, периодически читается история, а после действия все подтверждённые ID сверяются с сохранённой историей.
Дополнительные проверки [extra-checks.json](evidence/extra-checks.json):
- `contract_extra`: PASS: 128-codepoint UTF-8 password with colon; malformed JSON and oversized limit rejected.
- `strict_message_validation`: PASS.
- `key_scope`: PASS: 3 independent messages.
- `canonical_json_order`: PASS: reversed fields and explicit [] replay the same message.
- `cursor_scope`: PASS: cursor from another chat rejected with 400.
- `revoked_session_cannot_replay`: PASS.
- `same_key_after_physical_failover`: PASS: same Message and 201 via a different process with original token.
- `redis_outage`: PASS: profile falls back to PostgreSQL, ready=200.
- `postgres_outage`: live 200; ready 503; no DB failover claimed.
- `expiry`: PASS: TTL=2 seconds, old token gives 401.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Стенд выдерживает остановку одного API-процесса/контейнера при сохранности LB, PostgreSQL и узла. Потеря единственного хоста останавливает весь стенд. PostgreSQL, HAProxy и persistent storage остаются SPOF; репликация БД и отказ узла не заявляются. Redis расходуемый и не влияет на сохранность сессий. Репликация API не является резервным копированием PostgreSQL.
В переходном окне бывают оборванные запросы/ошибки LB; клиент обязан повторять неопределённую отправку с прежним ключом. Если ключ изменён, система не может отличить повтор от нового намерения. Идемпотентность ограничена 24 часами; истёкшие строки логически игнорируются, но автоматической периодической очистки таблиц idempotency/sessions пока нет. Для длительной эксплуатации нужны удаление просроченных строк, наблюдение за индексами и autovacuum, метрики пула и БД.
Измерения короткие, локальные, closed-loop; p99 рассчитан только по успешным итерациям. У CPU/RAM есть погрешность дискретных Docker-выборок, CPU 100% означает один логический CPU, а не весь компьютер. На квоты влияют CFS, конкуренция потоков, температурный режим хоста, файловый кэш и растущая БД. Ошибки и задержки не следует переносить на другой компьютер как SLA. Интервалы ±σ на графиках обозначают выборочное стандартное отклонение повторов, а не доверительный интервал. Нагрузки с длинными текстами, большой историей, большим числом участников и регистрациями с Argon2 отдельно не исследованы.
Подтверждены уменьшение числа SQL-запросов на сообщение и измеренный эффект A/B в указанных профилях. Переход к persistent HTTP keep-alive, настройка числа потоков/размера пула и увеличение CPU PostgreSQL сверх исследованных значений — направления следующих измерений, а не заявленные результаты. Для более точной capacity-модели нужен отдельный open-loop генератор с фиксированным arrival rate и более длительные рандомизированные серии.
+217
View File
@@ -0,0 +1,217 @@
import base64
import datetime as dt
import hashlib
import json
import os
import re
import secrets
import uuid
from flask import Flask, request, g
from werkzeug.exceptions import HTTPException
from argon2 import PasswordHasher
from argon2.exceptions import VerificationError
from psycopg.rows import dict_row
from psycopg.errors import UniqueViolation
from psycopg_pool import ConnectionPool
import psycopg
import redis
from app.migrate import setting
app = Flask(__name__)
app.config['MAX_CONTENT_LENGTH'] = 65536
pool = ConnectionPool(setting('DATABASE_URL'), min_size=1, max_size=int(os.getenv('POOL_MAX','8')), timeout=3,
kwargs={'row_factory':dict_row,'connect_timeout':3,'options':'-c statement_timeout=3000 -c lock_timeout=2000'})
cache = redis.Redis.from_url(setting('CACHE_URL'),socket_connect_timeout=.2,socket_timeout=.2)
kdf = PasswordHasher(time_cost=2,memory_cost=19456,parallelism=1)
dummy = kdf.hash(secrets.token_urlsafe(32))
ttl = int(os.getenv('SESSION_TTL_SECONDS','3600'))
instance = os.getenv('HOSTNAME','api') + '-' + secrets.token_hex(4)
class Problem(Exception):
def __init__(self,status,code): self.status,self.code=status,code
def fail(status,code): raise Problem(status,code)
def invalid(): fail(400,'invalid_request')
def uid(value):
try: return str(uuid.UUID(value))
except (ValueError,TypeError,AttributeError): invalid()
def clean(row):
return {k:(v.isoformat().replace('+00:00','Z') if isinstance(v,dt.datetime) else str(v) if isinstance(v,uuid.UUID) else v) for k,v in row.items()}
def user(row): return clean({k:row[k] for k in ('id','username','display_name','created_at')})
def body(fields):
if request.mimetype != 'application/json': fail(415,'unsupported_media_type')
try: data = request.get_json()
except HTTPException: invalid()
if not isinstance(data,dict) or set(data)!=set(fields): invalid()
return data
def string(s,maximum,minimum=1):
if not isinstance(s,str) or not s.strip() or not minimum<=len(s)<=maximum: invalid()
try: s.encode('utf-8')
except UnicodeError: invalid()
return s
def actor(c):
auth = request.headers.get('Authorization','')
if not auth.startswith('Bearer ') or not 1<=len(auth[7:])<=256: fail(401,'unauthorized')
digest = hashlib.sha256(auth[7:].encode()).hexdigest()
row=c.execute('SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at>clock_timestamp()',(digest,)).fetchone()
if not row: fail(401,'unauthorized')
g.digest=digest
return row['user_id']
def public_user(c,ident):
key='user:'+str(ident)
try:
value=cache.get(key)
if value: return json.loads(value)
except (redis.RedisError,ValueError): pass
result=user(c.execute('SELECT * FROM users WHERE id=%s',(ident,)).fetchone())
try: cache.setex(key,60,json.dumps(result))
except redis.RedisError: pass
return result
def chat(c,ident,who):
row=c.execute('SELECT c.* FROM chats c JOIN members m ON c.id=m.chat_id WHERE c.id=%s AND m.user_id=%s',(ident,who)).fetchone()
if not row: fail(404,'not_found')
row=clean(row)
row['member_ids']=[str(x['user_id']) for x in c.execute('SELECT user_id FROM members WHERE chat_id=%s ORDER BY user_id',(ident,))]
return row
def page_args(resource):
if set(request.args)-{'limit','cursor'} or any(len(request.args.getlist(k))!=1 for k in request.args): invalid()
raw=request.args.get('limit','50')
if len(raw)>3 or not re.fullmatch(r'[0-9]+',raw) or not 1<=int(raw)<=100: invalid()
cursor=request.args.get('cursor')
pair=None
if cursor is not None:
try:
data=json.loads(base64.b64decode(cursor,altchars=b'-_',validate=True))
if not isinstance(data,list) or len(data)!=3 or data[0]!=resource: invalid()
stamp=dt.datetime.fromisoformat(data[1].replace('Z','+00:00'))
if stamp.tzinfo is None: invalid()
pair=(stamp,uid(data[2]))
except (ValueError,TypeError,KeyError,AttributeError,OverflowError): invalid()
return int(raw),pair
def page(rows,limit,resource):
more=len(rows)>limit
rows=rows[:limit]
cursor=base64.urlsafe_b64encode(json.dumps([resource,rows[-1]['created_at'],rows[-1]['id']]).encode()).decode() if more else None
return {'items':rows,'next_cursor':cursor}
@app.before_request
def before(): g.request_id=str(uuid.uuid4())
@app.after_request
def after(response):
response.headers['X-Request-Id']=g.request_id
response.headers['X-Instance-Id']=instance
return response
@app.errorhandler(Exception)
def error(exc):
if isinstance(exc,Problem): status,code=exc.status,exc.code
elif isinstance(exc,UniqueViolation): status,code=409,'conflict'
elif isinstance(exc,(psycopg.Error, __import__('psycopg_pool').PoolTimeout)): status,code=503,'unavailable'
elif isinstance(exc,HTTPException):
status=exc.code
code={404:'not_found',413:'payload_too_large',415:'unsupported_media_type'}.get(status,'invalid_request')
else:
app.logger.error('Unhandled exception type: %s',type(exc).__name__)
status,code=500,'internal_error'
response=app.json.response({'error':{'code':code,'message':code,'request_id':g.request_id}})
response.status_code=status
if status==401:
response.headers['WWW-Authenticate']='Basic realm="messenger", charset="UTF-8"' if request.path=='/api/v1/auth/sessions' else 'Bearer realm="messenger"'
return response
@app.get('/health/live')
def live(): return {'status':'ok'}
@app.get('/health/ready')
def ready():
with pool.connection() as c: c.execute('SELECT 1')
return {'status':'ok'}
@app.route('/api/v1/<path:path>',methods=['GET','POST','DELETE'])
def api(path):
public = (path in ('users','auth/sessions') and request.method=='POST')
if not public and not request.headers.get('Authorization','').startswith('Bearer '): fail(401,'unauthorized')
with pool.connection() as c:
if path=='users' and request.method=='POST':
d=body(['username','display_name','password'])
if not isinstance(d['username'],str) or not re.fullmatch('[a-z0-9_]{3,32}',d['username']): invalid()
string(d['display_name'],100); string(d['password'],128,12)
row=c.execute('INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) RETURNING *',(uuid.uuid4(),d['username'],d['display_name'],kdf.hash(d['password']))).fetchone()
return user(row),201
if path=='auth/sessions' and request.method=='POST':
a=request.headers.get('Authorization','')
try:
if not a.startswith('Basic ') or request.get_data(): raise ValueError()
name,password=base64.b64decode(a[6:],validate=True).decode('utf-8').split(':',1)
except (ValueError,UnicodeError): fail(401,'unauthorized')
row=c.execute('SELECT * FROM users WHERE username=%s',(name,)).fetchone()
try: valid=kdf.verify(row['password_hash'] if row else dummy,password)
except VerificationError: valid=False
if not valid or not row: fail(401,'unauthorized')
token=secrets.token_urlsafe(32)
expires=c.execute("INSERT INTO sessions VALUES (%s,%s,clock_timestamp() + %s * interval '1 second') RETURNING expires_at",(hashlib.sha256(token.encode()).hexdigest(),row['id'],ttl)).fetchone()['expires_at']
return {'token':token,'token_type':'Bearer','expires_at':expires.isoformat().replace('+00:00','Z'),'user':user(row)},201
who=actor(c)
if path=='auth/sessions/current' and request.method=='DELETE':
c.execute('DELETE FROM sessions WHERE token_hash=%s',(g.digest,))
return '',204
if path=='users/me' and request.method=='GET': return public_user(c,who)
if path=='chats':
if request.method=='POST':
d=body(['title','member_ids']); string(d['title'],100)
ids=d['member_ids']
if not isinstance(ids,list) or not 1<=len(ids)<=100: invalid()
ids=[uid(x) for x in ids]
if len(ids)!=len(set(ids)) or str(who) not in ids: invalid()
if c.execute('SELECT count(*) AS n FROM users WHERE id=ANY(%s::uuid[])',(ids,)).fetchone()['n']!=len(ids): invalid()
ident=uuid.uuid4()
c.execute('INSERT INTO chats(id,title) VALUES (%s,%s)',(ident,d['title']))
for member in ids: c.execute('INSERT INTO members VALUES (%s,%s)',(ident,member))
return chat(c,ident,who),201
if request.method=='GET':
resource='chats:'+str(who); limit,pair=page_args(resource)
query='SELECT c.id FROM chats c JOIN members m ON c.id=m.chat_id WHERE m.user_id=%s'
params=[who]
if pair: query+=' AND (c.created_at,c.id)>(%s,%s)'; params+=list(pair)
query+=' ORDER BY c.created_at,c.id LIMIT %s'; params+=[limit+1]
return page([chat(c,x['id'],who) for x in c.execute(query,params).fetchall()],limit,resource)
parts=path.split('/')
if len(parts) in (2,3) and parts[0]=='chats':
ident=uid(parts[1])
if len(parts)==3 and parts[2]=='messages' and os.getenv('MESSAGE_ACCESS_FAST','1')=='1':
# Message endpoints only need membership, not the entire Chat representation.
if not c.execute('SELECT 1 FROM members WHERE chat_id=%s AND user_id=%s',(ident,who)).fetchone(): fail(404,'not_found')
result=None
else:
result=chat(c,ident,who)
if len(parts)==2 and request.method=='GET': return result
if len(parts)==3 and parts[2]=='messages':
if request.method=='POST':
key=request.headers.get('Idempotency-Key','')
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key): invalid()
if request.mimetype != 'application/json': fail(415,'unsupported_media_type')
try: d=request.get_json()
except HTTPException: invalid()
if not isinstance(d,dict) or set(d)-{'text','attachment_ids'} or 'text' not in d: invalid()
string(d['text'],4000)
if d.get('attachment_ids',[]) != [] or not isinstance(d.get('attachment_ids',[]),list): invalid()
canonical=json.dumps({'text':d['text'],'attachment_ids':[]},sort_keys=True,ensure_ascii=False)
# One transaction: lock scope, inspect replay, insert effect and result, commit before response.
scope=str(who)+':POST:'+ident+':'+key
c.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,))
old=c.execute('SELECT body,response FROM idempotency WHERE user_id=%s AND chat_id=%s AND key=%s AND expires_at>clock_timestamp()',(who,ident,key)).fetchone()
if old:
if old['body']!=canonical: fail(409,'conflict')
return old['response'],201
result=clean(c.execute('INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *',(uuid.uuid4(),ident,who,d['text'])).fetchone())
c.execute("INSERT INTO idempotency(user_id,chat_id,key,body,response,expires_at) VALUES (%s,%s,%s,%s,%s,clock_timestamp()+interval '24 hours') ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body=excluded.body,response=excluded.response,expires_at=excluded.expires_at",(who,ident,key,canonical,psycopg.types.json.Jsonb(result)))
return result,201
if request.method=='GET':
limit,pair=page_args(ident)
query='SELECT * FROM messages WHERE chat_id=%s'; params=[ident]
if pair: query+=' AND (created_at,id)>(%s,%s)'; params+=list(pair)
query+=' ORDER BY created_at,id LIMIT %s'; params+=[limit+1]
return page([clean(x) for x in c.execute(query,params)],limit,ident)
fail(404,'not_found')
+18
View File
@@ -0,0 +1,18 @@
import os
from pathlib import Path
import psycopg
def setting(name):
file = os.getenv(name + '_FILE')
return Path(file).read_text().strip() if file else os.environ[name]
def migrate():
with psycopg.connect(setting('DATABASE_URL'), connect_timeout=3) as c:
c.execute('SELECT pg_advisory_xact_lock(202602)')
c.execute('CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())')
for p in sorted(Path('migrations').glob('*.sql')):
if not c.execute('SELECT 1 FROM schema_migrations WHERE version=%s',(p.name,)).fetchone():
c.execute(p.read_text())
c.execute('INSERT INTO schema_migrations(version) VALUES (%s)',(p.name,))
if __name__ == '__main__':
migrate()
+77
View File
@@ -0,0 +1,77 @@
name: mtusi_lab3_solution
x-app: &app
image: mtusi-lab3-api:local
build: .
environment:
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
POOL_MAX: ${POOL_MAX:-8}
MESSAGE_ACCESS_FAST: ${MESSAGE_ACCESS_FAST:-1}
secrets: [database_url, cache_url]
cpus: ${API_CPUS:-0.5}
mem_limit: ${API_MEMORY:-256m}
stop_grace_period: 7s
restart: unless-stopped
services:
postgres:
image: postgres:16.10-alpine
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
secrets: [db_password]
volumes: [pgdata:/var/lib/postgresql/data]
cpus: ${DB_CPUS:-1.0}
mem_limit: 512m
healthcheck:
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
interval: 1s
timeout: 1s
retries: 30
redis:
image: redis:7.4.6-alpine
command: [redis-server, --maxmemory, 64mb, --maxmemory-policy, allkeys-lru]
cpus: 0.25
mem_limit: 128m
healthcheck:
test: [CMD, redis-cli, ping]
interval: 2s
timeout: 1s
retries: 20
migrate:
<<: *app
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
command: [python, -m, app.migrate]
restart: 'no'
depends_on:
postgres: {condition: service_healthy}
api:
<<: *app
deploy:
replicas: ${API_REPLICAS:-2}
depends_on:
migrate: {condition: service_completed_successfully}
redis: {condition: service_healthy}
healthcheck:
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready', timeout=4)"]
interval: 2s
timeout: 5s
retries: 2
start_period: 5s
lb:
image: haproxy:3.0.11-alpine
ports: ['127.0.0.1:8080:8080']
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
cpus: 0.5
mem_limit: 128m
depends_on:
api: {condition: service_healthy}
volumes:
pgdata:
secrets:
db_password: {file: ./secrets/db_password}
database_url: {file: ./secrets/database_url}
cache_url: {file: ./secrets/cache_url}
+20 -3
View File
@@ -1,5 +1,22 @@
# Доказательства
# Доказательства лабораторной 3
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Дата: 23.10.2026, Europe/Moscow. Все данные синтетические. Токены/пароли не записываются.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
- `check.txt`, `openapi.txt`, `smoke.txt` — фактический stdout публичных проверок.
- `idempotency.json` — 24 одновременных повтора через разные API.
- `idempotency-failover.json` — повтор исходного ключа после физической остановки обслужившего API: тот же Message через другой процесс.
- `failover.json` — публичные 15-секундные проверки остановок, ошибки, восстановление и реальные Docker ID/состояния.
- `persistence.txt`, `containers-initial.json`, `containers-after-restart.json` — прежняя сессия и сообщения после пересоздания настоящих API, PostgreSQL, Redis и LB.
- `rolling.json`, `containers-after-rolling.json` — нагрузка во время последовательной замены контейнеров, вывод action, сохранность подтверждений.
- `availability-load.json` — отдельная остановка каждого API под смешанной нагрузкой чтения/записи, RPS, ошибки, задержки, сверка сообщений.
- `scaling.json` — три повтора для 1/2/4 API, фиксированный и растущий бюджеты.
- `saturation.json` — sweep concurrency 1/4/16/64/128 при четырёх API.
- `db-bottleneck.json` — две серии с PostgreSQL 0.1 и 1 CPU, два повтора на точку, C=4.
- `improvement.json`, `improvement-low.json` — A/B проверки оптимизации членства при C=32 и C=4.
- `extra-checks.json` — строгая валидация, область ключа, отзыв/истечение сессии, Redis outage и DB readiness.
- `migrations.txt` — повторный запуск мигратора не меняет журнал и applied_at.
- `environment-before-db.json`, `environment-final.json` — версии, hardware, размер БД и SHA-256 исходников.
- `measurements.csv` — исходные агрегаты каждого измерения; подробные выборки CPU/RAM остаются в JSON.
- `*.png`, `*.svg` — графики из сохранённых JSON, генерируются `scripts/plots.py`.
Методика, команды и интерпретация всех серий — в [REPORT.md](../REPORT.md). Percentiles относятся к успешным итерациям. Указанный RPS — одна подтверждённая POST-итерация, периодически включающая GET истории, а не сумма HTTP-запросов. Ошибки указаны отдельно. Closed-loop нагрузка имеет ограничения, описанные в отчёте.
File diff suppressed because it is too large Load Diff
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+59
View File
@@ -0,0 +1,59 @@
[
{
"id": "54b5a2f722463aa1ffdcf62ed02754d4be39b0e1c86e0c47bc358e49abddd257",
"name": "/mtusi_lab3_solution-api-1",
"hostname": "54b5a2f72246",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "90c0edd835b0d6ccade0d8859077bacccdeaa0068ec7a7ce99799d06595639d3",
"name": "/mtusi_lab3_solution-api-2",
"hostname": "90c0edd835b0",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "3b0115107acfb7fdb7009b0b3be8283a57cdab24b6e7cfe585a3087c4641384a",
"name": "/mtusi_lab3_solution-lb-1",
"hostname": "3b0115107acf",
"state": "running",
"image": "haproxy:3.0.11-alpine",
"nano_cpus": 500000000,
"memory": 134217728,
"published_ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
]
}
},
{
"id": "b2896afd3818aaf0aeb1e39e4a55fb8305ec2679729defbc04c2531a7336ed51",
"name": "/mtusi_lab3_solution-postgres-1",
"hostname": "b2896afd3818",
"state": "running",
"image": "postgres:16.10-alpine",
"nano_cpus": 1000000000,
"memory": 536870912,
"published_ports": {}
},
{
"id": "033c1cff7786b2a3bd2d1a4702ed8bf3f8c45a54fc3c56571e1328c77bd79c21",
"name": "/mtusi_lab3_solution-redis-1",
"hostname": "033c1cff7786",
"state": "running",
"image": "redis:7.4.6-alpine",
"nano_cpus": 250000000,
"memory": 134217728,
"published_ports": {}
}
]
+59
View File
@@ -0,0 +1,59 @@
[
{
"id": "e0741230f251f1dea1aa04080bfe6bb41db648d85f95fccc37c571a0530ed80d",
"name": "/mtusi_lab3_solution-api-3",
"hostname": "e0741230f251",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "d5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e",
"name": "/mtusi_lab3_solution-api-4",
"hostname": "d5980c18e719",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "3b0115107acfb7fdb7009b0b3be8283a57cdab24b6e7cfe585a3087c4641384a",
"name": "/mtusi_lab3_solution-lb-1",
"hostname": "3b0115107acf",
"state": "running",
"image": "haproxy:3.0.11-alpine",
"nano_cpus": 500000000,
"memory": 134217728,
"published_ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
]
}
},
{
"id": "b2896afd3818aaf0aeb1e39e4a55fb8305ec2679729defbc04c2531a7336ed51",
"name": "/mtusi_lab3_solution-postgres-1",
"hostname": "b2896afd3818",
"state": "running",
"image": "postgres:16.10-alpine",
"nano_cpus": 1000000000,
"memory": 536870912,
"published_ports": {}
},
{
"id": "033c1cff7786b2a3bd2d1a4702ed8bf3f8c45a54fc3c56571e1328c77bd79c21",
"name": "/mtusi_lab3_solution-redis-1",
"hostname": "033c1cff7786",
"state": "running",
"image": "redis:7.4.6-alpine",
"nano_cpus": 250000000,
"memory": 134217728,
"published_ports": {}
}
]
+59
View File
@@ -0,0 +1,59 @@
[
{
"id": "c714bc07cea59fb2341fa083449fa93f72d12a8a34fc91864f0834cdb631393b",
"name": "/mtusi_lab3_solution-api-3",
"hostname": "c714bc07cea5",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "b73f89735b0b4e4a4ac90152b504290ea90ef0946fcc061391e9503415d01154",
"name": "/mtusi_lab3_solution-api-4",
"hostname": "b73f89735b0b",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "3b0115107acfb7fdb7009b0b3be8283a57cdab24b6e7cfe585a3087c4641384a",
"name": "/mtusi_lab3_solution-lb-1",
"hostname": "3b0115107acf",
"state": "running",
"image": "haproxy:3.0.11-alpine",
"nano_cpus": 500000000,
"memory": 134217728,
"published_ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
]
}
},
{
"id": "953e54bc649aeafd057c38532a059c2502e67656f93e51e29b27599ff3d192c8",
"name": "/mtusi_lab3_solution-postgres-1",
"hostname": "953e54bc649a",
"state": "running",
"image": "postgres:16.10-alpine",
"nano_cpus": 1000000000,
"memory": 536870912,
"published_ports": {}
},
{
"id": "033c1cff7786b2a3bd2d1a4702ed8bf3f8c45a54fc3c56571e1328c77bd79c21",
"name": "/mtusi_lab3_solution-redis-1",
"hostname": "033c1cff7786",
"state": "running",
"image": "redis:7.4.6-alpine",
"nano_cpus": 250000000,
"memory": 134217728,
"published_ports": {}
}
]
+59
View File
@@ -0,0 +1,59 @@
[
{
"id": "df99611f85a57cae8ee7a37b3e59daf8a5866b0011a562ca6a3a0fe344726ac9",
"name": "/mtusi_lab3_solution-api-1",
"hostname": "df99611f85a5",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "f18cd1dcf85a453038333137b9915ffa807f1c33352251095cf76112008e8940",
"name": "/mtusi_lab3_solution-api-2",
"hostname": "f18cd1dcf85a",
"state": "running",
"image": "mtusi-lab3-api:local",
"nano_cpus": 500000000,
"memory": 268435456,
"published_ports": {}
},
{
"id": "65e8ba0676ab8a1eb7d7a14485cc12e34587ed2487546ca1f7b799eae186ca99",
"name": "/mtusi_lab3_solution-lb-1",
"hostname": "65e8ba0676ab",
"state": "running",
"image": "haproxy:3.0.11-alpine",
"nano_cpus": 500000000,
"memory": 134217728,
"published_ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
]
}
},
{
"id": "c6fd4157c969d33c7fce9b91552e3737e1e23c1554f9e2b55f8279d8b8e4e7a3",
"name": "/mtusi_lab3_solution-postgres-1",
"hostname": "c6fd4157c969",
"state": "running",
"image": "postgres:16.10-alpine",
"nano_cpus": 1000000000,
"memory": 536870912,
"published_ports": {}
},
{
"id": "7f022c81e357a85c20b1447fb95f32764649c8d3004dd83e47b5559a6f5b3803",
"name": "/mtusi_lab3_solution-redis-1",
"hostname": "7f022c81e357",
"state": "running",
"image": "redis:7.4.6-alpine",
"nano_cpus": 250000000,
"memory": 134217728,
"published_ports": {}
}
]
File diff suppressed because it is too large Load Diff
Binary file not shown.

After

Width:  |  Height:  |  Size: 83 KiB

File diff suppressed because it is too large Load Diff

After

Width:  |  Height:  |  Size: 62 KiB

+40
View File
@@ -0,0 +1,40 @@
{
"collected_at": "2026-10-23T14:43:30.688302+00:00",
"host": "macOS-27.0.1-arm64-arm-64bit-Mach-O",
"machine": "arm64",
"logical_cpus": 10,
"host_memory_bytes": 25769803776,
"host_cpu": "Apple M4",
"docker_version": "{\"Platform\":{\"Name\":\"Docker Desktop 4.92.0 (240144)\"},\"Version\":\"29.8.0\",\"ApiVersion\":\"1.56\",\"MinAPIVersion\":\"1.40\",\"Os\":\"linux\",\"Arch\":\"arm64\",\"Components\":[{\"Name\":\"Engine\",\"Version\":\"29.8.0\",\"Details\":{\"ApiVersion\":\"1.56\",\"Arch\":\"arm64\",\"BuildTime\":\"Thu Sep 3 21:49:37 2026\",\"Experimental\":\"false\",\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"MinAPIVersion\":\"1.40\",\"Module\":\"github.com/moby/moby/v2\",\"ModuleVersion\":\"v2.0.0+unknown\",\"Os\":\"linux\"}},{\"Name\":\"containerd\",\"Version\":\"v2.3.5\",\"Details\":{\"GitCommit\":\"1294c24a7da8e5a793ed378161673abe94118892\"}},{\"Name\":\"runc\",\"Version\":\"1.5.1\",\"Details\":{\"GitCommit\":\"v1.5.1-0-g8f2685a4\"}},{\"Name\":\"docker-init\",\"Version\":\"0.19.0\",\"Details\":{\"GitCommit\":\"de40ad0\"}}],\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"BuildTime\":\"2026-09-03T21:49:37.000000000+00:00\"}",
"compose_version": "Docker Compose version v5.5.1",
"docker_resources": {
"cpus": 10,
"memory_bytes": 8319504384,
"os": "Docker Desktop",
"architecture": "aarch64"
},
"dataset": {
"users": 358,
"chats": 120,
"messages": 523342,
"idempotency": 523342,
"database_bytes": 418255331
},
"versions": {
"python": "Python 3.12.12",
"postgres": "postgres (PostgreSQL) 16.10",
"redis": "Redis server v=7.4.6 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=4e6e3eabd829953b",
"haproxy": "HAProxy version 3.0.11-9e587df 2025/06/02 - https://haproxy.org/\nStatus: long-term supported branch - will stop receiving fixes around Q2 2029.\nKnown bugs: http://www.haproxy.org/bugs/bugs-3.0.11.html\nRunning on: Linux 7.0.12-linuxkit #1 SMP PREEMPT Thu Aug 27 14:02:21 UTC 2026 aarch64"
},
"source_sha256": {
"app/main.py": "99d850d729fc015ee9e20c5151e631ab5dc901927044adb23247c402140dd514",
"app/migrate.py": "e8fe9d98bf74fbeb0b402b1dde41e7371f602683e6898990f88abedf1e698243",
"migrations/002_idempotency.sql": "3629c3b43d97fcd7e017b42281eb7ccce60821f772f0eccb3b63f925765c0275",
"migrations/001_initial.sql": "0fb9c58900c7ecd12d6fafe656a30c86be1e796f655eb5b0334ed290b108e25b",
"infra/haproxy.cfg": "119c268704ca5471a9426cd579348544995c968e78c8a3cb7b6213a95028bfb7",
"scripts/experiments.py": "0ee3683e0a6e75277c96961c2394bd3a86955a5098cd4e748f23e0969e2d36e8",
"compose.yaml": "2a14d0fe4700d0dbdf48d81b0412f18faebe26b122e12bf7dd49ba33c7f26784",
"Dockerfile": "1553edea298cc97374384376b908593b1b2398a21c55a91f787393f4cdcb0a31",
"requirements.lock": "38c6fdee1220a6a22c9f6ffd9dec973aed420139e30d33325cd85be4ce9f573a"
}
}
+40
View File
@@ -0,0 +1,40 @@
{
"collected_at": "2026-10-23T14:50:58.749817+00:00",
"host": "macOS-27.0.1-arm64-arm-64bit-Mach-O",
"machine": "arm64",
"logical_cpus": 10,
"host_memory_bytes": 25769803776,
"host_cpu": "Apple M4",
"docker_version": "{\"Platform\":{\"Name\":\"Docker Desktop 4.92.0 (240144)\"},\"Version\":\"29.8.0\",\"ApiVersion\":\"1.56\",\"MinAPIVersion\":\"1.40\",\"Os\":\"linux\",\"Arch\":\"arm64\",\"Components\":[{\"Name\":\"Engine\",\"Version\":\"29.8.0\",\"Details\":{\"ApiVersion\":\"1.56\",\"Arch\":\"arm64\",\"BuildTime\":\"Thu Sep 3 21:49:37 2026\",\"Experimental\":\"false\",\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"MinAPIVersion\":\"1.40\",\"Module\":\"github.com/moby/moby/v2\",\"ModuleVersion\":\"v2.0.0+unknown\",\"Os\":\"linux\"}},{\"Name\":\"containerd\",\"Version\":\"v2.3.5\",\"Details\":{\"GitCommit\":\"1294c24a7da8e5a793ed378161673abe94118892\"}},{\"Name\":\"runc\",\"Version\":\"1.5.1\",\"Details\":{\"GitCommit\":\"v1.5.1-0-g8f2685a4\"}},{\"Name\":\"docker-init\",\"Version\":\"0.19.0\",\"Details\":{\"GitCommit\":\"de40ad0\"}}],\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"BuildTime\":\"2026-09-03T21:49:37.000000000+00:00\"}",
"compose_version": "Docker Compose version v5.5.1",
"docker_resources": {
"cpus": 10,
"memory_bytes": 8319504384,
"os": "Docker Desktop",
"architecture": "aarch64"
},
"dataset": {
"users": 412,
"chats": 138,
"messages": 656975,
"idempotency": 656975,
"database_bytes": 523973091
},
"versions": {
"python": "Python 3.12.12",
"postgres": "postgres (PostgreSQL) 16.10",
"redis": "Redis server v=7.4.6 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=4e6e3eabd829953b",
"haproxy": "HAProxy version 3.0.11-9e587df 2025/06/02 - https://haproxy.org/\nStatus: long-term supported branch - will stop receiving fixes around Q2 2029.\nKnown bugs: http://www.haproxy.org/bugs/bugs-3.0.11.html\nRunning on: Linux 7.0.12-linuxkit #1 SMP PREEMPT Thu Aug 27 14:02:21 UTC 2026 aarch64"
},
"source_sha256": {
"app/main.py": "99d850d729fc015ee9e20c5151e631ab5dc901927044adb23247c402140dd514",
"app/migrate.py": "e8fe9d98bf74fbeb0b402b1dde41e7371f602683e6898990f88abedf1e698243",
"migrations/002_idempotency.sql": "3629c3b43d97fcd7e017b42281eb7ccce60821f772f0eccb3b63f925765c0275",
"migrations/001_initial.sql": "0fb9c58900c7ecd12d6fafe656a30c86be1e796f655eb5b0334ed290b108e25b",
"infra/haproxy.cfg": "119c268704ca5471a9426cd579348544995c968e78c8a3cb7b6213a95028bfb7",
"scripts/experiments.py": "0ee3683e0a6e75277c96961c2394bd3a86955a5098cd4e748f23e0969e2d36e8",
"compose.yaml": "2a14d0fe4700d0dbdf48d81b0412f18faebe26b122e12bf7dd49ba33c7f26784",
"Dockerfile": "1553edea298cc97374384376b908593b1b2398a21c55a91f787393f4cdcb0a31",
"requirements.lock": "38c6fdee1220a6a22c9f6ffd9dec973aed420139e30d33325cd85be4ce9f573a"
}
}
+12
View File
@@ -0,0 +1,12 @@
{
"contract_extra": "PASS: 128-codepoint UTF-8 password with colon; malformed JSON and oversized limit rejected",
"strict_message_validation": "PASS",
"key_scope": "PASS: 3 independent messages",
"canonical_json_order": "PASS: reversed fields and explicit [] replay the same message",
"cursor_scope": "PASS: cursor from another chat rejected with 400",
"revoked_session_cannot_replay": "PASS",
"same_key_after_physical_failover": "PASS: same Message and 201 via a different process with original token",
"redis_outage": "PASS: profile falls back to PostgreSQL, ready=200",
"postgres_outage": "live 200\nready 503; no DB failover claimed",
"expiry": "PASS: TTL=2 seconds, old token gives 401"
}
+80
View File
@@ -0,0 +1,80 @@
[
{
"attempt": 1,
"stdout": "python3 tests/resilience.py --mode failover --action-script \"scripts/stop-one.sh\" --base-url \"http://localhost:8080\" \nExecuting explicit failover hook; hook output suppressed to avoid leaking secrets.\n{\"observed_instances_before\": 2, \"successful_writes\": 127, \"failed_attempts\": 2, \"first_recovery_seconds\": 0.943}\nPASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.\n",
"stopped": [
"mtusi_lab3_solution-api-2"
],
"inventory_after": [
{
"name": "mtusi_lab3_solution-api-1",
"state": "running",
"id": "df99611f85a5"
},
{
"name": "mtusi_lab3_solution-api-2",
"state": "exited",
"id": "f18cd1dcf85a"
},
{
"name": "mtusi_lab3_solution-lb-1",
"state": "running",
"id": "65e8ba0676ab"
},
{
"name": "mtusi_lab3_solution-migrate-1",
"state": "exited",
"id": "407405e4541b"
},
{
"name": "mtusi_lab3_solution-postgres-1",
"state": "running",
"id": "c6fd4157c969"
},
{
"name": "mtusi_lab3_solution-redis-1",
"state": "running",
"id": "7f022c81e357"
}
]
},
{
"attempt": 2,
"stdout": "python3 tests/resilience.py --mode failover --action-script \"scripts/stop-one.sh\" --base-url \"http://localhost:8080\" \nExecuting explicit failover hook; hook output suppressed to avoid leaking secrets.\n{\"observed_instances_before\": 2, \"successful_writes\": 127, \"failed_attempts\": 2, \"first_recovery_seconds\": 0.94}\nPASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.\n",
"stopped": [
"mtusi_lab3_solution-api-1"
],
"inventory_after": [
{
"name": "mtusi_lab3_solution-api-1",
"state": "exited",
"id": "df99611f85a5"
},
{
"name": "mtusi_lab3_solution-api-2",
"state": "running",
"id": "f18cd1dcf85a"
},
{
"name": "mtusi_lab3_solution-lb-1",
"state": "running",
"id": "65e8ba0676ab"
},
{
"name": "mtusi_lab3_solution-migrate-1",
"state": "exited",
"id": "407405e4541b"
},
{
"name": "mtusi_lab3_solution-postgres-1",
"state": "running",
"id": "c6fd4157c969"
},
{
"name": "mtusi_lab3_solution-redis-1",
"state": "running",
"id": "7f022c81e357"
}
]
}
]
+8
View File
@@ -0,0 +1,8 @@
{
"original_instance": "d5980c18e719-8c76619b",
"replay_instance": "e0741230f251-7f94e597",
"same_message": true,
"status": 201,
"seconds": 0.664,
"hook": "Stopping API container d5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e (hostname d5980c18e719)\nFlag --time has been deprecated, use --timeout instead\nd5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e\nd5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e exited\n"
}
+11
View File
@@ -0,0 +1,11 @@
{
"concurrent_requests": 24,
"instances": [
"df99611f85a5-04302f1c",
"f18cd1dcf85a-e5743b7e"
],
"distinct_message_ids": 1,
"stored_messages": 1,
"different_body_status": 409,
"absent_vs_empty_attachments": "equal"
}
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
Binary file not shown.

After

Width:  |  Height:  |  Size: 56 KiB

File diff suppressed because it is too large Load Diff

After

Width:  |  Height:  |  Size: 51 KiB

+48
View File
@@ -0,0 +1,48 @@
experiment,series,replicas,db_cpu,fast_membership,repeat,concurrency,elapsed,success,errors,rps,p50_ms,p95_ms,p99_ms
scaling,fixed,1,,,1,32,10.024,5217,0,520.437,68.395,103.915,139.297
scaling,fixed,1,,,2,32,10.052,5299,0,527.135,68.481,102.047,116.932
scaling,fixed,1,,,3,32,10.025,5272,0,525.9,68.84,100.923,109.326
scaling,fixed,2,,,1,32,10.116,4079,0,403.232,99.462,195.694,283.169
scaling,fixed,2,,,2,32,10.094,4151,0,411.236,98.189,192.717,280.292
scaling,fixed,2,,,3,32,10.077,4190,0,415.791,99.923,190.081,278.196
scaling,fixed,4,,,1,32,10.244,3752,0,366.259,5.066,371.938,478.247
scaling,fixed,4,,,2,32,10.238,3687,0,360.123,5.424,371.181,504.856
scaling,fixed,4,,,3,32,10.246,3850,0,375.738,5.087,336.864,489.03
scaling,growing,1,,,1,32,10.098,2168,0,214.701,115.165,274.239,318.435
scaling,growing,1,,,2,32,10.113,2167,0,214.269,114.606,276.8,307.213
scaling,growing,1,,,3,32,10.106,2127,0,210.467,116.777,279.159,294.331
scaling,growing,2,,,1,32,10.09,4128,0,409.104,101.016,194.599,275.12
scaling,growing,2,,,2,32,10.054,4126,0,410.395,99.985,199.698,279.349
scaling,growing,2,,,3,32,10.052,4105,0,408.395,92.683,194.137,281.407
scaling,growing,4,,,1,32,10.082,8932,0,885.975,6.875,150.17,185.407
scaling,growing,4,,,2,32,10.084,9137,0,906.072,7.369,142.843,177.629
scaling,growing,4,,,3,32,10.189,8828,0,866.451,8.082,149.461,194.614
saturation,,4,,,,1,10.0,4934,0,493.38,1.797,3.443,4.551
saturation,,4,,,,4,10.003,11263,0,1125.936,2.976,5.607,14.455
saturation,,4,,,,16,10.021,9812,0,979.146,6.648,71.968,85.027
saturation,,4,,,,64,10.205,9137,0,895.334,7.091,273.343,343.532
saturation,,4,,,,128,10.374,9050,0,872.375,111.364,419.207,504.484
improvement,,,,False,1,32,10.04,8326,0,829.273,6.939,157.194,181.899
improvement,,,,False,2,32,10.079,8491,0,842.468,7.437,152.413,183.534
improvement,,,,False,3,32,10.104,8399,0,831.283,5.98,161.926,195.997
improvement,,,,True,1,32,10.08,8971,0,890.017,6.052,152.151,187.361
improvement,,,,True,2,32,10.03,8965,0,893.861,7.197,143.487,177.139
improvement,,,,True,3,32,10.069,9096,0,903.411,6.787,148.475,183.686
improvement-low,,,,False,1,4,10.003,11704,0,1170.102,2.902,5.349,9.424
improvement-low,,,,True,1,4,10.001,12315,0,1231.321,2.81,5.212,7.819
improvement-low,,,,True,2,4,10.002,12221,0,1221.811,2.789,5.213,9.204
improvement-low,,,,False,2,4,10.002,11803,0,1180.111,2.921,5.375,8.322
improvement-low,,,,False,3,4,10.003,11835,0,1183.097,2.909,5.364,7.932
improvement-low,,,,True,3,4,10.004,12145,0,1214.054,2.832,5.216,8.259
db-bottleneck,,1,0.1,,1,4,10.001,1476,0,147.589,5.258,97.175,198.596
db-bottleneck,,1,0.1,,2,4,10.052,1505,0,149.715,5.395,94.517,195.986
db-bottleneck,,2,0.1,,1,4,10.019,919,0,91.726,7.125,103.933,289.423
db-bottleneck,,2,0.1,,2,4,10.021,1082,0,107.97,5.426,101.442,201.348
db-bottleneck,,4,0.1,,1,4,10.024,888,0,88.588,6.557,104.218,204.894
db-bottleneck,,4,0.1,,2,4,10.011,893,0,89.203,7.634,104.923,201.846
db-bottleneck,,1,1,,1,4,10.018,4967,0,495.802,3.592,54.138,63.387
db-bottleneck,,1,1,,2,4,10.028,4796,0,478.255,3.649,55.078,65.376
db-bottleneck,,2,1,,1,4,10.004,10040,0,1003.648,2.879,5.989,25.497
db-bottleneck,,2,1,,2,4,10.003,10925,0,1092.152,2.807,5.968,19.362
db-bottleneck,,4,1,,1,4,10.002,11911,0,1190.818,2.827,5.197,7.9
db-bottleneck,,4,1,,2,4,10.016,11308,0,1129.002,2.869,5.593,14.545
1 experiment series replicas db_cpu fast_membership repeat concurrency elapsed success errors rps p50_ms p95_ms p99_ms
2 scaling fixed 1 1 32 10.024 5217 0 520.437 68.395 103.915 139.297
3 scaling fixed 1 2 32 10.052 5299 0 527.135 68.481 102.047 116.932
4 scaling fixed 1 3 32 10.025 5272 0 525.9 68.84 100.923 109.326
5 scaling fixed 2 1 32 10.116 4079 0 403.232 99.462 195.694 283.169
6 scaling fixed 2 2 32 10.094 4151 0 411.236 98.189 192.717 280.292
7 scaling fixed 2 3 32 10.077 4190 0 415.791 99.923 190.081 278.196
8 scaling fixed 4 1 32 10.244 3752 0 366.259 5.066 371.938 478.247
9 scaling fixed 4 2 32 10.238 3687 0 360.123 5.424 371.181 504.856
10 scaling fixed 4 3 32 10.246 3850 0 375.738 5.087 336.864 489.03
11 scaling growing 1 1 32 10.098 2168 0 214.701 115.165 274.239 318.435
12 scaling growing 1 2 32 10.113 2167 0 214.269 114.606 276.8 307.213
13 scaling growing 1 3 32 10.106 2127 0 210.467 116.777 279.159 294.331
14 scaling growing 2 1 32 10.09 4128 0 409.104 101.016 194.599 275.12
15 scaling growing 2 2 32 10.054 4126 0 410.395 99.985 199.698 279.349
16 scaling growing 2 3 32 10.052 4105 0 408.395 92.683 194.137 281.407
17 scaling growing 4 1 32 10.082 8932 0 885.975 6.875 150.17 185.407
18 scaling growing 4 2 32 10.084 9137 0 906.072 7.369 142.843 177.629
19 scaling growing 4 3 32 10.189 8828 0 866.451 8.082 149.461 194.614
20 saturation 4 1 10.0 4934 0 493.38 1.797 3.443 4.551
21 saturation 4 4 10.003 11263 0 1125.936 2.976 5.607 14.455
22 saturation 4 16 10.021 9812 0 979.146 6.648 71.968 85.027
23 saturation 4 64 10.205 9137 0 895.334 7.091 273.343 343.532
24 saturation 4 128 10.374 9050 0 872.375 111.364 419.207 504.484
25 improvement False 1 32 10.04 8326 0 829.273 6.939 157.194 181.899
26 improvement False 2 32 10.079 8491 0 842.468 7.437 152.413 183.534
27 improvement False 3 32 10.104 8399 0 831.283 5.98 161.926 195.997
28 improvement True 1 32 10.08 8971 0 890.017 6.052 152.151 187.361
29 improvement True 2 32 10.03 8965 0 893.861 7.197 143.487 177.139
30 improvement True 3 32 10.069 9096 0 903.411 6.787 148.475 183.686
31 improvement-low False 1 4 10.003 11704 0 1170.102 2.902 5.349 9.424
32 improvement-low True 1 4 10.001 12315 0 1231.321 2.81 5.212 7.819
33 improvement-low True 2 4 10.002 12221 0 1221.811 2.789 5.213 9.204
34 improvement-low False 2 4 10.002 11803 0 1180.111 2.921 5.375 8.322
35 improvement-low False 3 4 10.003 11835 0 1183.097 2.909 5.364 7.932
36 improvement-low True 3 4 10.004 12145 0 1214.054 2.832 5.216 8.259
37 db-bottleneck 1 0.1 1 4 10.001 1476 0 147.589 5.258 97.175 198.596
38 db-bottleneck 1 0.1 2 4 10.052 1505 0 149.715 5.395 94.517 195.986
39 db-bottleneck 2 0.1 1 4 10.019 919 0 91.726 7.125 103.933 289.423
40 db-bottleneck 2 0.1 2 4 10.021 1082 0 107.97 5.426 101.442 201.348
41 db-bottleneck 4 0.1 1 4 10.024 888 0 88.588 6.557 104.218 204.894
42 db-bottleneck 4 0.1 2 4 10.011 893 0 89.203 7.634 104.923 201.846
43 db-bottleneck 1 1 1 4 10.018 4967 0 495.802 3.592 54.138 63.387
44 db-bottleneck 1 1 2 4 10.028 4796 0 478.255 3.649 55.078 65.376
45 db-bottleneck 2 1 1 4 10.004 10040 0 1003.648 2.879 5.989 25.497
46 db-bottleneck 2 1 2 4 10.003 10925 0 1092.152 2.807 5.968 19.362
47 db-bottleneck 4 1 1 4 10.002 11911 0 1190.818 2.827 5.197 7.9
48 db-bottleneck 4 1 2 4 10.016 11308 0 1129.002 2.869 5.593 14.545
+4
View File
@@ -0,0 +1,4 @@
Command: docker compose run --rm migrate (twice)
Before == after (including applied_at): PASS
001_initial.sql|2026-10-23 12:05:38.158093+00
002_idempotency.sql|2026-10-23 12:05:38.158093+00
+2
View File
@@ -0,0 +1,2 @@
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
Binary file not shown.

After

Width:  |  Height:  |  Size: 80 KiB

File diff suppressed because it is too large Load Diff

After

Width:  |  Height:  |  Size: 49 KiB

File diff suppressed because it is too large Load Diff
Binary file not shown.

After

Width:  |  Height:  |  Size: 102 KiB

+1917
View File
File diff suppressed because it is too large Load Diff

After

Width:  |  Height:  |  Size: 56 KiB

+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
+28
View File
@@ -0,0 +1,28 @@
global
log stdout format raw local0
maxconn 1024
defaults
log global
mode http
timeout connect 500ms
timeout client 6s
timeout server 5s
timeout check 1s
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 2
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
frontend public
bind *:8080
default_backend replicas
backend replicas
balance roundrobin
option http-server-close
option httpchk GET /health/ready
http-check expect status 200
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 1 resolvers docker init-addr none
server-template api 8 api:8080 check
+12
View File
@@ -0,0 +1,12 @@
CREATE TABLE users (
id uuid PRIMARY KEY, username text NOT NULL UNIQUE CHECK(username ~ '^[a-z0-9_]{3,32}$'),
display_name text NOT NULL CHECK(length(btrim(display_name))>0 AND length(display_name)<=100),
password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (id uuid PRIMARY KEY, title text NOT NULL CHECK(length(btrim(title))>0 AND length(title)<=100), created_at timestamptz NOT NULL DEFAULT clock_timestamp());
CREATE TABLE members (chat_id uuid REFERENCES chats ON DELETE CASCADE, user_id uuid REFERENCES users, PRIMARY KEY(chat_id,user_id));
CREATE INDEX members_user ON members(user_id,chat_id);
CREATE TABLE messages (id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, text text NOT NULL CHECK(length(btrim(text))>0 AND length(text)<=4000), created_at timestamptz NOT NULL DEFAULT clock_timestamp());
CREATE INDEX messages_history ON messages(chat_id,created_at,id);
CREATE TABLE sessions (token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL);
CREATE INDEX sessions_expiry ON sessions(expires_at);
+6
View File
@@ -0,0 +1,6 @@
CREATE TABLE idempotency (
user_id uuid NOT NULL REFERENCES users, chat_id uuid NOT NULL REFERENCES chats,
key varchar(128) NOT NULL, body text NOT NULL, response jsonb NOT NULL,
expires_at timestamptz NOT NULL, PRIMARY KEY(user_id,chat_id,key)
);
CREATE INDEX idempotency_expiry ON idempotency(expires_at);
+1
View File
@@ -0,0 +1 @@
matplotlib==3.10.7
+18
View File
@@ -0,0 +1,18 @@
argon2-cffi==25.1.0
argon2-cffi-bindings==26.1.0
blinker==1.9.0
cffi==2.1.1
click==8.5.0
Flask==3.1.2
gunicorn==23.0.0
itsdangerous==2.2.0
Jinja2==3.1.6
MarkupSafe==3.0.4
packaging==26.3
psycopg==3.2.10
psycopg-binary==3.2.10
psycopg-pool==3.3.3
pycparser==3.11
redis==6.4.0
typing_extensions==4.16.0
Werkzeug==3.1.9
+5
View File
@@ -0,0 +1,5 @@
Flask==3.1.2
gunicorn==23.0.0
psycopg[binary,pool]==3.2.10
redis==6.4.0
argon2-cffi==25.1.0
+17
View File
@@ -0,0 +1,17 @@
#!/usr/bin/env python3
"""Generate local synthetic credentials once; never print their values."""
from pathlib import Path
import secrets
root=Path(__file__).resolve().parents[1]
folder=root/'secrets'
folder.mkdir(mode=0o700,exist_ok=True)
folder.chmod(0o700)
password=folder/'db_password'
if not password.exists():
password.write_text(secrets.token_hex(32))
for name,value in {'database_url':'postgresql://messenger:'+password.read_text().strip()+'@postgres:5432/messenger','cache_url':'redis://redis:6379/0'}.items():
path=folder/name
if not path.exists(): path.write_text(value)
for path in folder.iterdir(): path.chmod(0o600)
if not (root/'.env').exists(): (root/'.env').write_text('API_REPLICAS=2\nSESSION_TTL_SECONDS=3600\n')
print('Local secrets ready (values hidden).')
+20
View File
@@ -0,0 +1,20 @@
import sys,base64,uuid
from pathlib import Path
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
from client import Client,check
c=Client()
a,b,e,chat=c.bootstrap()
path='/api/v1/chats/'+chat['id']
results={'contract_extra':{}}
# Full UTF-8 password range, including a colon; malformed JSON and invalid limits.
unicode_name='utf_'+uuid.uuid4().hex[:16]
unicode_password='🔑'*120+':пароль!'
check(len(unicode_password)==128,'password fixture length')
c.call('POST','/api/v1/users',201,body={'username':unicode_name,'display_name':'UTF-8','password':unicode_password},schema='User')
credential=base64.b64encode((unicode_name+':'+unicode_password).encode()).decode()
c.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')
c.call('POST','/api/v1/users',400,raw=b'{',headers={'Content-Type':'application/json'})
c.call('GET',path+'/messages?limit='+('9'*100),400,actor=a)
results['contract_extra']['utf8_128_password_with_colon']=True
print('PASS: 128-codepoint UTF-8 password with colon; malformed JSON and oversized limit rejected')
+13
View File
@@ -0,0 +1,13 @@
#!/usr/bin/env python3
import sys,os,platform,json,subprocess,datetime
from pathlib import Path
sys.path.insert(0,str(Path(__file__).resolve().parent))
from experiments import command,dc,save
info={'collected_at':datetime.datetime.now(datetime.timezone.utc).isoformat(),'host':platform.platform(),'machine':platform.machine(),'logical_cpus':os.cpu_count(),'host_memory_bytes':int(command(['sysctl','-n','hw.memsize']).strip()),'host_cpu':command(['sysctl','-n','machdep.cpu.brand_string']).strip(),'docker_version':command(['docker','version','--format','{{json .Server}}']).strip(),'compose_version':dc('version').strip(),'docker_resources':json.loads(command(['docker','info','--format','{"cpus":{{.NCPU}},"memory_bytes":{{.MemTotal}},"os":"{{.OperatingSystem}}","architecture":"{{.Architecture}}"}']))}
info['dataset']=json.loads(dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atc',"SELECT json_build_object('users',(SELECT count(*) FROM users),'chats',(SELECT count(*) FROM chats),'messages',(SELECT count(*) FROM messages),'idempotency',(SELECT count(*) FROM idempotency),'database_bytes',pg_database_size(current_database()))"))
info['versions']={'python':command(['docker','exec',dc('ps','-q','api').split()[0],'python','--version']).strip(),'postgres':dc('exec','-T','postgres','postgres','--version').strip(),'redis':dc('exec','-T','redis','redis-server','--version').strip(),'haproxy':dc('exec','-T','lb','haproxy','-v').strip()}
# Hash inputs so measurements can be tied to saved sources without publishing secrets.
import hashlib
info['source_sha256']={str(p):hashlib.sha256(p.read_bytes()).hexdigest() for pattern in ('app/*.py','migrations/*.sql','infra/*.cfg','scripts/experiments.py','compose.yaml','Dockerfile','requirements.lock') for p in Path('.').glob(pattern)}
save(sys.argv[1] if len(sys.argv)>1 else 'environment.json',info)
print('Sanitized environment and source hashes saved.')
+225
View File
@@ -0,0 +1,225 @@
#!/usr/bin/env python3
"""Reproducible real-container experiments. Only synthetic data; no tokens on disk."""
import sys,os,json,time,subprocess,statistics,threading,math,uuid
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor
ROOT=Path(__file__).resolve().parents[1]
os.chdir(ROOT)
sys.path.insert(0,str(ROOT/'tests'))
from client import Client,Failure,check
OUT=ROOT/'evidence'; OUT.mkdir(exist_ok=True)
def command(args,env=None):
proc=subprocess.Popen(args,env=env,text=True,stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
waited=0
try:
while True:
try:
output,_=proc.communicate(timeout=15)
break
except subprocess.TimeoutExpired:
waited+=15
print(' Ожидание: '+' '.join(args[:3])+'… ('+str(waited)+' с)',flush=True)
except KeyboardInterrupt:
proc.terminate()
try: proc.communicate(timeout=5)
except subprocess.TimeoutExpired:
proc.kill(); proc.communicate()
raise
if proc.returncode: raise RuntimeError('Command failed: '+str(args)+'\n'+output)
return output
def dc(*args,env=None): return command(['docker','compose',*args],env)
def save(name,data): (OUT/name).write_text(json.dumps(data,ensure_ascii=False,indent=2)+'\n')
def inventory():
ids=dc('ps','-q').split()
return [json.loads(line) for line in command(['docker','inspect','--format','{"id":"{{.Id}}","name":"{{.Name}}","hostname":"{{.Config.Hostname}}","state":"{{.State.Status}}","image":"{{.Config.Image}}","nano_cpus":{{.HostConfig.NanoCpus}},"memory":{{.HostConfig.Memory}},"published_ports":{{json .HostConfig.PortBindings}}}',*ids]).splitlines()]
def up_wait(env=None,replicas=None):
print('Подготовка стенда из локальных образов, ожидание готовности (до 90 с)…',flush=True)
args=['up','-d','--no-build','--pull','never','--wait','--wait-timeout','90']
if replicas is not None: args+=['--scale','api='+str(replicas)]
try: dc(*args,env=env)
except RuntimeError as exc:
# A recreated DB invalidates existing pool connections. Compose may fail
# immediately on an old 'unhealthy' status; restart API pools, then wait.
if 'unhealthy' not in str(exc): raise
dc('restart','api',env=env)
dc(*args,env=env)
time.sleep(3)
def restore(): up_wait()
def sample_stats(stop,rows):
while not stop.is_set():
try:
rows.append({'at':time.time(),'containers':[json.loads(x) for x in dc('stats','--no-stream','--format','{{json .}}').splitlines()]})
except Exception: pass
stop.wait(.5)
def benchmark(duration=10,concurrency=16,action=None):
c=Client(); a,b,e,chat=c.bootstrap()
# Explicit warm-up, excluded from measured interval.
for i in range(50): c.message(a,chat,'warmup-'+str(i))
barrier=threading.Barrier(concurrency+1,action=lambda: started.__setitem__(0,time.monotonic())); lat=[]; errors=[]; observed=set(); confirmed=set(); lock=threading.Lock()
started=[0]; stats=[]; stop=threading.Event()
sampler=threading.Thread(target=sample_stats,args=(stop,stats)); sampler.start()
action_result={}
def run_action():
time.sleep(2)
try: action_result['output']=action(); action_result['ok']=True
except Exception as exc: action_result.update(ok=False,error=str(exc))
action_result['finished_seconds']=time.monotonic()-started[0]
def worker(n):
local=Client(timeout=6); barrier.wait(); index=0
while time.monotonic()-started[0]<duration:
begin=time.monotonic()
try:
response=local.message(a,chat,'load-%s-%s'%(n,index))
# Each worker also reads periodically during failures/updates.
if index%10==0: local.call('GET','/api/v1/chats/'+chat['id']+'/messages?limit=1',actor=b,schema='MessagePage')
with lock:
lat.append((time.monotonic()-begin)*1000); observed.add(response['headers']['X-Instance-Id']); confirmed.add(response['json']['id'])
except Failure as exc:
with lock: errors.append({'at_seconds':round(begin-started[0],4),'error':str(exc)})
index+=1
with ThreadPoolExecutor(max_workers=concurrency) as pool:
jobs=[pool.submit(worker,n) for n in range(concurrency)]
started[0]=time.monotonic(); barrier.wait()
thread=threading.Thread(target=run_action) if action else None
if thread: thread.start()
for job in jobs: job.result()
elapsed=time.monotonic()-started[0]
if thread: thread.join()
stop.set(); sampler.join()
lat.sort()
def pct(p): return round(lat[max(0,math.ceil(p*len(lat))-1)],3) if lat else None
result={'duration':duration,'elapsed':round(elapsed,3),'concurrency':concurrency,'success':len(lat),'errors':len(errors),'rps':round(len(lat)/elapsed,3),'p50_ms':pct(.5),'p95_ms':pct(.95),'p99_ms':pct(.99),'instances':sorted(observed),'error_details':errors,'stats':stats,'action':action_result,'warmup_messages':50}
check(bool(lat),'no successes')
if action:
check(action_result.get('ok'),'action failed')
from resilience import history
stored=history(c,b,chat)
check(confirmed.issubset({item['id'] for item in stored}),'confirmed message lost during action')
check(len(stored)==len({item['id'] for item in stored}),'duplicate IDs')
result['confirmed_messages_verified']=len(confirmed)
return result
def correctness():
print('Проверки займут несколько минут. Результаты сохраняются в evidence/.',flush=True)
restore()
print('[1/6] Публичные smoke и проверка структуры',flush=True)
# Preserve raw stdout from unmodified public tests.
(OUT/'smoke.txt').write_text(command(['make','test']))
(OUT/'check.txt').write_text(command(['make','check']))
before=inventory(); save('containers-initial.json',before)
print('[2/6] 24 конкурентных повтора одного сообщения',flush=True)
c=Client(); a,b,e,chat=c.bootstrap(); path='/api/v1/chats/'+chat['id']+'/messages'
key=uuid.uuid4().hex; gate=threading.Barrier(24)
def repeat(i):
local=Client(); gate.wait()
return local.message(a,chat,'parallel-idempotency',key=key,attachments=[] if i%2 else None)
with ThreadPoolExecutor(max_workers=24) as pool: replies=list(pool.map(repeat,range(24)))
check(len({r['json']['id'] for r in replies})==1,'duplicate idempotency effects')
instances=sorted({r['headers']['X-Instance-Id'] for r in replies}); check(len(instances)>=2,'parallel replay missed replicas')
items=c.call('GET',path,actor=b,schema='MessagePage')['json']['items']; check(len(items)==1,'duplicate stored messages')
c.call('POST',path,409,actor=a,body={'text':'different'},headers={'Idempotency-Key':key})
save('idempotency.json',{'concurrent_requests':24,'instances':instances,'distinct_message_ids':1,'stored_messages':len(items),'different_body_status':409,'absent_vs_empty_attachments':'equal'})
# Public test chooses target from the response: rotate serving order until each physical container was stopped.
print('[3/6] Отказ каждой API по очереди (15 с на попытку)',flush=True)
seen=set(); attempts=[]
for attempt in range(8):
restore()
if attempt%2: Client().call('GET','/health/live',schema='Health') # rotate round-robin before target selection
print(' Попытка '+str(attempt+1),flush=True)
output=command(['make','test-failover','ACTION_SCRIPT=scripts/stop-one.sh'])
stopped=dc('ps','-a','--format','json')
states=[json.loads(line) for line in stopped.splitlines() if line.strip()]
targets=[r['Name'] for r in states if r['Service']=='api' and r['State']=='exited']
seen.update(targets)
attempts.append({'attempt':attempt+1,'stdout':output,'stopped':targets,'inventory_after':[{'name':r['Name'],'state':r['State'],'id':r['ID']} for r in states]})
save('failover.json',attempts)
if len(seen)>=2: break
check(len(seen)>=2,'did not stop each API replica')
restore()
print('[4/6] Перезапуск стенда с сохранением данных и сессии',flush=True)
(OUT/'persistence.txt').write_text(command(['make','test-persistence','ACTION_SCRIPT=scripts/restart.sh']))
save('containers-after-restart.json',inventory())
print('[5/6] Последовательная замена контейнеров под нагрузкой (35 с)',flush=True)
save('rolling.json',benchmark(35,16,lambda:command(['sh','scripts/rolling-update.sh'])))
save('containers-after-rolling.json',inventory())
restore()
print('[6/6] Остановка каждой API под нагрузкой (15 с на реплику)',flush=True)
availability=[]
for item in inventory():
if '-api-' not in item['name']: continue
target=item['hostname']+'-selected'
def action(target=target):
return command(['sh','scripts/stop-one.sh'],dict(os.environ,TARGET_INSTANCE_ID=target))
row=benchmark(15,16,action); row['target_container']=item['name']
availability.append(row); save('availability-load.json',availability)
restore()
print('Correctness, each-replica failure, persistence and rolling: PASS',flush=True)
def configure(n,cpu,memory,pool=8,fast=1,db_cpu=1):
env=dict(os.environ,DB_CPUS=str(db_cpu),API_REPLICAS=str(n),API_CPUS=str(cpu),API_MEMORY=memory,POOL_MAX=str(pool),MESSAGE_ACCESS_FAST=str(fast))
up_wait(env,n)
return env
def scaling():
results=[]
for mode in ('fixed','growing'):
for n in (1,2,4):
cpu=1/n if mode=='fixed' else .5
mem=str(1024//n if mode=='fixed' else 256)+'m'
configure(n,cpu,mem)
for repeat in range(1,4):
row=benchmark(10,32); row.update(series=mode,replicas=n,cpu_per_api=cpu,memory_per_api=mem,repeat=repeat,pool=8)
results.append(row); save('scaling.json',results)
print(mode,n,repeat,row['rps'],row['errors'],flush=True)
sweeps=[]
configure(4,.5,'256m')
for concurrency in (1,4,16,64,128):
row=benchmark(10,concurrency); row.update(replicas=4)
sweeps.append(row); save('saturation.json',sweeps)
print('saturation',concurrency,row['rps'],row['p95_ms'],flush=True)
improvements=[]
for fast in (0,1):
configure(4,.5,'256m',fast=fast)
for repeat in range(1,4):
row=benchmark(10,32); row.update(fast_membership=bool(fast),repeat=repeat)
improvements.append(row); save('improvement.json',improvements)
print('improvement',fast,repeat,row['rps'],flush=True)
configure(2,.5,'256m')
save('containers-final.json',inventory())
def improvement_low():
rows=[]
# Alternate A/B ordering to reduce monotonic database growth/temperature bias.
for repeat in (1,2,3):
for fast in ((0,1) if repeat%2 else (1,0)):
configure(4,.5,'256m',fast=fast)
row=benchmark(10,4); row.update(fast_membership=bool(fast),repeat=repeat)
rows.append(row); save('improvement-low.json',rows)
print('improvement C4',fast,repeat,row['rps'],flush=True)
configure(2,.5,'256m')
def bottleneck():
results=[]
for db_cpu in (.1,1):
for n in (1,2,4):
configure(n,.5,'256m',db_cpu=db_cpu)
for repeat in (1,2):
row=benchmark(10,4)
row.update(db_cpu=db_cpu,replicas=n,repeat=repeat)
results.append(row); save('db-bottleneck.json',results)
print('db',db_cpu,n,repeat,row['rps'],row['p95_ms'],flush=True)
configure(2,.5,'256m')
if __name__=='__main__':
try:
mode=sys.argv[1] if len(sys.argv)>1 else 'correctness'
actions={'correctness':correctness,'scaling':scaling,'bottleneck':bottleneck,'improvement-low':improvement_low}
if mode not in actions: raise SystemExit('Unknown experiment: '+mode)
actions[mode]()
except KeyboardInterrupt:
print('\nПроверка прервана. Для восстановления стенда выполните:\n'
'docker compose up -d --no-build --pull never --wait --wait-timeout 120',flush=True)
raise SystemExit(130) from None
+70
View File
@@ -0,0 +1,70 @@
#!/usr/bin/env python3
import sys,os,time,json,base64,uuid
from pathlib import Path
sys.path.insert(0,str(Path(__file__).resolve().parent))
from experiments import dc,save,restore,Client,Failure,check,command
results={}
# Retain previous lab's strict validation and Unicode password range.
results['contract_extra']=command([sys.executable,'scripts/contract_extra.py']).strip()
c=Client(); a,b,e,chat=c.bootstrap(); path='/api/v1/chats/'+chat['id']+'/messages'
for key in ('bad key','x'*129,'ü'):
# HTTP headers must be latin-1 encodable.
c.call('POST',path,400,actor=a,body={'text':'invalid key'},headers={'Idempotency-Key':key})
for payload in ({'text':'ok','sender_id':a['id']},{'text':True},{'text':'x','attachment_ids':False},{'text':'x','attachment_ids':{}}):
c.call('POST',path,400,actor=a,body=payload,headers={'Idempotency-Key':uuid.uuid4().hex})
results['strict_message_validation']='PASS'
# Same key belongs independently to each authenticated sender and chat.
key=uuid.uuid4().hex
m1=c.message(a,chat,'scoped',key)['json']; m2=c.message(b,chat,'scoped',key)['json']
chat2=c.call('POST','/api/v1/chats',201,actor=a,body={'title':'scope','member_ids':[a['id']]},schema='Chat')['json']
m3=c.message(a,chat2,'scoped',key)['json']
check(len({m['id'] for m in (m1,m2,m3)})==3,'key scope too broad')
results['key_scope']='PASS: 3 independent messages'
canonical=c.call('POST',path,201,actor=a,body={'attachment_ids':[],'text':'scoped'},headers={'Idempotency-Key':key},schema='Message')['json']
check(canonical==m1,'JSON key order changed replay')
results['canonical_json_order']='PASS: reversed fields and explicit [] replay the same message'
from urllib.parse import quote
page=c.call('GET',path+'?limit=1',actor=a,schema='MessagePage')['json']
check(page['next_cursor'] is not None,'cursor fixture missing')
c.call('GET','/api/v1/chats/'+chat2['id']+'/messages?cursor='+quote(page['next_cursor'],safe=''),400,actor=a)
results['cursor_scope']='PASS: cursor from another chat rejected with 400'
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=a)
for _ in range(16): c.call('POST',path,401,actor=a,body={'text':'scoped'},headers={'Idempotency-Key':key})
results['revoked_session_cannot_replay']='PASS'
# Explicit replay across a real process stop, with the original key and token.
key=uuid.uuid4().hex
first=c.message(b,chat,'replay after physical stop',key)
target=first['headers']['X-Instance-Id']; started=time.monotonic()
hook=command(['sh','scripts/stop-one.sh'],dict(os.environ,TARGET_INSTANCE_ID=target))
while True:
try:
replay=c.message(b,chat,'replay after physical stop',key)
break
except Failure:
check(time.monotonic()-started<10,'cross-failover replay did not recover')
time.sleep(.2)
check(first['json']==replay['json'],'replay changed after physical stop')
check(target!=replay['headers']['X-Instance-Id'],'stopped instance still serves replay')
save('idempotency-failover.json',{'original_instance':target,'replay_instance':replay['headers']['X-Instance-Id'],'same_message':True,'status':replay['status'],'seconds':round(time.monotonic()-started,3),'hook':hook})
results['same_key_after_physical_failover']='PASS: same Message and 201 via a different process with original token'
restore()
dc('stop','redis')
try:
c.call('GET','/api/v1/users/me',actor=b,schema='User'); c.call('GET','/health/ready',schema='Health')
results['redis_outage']='PASS: profile falls back to PostgreSQL, ready=200'
finally: dc('start','redis')
dc('stop','postgres')
try:
probe = "import urllib.request,urllib.error;\nfor path in ('live','ready'):\n try: r=urllib.request.urlopen('http://localhost:8080/health/'+path,timeout=8); print(path,r.status)\n except urllib.error.HTTPError as e: print(path,e.code)"
output=command(['docker','exec',dc('ps','-q','api').split()[0],'python','-c',probe])
check('live 200' in output and 'ready 503' in output,'health dependency semantics')
results['postgres_outage']=output.strip()+'; no DB failover claimed'
finally: restore()
env=dict(os.environ,SESSION_TTL_SECONDS='2')
dc('up','-d','--wait','--wait-timeout','90',env=env); time.sleep(3)
c=Client(); a=c.user('ttl'); time.sleep(2.2)
c.call('GET','/api/v1/users/me',401,actor=a)
results['expiry']='PASS: TTL=2 seconds, old token gives 401'
restore()
save('extra-checks.json',results)
print(json.dumps(results,ensure_ascii=False,indent=2))
+20
View File
@@ -0,0 +1,20 @@
#!/usr/bin/env python3
"""Audit schema migrations and final infrastructure without exposing credentials."""
import sys,json
from pathlib import Path
sys.path.insert(0,str(Path(__file__).resolve().parent))
from experiments import dc,command,save,inventory,restore
restore()
query='SELECT version,applied_at FROM schema_migrations ORDER BY version'
before=dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atc',query)
dc('run','--rm','migrate');dc('run','--rm','migrate')
after=dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atc',query)
assert before==after,'migration was applied twice'
Path('evidence/migrations.txt').write_text('Command: docker compose run --rm migrate (twice)\nBefore == after (including applied_at): PASS\n'+after)
items=inventory();apis=[r for r in items if '-api-' in r['name']]
assert len(apis)==2
assert all(not r['published_ports'] for r in apis)
assert all(r['nano_cpus']==500000000 and r['memory']==268435456 for r in apis)
save('containers-final.json',items)
command([sys.executable,'scripts/environment.py','environment-final.json'])
print('PASS: two private APIs, expected limits, migrations applied once, source hashes saved.')
+58
View File
@@ -0,0 +1,58 @@
#!/usr/bin/env python3
"""Plot saved measurements only; never fabricates or reruns data."""
import os
os.environ.setdefault('MPLCONFIGDIR','/tmp/mtusi-lab3-matplotlib')
import json,statistics,csv
from pathlib import Path
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
ROOT=Path(__file__).resolve().parents[1]; E=ROOT/'evidence'
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':10,'axes.spines.top':False,'axes.spines.right':False})
def read(name): return json.loads((E/name).read_text())
def grouped(rows,key,value):
keys=sorted({r[key] for r in rows})
vals=[[r[value] for r in rows if r[key]==k] for k in keys]
return keys,[statistics.mean(v) for v in vals],[statistics.stdev(v) if len(v)>1 else 0 for v in vals]
def finish(fig,name):
fig.tight_layout(); fig.savefig(E/(name+'.png'),dpi=180); fig.savefig(E/(name+'.svg')); plt.close(fig)
rows=read('scaling.json')
fig,axes=plt.subplots(1,2,figsize=(11,4))
for mode,label,color in [('fixed','Всего 1 CPU / 1 GiB','#2563eb'),('growing','0.5 CPU / 256 MiB на API','#ea580c')]:
group=[r for r in rows if r['series']==mode]
for ax,metric in zip(axes,['rps','p95_ms']):
x,y,err=grouped(group,'replicas',metric); ax.errorbar(x,y,yerr=err,marker='o',capsize=4,label=label,color=color)
for ax in axes: ax.set_xlabel('API-реплики'); ax.set_xticks([1,2,4]); ax.grid(alpha=.2)
axes[0].set_ylabel('Успешные итерации / с'); axes[1].set_ylabel('p95, мс'); axes[0].legend(fontsize=8)
fig.suptitle('Масштабирование: C=32, три повтора, ± выборочное σ')
finish(fig,'scaling')
rows=read('saturation.json'); fig,axes=plt.subplots(1,2,figsize=(11,4))
for ax,metric,label in zip(axes,['rps','p95_ms'],['Успешные итерации / с','p95, мс']):
ax.plot([r['concurrency'] for r in rows],[r[metric] for r in rows],marker='o',color='#2563eb'); ax.set_xlabel('Concurrency'); ax.set_ylabel(label); ax.set_xscale('log',base=2); ax.set_xticks([1,4,16,64,128],labels=['1','4','16','64','128']); ax.grid(alpha=.2)
fig.suptitle('Рост очередей: 4 API × 0.5 CPU / 256 MiB, PostgreSQL 1 CPU')
finish(fig,'saturation')
fig,axes=plt.subplots(1,2,figsize=(11,4))
for ax,name,c in zip(axes,['improvement.json','improvement-low.json'],[32,4]):
rows=read(name)
x,y,err=grouped(rows,'fast_membership','rps')
ax.bar(['Полный Chat','Только членство'],y,yerr=err,capsize=5,color=['#94a3b8','#16a34a'])
ax.set_ylabel('Успешные итерации / с'); ax.set_title(f'Concurrency {c}'); ax.grid(axis='y',alpha=.2)
for i,v in enumerate(y): ax.text(i,v+max(err)+5,f'{v:.1f}',ha='center')
fig.suptitle('A/B: один SELECT вместо двух, 4 API, три повтора')
finish(fig,'improvement')
rows=read('db-bottleneck.json'); fig,axes=plt.subplots(1,2,figsize=(11,4))
for db,color in [(.1,'#dc2626'),(1,'#16a34a')]:
group=[r for r in rows if r['db_cpu']==db]
for ax,metric in zip(axes,['rps','p95_ms']):
x,y,err=grouped(group,'replicas',metric); ax.errorbar(x,y,yerr=err,marker='o',capsize=4,label=f'PostgreSQL: {db} CPU',color=color)
for ax in axes: ax.set_xlabel('API-реплики (0.5 CPU / 256 MiB каждая)'); ax.set_xticks([1,2,4]); ax.grid(alpha=.2)
axes[0].set_ylabel('Успешные итерации / с'); axes[1].set_ylabel('p95, мс'); axes[0].legend()
fig.suptitle('Контролируемый предел общей БД: C=4, два повтора')
finish(fig,'db-bottleneck')
# Compact raw per-run table alongside the full JSON including container resource samples.
with (E/'measurements.csv').open('w') as f:
fields=['experiment','series','replicas','db_cpu','fast_membership','repeat','concurrency','elapsed','success','errors','rps','p50_ms','p95_ms','p99_ms']
writer=csv.DictWriter(f,fieldnames=fields,extrasaction='ignore'); writer.writeheader()
for name in ['scaling','saturation','improvement','improvement-low','db-bottleneck']:
for row in read(name+'.json'): writer.writerow(dict(row,experiment=name))
print('Four plots and raw per-run CSV generated from evidence JSON.')
+6
View File
@@ -0,0 +1,6 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# Recreate real containers, retain PostgreSQL volume. No migration race.
docker compose down
docker compose up -d --no-build --pull never --wait --wait-timeout 90
+18
View File
@@ -0,0 +1,18 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# First build the new image and apply compatible migrations once:
# docker compose build api; docker compose run --rm migrate
# One surge container, wait readiness, remove one old container, repeat.
# The old IDs are captured before creating replacements.
old_ids=$(docker compose ps -q api)
count=$(printf '%s\n' "$old_ids" | wc -l | tr -d ' ')
[ "$count" -ge 2 ] || { echo 'At least two APIs required' >&2; exit 1; }
for old in $old_ids; do
docker compose up -d --no-build --pull never --no-deps --no-recreate --scale "api=$((count + 1))" api
for id in $(docker compose ps -q api); do
python3 scripts/wait-container.py "$id"
done
docker stop --time 5 "$old"
docker rm "$old"
done
+16
View File
@@ -0,0 +1,16 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
python3 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 120
make check
make validate PYTHON=.venv/bin/python
python3 scripts/experiments.py scaling
python3 scripts/environment.py environment-before-db.json
python3 scripts/experiments.py bottleneck
python3 scripts/experiments.py improvement-low
python3 scripts/experiments.py correctness
python3 scripts/extra-checks.py
python3 scripts/final-audit.py
.venv/bin/python scripts/plots.py
+16
View File
@@ -0,0 +1,16 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
: "${TARGET_INSTANCE_ID:?Set TARGET_INSTANCE_ID from a real API response}"
for id in $(docker compose ps -q api); do
host=$(docker inspect -f '{{.Config.Hostname}}' "$id")
case "$TARGET_INSTANCE_ID" in
"$host"-*)
printf 'Stopping API container %s (hostname %s)\n' "$id" "$host"
docker stop --time 5 "$id"
docker inspect -f '{{.Id}} {{.State.Status}}' "$id"
exit 0;;
esac
done
printf 'No running API matches target\n' >&2
exit 1
+7
View File
@@ -0,0 +1,7 @@
import subprocess,sys,time
for _ in range(90):
if subprocess.check_output(['docker','inspect','-f','{{.State.Health.Status}}',sys.argv[1]],text=True).strip()=='healthy':
time.sleep(2) # allow HAProxy rise check and DNS refresh
break
time.sleep(1)
else: raise SystemExit('container did not become ready')