ЛР3 - БВТ2301 - Дыханова - на 5 #46
@@ -11,3 +11,10 @@ SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
|
||||
# Per API container resources and database connections.
|
||||
API_CPUS=0.5
|
||||
API_MEMORY=256m
|
||||
POOL_MAX=8
|
||||
MESSAGE_ACCESS_FAST=1
|
||||
DB_CPUS=1.0
|
||||
|
||||
@@ -1,18 +1,21 @@
|
||||
## Лабораторная 3
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Алина Дыханова / БВТ2301.
|
||||
Целевая оценка: **5**, трек 1 — «Цена масштабирования».
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Из lab2 перенесены PostgreSQL, миграции, общие действующие сессии, Argon2id и Redis-кэш с fallback. Добавлены масштабируемый Compose-service API, HAProxy с readiness и Docker DNS, X-Instance-Id, транзакционная идемпотентность, hooks отказа/перезапуска и поочерёдная замена контейнеров.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск: `python3 scripts/bootstrap.py`, затем `docker compose --env-file .env up -d --build --wait --wait-timeout 120`. Миграции выполняет отдельный одноразовый сервис.
|
||||
|
||||
Команды проверок, измерения, графики, ошибки переходного периода и файлы доказательств — в [REPORT.md](../REPORT.md). Исходные агрегаты всех нагрузочных прогонов — `evidence/measurements.csv`; JSON также содержат CPU/RAM каждого контейнера. Проверены 1/2/4 API при фиксированном и растущем бюджете, диагностическое ограничение CPU БД и A/B-оптимизация проверки членства.
|
||||
|
||||
Ограничения: один узел, единственные PostgreSQL и LB; отказ узла/БД не защищён. Краткие ошибки в окне обнаружения остановленного API допустимы и измерены. HTTP предназначен для локальных синтетических данных. Автоматической очистки истёкших записей пока нет.
|
||||
|
||||
Источники и использование ИИ раскрыты в отчёте; основа — собственная lab2, доработка и оформление с Codex.
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию решения.
|
||||
|
||||
@@ -0,0 +1,10 @@
|
||||
FROM python:3.12.12-slim
|
||||
WORKDIR /srv
|
||||
COPY requirements.lock .
|
||||
RUN pip install --no-cache-dir --timeout 120 --retries 5 -r requirements.lock
|
||||
COPY app app
|
||||
COPY migrations migrations
|
||||
RUN useradd --uid 10001 --create-home api
|
||||
USER api
|
||||
EXPOSE 8080
|
||||
CMD ["gunicorn", "--bind", "0.0.0.0:8080", "--workers", "1", "--threads", "16", "--timeout", "10", "--graceful-timeout", "5", "--keep-alive", "1", "app.main:app"]
|
||||
@@ -1,37 +1,300 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: **Алина Дыханова, БВТ2301**.
|
||||
- Целевая оценка: **5**, трек 1 — **«Цена масштабирования»**; выполнены также критерии уровней 3 и 4.
|
||||
- Commit/PR:
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12.12, Flask 3.1.2, Gunicorn 23.0.0, psycopg 3.2.10, psycopg-pool 3.3.3, redis-py 6.4.0, argon2-cffi 25.1.0. Транзитивные версии закреплены в [requirements.lock](requirements.lock). Для графиков используется Matplotlib 3.10.7; приложению он не нужен.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требуются работающий Docker Engine/Desktop с Compose, Python 3.9+ на хосте и свободный `127.0.0.1:8080`. Для графиков на хосте рекомендуется Python 3.12+. Первый build требует доступа к registry и PyPI. В проверенном окружении — Docker Desktop на Apple Silicon. Точные версии и ресурсы записаны в [environment-final.json](evidence/environment-final.json).
|
||||
|
||||
```sh
|
||||
python3 scripts/bootstrap.py
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build --wait --wait-timeout 120
|
||||
make check
|
||||
make test
|
||||
```
|
||||
|
||||
Bootstrap создаёт `.env` и локальные файлы `secrets/` (каталог 0700, файлы 0600), не печатает значения и не заменяет уже созданные секреты. Они исключены из Git. После инициализации PostgreSQL нельзя просто изменить пароль в файле: нужно согласованно изменить пароль роли в БД. Если Docker Hub недоступен, а образы уже собраны, повторный запуск выполняется без сборки и скачивания:
|
||||
|
||||
```sh
|
||||
docker compose up -d --no-build --pull never --wait --wait-timeout 120
|
||||
```
|
||||
|
||||
В пользовательском прогоне повторная сборка с `--build` не завершилась: Docker не разрешил DNS-имя `registry-1.docker.io` при получении метаданных Python-образа. После запуска из готовых локальных образов все функциональные и нагрузочные проверки завершились успешно. Этот прогон подтверждает работу локального стенда; повторная сборка без кэша при восстановленном доступе к registry остаётся отдельной проверкой воспроизводимости.
|
||||
|
||||
Экспериментальные hooks и подготовка стенда также используют локальные образы. `correctness` печатает шесть этапов, а при долгой Docker-команде — сообщение ожидания каждые 15 s. Весь сценарий занимает несколько минут. После Ctrl+C запустите команду восстановления выше перед повтором теста. Активация `.venv` для `correctness` не обязательна: его HTTP-клиент использует стандартную библиотеку Python.
|
||||
|
||||
Публичный адрес — **http://localhost:8080**. PostgreSQL, Redis и API не публикуют свои порты на хост. Необходимо освободить 8080, если там остался стенд lab2.
|
||||
|
||||
Миграции выполняет отдельный одноразовый сервис `migrate`. API стартуют после его успешного завершения; внутри API миграции не запускаются. Применение защищено транзакционной advisory lock и журналом `schema_migrations`. Повторный ручной запуск:
|
||||
|
||||
```sh
|
||||
docker compose run --rm migrate
|
||||
```
|
||||
|
||||
Версии образов: `python:3.12.12-slim`, `postgres:16.10-alpine`, `redis:7.4.6-alpine`, `haproxy:3.0.11-alpine`. Приложение запускается непривилегированным UID 10001. Это Compose-стенд на одном узле, публикация образа в registry для Swarm не требуется.
|
||||
|
||||
Полная проверка OpenAPI и подготовка графиков:
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt -r requirements-research.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Отказы и полный набор экспериментов выполняются явно; они создают синтетические данные, временно меняют число реплик и ресурсы, останавливают контейнеры этого проекта. До запуска надо закончить другие измерения на этом стенде.
|
||||
|
||||
```sh
|
||||
python3 scripts/experiments.py scaling
|
||||
python3 scripts/environment.py environment-before-db.json
|
||||
python3 scripts/experiments.py bottleneck
|
||||
python3 scripts/experiments.py improvement-low
|
||||
python3 scripts/experiments.py correctness
|
||||
python3 scripts/extra-checks.py
|
||||
python3 scripts/final-audit.py
|
||||
.venv/bin/python scripts/plots.py
|
||||
```
|
||||
|
||||
Также доступна полная последовательность `sh scripts/run-all.sh` после создания `.venv` и установки двух файлов зависимостей выше. Нагрузочные серии занимают несколько минут. JSON и CSV не содержат сессионных токенов. Команды следует запускать из корня данного репозитория.
|
||||
|
||||
Для показа одного отказа отдельно:
|
||||
|
||||
```sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose ps -a
|
||||
docker compose up -d --no-build --pull never --wait
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
```
|
||||
|
||||
Публичный тест сам передаёт `TARGET_INSTANCE_ID`; `stop-one.sh` сопоставляет hostname-префикс с настоящим контейнером API и оставляет его остановленным. Самостоятельный запуск hook требует это значение в окружении. Для исследования уровня 4 `correctness` проверяет отказ каждой физической API-реплики и восстанавливает стенд между отказами.
|
||||
|
||||
Поочерёдное обновление:
|
||||
|
||||
```sh
|
||||
docker compose build api
|
||||
docker compose run --rm migrate
|
||||
sh scripts/rolling-update.sh
|
||||
```
|
||||
|
||||
Скрипт запоминает старые контейнеры, создаёт одну дополнительную реплику нового локального образа, ждёт её готовности и включения в LB, затем останавливает и удаляет один старый контейнер. Повторяет замену для второго. Временно требуется ресурс ещё одной API-реплики. Перед обновлением схемы оператор должен убедиться в обратной совместимости миграции; destructive-миграции такой процедурой не поддерживаются.
|
||||
|
||||
Безопасная остановка: `docker compose down` — именованный volume `mtusi_lab3_solution_pgdata` остаётся. `restart.sh` выполняет именно `down` и `up`, пересоздавая API, LB, PostgreSQL и Redis; строки пользователей, сообщений и действующих сессий остаются в PostgreSQL. **Намеренное удаление всех учебных данных:** `docker compose down --volumes`. Эта команда не используется ни одним экспериментом.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[Клиент: одна Bearer-сессия] --> L[HAProxy :8080, round robin]
|
||||
L --> A1[API 1: Gunicorn / Flask]
|
||||
L --> A2[API 2: Gunicorn / Flask]
|
||||
A1 --> P[(PostgreSQL: пользователи, чаты, сообщения, сессии, идемпотентность)]
|
||||
A2 --> P
|
||||
A1 --> R[(Redis: кэш профилей)]
|
||||
A2 --> R
|
||||
M[Однократные миграции] --> P
|
||||
```
|
||||
|
||||
### Состояние, сессии и доступ
|
||||
|
||||
PostgreSQL — единственный источник истины. Сессии общие: таблица содержит SHA-256 случайного токена, user_id и абсолютный expires_at. Токен генерируется из 32 случайных байт, пароль хранится как Argon2id (`m=19456 KiB, t=2, p=1`). TTL не продлевается запросом или рестартом. Logout удаляет общую строку сессии, поэтому отзыв действует на всех API. Сессия проверяется заново и перед выдачей сохранённого идемпотентного ответа.
|
||||
|
||||
Redis — общий необязательный кэш неизменяемых профилей с TTL 60 секунд и fallback в PostgreSQL. Его потеря не теряет сообщения или сессии; readiness не зависит от Redis. История сообщений не кэшируется: следующий запрос к primary после COMMIT видит подтверждённую запись через любую API-реплику. Создание чата и всех участников атомарно. Посторонний получает 404 для чужого чата; `X-User-Id` не заменяет Bearer.
|
||||
|
||||
В каждой API-реплике один Gunicorn worker и 16 потоков. Значение `X-Instance-Id` — hostname контейнера и случайный суффикс процесса; оно стабильно в течение жизни worker. Заголовки `X-Request-Id` и `X-Instance-Id` добавляются также к health и ошибкам API. Сопоставление с Docker ID приведено в обезличенных inventory-файлах, поэтому разные заголовки подтверждаются разными контейнерами. Stickiness отсутствует.
|
||||
|
||||
Пагинация — keyset по `(created_at,id)`, чтение `limit+1`, cursor привязан к ресурсу. Все временные метки назначает одна PostgreSQL, а не часы отдельных API. Между HTTP-запросами нет snapshot: конкурентная транзакция с поздним COMMIT может добавить строку до уже пройденной границы. Для неизменной истории обход не дублирует строки.
|
||||
|
||||
### Общая идемпотентность
|
||||
|
||||
Область ключа — пользователь + POST + путь конкретного чата + `Idempotency-Key`. Таблица обслуживает только POST сообщения, поэтому метод и тип маршрута фиксированы самой схемой, а user_id/chat_id/key — составной первичный ключ. Ключ проверяется по `[A-Za-z0-9._:-]{1,128}`. Body канонизируется семантически: отсутствующий `attachment_ids` и `[]` равны, порядок полей не влияет. Непустые вложения относятся к lab4 и здесь не реализуются.
|
||||
|
||||
В одной транзакции берётся `pg_advisory_xact_lock(hashtextextended(scope,0))`, проверяется сохранённый результат, выполняются INSERT сообщения и INSERT результата. Контекст соединения завершает COMMIT до отправки HTTP-ответа. Конкурентная реплика ждёт lock, затем читает уже сохранённый ответ. Совпавший body возвращает тот же Message и 201, отличающийся — 409. Действительность сессии и членство проверяются до replay. Коллизия 64-битного хеша может лишь лишний раз сериализовать независимые операции: окончательный поиск всё равно использует точный составной ключ.
|
||||
|
||||
Срок replay — 24 часа. После истечения ключ может быть использован заново; старая запись результата заменяется атомарно. Ошибки 5xx не записываются как окончательный результат; SQL-ошибка откатывает и сообщение, и результат. Если соединение оборвалось после COMMIT, клиент повторяет исходный ключ/body. HAProxy сам не повторяет POST. Создание пользователей, чатов и сессий автоматически не повторяется.
|
||||
|
||||
### Health, DNS, timeouts и остановка
|
||||
|
||||
HAProxy использует Docker DNS `127.0.0.11`, `server-template` на восемь слотов, `hold valid/obsolete = 1s`; список адресов обновляется без перезапуска LB. HTTP-проверка `/health/ready` выполняется каждую 1 секунду, в переходном состоянии — каждые 500 ms; `fall=2`, `rise=1`, timeout проверки 1 s. Для обычного отказа процесса расчётный бюджет обнаружения — до примерно 3,5–4 s (ожидание проверки, две неудачные проверки и переходный интервал); при немедленном connection refused обычно быстрее. Это бюджет конфигурации при нормальном планировании CPU, а не гарантия при остановке всего узла.
|
||||
|
||||
`/health/live` не обращается к зависимостям. `/health/ready` проверяет доступность PostgreSQL через рабочий пул — критичную зависимость синхронного пути. Docker healthcheck помечает контейнер; исключение из маршрутизации выполняет собственная проверка HAProxy.
|
||||
|
||||
Таймауты: LB connect 500 ms, server 5 s, client 6 s; пул — ожидание 3 s, connect 3 s, SQL statement 3 s, lock 2 s. Gunicorn timeout 10 s, graceful-timeout 5 s, Docker stop_grace_period 7 s. SIGTERM получает Gunicorn: прекращается приём новых соединений worker и ограниченно завершаются принятые запросы. При превышении grace worker завершается; незавершённая транзакция откатывается. Если ответ потерян, повтор с тем же ключом безопасен. В коротком окне обнаружения возможны ошибки LB без API-заголовков; они посчитаны в экспериментах.
|
||||
|
||||
### Ресурсы и конфигурация
|
||||
|
||||
| Компонент | CPU | RAM | Публикация / состояние |
|
||||
| --- | ---: | ---: | --- |
|
||||
| API × 2 по умолчанию | 0,5 каждый | 256 MiB каждый | Только внутренняя сеть, без локальных сессий |
|
||||
| PostgreSQL | 1 | 512 MiB | Именованный persistent volume |
|
||||
| HAProxy | 0,5 | 128 MiB | Только `127.0.0.1:8080` |
|
||||
| Redis | 0,25 | 128 MiB | Внутренний расходуемый кэш, maxmemory 64 MiB |
|
||||
| migrate | Как одна API | Как одна API | Одноразовый процесс до API |
|
||||
|
||||
`container_name` отсутствует; масштабируется один Compose-service `api`. Секрет пароля БД передан PostgreSQL, DSN — API и мигратору; Redis-адрес — API. Приватная сеть и localhost предназначены для синтетических учебных данных. HTTP Basic является кодированием, поэтому для внешней демонстрации требуется TLS.
|
||||
|
||||
| Переменная | Реальное действие |
|
||||
| --- | --- |
|
||||
| `API_REPLICAS` | Число реплик Compose, по умолчанию 2 |
|
||||
| `API_CPUS`, `API_MEMORY` | Лимиты одной API и мигратора |
|
||||
| `DB_CPUS` | CPU PostgreSQL; обычное значение 1, диагностическое 0.1 |
|
||||
| `POOL_MAX` | Соединения PostgreSQL на worker, по умолчанию 8; итого 16 при двух API, 32 при четырёх |
|
||||
| `MESSAGE_ACCESS_FAST` | 1 — проверка членства без загрузки полного Chat; 0 — контрольная реализация для A/B |
|
||||
| `SESSION_TTL_SECONDS` | TTL общей сессии, 3600; для отдельного теста истечения 2 |
|
||||
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Пути фиксированных Compose secrets, читаемые приложением |
|
||||
| `SESSION_STORE=postgres` | Декларирует выбранное хранилище; смена backend через эту переменную не поддерживается |
|
||||
| `IDEMPOTENCY_TTL_SECONDS=86400` | Документирует фиксированное контрактом окно 24 h; изменение переменной не меняет реализацию |
|
||||
| `APP_HOST`, `APP_PORT`, `APP_ENV` | Описательные значения профиля; Gunicorn фиксированно слушает `0.0.0.0:8080` внутри контейнера |
|
||||
|
||||
Миграция `002_idempotency.sql` только добавляет таблицу и индекс, не удаляет и не переименовывает столбцы lab2. Она совместима с продолжающей работать предыдущей версией. При следующих изменениях нужен подход expand/contract. При плановой замене PostgreSQL Compose может увидеть прежний unhealthy-статус API до восстановления пула; экспериментальный `up_wait` в этом случае пересоздаёт соединения перезапуском API и снова ждёт готовность. Этот этап исключён из измеряемой нагрузки.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Публичный smoke | `make test` | PASS; health, доступ, сессии, сообщения, cursor, replay/conflict/logout | [smoke.txt](evidence/smoke.txt) |
|
||||
| Воспроизводимый весь стенд, ≥2 API и общая БД/сессии | `python3 scripts/bootstrap.py; docker compose up -d --build --wait` | Локальный запуск PASS: два API, HAProxy, PostgreSQL, Redis; общий volume. Повторная сборка в пользовательском прогоне остановилась на DNS Docker Hub; запуск без кэша этим прогоном не подтверждён | [containers-final.json](evidence/containers-final.json) |
|
||||
| Одна сессия через разные реплики без sticky | `python3 scripts/experiments.py correctness` | 24 конкурентных запроса, ≥2 instance IDs, один Message | [idempotency.json](evidence/idempotency.json) |
|
||||
| Остановка каждой API, запись восстанавливается ≤10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh (последовательно для каждой)` | Обе физические API останавливались; прежняя сессия и подтверждения сохранены | [failover.json](evidence/failover.json) |
|
||||
| Чтение/запись под нагрузкой во время отказа каждой API | `python3 scripts/experiments.py correctness` | Обе API остановлены по очереди при C=16, чтения истории и новые записи; RPS/ошибки/percentiles сохранены | [availability-load.json](evidence/availability-load.json) |
|
||||
| Идемпотентность при конкуренции, смене реплики, ошибке body | `python3 scripts/experiments.py correctness` | 24 одновременных replay: ровно одно сообщение, другой body=409; retry после отказа без дублей | [idempotency.json](evidence/idempotency.json) |
|
||||
| Persistence API и всех используемых хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS с прежним токеном; настоящие контейнеры пересозданы, volume сохранён | [persistence.txt](evidence/persistence.txt) |
|
||||
| Readiness, timeouts, DNS и SIGTERM | `correctness + extra-checks.py; infra/haproxy.cfg; Dockerfile` | При недоступной БД внутренние live=200/ready=503; LB исключает API; после замены обнаруживает новые адреса | [extra-checks.json](evidence/extra-checks.json) |
|
||||
| Все контейнеры с CPU/RAM-лимитами, API без публичных портов | `docker compose config --quiet; inventory в experiments.py` | CPU/RAM подтверждены Docker inspect; публикуется только LB; container_name отсутствует | [containers-final.json](evidence/containers-final.json) |
|
||||
| Поочерёдная замена под нагрузкой | `sh scripts/rolling-update.sh (внутри correctness)` | Новые Docker ID и instance IDs, action под C=16, подтверждения сверены с БД | [rolling.json](evidence/rolling.json) |
|
||||
| Миграции отдельно, однократно и совместимо | `docker compose run --rm migrate; app/migrate.py` | Журнал и advisory lock; 002 только добавляет таблицу; API не запускают миграции | [migrations.txt](evidence/migrations.txt) |
|
||||
| Трек 1: 1/2/4 с фиксированным суммарным CPU/RAM | `python3 scripts/experiments.py scaling` | Три повтора каждой точки, исходные JSON, CSV и графики | [scaling.json](evidence/scaling.json) |
|
||||
| Трек 1: серия с ростом ресурсов | `python3 scripts/experiments.py scaling` | 0.5/1/2 CPU суммарно, один профиль; RPS/p50/p95/p99/CPU/RAM | [scaling.json](evidence/scaling.json) |
|
||||
| Трек 1: предел общей зависимости | `python3 scripts/experiments.py bottleneck` | PostgreSQL 0.1 CPU насыщается; рост API не помогает; повышение только DB CPU снимает ограничение | [db-bottleneck.json](evidence/db-bottleneck.json) |
|
||||
| Трек 1: подтверждённое улучшение | `scaling + python3 scripts/experiments.py improvement-low` | Убран лишний SELECT, два A/B-профиля, три повтора, поведение сохранено | [improvement-low.json](evidence/improvement-low.json) |
|
||||
| Структура и полная OpenAPI | `make check; make validate PYTHON=.venv/bin/python` | Обе проверки PASS; исходные публичные тесты и контракт не изменены | [openapi.txt](evidence/openapi.txt) |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
### Гипотеза и повторяемая методика
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
**Гипотеза:** при неизменном суммарном CPU/RAM рост числа API сам по себе не увеличит полезную пропускную способность: появятся дополнительные пулы и накладные расходы, а более узкая CPU-квота каждой реплики усилит очередь. Если ресурсы API увеличиваются вместе с числом реплик, RPS вырастет до предела общей зависимости. Снижение числа SQL-запросов на сообщение должно уменьшить стоимость синхронного пути.
|
||||
|
||||
Стенд: Apple M4, 10 логических CPU, 24 GiB RAM; Docker VM получает 10 CPU и около 7,75 GiB RAM. Генератор работает на хосте через **тот же localhost:8080 → HAProxy**, прямые обращения к API для нагрузочных результатов не используются. Прочие Docker-сервисы лабораторных во время исследования не запускались.
|
||||
|
||||
Генератор [scripts/experiments.py](scripts/experiments.py) использует стандартный HTTP-клиент и закрытую модель: каждый поток ждёт ответ перед следующей операцией. Один прогон создаёт новый чат, трёх пользователей и сессии, затем делает 50 прогревочных POST. Измеряемая итерация — один POST сообщения с новым ключом; каждый десятый индекс потока дополнительно читает первую страницу истории с `limit=1`. **RPS в таблицах — успешные такие итерации в секунду**, а не сумма всех отдельных GET и POST. Если дополнительное чтение неуспешно, вся итерация считается ошибкой, даже если POST уже подтвердился. p50/p95/p99 относятся к длительности успешной итерации, включая это дополнительное чтение. Timeout клиента — 6 s. В нагрузочном генераторе нет автоматического retry; безопасный retry отдельно проверяет публичный failover-тест.
|
||||
|
||||
Каждый измеряемый интервал — 10 s после прогрева. Фактический elapsed включает завершение последних запросов и накладные расходы клиента; начало всех свежих нагрузочных прогонов фиксируется действием общего барьера после готовности потоков. Такой генератор подходит для сравнения конфигураций на одном стенде, но не доказывает production capacity и имеет coordinated omission. Между конфигурациями ожидаются readiness и ещё 3 s для DNS/LB. Сырые JSON содержат каждый прогон, наблюдённые instance IDs, ошибки и выборки `docker compose stats`; [measurements.csv](evidence/measurements.csv) — компактные исходные агрегаты, а не усреднённая единственная строка.
|
||||
|
||||
Основные серии: concurrency 32, три повтора каждой точки. **Фиксированный бюджет:** 1/2/4 API получают соответственно 1/0,5/0,25 CPU и 1024/512/256 MiB на реплику; итого всегда 1 CPU и 1 GiB API. **Рост бюджета:** каждая API получает 0,5 CPU / 256 MiB; сумма растёт от 0,5 CPU / 256 MiB до 2 CPU / 1 GiB. PostgreSQL/LB/Redis остаются фиксированными. Данные не очищаются между прогонами; каждый чат начинает с одинаковых 50 сообщений прогрева. Поэтому влияние растущей общей БД и фоновой работы нельзя полностью исключить.
|
||||
|
||||
Перед диагностикой БД в PostgreSQL уже было 523,342 сообщений. Итоговый snapshot: 412 пользователей, 138 чатов, 656,975 сообщений и 656,975 результатов ключей; размер БД 499.70 MiB. Snapshot и версии — `environment-final.json`. История первой страницы маленького нового чата и общий растущий размер БД являются частью данного профиля. Финальный snapshot собран 23.10.2026 в 17:50:58 (Europe/Moscow).
|
||||
|
||||
### 1. Цена масштабирования
|
||||
|
||||
Все точки — C=32, три повтора по 10 s, ноль ошибок. В таблице усреднены RPS и percentiles отдельных прогонов; это не percentiles объединённой выборки.
|
||||
|
||||
| Бюджет | API | Всего CPU / RAM API | RPS, среднее ± σ | p50 / p95 / p99, ms | Ошибки |
|
||||
| --- | ---: | --- | ---: | --- | ---: |
|
||||
| Фиксированный | 1 | 1 CPU / 1024 MiB | 524.49 ± 3.56 | 68.57 / 102.30 / 121.85 | 0 |
|
||||
| Фиксированный | 2 | 1 CPU / 1024 MiB | 410.09 ± 6.36 | 99.19 / 192.83 / 280.55 | 0 |
|
||||
| Фиксированный | 4 | 1 CPU / 1024 MiB | 367.37 ± 7.87 | 5.19 / 359.99 / 490.71 | 0 |
|
||||
| Растущий | 1 | 0.5 CPU / 256 MiB | 213.15 ± 2.33 | 115.52 / 276.73 / 306.66 | 0 |
|
||||
| Растущий | 2 | 1 CPU / 512 MiB | 409.30 ± 1.01 | 97.89 / 196.14 / 278.63 | 0 |
|
||||
| Растущий | 4 | 2 CPU / 1024 MiB | 886.17 ± 19.81 | 7.44 / 147.49 / 185.88 | 0 |
|
||||
|
||||
При фиксированных ресурсах переход 1 → 4 дал -30.0% RPS. При росте ресурсов 1 → 4 дал 4.16× RPS при 4× суммарном CPU/RAM API. Это поддерживает гипотезу: реплики дают отказоустойчивость, а ускорение зависит от добавленных ресурсов и профиля, а не от количества процессов само по себе. Увеличение потоков и более узкая CFS-квота одной реплики способны повысить хвост задержки; вклад каждого механизма отдельно здесь не изолирован.
|
||||
|
||||
| Бюджет / API | CPU всех API, % одного ядра | CPU DB, % | CPU LB, % | Max RAM одной API, MiB |
|
||||
| --- | ---: | ---: | ---: | ---: |
|
||||
| fixed / 1 | 85.4 | 16.9 | 9.3 | 259.5 |
|
||||
| fixed / 2 | 62.2 | 17.3 | 7.8 | 164.3 |
|
||||
| fixed / 4 | 57.6 | 17.5 | 7.3 | 136.4 |
|
||||
| growing / 1 | 43.2 | 9.3 | 4.6 | 241.3 |
|
||||
| growing / 2 | 60.3 | 17.4 | 7.7 | 255.9 |
|
||||
| growing / 4 | 126.7 | 43.8 | 18.4 | 238.5 |
|
||||
|
||||
Ресурсные значения — средние дискретных выборок; выборки в конце завершения нагрузки могут занижать среднее. RAM каждого контейнера и её лимит записаны в `stats[].containers[].MemUsage` исходных JSON. Отдельные выборки API достигают CPU-квот; на обычном профиле нельзя объявлять насыщение CPU БД или LB только по факту роста p95.
|
||||
|
||||

|
||||
|
||||
### 2. Насыщение и общая зависимость
|
||||
|
||||
Дополнительно при четырёх API × 0,5 CPU / 256 MiB и PostgreSQL 1 CPU изменялась concurrency: 1, 4, 16, 64, 128. Это диагностический sweep с одним прогоном точки; он показывает область перегрузки, а не точное универсальное максимальное значение RPS.
|
||||
|
||||
| Concurrency | RPS | Ошибки | p50 / p95 / p99, ms | CPU API / DB / LB, % |
|
||||
| ---: | ---: | ---: | --- | --- |
|
||||
| 1 | 493.38 | 0 | 1.80 / 3.44 / 4.55 | 39.3 / 13.6 / 8.7 |
|
||||
| 4 | 1125.94 | 0 | 2.98 / 5.61 / 14.46 | 94.4 / 38.5 / 20.1 |
|
||||
| 16 | 979.15 | 0 | 6.65 / 71.97 / 85.03 | 132.5 / 45.2 / 19.4 |
|
||||
| 64 | 895.33 | 0 | 7.09 / 273.34 / 343.53 | 113.7 / 37.1 / 15.9 |
|
||||
| 128 | 872.38 | 0 | 111.36 / 419.21 / 504.48 | 108.5 / 35.4 / 13.5 |
|
||||
|
||||
Лучший наблюдённый результат sweep — C=4: 1125.94 итераций/с. При C=128 RPS уже 872.38, p95 — 419.21 ms. Большая закрытая очередь усиливает конкуренцию за потоки/пулы и CPU-квоты, а не создаёт полезную работу. Обычная БД и LB по CPU ниже своих лимитов; точку C=4 нельзя считать доказанным физическим максимумом PostgreSQL. Для БД ниже проведена отдельная интервенция.
|
||||
|
||||

|
||||
|
||||
Чтобы причинно проверить именно общую БД, повторено сравнение 1/2/4 API × 0,5 CPU при PostgreSQL **0,1 CPU** и **1 CPU**, одинаковых 512 MiB RAM БД и concurrency **4**. Два повтора на точку. Малая CPU-квота БД — намеренная диагностическая интервенция, а не обычная конфигурация приложения. Эта серия отделяет предел PostgreSQL от недостаточной параллельности клиента и квот API.
|
||||
|
||||
| CPU БД | API | RPS, среднее | p50 / p95 / p99, ms | CPU DB, % одного ядра | Ошибки |
|
||||
| ---: | ---: | ---: | --- | ---: | ---: |
|
||||
| 0.1 | 1 | 148.65 | 5.33 / 95.85 / 197.29 | 9.26 | 0 |
|
||||
| 0.1 | 2 | 99.85 | 6.28 / 102.69 / 245.39 | 9.86 | 0 |
|
||||
| 0.1 | 4 | 88.90 | 7.10 / 104.57 / 203.37 | 9.94 | 0 |
|
||||
| 1 | 1 | 487.03 | 3.62 / 54.61 / 64.38 | 16.32 | 0 |
|
||||
| 1 | 2 | 1047.90 | 2.84 / 5.98 / 22.43 | 36.03 | 0 |
|
||||
| 1 | 4 | 1159.91 | 2.85 / 5.39 / 11.22 | 43.23 | 0 |
|
||||
|
||||
При квоте БД 0,1 CPU наблюдается область насыщения порядка 89–150 итераций/с: CPU PostgreSQL близок к 10% одного ядра, то есть к 100% назначенной квоты. Дополнительные API/соединения не увеличивают общий бюджет DB, а добавляют конкуренцию процессов за квоту и увеличивают задержки. Для четырёх API увеличение только DB CPU с 0,1 до 1 дало 13.05× RPS и снизило средний p95 с 104.57 до 5.39 ms. Это причинное подтверждение общей зависимости, ограничивающей масштабирование. При DB=1 CPU и C=4 переход 2 → 4 API увеличил средний RPS только на 10.69% при удвоении ресурсов API. Загрузка CPU БД ниже лимита; этот результат не доказывает её насыщение. Возможные ограничения клиента и синхронного пути требуют отдельных измерений.
|
||||
|
||||

|
||||
|
||||
### 3. Проверенное улучшение
|
||||
|
||||
Контрольный путь `MESSAGE_ACCESS_FAST=0` загружает Chat и список его участников перед обработкой сообщений: два SELECT. Рабочий путь `=1` выполняет один индексный SELECT членства, поскольку представление Chat сообщению не нужно. Проверки авторизации и идемпотентности сохраняются. На успешный POST число прикладных SQL-команд (без BEGIN/COMMIT) уменьшается с 7 до 6: сессия, доступ, lock, replay, INSERT сообщения, INSERT результата. Отдельная история также избегает лишней загрузки участников.
|
||||
|
||||
| Профиль | Путь доступа | RPS, среднее ± σ | p95, ms (среднее) | Ошибки |
|
||||
| --- | --- | ---: | ---: | ---: |
|
||||
| C=32 | Два SELECT | 834.34 ± 7.11 | 157.18 | 0 |
|
||||
| C=32 | Один SELECT | 895.76 ± 6.90 | 148.04 | 0 |
|
||||
| C=4 | Два SELECT | 1177.77 ± 6.81 | 5.36 | 0 |
|
||||
| C=4 | Один SELECT | 1222.40 ± 8.65 | 5.21 | 0 |
|
||||
|
||||
Измеренный эффект: **C=32: +7.36% RPS; C=4: +3.79% RPS**. Дополнительный A/B при C=4 выполнялся с чередованием порядка A/B, B/A, A/B, чтобы уменьшить смещение из-за роста БД и прогрева. В каждом профиле быстрый путь оказался быстрее контрольного во всех трёх парных сравнениях. Три коротких повтора не доказывают универсальную величину прибавки и не заменяют длительную статистическую проверку. Удаление лишнего SELECT подтверждено структурой кода, неизменность поведения — публичным smoke, отрицательными проверками доступа и общей идемпотентностью. В обычной конфигурации включён быстрый путь.
|
||||
|
||||

|
||||
|
||||
### 4. Отказы, сохранность и поочерёдная замена
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Stop mtusi_lab3_solution-api-2 | Сессия и подтверждения сохранены, запись ≤10 s | 127 записей за 15 s (8.47/s), ошибок 2, до отказа 2 API | 0.943 s; тест подтвердил отсутствие потери/дублей |
|
||||
| Stop mtusi_lab3_solution-api-1 | Сессия и подтверждения сохранены, запись ≤10 s | 127 записей за 15 s (8.47/s), ошибок 2, до отказа 2 API | 0.940 s; тест подтвердил отсутствие потери/дублей |
|
||||
| Пересоздание всего стенда | Сохранение БД и токена | Публичный persistence PASS; ID PostgreSQL, Redis, LB и API изменились | Готовность в бюджете теста, прежний токен действует; потери нет |
|
||||
| Последовательная замена контейнеров, C=16 | Доступность при замене, одна surge-реплика | 511.10 итераций/s, 17906 успешных, 177 ошибок; p50/p95/p99 7.20/92.65/107.29 ms | Action завершён за 17.66 s от начала нагрузки; проверены 17906 подтверждений, потери нет |
|
||||
| Stop под нагрузкой: /mtusi_lab3_solution-api-3, C=16 | Чтение и запись продолжаются через оставшийся API | 231.55 итераций/s, 3492 успешных, 63 ошибок; p50/p95/p99 86.51/110.76/186.56 ms | Hook завершён на 2.43 s (запущен на 2 s); 3492 подтверждений сохранены |
|
||||
| Stop под нагрузкой: /mtusi_lab3_solution-api-4, C=16 | Чтение и запись продолжаются через оставшийся API | 227.36 итераций/s, 3426 успешных, 62 ошибок; p50/p95/p99 86.23/117.15/195.03 ms | Hook завершён на 2.37 s (запущен на 2 s); 3426 подтверждений сохранены |
|
||||
|
||||
Подробный stdout, ошибки с отметками времени и CPU/RAM: [failover.json](evidence/failover.json), [availability-load.json](evidence/availability-load.json), [rolling.json](evidence/rolling.json), [persistence.txt](evidence/persistence.txt). Начальные/конечные Docker ID — `containers-*.json`. В rolling заменяются сами контейнеры, а не только значения заголовка. Один и тот же образ повторно развёрнут, что проверяет процедуру последовательной замены; совместимость произвольных будущих версий этим не доказана.
|
||||
|
||||
Для публичного failover время восстановления считается от старта action до первой подтверждённой записи после успешного завершения hook. Оно включает время самой остановки; это не время полного отсутствия сервиса. Тест продолжает запросы 15 s, сохраняет первоначальный ключ при неопределённом POST и проверяет историю, отсутствие дублей и прежнюю сессию. RPS этих тестов ограничен явной паузой 100 ms; он не является нагрузочной ёмкостью API. Под нагрузкой дополнительно останавливается каждая API, периодически читается история, а после действия все подтверждённые ID сверяются с сохранённой историей.
|
||||
|
||||
Дополнительные проверки [extra-checks.json](evidence/extra-checks.json):
|
||||
|
||||
- `contract_extra`: PASS: 128-codepoint UTF-8 password with colon; malformed JSON and oversized limit rejected.
|
||||
- `strict_message_validation`: PASS.
|
||||
- `key_scope`: PASS: 3 independent messages.
|
||||
- `canonical_json_order`: PASS: reversed fields and explicit [] replay the same message.
|
||||
- `cursor_scope`: PASS: cursor from another chat rejected with 400.
|
||||
- `revoked_session_cannot_replay`: PASS.
|
||||
- `same_key_after_physical_failover`: PASS: same Message and 201 via a different process with original token.
|
||||
- `redis_outage`: PASS: profile falls back to PostgreSQL, ready=200.
|
||||
- `postgres_outage`: live 200; ready 503; no DB failover claimed.
|
||||
- `expiry`: PASS: TTL=2 seconds, old token gives 401.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Стенд выдерживает остановку одного API-процесса/контейнера при сохранности LB, PostgreSQL и узла. Потеря единственного хоста останавливает весь стенд. PostgreSQL, HAProxy и persistent storage остаются SPOF; репликация БД и отказ узла не заявляются. Redis расходуемый и не влияет на сохранность сессий. Репликация API не является резервным копированием PostgreSQL.
|
||||
|
||||
В переходном окне бывают оборванные запросы/ошибки LB; клиент обязан повторять неопределённую отправку с прежним ключом. Если ключ изменён, система не может отличить повтор от нового намерения. Идемпотентность ограничена 24 часами; истёкшие строки логически игнорируются, но автоматической периодической очистки таблиц idempotency/sessions пока нет. Для длительной эксплуатации нужны удаление просроченных строк, наблюдение за индексами и autovacuum, метрики пула и БД.
|
||||
|
||||
Измерения короткие, локальные, closed-loop; p99 рассчитан только по успешным итерациям. У CPU/RAM есть погрешность дискретных Docker-выборок, CPU 100% означает один логический CPU, а не весь компьютер. На квоты влияют CFS, конкуренция потоков, температурный режим хоста, файловый кэш и растущая БД. Ошибки и задержки не следует переносить на другой компьютер как SLA. Интервалы ±σ на графиках обозначают выборочное стандартное отклонение повторов, а не доверительный интервал. Нагрузки с длинными текстами, большой историей, большим числом участников и регистрациями с Argon2 отдельно не исследованы.
|
||||
|
||||
Подтверждены уменьшение числа SQL-запросов на сообщение и измеренный эффект A/B в указанных профилях. Переход к persistent HTTP keep-alive, настройка числа потоков/размера пула и увеличение CPU PostgreSQL сверх исследованных значений — направления следующих измерений, а не заявленные результаты. Для более точной capacity-модели нужен отдельный open-loop генератор с фиксированным arrival rate и более длительные рандомизированные серии.
|
||||
|
||||
@@ -0,0 +1,217 @@
|
||||
import base64
|
||||
import datetime as dt
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import secrets
|
||||
import uuid
|
||||
from flask import Flask, request, g
|
||||
from werkzeug.exceptions import HTTPException
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import VerificationError
|
||||
from psycopg.rows import dict_row
|
||||
from psycopg.errors import UniqueViolation
|
||||
from psycopg_pool import ConnectionPool
|
||||
import psycopg
|
||||
import redis
|
||||
from app.migrate import setting
|
||||
|
||||
app = Flask(__name__)
|
||||
app.config['MAX_CONTENT_LENGTH'] = 65536
|
||||
pool = ConnectionPool(setting('DATABASE_URL'), min_size=1, max_size=int(os.getenv('POOL_MAX','8')), timeout=3,
|
||||
kwargs={'row_factory':dict_row,'connect_timeout':3,'options':'-c statement_timeout=3000 -c lock_timeout=2000'})
|
||||
cache = redis.Redis.from_url(setting('CACHE_URL'),socket_connect_timeout=.2,socket_timeout=.2)
|
||||
kdf = PasswordHasher(time_cost=2,memory_cost=19456,parallelism=1)
|
||||
dummy = kdf.hash(secrets.token_urlsafe(32))
|
||||
ttl = int(os.getenv('SESSION_TTL_SECONDS','3600'))
|
||||
instance = os.getenv('HOSTNAME','api') + '-' + secrets.token_hex(4)
|
||||
|
||||
class Problem(Exception):
|
||||
def __init__(self,status,code): self.status,self.code=status,code
|
||||
|
||||
def fail(status,code): raise Problem(status,code)
|
||||
def invalid(): fail(400,'invalid_request')
|
||||
def uid(value):
|
||||
try: return str(uuid.UUID(value))
|
||||
except (ValueError,TypeError,AttributeError): invalid()
|
||||
def clean(row):
|
||||
return {k:(v.isoformat().replace('+00:00','Z') if isinstance(v,dt.datetime) else str(v) if isinstance(v,uuid.UUID) else v) for k,v in row.items()}
|
||||
def user(row): return clean({k:row[k] for k in ('id','username','display_name','created_at')})
|
||||
def body(fields):
|
||||
if request.mimetype != 'application/json': fail(415,'unsupported_media_type')
|
||||
try: data = request.get_json()
|
||||
except HTTPException: invalid()
|
||||
if not isinstance(data,dict) or set(data)!=set(fields): invalid()
|
||||
return data
|
||||
def string(s,maximum,minimum=1):
|
||||
if not isinstance(s,str) or not s.strip() or not minimum<=len(s)<=maximum: invalid()
|
||||
try: s.encode('utf-8')
|
||||
except UnicodeError: invalid()
|
||||
return s
|
||||
|
||||
def actor(c):
|
||||
auth = request.headers.get('Authorization','')
|
||||
if not auth.startswith('Bearer ') or not 1<=len(auth[7:])<=256: fail(401,'unauthorized')
|
||||
digest = hashlib.sha256(auth[7:].encode()).hexdigest()
|
||||
row=c.execute('SELECT user_id FROM sessions WHERE token_hash=%s AND expires_at>clock_timestamp()',(digest,)).fetchone()
|
||||
if not row: fail(401,'unauthorized')
|
||||
g.digest=digest
|
||||
return row['user_id']
|
||||
|
||||
def public_user(c,ident):
|
||||
key='user:'+str(ident)
|
||||
try:
|
||||
value=cache.get(key)
|
||||
if value: return json.loads(value)
|
||||
except (redis.RedisError,ValueError): pass
|
||||
result=user(c.execute('SELECT * FROM users WHERE id=%s',(ident,)).fetchone())
|
||||
try: cache.setex(key,60,json.dumps(result))
|
||||
except redis.RedisError: pass
|
||||
return result
|
||||
|
||||
def chat(c,ident,who):
|
||||
row=c.execute('SELECT c.* FROM chats c JOIN members m ON c.id=m.chat_id WHERE c.id=%s AND m.user_id=%s',(ident,who)).fetchone()
|
||||
if not row: fail(404,'not_found')
|
||||
row=clean(row)
|
||||
row['member_ids']=[str(x['user_id']) for x in c.execute('SELECT user_id FROM members WHERE chat_id=%s ORDER BY user_id',(ident,))]
|
||||
return row
|
||||
|
||||
def page_args(resource):
|
||||
if set(request.args)-{'limit','cursor'} or any(len(request.args.getlist(k))!=1 for k in request.args): invalid()
|
||||
raw=request.args.get('limit','50')
|
||||
if len(raw)>3 or not re.fullmatch(r'[0-9]+',raw) or not 1<=int(raw)<=100: invalid()
|
||||
cursor=request.args.get('cursor')
|
||||
pair=None
|
||||
if cursor is not None:
|
||||
try:
|
||||
data=json.loads(base64.b64decode(cursor,altchars=b'-_',validate=True))
|
||||
if not isinstance(data,list) or len(data)!=3 or data[0]!=resource: invalid()
|
||||
stamp=dt.datetime.fromisoformat(data[1].replace('Z','+00:00'))
|
||||
if stamp.tzinfo is None: invalid()
|
||||
pair=(stamp,uid(data[2]))
|
||||
except (ValueError,TypeError,KeyError,AttributeError,OverflowError): invalid()
|
||||
return int(raw),pair
|
||||
|
||||
def page(rows,limit,resource):
|
||||
more=len(rows)>limit
|
||||
rows=rows[:limit]
|
||||
cursor=base64.urlsafe_b64encode(json.dumps([resource,rows[-1]['created_at'],rows[-1]['id']]).encode()).decode() if more else None
|
||||
return {'items':rows,'next_cursor':cursor}
|
||||
|
||||
@app.before_request
|
||||
def before(): g.request_id=str(uuid.uuid4())
|
||||
@app.after_request
|
||||
def after(response):
|
||||
response.headers['X-Request-Id']=g.request_id
|
||||
response.headers['X-Instance-Id']=instance
|
||||
return response
|
||||
@app.errorhandler(Exception)
|
||||
def error(exc):
|
||||
if isinstance(exc,Problem): status,code=exc.status,exc.code
|
||||
elif isinstance(exc,UniqueViolation): status,code=409,'conflict'
|
||||
elif isinstance(exc,(psycopg.Error, __import__('psycopg_pool').PoolTimeout)): status,code=503,'unavailable'
|
||||
elif isinstance(exc,HTTPException):
|
||||
status=exc.code
|
||||
code={404:'not_found',413:'payload_too_large',415:'unsupported_media_type'}.get(status,'invalid_request')
|
||||
else:
|
||||
app.logger.error('Unhandled exception type: %s',type(exc).__name__)
|
||||
status,code=500,'internal_error'
|
||||
response=app.json.response({'error':{'code':code,'message':code,'request_id':g.request_id}})
|
||||
response.status_code=status
|
||||
if status==401:
|
||||
response.headers['WWW-Authenticate']='Basic realm="messenger", charset="UTF-8"' if request.path=='/api/v1/auth/sessions' else 'Bearer realm="messenger"'
|
||||
return response
|
||||
@app.get('/health/live')
|
||||
def live(): return {'status':'ok'}
|
||||
@app.get('/health/ready')
|
||||
def ready():
|
||||
with pool.connection() as c: c.execute('SELECT 1')
|
||||
return {'status':'ok'}
|
||||
|
||||
@app.route('/api/v1/<path:path>',methods=['GET','POST','DELETE'])
|
||||
def api(path):
|
||||
public = (path in ('users','auth/sessions') and request.method=='POST')
|
||||
if not public and not request.headers.get('Authorization','').startswith('Bearer '): fail(401,'unauthorized')
|
||||
with pool.connection() as c:
|
||||
if path=='users' and request.method=='POST':
|
||||
d=body(['username','display_name','password'])
|
||||
if not isinstance(d['username'],str) or not re.fullmatch('[a-z0-9_]{3,32}',d['username']): invalid()
|
||||
string(d['display_name'],100); string(d['password'],128,12)
|
||||
row=c.execute('INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) RETURNING *',(uuid.uuid4(),d['username'],d['display_name'],kdf.hash(d['password']))).fetchone()
|
||||
return user(row),201
|
||||
if path=='auth/sessions' and request.method=='POST':
|
||||
a=request.headers.get('Authorization','')
|
||||
try:
|
||||
if not a.startswith('Basic ') or request.get_data(): raise ValueError()
|
||||
name,password=base64.b64decode(a[6:],validate=True).decode('utf-8').split(':',1)
|
||||
except (ValueError,UnicodeError): fail(401,'unauthorized')
|
||||
row=c.execute('SELECT * FROM users WHERE username=%s',(name,)).fetchone()
|
||||
try: valid=kdf.verify(row['password_hash'] if row else dummy,password)
|
||||
except VerificationError: valid=False
|
||||
if not valid or not row: fail(401,'unauthorized')
|
||||
token=secrets.token_urlsafe(32)
|
||||
expires=c.execute("INSERT INTO sessions VALUES (%s,%s,clock_timestamp() + %s * interval '1 second') RETURNING expires_at",(hashlib.sha256(token.encode()).hexdigest(),row['id'],ttl)).fetchone()['expires_at']
|
||||
return {'token':token,'token_type':'Bearer','expires_at':expires.isoformat().replace('+00:00','Z'),'user':user(row)},201
|
||||
who=actor(c)
|
||||
if path=='auth/sessions/current' and request.method=='DELETE':
|
||||
c.execute('DELETE FROM sessions WHERE token_hash=%s',(g.digest,))
|
||||
return '',204
|
||||
if path=='users/me' and request.method=='GET': return public_user(c,who)
|
||||
if path=='chats':
|
||||
if request.method=='POST':
|
||||
d=body(['title','member_ids']); string(d['title'],100)
|
||||
ids=d['member_ids']
|
||||
if not isinstance(ids,list) or not 1<=len(ids)<=100: invalid()
|
||||
ids=[uid(x) for x in ids]
|
||||
if len(ids)!=len(set(ids)) or str(who) not in ids: invalid()
|
||||
if c.execute('SELECT count(*) AS n FROM users WHERE id=ANY(%s::uuid[])',(ids,)).fetchone()['n']!=len(ids): invalid()
|
||||
ident=uuid.uuid4()
|
||||
c.execute('INSERT INTO chats(id,title) VALUES (%s,%s)',(ident,d['title']))
|
||||
for member in ids: c.execute('INSERT INTO members VALUES (%s,%s)',(ident,member))
|
||||
return chat(c,ident,who),201
|
||||
if request.method=='GET':
|
||||
resource='chats:'+str(who); limit,pair=page_args(resource)
|
||||
query='SELECT c.id FROM chats c JOIN members m ON c.id=m.chat_id WHERE m.user_id=%s'
|
||||
params=[who]
|
||||
if pair: query+=' AND (c.created_at,c.id)>(%s,%s)'; params+=list(pair)
|
||||
query+=' ORDER BY c.created_at,c.id LIMIT %s'; params+=[limit+1]
|
||||
return page([chat(c,x['id'],who) for x in c.execute(query,params).fetchall()],limit,resource)
|
||||
parts=path.split('/')
|
||||
if len(parts) in (2,3) and parts[0]=='chats':
|
||||
ident=uid(parts[1])
|
||||
if len(parts)==3 and parts[2]=='messages' and os.getenv('MESSAGE_ACCESS_FAST','1')=='1':
|
||||
# Message endpoints only need membership, not the entire Chat representation.
|
||||
if not c.execute('SELECT 1 FROM members WHERE chat_id=%s AND user_id=%s',(ident,who)).fetchone(): fail(404,'not_found')
|
||||
result=None
|
||||
else:
|
||||
result=chat(c,ident,who)
|
||||
if len(parts)==2 and request.method=='GET': return result
|
||||
if len(parts)==3 and parts[2]=='messages':
|
||||
if request.method=='POST':
|
||||
key=request.headers.get('Idempotency-Key','')
|
||||
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key): invalid()
|
||||
if request.mimetype != 'application/json': fail(415,'unsupported_media_type')
|
||||
try: d=request.get_json()
|
||||
except HTTPException: invalid()
|
||||
if not isinstance(d,dict) or set(d)-{'text','attachment_ids'} or 'text' not in d: invalid()
|
||||
string(d['text'],4000)
|
||||
if d.get('attachment_ids',[]) != [] or not isinstance(d.get('attachment_ids',[]),list): invalid()
|
||||
canonical=json.dumps({'text':d['text'],'attachment_ids':[]},sort_keys=True,ensure_ascii=False)
|
||||
# One transaction: lock scope, inspect replay, insert effect and result, commit before response.
|
||||
scope=str(who)+':POST:'+ident+':'+key
|
||||
c.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,))
|
||||
old=c.execute('SELECT body,response FROM idempotency WHERE user_id=%s AND chat_id=%s AND key=%s AND expires_at>clock_timestamp()',(who,ident,key)).fetchone()
|
||||
if old:
|
||||
if old['body']!=canonical: fail(409,'conflict')
|
||||
return old['response'],201
|
||||
result=clean(c.execute('INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *',(uuid.uuid4(),ident,who,d['text'])).fetchone())
|
||||
c.execute("INSERT INTO idempotency(user_id,chat_id,key,body,response,expires_at) VALUES (%s,%s,%s,%s,%s,clock_timestamp()+interval '24 hours') ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body=excluded.body,response=excluded.response,expires_at=excluded.expires_at",(who,ident,key,canonical,psycopg.types.json.Jsonb(result)))
|
||||
return result,201
|
||||
if request.method=='GET':
|
||||
limit,pair=page_args(ident)
|
||||
query='SELECT * FROM messages WHERE chat_id=%s'; params=[ident]
|
||||
if pair: query+=' AND (created_at,id)>(%s,%s)'; params+=list(pair)
|
||||
query+=' ORDER BY created_at,id LIMIT %s'; params+=[limit+1]
|
||||
return page([clean(x) for x in c.execute(query,params)],limit,ident)
|
||||
fail(404,'not_found')
|
||||
@@ -0,0 +1,18 @@
|
||||
import os
|
||||
from pathlib import Path
|
||||
import psycopg
|
||||
|
||||
def setting(name):
|
||||
file = os.getenv(name + '_FILE')
|
||||
return Path(file).read_text().strip() if file else os.environ[name]
|
||||
|
||||
def migrate():
|
||||
with psycopg.connect(setting('DATABASE_URL'), connect_timeout=3) as c:
|
||||
c.execute('SELECT pg_advisory_xact_lock(202602)')
|
||||
c.execute('CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())')
|
||||
for p in sorted(Path('migrations').glob('*.sql')):
|
||||
if not c.execute('SELECT 1 FROM schema_migrations WHERE version=%s',(p.name,)).fetchone():
|
||||
c.execute(p.read_text())
|
||||
c.execute('INSERT INTO schema_migrations(version) VALUES (%s)',(p.name,))
|
||||
if __name__ == '__main__':
|
||||
migrate()
|
||||
@@ -0,0 +1,77 @@
|
||||
name: mtusi_lab3_solution
|
||||
x-app: &app
|
||||
image: mtusi-lab3-api:local
|
||||
build: .
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
POOL_MAX: ${POOL_MAX:-8}
|
||||
MESSAGE_ACCESS_FAST: ${MESSAGE_ACCESS_FAST:-1}
|
||||
secrets: [database_url, cache_url]
|
||||
cpus: ${API_CPUS:-0.5}
|
||||
mem_limit: ${API_MEMORY:-256m}
|
||||
stop_grace_period: 7s
|
||||
restart: unless-stopped
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.10-alpine
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
|
||||
secrets: [db_password]
|
||||
volumes: [pgdata:/var/lib/postgresql/data]
|
||||
cpus: ${DB_CPUS:-1.0}
|
||||
mem_limit: 512m
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
|
||||
interval: 1s
|
||||
timeout: 1s
|
||||
retries: 30
|
||||
redis:
|
||||
image: redis:7.4.6-alpine
|
||||
command: [redis-server, --maxmemory, 64mb, --maxmemory-policy, allkeys-lru]
|
||||
cpus: 0.25
|
||||
mem_limit: 128m
|
||||
healthcheck:
|
||||
test: [CMD, redis-cli, ping]
|
||||
interval: 2s
|
||||
timeout: 1s
|
||||
retries: 20
|
||||
migrate:
|
||||
<<: *app
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets: [database_url]
|
||||
command: [python, -m, app.migrate]
|
||||
restart: 'no'
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
api:
|
||||
<<: *app
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
redis: {condition: service_healthy}
|
||||
healthcheck:
|
||||
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready', timeout=4)"]
|
||||
interval: 2s
|
||||
timeout: 5s
|
||||
retries: 2
|
||||
start_period: 5s
|
||||
lb:
|
||||
image: haproxy:3.0.11-alpine
|
||||
ports: ['127.0.0.1:8080:8080']
|
||||
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
|
||||
cpus: 0.5
|
||||
mem_limit: 128m
|
||||
depends_on:
|
||||
api: {condition: service_healthy}
|
||||
volumes:
|
||||
pgdata:
|
||||
secrets:
|
||||
db_password: {file: ./secrets/db_password}
|
||||
database_url: {file: ./secrets/database_url}
|
||||
cache_url: {file: ./secrets/cache_url}
|
||||
@@ -1,5 +1,22 @@
|
||||
# Доказательства
|
||||
# Доказательства лабораторной 3
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
Дата: 23.10.2026, Europe/Moscow. Все данные синтетические. Токены/пароли не записываются.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
- `check.txt`, `openapi.txt`, `smoke.txt` — фактический stdout публичных проверок.
|
||||
- `idempotency.json` — 24 одновременных повтора через разные API.
|
||||
- `idempotency-failover.json` — повтор исходного ключа после физической остановки обслужившего API: тот же Message через другой процесс.
|
||||
- `failover.json` — публичные 15-секундные проверки остановок, ошибки, восстановление и реальные Docker ID/состояния.
|
||||
- `persistence.txt`, `containers-initial.json`, `containers-after-restart.json` — прежняя сессия и сообщения после пересоздания настоящих API, PostgreSQL, Redis и LB.
|
||||
- `rolling.json`, `containers-after-rolling.json` — нагрузка во время последовательной замены контейнеров, вывод action, сохранность подтверждений.
|
||||
- `availability-load.json` — отдельная остановка каждого API под смешанной нагрузкой чтения/записи, RPS, ошибки, задержки, сверка сообщений.
|
||||
- `scaling.json` — три повтора для 1/2/4 API, фиксированный и растущий бюджеты.
|
||||
- `saturation.json` — sweep concurrency 1/4/16/64/128 при четырёх API.
|
||||
- `db-bottleneck.json` — две серии с PostgreSQL 0.1 и 1 CPU, два повтора на точку, C=4.
|
||||
- `improvement.json`, `improvement-low.json` — A/B проверки оптимизации членства при C=32 и C=4.
|
||||
- `extra-checks.json` — строгая валидация, область ключа, отзыв/истечение сессии, Redis outage и DB readiness.
|
||||
- `migrations.txt` — повторный запуск мигратора не меняет журнал и applied_at.
|
||||
- `environment-before-db.json`, `environment-final.json` — версии, hardware, размер БД и SHA-256 исходников.
|
||||
- `measurements.csv` — исходные агрегаты каждого измерения; подробные выборки CPU/RAM остаются в JSON.
|
||||
- `*.png`, `*.svg` — графики из сохранённых JSON, генерируются `scripts/plots.py`.
|
||||
|
||||
Методика, команды и интерпретация всех серий — в [REPORT.md](../REPORT.md). Percentiles относятся к успешным итерациям. Указанный RPS — одна подтверждённая POST-итерация, периодически включающая GET истории, а не сумма HTTP-запросов. Ошибки указаны отдельно. Closed-loop нагрузка имеет ограничения, описанные в отчёте.
|
||||
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,59 @@
|
||||
[
|
||||
{
|
||||
"id": "54b5a2f722463aa1ffdcf62ed02754d4be39b0e1c86e0c47bc358e49abddd257",
|
||||
"name": "/mtusi_lab3_solution-api-1",
|
||||
"hostname": "54b5a2f72246",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "90c0edd835b0d6ccade0d8859077bacccdeaa0068ec7a7ce99799d06595639d3",
|
||||
"name": "/mtusi_lab3_solution-api-2",
|
||||
"hostname": "90c0edd835b0",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "3b0115107acfb7fdb7009b0b3be8283a57cdab24b6e7cfe585a3087c4641384a",
|
||||
"name": "/mtusi_lab3_solution-lb-1",
|
||||
"hostname": "3b0115107acf",
|
||||
"state": "running",
|
||||
"image": "haproxy:3.0.11-alpine",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8080"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "b2896afd3818aaf0aeb1e39e4a55fb8305ec2679729defbc04c2531a7336ed51",
|
||||
"name": "/mtusi_lab3_solution-postgres-1",
|
||||
"hostname": "b2896afd3818",
|
||||
"state": "running",
|
||||
"image": "postgres:16.10-alpine",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory": 536870912,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "033c1cff7786b2a3bd2d1a4702ed8bf3f8c45a54fc3c56571e1328c77bd79c21",
|
||||
"name": "/mtusi_lab3_solution-redis-1",
|
||||
"hostname": "033c1cff7786",
|
||||
"state": "running",
|
||||
"image": "redis:7.4.6-alpine",
|
||||
"nano_cpus": 250000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {}
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,59 @@
|
||||
[
|
||||
{
|
||||
"id": "e0741230f251f1dea1aa04080bfe6bb41db648d85f95fccc37c571a0530ed80d",
|
||||
"name": "/mtusi_lab3_solution-api-3",
|
||||
"hostname": "e0741230f251",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "d5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e",
|
||||
"name": "/mtusi_lab3_solution-api-4",
|
||||
"hostname": "d5980c18e719",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "3b0115107acfb7fdb7009b0b3be8283a57cdab24b6e7cfe585a3087c4641384a",
|
||||
"name": "/mtusi_lab3_solution-lb-1",
|
||||
"hostname": "3b0115107acf",
|
||||
"state": "running",
|
||||
"image": "haproxy:3.0.11-alpine",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8080"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "b2896afd3818aaf0aeb1e39e4a55fb8305ec2679729defbc04c2531a7336ed51",
|
||||
"name": "/mtusi_lab3_solution-postgres-1",
|
||||
"hostname": "b2896afd3818",
|
||||
"state": "running",
|
||||
"image": "postgres:16.10-alpine",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory": 536870912,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "033c1cff7786b2a3bd2d1a4702ed8bf3f8c45a54fc3c56571e1328c77bd79c21",
|
||||
"name": "/mtusi_lab3_solution-redis-1",
|
||||
"hostname": "033c1cff7786",
|
||||
"state": "running",
|
||||
"image": "redis:7.4.6-alpine",
|
||||
"nano_cpus": 250000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {}
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,59 @@
|
||||
[
|
||||
{
|
||||
"id": "c714bc07cea59fb2341fa083449fa93f72d12a8a34fc91864f0834cdb631393b",
|
||||
"name": "/mtusi_lab3_solution-api-3",
|
||||
"hostname": "c714bc07cea5",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "b73f89735b0b4e4a4ac90152b504290ea90ef0946fcc061391e9503415d01154",
|
||||
"name": "/mtusi_lab3_solution-api-4",
|
||||
"hostname": "b73f89735b0b",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "3b0115107acfb7fdb7009b0b3be8283a57cdab24b6e7cfe585a3087c4641384a",
|
||||
"name": "/mtusi_lab3_solution-lb-1",
|
||||
"hostname": "3b0115107acf",
|
||||
"state": "running",
|
||||
"image": "haproxy:3.0.11-alpine",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8080"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "953e54bc649aeafd057c38532a059c2502e67656f93e51e29b27599ff3d192c8",
|
||||
"name": "/mtusi_lab3_solution-postgres-1",
|
||||
"hostname": "953e54bc649a",
|
||||
"state": "running",
|
||||
"image": "postgres:16.10-alpine",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory": 536870912,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "033c1cff7786b2a3bd2d1a4702ed8bf3f8c45a54fc3c56571e1328c77bd79c21",
|
||||
"name": "/mtusi_lab3_solution-redis-1",
|
||||
"hostname": "033c1cff7786",
|
||||
"state": "running",
|
||||
"image": "redis:7.4.6-alpine",
|
||||
"nano_cpus": 250000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {}
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,59 @@
|
||||
[
|
||||
{
|
||||
"id": "df99611f85a57cae8ee7a37b3e59daf8a5866b0011a562ca6a3a0fe344726ac9",
|
||||
"name": "/mtusi_lab3_solution-api-1",
|
||||
"hostname": "df99611f85a5",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "f18cd1dcf85a453038333137b9915ffa807f1c33352251095cf76112008e8940",
|
||||
"name": "/mtusi_lab3_solution-api-2",
|
||||
"hostname": "f18cd1dcf85a",
|
||||
"state": "running",
|
||||
"image": "mtusi-lab3-api:local",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 268435456,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "65e8ba0676ab8a1eb7d7a14485cc12e34587ed2487546ca1f7b799eae186ca99",
|
||||
"name": "/mtusi_lab3_solution-lb-1",
|
||||
"hostname": "65e8ba0676ab",
|
||||
"state": "running",
|
||||
"image": "haproxy:3.0.11-alpine",
|
||||
"nano_cpus": 500000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "8080"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "c6fd4157c969d33c7fce9b91552e3737e1e23c1554f9e2b55f8279d8b8e4e7a3",
|
||||
"name": "/mtusi_lab3_solution-postgres-1",
|
||||
"hostname": "c6fd4157c969",
|
||||
"state": "running",
|
||||
"image": "postgres:16.10-alpine",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory": 536870912,
|
||||
"published_ports": {}
|
||||
},
|
||||
{
|
||||
"id": "7f022c81e357a85c20b1447fb95f32764649c8d3004dd83e47b5559a6f5b3803",
|
||||
"name": "/mtusi_lab3_solution-redis-1",
|
||||
"hostname": "7f022c81e357",
|
||||
"state": "running",
|
||||
"image": "redis:7.4.6-alpine",
|
||||
"nano_cpus": 250000000,
|
||||
"memory": 134217728,
|
||||
"published_ports": {}
|
||||
}
|
||||
]
|
||||
|
After Width: | Height: | Size: 83 KiB |
|
After Width: | Height: | Size: 62 KiB |
@@ -0,0 +1,40 @@
|
||||
{
|
||||
"collected_at": "2026-10-23T14:43:30.688302+00:00",
|
||||
"host": "macOS-27.0.1-arm64-arm-64bit-Mach-O",
|
||||
"machine": "arm64",
|
||||
"logical_cpus": 10,
|
||||
"host_memory_bytes": 25769803776,
|
||||
"host_cpu": "Apple M4",
|
||||
"docker_version": "{\"Platform\":{\"Name\":\"Docker Desktop 4.92.0 (240144)\"},\"Version\":\"29.8.0\",\"ApiVersion\":\"1.56\",\"MinAPIVersion\":\"1.40\",\"Os\":\"linux\",\"Arch\":\"arm64\",\"Components\":[{\"Name\":\"Engine\",\"Version\":\"29.8.0\",\"Details\":{\"ApiVersion\":\"1.56\",\"Arch\":\"arm64\",\"BuildTime\":\"Thu Sep 3 21:49:37 2026\",\"Experimental\":\"false\",\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"MinAPIVersion\":\"1.40\",\"Module\":\"github.com/moby/moby/v2\",\"ModuleVersion\":\"v2.0.0+unknown\",\"Os\":\"linux\"}},{\"Name\":\"containerd\",\"Version\":\"v2.3.5\",\"Details\":{\"GitCommit\":\"1294c24a7da8e5a793ed378161673abe94118892\"}},{\"Name\":\"runc\",\"Version\":\"1.5.1\",\"Details\":{\"GitCommit\":\"v1.5.1-0-g8f2685a4\"}},{\"Name\":\"docker-init\",\"Version\":\"0.19.0\",\"Details\":{\"GitCommit\":\"de40ad0\"}}],\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"BuildTime\":\"2026-09-03T21:49:37.000000000+00:00\"}",
|
||||
"compose_version": "Docker Compose version v5.5.1",
|
||||
"docker_resources": {
|
||||
"cpus": 10,
|
||||
"memory_bytes": 8319504384,
|
||||
"os": "Docker Desktop",
|
||||
"architecture": "aarch64"
|
||||
},
|
||||
"dataset": {
|
||||
"users": 358,
|
||||
"chats": 120,
|
||||
"messages": 523342,
|
||||
"idempotency": 523342,
|
||||
"database_bytes": 418255331
|
||||
},
|
||||
"versions": {
|
||||
"python": "Python 3.12.12",
|
||||
"postgres": "postgres (PostgreSQL) 16.10",
|
||||
"redis": "Redis server v=7.4.6 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=4e6e3eabd829953b",
|
||||
"haproxy": "HAProxy version 3.0.11-9e587df 2025/06/02 - https://haproxy.org/\nStatus: long-term supported branch - will stop receiving fixes around Q2 2029.\nKnown bugs: http://www.haproxy.org/bugs/bugs-3.0.11.html\nRunning on: Linux 7.0.12-linuxkit #1 SMP PREEMPT Thu Aug 27 14:02:21 UTC 2026 aarch64"
|
||||
},
|
||||
"source_sha256": {
|
||||
"app/main.py": "99d850d729fc015ee9e20c5151e631ab5dc901927044adb23247c402140dd514",
|
||||
"app/migrate.py": "e8fe9d98bf74fbeb0b402b1dde41e7371f602683e6898990f88abedf1e698243",
|
||||
"migrations/002_idempotency.sql": "3629c3b43d97fcd7e017b42281eb7ccce60821f772f0eccb3b63f925765c0275",
|
||||
"migrations/001_initial.sql": "0fb9c58900c7ecd12d6fafe656a30c86be1e796f655eb5b0334ed290b108e25b",
|
||||
"infra/haproxy.cfg": "119c268704ca5471a9426cd579348544995c968e78c8a3cb7b6213a95028bfb7",
|
||||
"scripts/experiments.py": "0ee3683e0a6e75277c96961c2394bd3a86955a5098cd4e748f23e0969e2d36e8",
|
||||
"compose.yaml": "2a14d0fe4700d0dbdf48d81b0412f18faebe26b122e12bf7dd49ba33c7f26784",
|
||||
"Dockerfile": "1553edea298cc97374384376b908593b1b2398a21c55a91f787393f4cdcb0a31",
|
||||
"requirements.lock": "38c6fdee1220a6a22c9f6ffd9dec973aed420139e30d33325cd85be4ce9f573a"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,40 @@
|
||||
{
|
||||
"collected_at": "2026-10-23T14:50:58.749817+00:00",
|
||||
"host": "macOS-27.0.1-arm64-arm-64bit-Mach-O",
|
||||
"machine": "arm64",
|
||||
"logical_cpus": 10,
|
||||
"host_memory_bytes": 25769803776,
|
||||
"host_cpu": "Apple M4",
|
||||
"docker_version": "{\"Platform\":{\"Name\":\"Docker Desktop 4.92.0 (240144)\"},\"Version\":\"29.8.0\",\"ApiVersion\":\"1.56\",\"MinAPIVersion\":\"1.40\",\"Os\":\"linux\",\"Arch\":\"arm64\",\"Components\":[{\"Name\":\"Engine\",\"Version\":\"29.8.0\",\"Details\":{\"ApiVersion\":\"1.56\",\"Arch\":\"arm64\",\"BuildTime\":\"Thu Sep 3 21:49:37 2026\",\"Experimental\":\"false\",\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"MinAPIVersion\":\"1.40\",\"Module\":\"github.com/moby/moby/v2\",\"ModuleVersion\":\"v2.0.0+unknown\",\"Os\":\"linux\"}},{\"Name\":\"containerd\",\"Version\":\"v2.3.5\",\"Details\":{\"GitCommit\":\"1294c24a7da8e5a793ed378161673abe94118892\"}},{\"Name\":\"runc\",\"Version\":\"1.5.1\",\"Details\":{\"GitCommit\":\"v1.5.1-0-g8f2685a4\"}},{\"Name\":\"docker-init\",\"Version\":\"0.19.0\",\"Details\":{\"GitCommit\":\"de40ad0\"}}],\"GitCommit\":\"3ce5872\",\"GoVersion\":\"go1.26.8\",\"KernelVersion\":\"7.0.12-linuxkit\",\"BuildTime\":\"2026-09-03T21:49:37.000000000+00:00\"}",
|
||||
"compose_version": "Docker Compose version v5.5.1",
|
||||
"docker_resources": {
|
||||
"cpus": 10,
|
||||
"memory_bytes": 8319504384,
|
||||
"os": "Docker Desktop",
|
||||
"architecture": "aarch64"
|
||||
},
|
||||
"dataset": {
|
||||
"users": 412,
|
||||
"chats": 138,
|
||||
"messages": 656975,
|
||||
"idempotency": 656975,
|
||||
"database_bytes": 523973091
|
||||
},
|
||||
"versions": {
|
||||
"python": "Python 3.12.12",
|
||||
"postgres": "postgres (PostgreSQL) 16.10",
|
||||
"redis": "Redis server v=7.4.6 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=4e6e3eabd829953b",
|
||||
"haproxy": "HAProxy version 3.0.11-9e587df 2025/06/02 - https://haproxy.org/\nStatus: long-term supported branch - will stop receiving fixes around Q2 2029.\nKnown bugs: http://www.haproxy.org/bugs/bugs-3.0.11.html\nRunning on: Linux 7.0.12-linuxkit #1 SMP PREEMPT Thu Aug 27 14:02:21 UTC 2026 aarch64"
|
||||
},
|
||||
"source_sha256": {
|
||||
"app/main.py": "99d850d729fc015ee9e20c5151e631ab5dc901927044adb23247c402140dd514",
|
||||
"app/migrate.py": "e8fe9d98bf74fbeb0b402b1dde41e7371f602683e6898990f88abedf1e698243",
|
||||
"migrations/002_idempotency.sql": "3629c3b43d97fcd7e017b42281eb7ccce60821f772f0eccb3b63f925765c0275",
|
||||
"migrations/001_initial.sql": "0fb9c58900c7ecd12d6fafe656a30c86be1e796f655eb5b0334ed290b108e25b",
|
||||
"infra/haproxy.cfg": "119c268704ca5471a9426cd579348544995c968e78c8a3cb7b6213a95028bfb7",
|
||||
"scripts/experiments.py": "0ee3683e0a6e75277c96961c2394bd3a86955a5098cd4e748f23e0969e2d36e8",
|
||||
"compose.yaml": "2a14d0fe4700d0dbdf48d81b0412f18faebe26b122e12bf7dd49ba33c7f26784",
|
||||
"Dockerfile": "1553edea298cc97374384376b908593b1b2398a21c55a91f787393f4cdcb0a31",
|
||||
"requirements.lock": "38c6fdee1220a6a22c9f6ffd9dec973aed420139e30d33325cd85be4ce9f573a"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,12 @@
|
||||
{
|
||||
"contract_extra": "PASS: 128-codepoint UTF-8 password with colon; malformed JSON and oversized limit rejected",
|
||||
"strict_message_validation": "PASS",
|
||||
"key_scope": "PASS: 3 independent messages",
|
||||
"canonical_json_order": "PASS: reversed fields and explicit [] replay the same message",
|
||||
"cursor_scope": "PASS: cursor from another chat rejected with 400",
|
||||
"revoked_session_cannot_replay": "PASS",
|
||||
"same_key_after_physical_failover": "PASS: same Message and 201 via a different process with original token",
|
||||
"redis_outage": "PASS: profile falls back to PostgreSQL, ready=200",
|
||||
"postgres_outage": "live 200\nready 503; no DB failover claimed",
|
||||
"expiry": "PASS: TTL=2 seconds, old token gives 401"
|
||||
}
|
||||
@@ -0,0 +1,80 @@
|
||||
[
|
||||
{
|
||||
"attempt": 1,
|
||||
"stdout": "python3 tests/resilience.py --mode failover --action-script \"scripts/stop-one.sh\" --base-url \"http://localhost:8080\" \nExecuting explicit failover hook; hook output suppressed to avoid leaking secrets.\n{\"observed_instances_before\": 2, \"successful_writes\": 127, \"failed_attempts\": 2, \"first_recovery_seconds\": 0.943}\nPASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.\n",
|
||||
"stopped": [
|
||||
"mtusi_lab3_solution-api-2"
|
||||
],
|
||||
"inventory_after": [
|
||||
{
|
||||
"name": "mtusi_lab3_solution-api-1",
|
||||
"state": "running",
|
||||
"id": "df99611f85a5"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-api-2",
|
||||
"state": "exited",
|
||||
"id": "f18cd1dcf85a"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-lb-1",
|
||||
"state": "running",
|
||||
"id": "65e8ba0676ab"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-migrate-1",
|
||||
"state": "exited",
|
||||
"id": "407405e4541b"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-postgres-1",
|
||||
"state": "running",
|
||||
"id": "c6fd4157c969"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-redis-1",
|
||||
"state": "running",
|
||||
"id": "7f022c81e357"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"attempt": 2,
|
||||
"stdout": "python3 tests/resilience.py --mode failover --action-script \"scripts/stop-one.sh\" --base-url \"http://localhost:8080\" \nExecuting explicit failover hook; hook output suppressed to avoid leaking secrets.\n{\"observed_instances_before\": 2, \"successful_writes\": 127, \"failed_attempts\": 2, \"first_recovery_seconds\": 0.94}\nPASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.\n",
|
||||
"stopped": [
|
||||
"mtusi_lab3_solution-api-1"
|
||||
],
|
||||
"inventory_after": [
|
||||
{
|
||||
"name": "mtusi_lab3_solution-api-1",
|
||||
"state": "exited",
|
||||
"id": "df99611f85a5"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-api-2",
|
||||
"state": "running",
|
||||
"id": "f18cd1dcf85a"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-lb-1",
|
||||
"state": "running",
|
||||
"id": "65e8ba0676ab"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-migrate-1",
|
||||
"state": "exited",
|
||||
"id": "407405e4541b"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-postgres-1",
|
||||
"state": "running",
|
||||
"id": "c6fd4157c969"
|
||||
},
|
||||
{
|
||||
"name": "mtusi_lab3_solution-redis-1",
|
||||
"state": "running",
|
||||
"id": "7f022c81e357"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,8 @@
|
||||
{
|
||||
"original_instance": "d5980c18e719-8c76619b",
|
||||
"replay_instance": "e0741230f251-7f94e597",
|
||||
"same_message": true,
|
||||
"status": 201,
|
||||
"seconds": 0.664,
|
||||
"hook": "Stopping API container d5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e (hostname d5980c18e719)\nFlag --time has been deprecated, use --timeout instead\nd5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e\nd5980c18e71946c228474e7fefa65959b7917c00657b654b6aaf76800557de9e exited\n"
|
||||
}
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"concurrent_requests": 24,
|
||||
"instances": [
|
||||
"df99611f85a5-04302f1c",
|
||||
"f18cd1dcf85a-e5743b7e"
|
||||
],
|
||||
"distinct_message_ids": 1,
|
||||
"stored_messages": 1,
|
||||
"different_body_status": 409,
|
||||
"absent_vs_empty_attachments": "equal"
|
||||
}
|
||||
|
After Width: | Height: | Size: 56 KiB |
|
After Width: | Height: | Size: 51 KiB |
@@ -0,0 +1,48 @@
|
||||
experiment,series,replicas,db_cpu,fast_membership,repeat,concurrency,elapsed,success,errors,rps,p50_ms,p95_ms,p99_ms
|
||||
scaling,fixed,1,,,1,32,10.024,5217,0,520.437,68.395,103.915,139.297
|
||||
scaling,fixed,1,,,2,32,10.052,5299,0,527.135,68.481,102.047,116.932
|
||||
scaling,fixed,1,,,3,32,10.025,5272,0,525.9,68.84,100.923,109.326
|
||||
scaling,fixed,2,,,1,32,10.116,4079,0,403.232,99.462,195.694,283.169
|
||||
scaling,fixed,2,,,2,32,10.094,4151,0,411.236,98.189,192.717,280.292
|
||||
scaling,fixed,2,,,3,32,10.077,4190,0,415.791,99.923,190.081,278.196
|
||||
scaling,fixed,4,,,1,32,10.244,3752,0,366.259,5.066,371.938,478.247
|
||||
scaling,fixed,4,,,2,32,10.238,3687,0,360.123,5.424,371.181,504.856
|
||||
scaling,fixed,4,,,3,32,10.246,3850,0,375.738,5.087,336.864,489.03
|
||||
scaling,growing,1,,,1,32,10.098,2168,0,214.701,115.165,274.239,318.435
|
||||
scaling,growing,1,,,2,32,10.113,2167,0,214.269,114.606,276.8,307.213
|
||||
scaling,growing,1,,,3,32,10.106,2127,0,210.467,116.777,279.159,294.331
|
||||
scaling,growing,2,,,1,32,10.09,4128,0,409.104,101.016,194.599,275.12
|
||||
scaling,growing,2,,,2,32,10.054,4126,0,410.395,99.985,199.698,279.349
|
||||
scaling,growing,2,,,3,32,10.052,4105,0,408.395,92.683,194.137,281.407
|
||||
scaling,growing,4,,,1,32,10.082,8932,0,885.975,6.875,150.17,185.407
|
||||
scaling,growing,4,,,2,32,10.084,9137,0,906.072,7.369,142.843,177.629
|
||||
scaling,growing,4,,,3,32,10.189,8828,0,866.451,8.082,149.461,194.614
|
||||
saturation,,4,,,,1,10.0,4934,0,493.38,1.797,3.443,4.551
|
||||
saturation,,4,,,,4,10.003,11263,0,1125.936,2.976,5.607,14.455
|
||||
saturation,,4,,,,16,10.021,9812,0,979.146,6.648,71.968,85.027
|
||||
saturation,,4,,,,64,10.205,9137,0,895.334,7.091,273.343,343.532
|
||||
saturation,,4,,,,128,10.374,9050,0,872.375,111.364,419.207,504.484
|
||||
improvement,,,,False,1,32,10.04,8326,0,829.273,6.939,157.194,181.899
|
||||
improvement,,,,False,2,32,10.079,8491,0,842.468,7.437,152.413,183.534
|
||||
improvement,,,,False,3,32,10.104,8399,0,831.283,5.98,161.926,195.997
|
||||
improvement,,,,True,1,32,10.08,8971,0,890.017,6.052,152.151,187.361
|
||||
improvement,,,,True,2,32,10.03,8965,0,893.861,7.197,143.487,177.139
|
||||
improvement,,,,True,3,32,10.069,9096,0,903.411,6.787,148.475,183.686
|
||||
improvement-low,,,,False,1,4,10.003,11704,0,1170.102,2.902,5.349,9.424
|
||||
improvement-low,,,,True,1,4,10.001,12315,0,1231.321,2.81,5.212,7.819
|
||||
improvement-low,,,,True,2,4,10.002,12221,0,1221.811,2.789,5.213,9.204
|
||||
improvement-low,,,,False,2,4,10.002,11803,0,1180.111,2.921,5.375,8.322
|
||||
improvement-low,,,,False,3,4,10.003,11835,0,1183.097,2.909,5.364,7.932
|
||||
improvement-low,,,,True,3,4,10.004,12145,0,1214.054,2.832,5.216,8.259
|
||||
db-bottleneck,,1,0.1,,1,4,10.001,1476,0,147.589,5.258,97.175,198.596
|
||||
db-bottleneck,,1,0.1,,2,4,10.052,1505,0,149.715,5.395,94.517,195.986
|
||||
db-bottleneck,,2,0.1,,1,4,10.019,919,0,91.726,7.125,103.933,289.423
|
||||
db-bottleneck,,2,0.1,,2,4,10.021,1082,0,107.97,5.426,101.442,201.348
|
||||
db-bottleneck,,4,0.1,,1,4,10.024,888,0,88.588,6.557,104.218,204.894
|
||||
db-bottleneck,,4,0.1,,2,4,10.011,893,0,89.203,7.634,104.923,201.846
|
||||
db-bottleneck,,1,1,,1,4,10.018,4967,0,495.802,3.592,54.138,63.387
|
||||
db-bottleneck,,1,1,,2,4,10.028,4796,0,478.255,3.649,55.078,65.376
|
||||
db-bottleneck,,2,1,,1,4,10.004,10040,0,1003.648,2.879,5.989,25.497
|
||||
db-bottleneck,,2,1,,2,4,10.003,10925,0,1092.152,2.807,5.968,19.362
|
||||
db-bottleneck,,4,1,,1,4,10.002,11911,0,1190.818,2.827,5.197,7.9
|
||||
db-bottleneck,,4,1,,2,4,10.016,11308,0,1129.002,2.869,5.593,14.545
|
||||
|
@@ -0,0 +1,4 @@
|
||||
Command: docker compose run --rm migrate (twice)
|
||||
Before == after (including applied_at): PASS
|
||||
001_initial.sql|2026-10-23 12:05:38.158093+00
|
||||
002_idempotency.sql|2026-10-23 12:05:38.158093+00
|
||||
@@ -0,0 +1,2 @@
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
After Width: | Height: | Size: 80 KiB |
|
After Width: | Height: | Size: 49 KiB |
|
After Width: | Height: | Size: 102 KiB |
|
After Width: | Height: | Size: 56 KiB |
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,28 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 1024
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
timeout connect 500ms
|
||||
timeout client 6s
|
||||
timeout server 5s
|
||||
timeout check 1s
|
||||
retries 0
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 2
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
frontend public
|
||||
bind *:8080
|
||||
default_backend replicas
|
||||
backend replicas
|
||||
balance roundrobin
|
||||
option http-server-close
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 1 resolvers docker init-addr none
|
||||
server-template api 8 api:8080 check
|
||||
@@ -0,0 +1,12 @@
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY, username text NOT NULL UNIQUE CHECK(username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name text NOT NULL CHECK(length(btrim(display_name))>0 AND length(display_name)<=100),
|
||||
password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chats (id uuid PRIMARY KEY, title text NOT NULL CHECK(length(btrim(title))>0 AND length(title)<=100), created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE TABLE members (chat_id uuid REFERENCES chats ON DELETE CASCADE, user_id uuid REFERENCES users, PRIMARY KEY(chat_id,user_id));
|
||||
CREATE INDEX members_user ON members(user_id,chat_id);
|
||||
CREATE TABLE messages (id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, text text NOT NULL CHECK(length(btrim(text))>0 AND length(text)<=4000), created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE INDEX messages_history ON messages(chat_id,created_at,id);
|
||||
CREATE TABLE sessions (token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL);
|
||||
CREATE INDEX sessions_expiry ON sessions(expires_at);
|
||||
@@ -0,0 +1,6 @@
|
||||
CREATE TABLE idempotency (
|
||||
user_id uuid NOT NULL REFERENCES users, chat_id uuid NOT NULL REFERENCES chats,
|
||||
key varchar(128) NOT NULL, body text NOT NULL, response jsonb NOT NULL,
|
||||
expires_at timestamptz NOT NULL, PRIMARY KEY(user_id,chat_id,key)
|
||||
);
|
||||
CREATE INDEX idempotency_expiry ON idempotency(expires_at);
|
||||
@@ -0,0 +1 @@
|
||||
matplotlib==3.10.7
|
||||
@@ -0,0 +1,18 @@
|
||||
argon2-cffi==25.1.0
|
||||
argon2-cffi-bindings==26.1.0
|
||||
blinker==1.9.0
|
||||
cffi==2.1.1
|
||||
click==8.5.0
|
||||
Flask==3.1.2
|
||||
gunicorn==23.0.0
|
||||
itsdangerous==2.2.0
|
||||
Jinja2==3.1.6
|
||||
MarkupSafe==3.0.4
|
||||
packaging==26.3
|
||||
psycopg==3.2.10
|
||||
psycopg-binary==3.2.10
|
||||
psycopg-pool==3.3.3
|
||||
pycparser==3.11
|
||||
redis==6.4.0
|
||||
typing_extensions==4.16.0
|
||||
Werkzeug==3.1.9
|
||||
@@ -0,0 +1,5 @@
|
||||
Flask==3.1.2
|
||||
gunicorn==23.0.0
|
||||
psycopg[binary,pool]==3.2.10
|
||||
redis==6.4.0
|
||||
argon2-cffi==25.1.0
|
||||
@@ -0,0 +1,17 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Generate local synthetic credentials once; never print their values."""
|
||||
from pathlib import Path
|
||||
import secrets
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
folder=root/'secrets'
|
||||
folder.mkdir(mode=0o700,exist_ok=True)
|
||||
folder.chmod(0o700)
|
||||
password=folder/'db_password'
|
||||
if not password.exists():
|
||||
password.write_text(secrets.token_hex(32))
|
||||
for name,value in {'database_url':'postgresql://messenger:'+password.read_text().strip()+'@postgres:5432/messenger','cache_url':'redis://redis:6379/0'}.items():
|
||||
path=folder/name
|
||||
if not path.exists(): path.write_text(value)
|
||||
for path in folder.iterdir(): path.chmod(0o600)
|
||||
if not (root/'.env').exists(): (root/'.env').write_text('API_REPLICAS=2\nSESSION_TTL_SECONDS=3600\n')
|
||||
print('Local secrets ready (values hidden).')
|
||||
@@ -0,0 +1,20 @@
|
||||
import sys,base64,uuid
|
||||
from pathlib import Path
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
from client import Client,check
|
||||
c=Client()
|
||||
a,b,e,chat=c.bootstrap()
|
||||
path='/api/v1/chats/'+chat['id']
|
||||
results={'contract_extra':{}}
|
||||
# Full UTF-8 password range, including a colon; malformed JSON and invalid limits.
|
||||
unicode_name='utf_'+uuid.uuid4().hex[:16]
|
||||
unicode_password='🔑'*120+':пароль!'
|
||||
check(len(unicode_password)==128,'password fixture length')
|
||||
c.call('POST','/api/v1/users',201,body={'username':unicode_name,'display_name':'UTF-8','password':unicode_password},schema='User')
|
||||
credential=base64.b64encode((unicode_name+':'+unicode_password).encode()).decode()
|
||||
c.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')
|
||||
c.call('POST','/api/v1/users',400,raw=b'{',headers={'Content-Type':'application/json'})
|
||||
c.call('GET',path+'/messages?limit='+('9'*100),400,actor=a)
|
||||
results['contract_extra']['utf8_128_password_with_colon']=True
|
||||
|
||||
print('PASS: 128-codepoint UTF-8 password with colon; malformed JSON and oversized limit rejected')
|
||||
@@ -0,0 +1,13 @@
|
||||
#!/usr/bin/env python3
|
||||
import sys,os,platform,json,subprocess,datetime
|
||||
from pathlib import Path
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parent))
|
||||
from experiments import command,dc,save
|
||||
info={'collected_at':datetime.datetime.now(datetime.timezone.utc).isoformat(),'host':platform.platform(),'machine':platform.machine(),'logical_cpus':os.cpu_count(),'host_memory_bytes':int(command(['sysctl','-n','hw.memsize']).strip()),'host_cpu':command(['sysctl','-n','machdep.cpu.brand_string']).strip(),'docker_version':command(['docker','version','--format','{{json .Server}}']).strip(),'compose_version':dc('version').strip(),'docker_resources':json.loads(command(['docker','info','--format','{"cpus":{{.NCPU}},"memory_bytes":{{.MemTotal}},"os":"{{.OperatingSystem}}","architecture":"{{.Architecture}}"}']))}
|
||||
info['dataset']=json.loads(dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atc',"SELECT json_build_object('users',(SELECT count(*) FROM users),'chats',(SELECT count(*) FROM chats),'messages',(SELECT count(*) FROM messages),'idempotency',(SELECT count(*) FROM idempotency),'database_bytes',pg_database_size(current_database()))"))
|
||||
info['versions']={'python':command(['docker','exec',dc('ps','-q','api').split()[0],'python','--version']).strip(),'postgres':dc('exec','-T','postgres','postgres','--version').strip(),'redis':dc('exec','-T','redis','redis-server','--version').strip(),'haproxy':dc('exec','-T','lb','haproxy','-v').strip()}
|
||||
# Hash inputs so measurements can be tied to saved sources without publishing secrets.
|
||||
import hashlib
|
||||
info['source_sha256']={str(p):hashlib.sha256(p.read_bytes()).hexdigest() for pattern in ('app/*.py','migrations/*.sql','infra/*.cfg','scripts/experiments.py','compose.yaml','Dockerfile','requirements.lock') for p in Path('.').glob(pattern)}
|
||||
save(sys.argv[1] if len(sys.argv)>1 else 'environment.json',info)
|
||||
print('Sanitized environment and source hashes saved.')
|
||||
@@ -0,0 +1,225 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Reproducible real-container experiments. Only synthetic data; no tokens on disk."""
|
||||
import sys,os,json,time,subprocess,statistics,threading,math,uuid
|
||||
from pathlib import Path
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
os.chdir(ROOT)
|
||||
sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client,Failure,check
|
||||
OUT=ROOT/'evidence'; OUT.mkdir(exist_ok=True)
|
||||
|
||||
def command(args,env=None):
|
||||
proc=subprocess.Popen(args,env=env,text=True,stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
|
||||
waited=0
|
||||
try:
|
||||
while True:
|
||||
try:
|
||||
output,_=proc.communicate(timeout=15)
|
||||
break
|
||||
except subprocess.TimeoutExpired:
|
||||
waited+=15
|
||||
print(' Ожидание: '+' '.join(args[:3])+'… ('+str(waited)+' с)',flush=True)
|
||||
except KeyboardInterrupt:
|
||||
proc.terminate()
|
||||
try: proc.communicate(timeout=5)
|
||||
except subprocess.TimeoutExpired:
|
||||
proc.kill(); proc.communicate()
|
||||
raise
|
||||
if proc.returncode: raise RuntimeError('Command failed: '+str(args)+'\n'+output)
|
||||
return output
|
||||
|
||||
def dc(*args,env=None): return command(['docker','compose',*args],env)
|
||||
def save(name,data): (OUT/name).write_text(json.dumps(data,ensure_ascii=False,indent=2)+'\n')
|
||||
def inventory():
|
||||
ids=dc('ps','-q').split()
|
||||
return [json.loads(line) for line in command(['docker','inspect','--format','{"id":"{{.Id}}","name":"{{.Name}}","hostname":"{{.Config.Hostname}}","state":"{{.State.Status}}","image":"{{.Config.Image}}","nano_cpus":{{.HostConfig.NanoCpus}},"memory":{{.HostConfig.Memory}},"published_ports":{{json .HostConfig.PortBindings}}}',*ids]).splitlines()]
|
||||
def up_wait(env=None,replicas=None):
|
||||
print('Подготовка стенда из локальных образов, ожидание готовности (до 90 с)…',flush=True)
|
||||
args=['up','-d','--no-build','--pull','never','--wait','--wait-timeout','90']
|
||||
if replicas is not None: args+=['--scale','api='+str(replicas)]
|
||||
try: dc(*args,env=env)
|
||||
except RuntimeError as exc:
|
||||
# A recreated DB invalidates existing pool connections. Compose may fail
|
||||
# immediately on an old 'unhealthy' status; restart API pools, then wait.
|
||||
if 'unhealthy' not in str(exc): raise
|
||||
dc('restart','api',env=env)
|
||||
dc(*args,env=env)
|
||||
time.sleep(3)
|
||||
|
||||
def restore(): up_wait()
|
||||
def sample_stats(stop,rows):
|
||||
while not stop.is_set():
|
||||
try:
|
||||
rows.append({'at':time.time(),'containers':[json.loads(x) for x in dc('stats','--no-stream','--format','{{json .}}').splitlines()]})
|
||||
except Exception: pass
|
||||
stop.wait(.5)
|
||||
def benchmark(duration=10,concurrency=16,action=None):
|
||||
c=Client(); a,b,e,chat=c.bootstrap()
|
||||
# Explicit warm-up, excluded from measured interval.
|
||||
for i in range(50): c.message(a,chat,'warmup-'+str(i))
|
||||
barrier=threading.Barrier(concurrency+1,action=lambda: started.__setitem__(0,time.monotonic())); lat=[]; errors=[]; observed=set(); confirmed=set(); lock=threading.Lock()
|
||||
started=[0]; stats=[]; stop=threading.Event()
|
||||
sampler=threading.Thread(target=sample_stats,args=(stop,stats)); sampler.start()
|
||||
action_result={}
|
||||
def run_action():
|
||||
time.sleep(2)
|
||||
try: action_result['output']=action(); action_result['ok']=True
|
||||
except Exception as exc: action_result.update(ok=False,error=str(exc))
|
||||
action_result['finished_seconds']=time.monotonic()-started[0]
|
||||
def worker(n):
|
||||
local=Client(timeout=6); barrier.wait(); index=0
|
||||
while time.monotonic()-started[0]<duration:
|
||||
begin=time.monotonic()
|
||||
try:
|
||||
response=local.message(a,chat,'load-%s-%s'%(n,index))
|
||||
# Each worker also reads periodically during failures/updates.
|
||||
if index%10==0: local.call('GET','/api/v1/chats/'+chat['id']+'/messages?limit=1',actor=b,schema='MessagePage')
|
||||
with lock:
|
||||
lat.append((time.monotonic()-begin)*1000); observed.add(response['headers']['X-Instance-Id']); confirmed.add(response['json']['id'])
|
||||
except Failure as exc:
|
||||
with lock: errors.append({'at_seconds':round(begin-started[0],4),'error':str(exc)})
|
||||
index+=1
|
||||
with ThreadPoolExecutor(max_workers=concurrency) as pool:
|
||||
jobs=[pool.submit(worker,n) for n in range(concurrency)]
|
||||
started[0]=time.monotonic(); barrier.wait()
|
||||
thread=threading.Thread(target=run_action) if action else None
|
||||
if thread: thread.start()
|
||||
for job in jobs: job.result()
|
||||
elapsed=time.monotonic()-started[0]
|
||||
if thread: thread.join()
|
||||
stop.set(); sampler.join()
|
||||
lat.sort()
|
||||
def pct(p): return round(lat[max(0,math.ceil(p*len(lat))-1)],3) if lat else None
|
||||
result={'duration':duration,'elapsed':round(elapsed,3),'concurrency':concurrency,'success':len(lat),'errors':len(errors),'rps':round(len(lat)/elapsed,3),'p50_ms':pct(.5),'p95_ms':pct(.95),'p99_ms':pct(.99),'instances':sorted(observed),'error_details':errors,'stats':stats,'action':action_result,'warmup_messages':50}
|
||||
check(bool(lat),'no successes')
|
||||
if action:
|
||||
check(action_result.get('ok'),'action failed')
|
||||
from resilience import history
|
||||
stored=history(c,b,chat)
|
||||
check(confirmed.issubset({item['id'] for item in stored}),'confirmed message lost during action')
|
||||
check(len(stored)==len({item['id'] for item in stored}),'duplicate IDs')
|
||||
result['confirmed_messages_verified']=len(confirmed)
|
||||
return result
|
||||
|
||||
def correctness():
|
||||
print('Проверки займут несколько минут. Результаты сохраняются в evidence/.',flush=True)
|
||||
restore()
|
||||
print('[1/6] Публичные smoke и проверка структуры',flush=True)
|
||||
# Preserve raw stdout from unmodified public tests.
|
||||
(OUT/'smoke.txt').write_text(command(['make','test']))
|
||||
(OUT/'check.txt').write_text(command(['make','check']))
|
||||
before=inventory(); save('containers-initial.json',before)
|
||||
print('[2/6] 24 конкурентных повтора одного сообщения',flush=True)
|
||||
c=Client(); a,b,e,chat=c.bootstrap(); path='/api/v1/chats/'+chat['id']+'/messages'
|
||||
key=uuid.uuid4().hex; gate=threading.Barrier(24)
|
||||
def repeat(i):
|
||||
local=Client(); gate.wait()
|
||||
return local.message(a,chat,'parallel-idempotency',key=key,attachments=[] if i%2 else None)
|
||||
with ThreadPoolExecutor(max_workers=24) as pool: replies=list(pool.map(repeat,range(24)))
|
||||
check(len({r['json']['id'] for r in replies})==1,'duplicate idempotency effects')
|
||||
instances=sorted({r['headers']['X-Instance-Id'] for r in replies}); check(len(instances)>=2,'parallel replay missed replicas')
|
||||
items=c.call('GET',path,actor=b,schema='MessagePage')['json']['items']; check(len(items)==1,'duplicate stored messages')
|
||||
c.call('POST',path,409,actor=a,body={'text':'different'},headers={'Idempotency-Key':key})
|
||||
save('idempotency.json',{'concurrent_requests':24,'instances':instances,'distinct_message_ids':1,'stored_messages':len(items),'different_body_status':409,'absent_vs_empty_attachments':'equal'})
|
||||
# Public test chooses target from the response: rotate serving order until each physical container was stopped.
|
||||
print('[3/6] Отказ каждой API по очереди (15 с на попытку)',flush=True)
|
||||
seen=set(); attempts=[]
|
||||
for attempt in range(8):
|
||||
restore()
|
||||
if attempt%2: Client().call('GET','/health/live',schema='Health') # rotate round-robin before target selection
|
||||
print(' Попытка '+str(attempt+1),flush=True)
|
||||
output=command(['make','test-failover','ACTION_SCRIPT=scripts/stop-one.sh'])
|
||||
stopped=dc('ps','-a','--format','json')
|
||||
states=[json.loads(line) for line in stopped.splitlines() if line.strip()]
|
||||
targets=[r['Name'] for r in states if r['Service']=='api' and r['State']=='exited']
|
||||
seen.update(targets)
|
||||
attempts.append({'attempt':attempt+1,'stdout':output,'stopped':targets,'inventory_after':[{'name':r['Name'],'state':r['State'],'id':r['ID']} for r in states]})
|
||||
save('failover.json',attempts)
|
||||
if len(seen)>=2: break
|
||||
check(len(seen)>=2,'did not stop each API replica')
|
||||
restore()
|
||||
print('[4/6] Перезапуск стенда с сохранением данных и сессии',flush=True)
|
||||
(OUT/'persistence.txt').write_text(command(['make','test-persistence','ACTION_SCRIPT=scripts/restart.sh']))
|
||||
save('containers-after-restart.json',inventory())
|
||||
print('[5/6] Последовательная замена контейнеров под нагрузкой (35 с)',flush=True)
|
||||
save('rolling.json',benchmark(35,16,lambda:command(['sh','scripts/rolling-update.sh'])))
|
||||
save('containers-after-rolling.json',inventory())
|
||||
restore()
|
||||
print('[6/6] Остановка каждой API под нагрузкой (15 с на реплику)',flush=True)
|
||||
availability=[]
|
||||
for item in inventory():
|
||||
if '-api-' not in item['name']: continue
|
||||
target=item['hostname']+'-selected'
|
||||
def action(target=target):
|
||||
return command(['sh','scripts/stop-one.sh'],dict(os.environ,TARGET_INSTANCE_ID=target))
|
||||
row=benchmark(15,16,action); row['target_container']=item['name']
|
||||
availability.append(row); save('availability-load.json',availability)
|
||||
restore()
|
||||
print('Correctness, each-replica failure, persistence and rolling: PASS',flush=True)
|
||||
|
||||
def configure(n,cpu,memory,pool=8,fast=1,db_cpu=1):
|
||||
env=dict(os.environ,DB_CPUS=str(db_cpu),API_REPLICAS=str(n),API_CPUS=str(cpu),API_MEMORY=memory,POOL_MAX=str(pool),MESSAGE_ACCESS_FAST=str(fast))
|
||||
up_wait(env,n)
|
||||
return env
|
||||
|
||||
def scaling():
|
||||
results=[]
|
||||
for mode in ('fixed','growing'):
|
||||
for n in (1,2,4):
|
||||
cpu=1/n if mode=='fixed' else .5
|
||||
mem=str(1024//n if mode=='fixed' else 256)+'m'
|
||||
configure(n,cpu,mem)
|
||||
for repeat in range(1,4):
|
||||
row=benchmark(10,32); row.update(series=mode,replicas=n,cpu_per_api=cpu,memory_per_api=mem,repeat=repeat,pool=8)
|
||||
results.append(row); save('scaling.json',results)
|
||||
print(mode,n,repeat,row['rps'],row['errors'],flush=True)
|
||||
sweeps=[]
|
||||
configure(4,.5,'256m')
|
||||
for concurrency in (1,4,16,64,128):
|
||||
row=benchmark(10,concurrency); row.update(replicas=4)
|
||||
sweeps.append(row); save('saturation.json',sweeps)
|
||||
print('saturation',concurrency,row['rps'],row['p95_ms'],flush=True)
|
||||
improvements=[]
|
||||
for fast in (0,1):
|
||||
configure(4,.5,'256m',fast=fast)
|
||||
for repeat in range(1,4):
|
||||
row=benchmark(10,32); row.update(fast_membership=bool(fast),repeat=repeat)
|
||||
improvements.append(row); save('improvement.json',improvements)
|
||||
print('improvement',fast,repeat,row['rps'],flush=True)
|
||||
configure(2,.5,'256m')
|
||||
save('containers-final.json',inventory())
|
||||
|
||||
def improvement_low():
|
||||
rows=[]
|
||||
# Alternate A/B ordering to reduce monotonic database growth/temperature bias.
|
||||
for repeat in (1,2,3):
|
||||
for fast in ((0,1) if repeat%2 else (1,0)):
|
||||
configure(4,.5,'256m',fast=fast)
|
||||
row=benchmark(10,4); row.update(fast_membership=bool(fast),repeat=repeat)
|
||||
rows.append(row); save('improvement-low.json',rows)
|
||||
print('improvement C4',fast,repeat,row['rps'],flush=True)
|
||||
configure(2,.5,'256m')
|
||||
|
||||
def bottleneck():
|
||||
results=[]
|
||||
for db_cpu in (.1,1):
|
||||
for n in (1,2,4):
|
||||
configure(n,.5,'256m',db_cpu=db_cpu)
|
||||
for repeat in (1,2):
|
||||
row=benchmark(10,4)
|
||||
row.update(db_cpu=db_cpu,replicas=n,repeat=repeat)
|
||||
results.append(row); save('db-bottleneck.json',results)
|
||||
print('db',db_cpu,n,repeat,row['rps'],row['p95_ms'],flush=True)
|
||||
configure(2,.5,'256m')
|
||||
|
||||
if __name__=='__main__':
|
||||
try:
|
||||
mode=sys.argv[1] if len(sys.argv)>1 else 'correctness'
|
||||
actions={'correctness':correctness,'scaling':scaling,'bottleneck':bottleneck,'improvement-low':improvement_low}
|
||||
if mode not in actions: raise SystemExit('Unknown experiment: '+mode)
|
||||
actions[mode]()
|
||||
except KeyboardInterrupt:
|
||||
print('\nПроверка прервана. Для восстановления стенда выполните:\n'
|
||||
'docker compose up -d --no-build --pull never --wait --wait-timeout 120',flush=True)
|
||||
raise SystemExit(130) from None
|
||||
@@ -0,0 +1,70 @@
|
||||
#!/usr/bin/env python3
|
||||
import sys,os,time,json,base64,uuid
|
||||
from pathlib import Path
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parent))
|
||||
from experiments import dc,save,restore,Client,Failure,check,command
|
||||
results={}
|
||||
# Retain previous lab's strict validation and Unicode password range.
|
||||
results['contract_extra']=command([sys.executable,'scripts/contract_extra.py']).strip()
|
||||
c=Client(); a,b,e,chat=c.bootstrap(); path='/api/v1/chats/'+chat['id']+'/messages'
|
||||
for key in ('bad key','x'*129,'ü'):
|
||||
# HTTP headers must be latin-1 encodable.
|
||||
c.call('POST',path,400,actor=a,body={'text':'invalid key'},headers={'Idempotency-Key':key})
|
||||
for payload in ({'text':'ok','sender_id':a['id']},{'text':True},{'text':'x','attachment_ids':False},{'text':'x','attachment_ids':{}}):
|
||||
c.call('POST',path,400,actor=a,body=payload,headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
results['strict_message_validation']='PASS'
|
||||
# Same key belongs independently to each authenticated sender and chat.
|
||||
key=uuid.uuid4().hex
|
||||
m1=c.message(a,chat,'scoped',key)['json']; m2=c.message(b,chat,'scoped',key)['json']
|
||||
chat2=c.call('POST','/api/v1/chats',201,actor=a,body={'title':'scope','member_ids':[a['id']]},schema='Chat')['json']
|
||||
m3=c.message(a,chat2,'scoped',key)['json']
|
||||
check(len({m['id'] for m in (m1,m2,m3)})==3,'key scope too broad')
|
||||
results['key_scope']='PASS: 3 independent messages'
|
||||
canonical=c.call('POST',path,201,actor=a,body={'attachment_ids':[],'text':'scoped'},headers={'Idempotency-Key':key},schema='Message')['json']
|
||||
check(canonical==m1,'JSON key order changed replay')
|
||||
results['canonical_json_order']='PASS: reversed fields and explicit [] replay the same message'
|
||||
from urllib.parse import quote
|
||||
page=c.call('GET',path+'?limit=1',actor=a,schema='MessagePage')['json']
|
||||
check(page['next_cursor'] is not None,'cursor fixture missing')
|
||||
c.call('GET','/api/v1/chats/'+chat2['id']+'/messages?cursor='+quote(page['next_cursor'],safe=''),400,actor=a)
|
||||
results['cursor_scope']='PASS: cursor from another chat rejected with 400'
|
||||
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=a)
|
||||
for _ in range(16): c.call('POST',path,401,actor=a,body={'text':'scoped'},headers={'Idempotency-Key':key})
|
||||
results['revoked_session_cannot_replay']='PASS'
|
||||
# Explicit replay across a real process stop, with the original key and token.
|
||||
key=uuid.uuid4().hex
|
||||
first=c.message(b,chat,'replay after physical stop',key)
|
||||
target=first['headers']['X-Instance-Id']; started=time.monotonic()
|
||||
hook=command(['sh','scripts/stop-one.sh'],dict(os.environ,TARGET_INSTANCE_ID=target))
|
||||
while True:
|
||||
try:
|
||||
replay=c.message(b,chat,'replay after physical stop',key)
|
||||
break
|
||||
except Failure:
|
||||
check(time.monotonic()-started<10,'cross-failover replay did not recover')
|
||||
time.sleep(.2)
|
||||
check(first['json']==replay['json'],'replay changed after physical stop')
|
||||
check(target!=replay['headers']['X-Instance-Id'],'stopped instance still serves replay')
|
||||
save('idempotency-failover.json',{'original_instance':target,'replay_instance':replay['headers']['X-Instance-Id'],'same_message':True,'status':replay['status'],'seconds':round(time.monotonic()-started,3),'hook':hook})
|
||||
results['same_key_after_physical_failover']='PASS: same Message and 201 via a different process with original token'
|
||||
restore()
|
||||
dc('stop','redis')
|
||||
try:
|
||||
c.call('GET','/api/v1/users/me',actor=b,schema='User'); c.call('GET','/health/ready',schema='Health')
|
||||
results['redis_outage']='PASS: profile falls back to PostgreSQL, ready=200'
|
||||
finally: dc('start','redis')
|
||||
dc('stop','postgres')
|
||||
try:
|
||||
probe = "import urllib.request,urllib.error;\nfor path in ('live','ready'):\n try: r=urllib.request.urlopen('http://localhost:8080/health/'+path,timeout=8); print(path,r.status)\n except urllib.error.HTTPError as e: print(path,e.code)"
|
||||
output=command(['docker','exec',dc('ps','-q','api').split()[0],'python','-c',probe])
|
||||
check('live 200' in output and 'ready 503' in output,'health dependency semantics')
|
||||
results['postgres_outage']=output.strip()+'; no DB failover claimed'
|
||||
finally: restore()
|
||||
env=dict(os.environ,SESSION_TTL_SECONDS='2')
|
||||
dc('up','-d','--wait','--wait-timeout','90',env=env); time.sleep(3)
|
||||
c=Client(); a=c.user('ttl'); time.sleep(2.2)
|
||||
c.call('GET','/api/v1/users/me',401,actor=a)
|
||||
results['expiry']='PASS: TTL=2 seconds, old token gives 401'
|
||||
restore()
|
||||
save('extra-checks.json',results)
|
||||
print(json.dumps(results,ensure_ascii=False,indent=2))
|
||||
@@ -0,0 +1,20 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Audit schema migrations and final infrastructure without exposing credentials."""
|
||||
import sys,json
|
||||
from pathlib import Path
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parent))
|
||||
from experiments import dc,command,save,inventory,restore
|
||||
restore()
|
||||
query='SELECT version,applied_at FROM schema_migrations ORDER BY version'
|
||||
before=dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atc',query)
|
||||
dc('run','--rm','migrate');dc('run','--rm','migrate')
|
||||
after=dc('exec','-T','postgres','psql','-U','messenger','-d','messenger','-Atc',query)
|
||||
assert before==after,'migration was applied twice'
|
||||
Path('evidence/migrations.txt').write_text('Command: docker compose run --rm migrate (twice)\nBefore == after (including applied_at): PASS\n'+after)
|
||||
items=inventory();apis=[r for r in items if '-api-' in r['name']]
|
||||
assert len(apis)==2
|
||||
assert all(not r['published_ports'] for r in apis)
|
||||
assert all(r['nano_cpus']==500000000 and r['memory']==268435456 for r in apis)
|
||||
save('containers-final.json',items)
|
||||
command([sys.executable,'scripts/environment.py','environment-final.json'])
|
||||
print('PASS: two private APIs, expected limits, migrations applied once, source hashes saved.')
|
||||
@@ -0,0 +1,58 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Plot saved measurements only; never fabricates or reruns data."""
|
||||
import os
|
||||
os.environ.setdefault('MPLCONFIGDIR','/tmp/mtusi-lab3-matplotlib')
|
||||
import json,statistics,csv
|
||||
from pathlib import Path
|
||||
import matplotlib
|
||||
matplotlib.use('Agg')
|
||||
import matplotlib.pyplot as plt
|
||||
ROOT=Path(__file__).resolve().parents[1]; E=ROOT/'evidence'
|
||||
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':10,'axes.spines.top':False,'axes.spines.right':False})
|
||||
def read(name): return json.loads((E/name).read_text())
|
||||
def grouped(rows,key,value):
|
||||
keys=sorted({r[key] for r in rows})
|
||||
vals=[[r[value] for r in rows if r[key]==k] for k in keys]
|
||||
return keys,[statistics.mean(v) for v in vals],[statistics.stdev(v) if len(v)>1 else 0 for v in vals]
|
||||
def finish(fig,name):
|
||||
fig.tight_layout(); fig.savefig(E/(name+'.png'),dpi=180); fig.savefig(E/(name+'.svg')); plt.close(fig)
|
||||
rows=read('scaling.json')
|
||||
fig,axes=plt.subplots(1,2,figsize=(11,4))
|
||||
for mode,label,color in [('fixed','Всего 1 CPU / 1 GiB','#2563eb'),('growing','0.5 CPU / 256 MiB на API','#ea580c')]:
|
||||
group=[r for r in rows if r['series']==mode]
|
||||
for ax,metric in zip(axes,['rps','p95_ms']):
|
||||
x,y,err=grouped(group,'replicas',metric); ax.errorbar(x,y,yerr=err,marker='o',capsize=4,label=label,color=color)
|
||||
for ax in axes: ax.set_xlabel('API-реплики'); ax.set_xticks([1,2,4]); ax.grid(alpha=.2)
|
||||
axes[0].set_ylabel('Успешные итерации / с'); axes[1].set_ylabel('p95, мс'); axes[0].legend(fontsize=8)
|
||||
fig.suptitle('Масштабирование: C=32, три повтора, ± выборочное σ')
|
||||
finish(fig,'scaling')
|
||||
rows=read('saturation.json'); fig,axes=plt.subplots(1,2,figsize=(11,4))
|
||||
for ax,metric,label in zip(axes,['rps','p95_ms'],['Успешные итерации / с','p95, мс']):
|
||||
ax.plot([r['concurrency'] for r in rows],[r[metric] for r in rows],marker='o',color='#2563eb'); ax.set_xlabel('Concurrency'); ax.set_ylabel(label); ax.set_xscale('log',base=2); ax.set_xticks([1,4,16,64,128],labels=['1','4','16','64','128']); ax.grid(alpha=.2)
|
||||
fig.suptitle('Рост очередей: 4 API × 0.5 CPU / 256 MiB, PostgreSQL 1 CPU')
|
||||
finish(fig,'saturation')
|
||||
fig,axes=plt.subplots(1,2,figsize=(11,4))
|
||||
for ax,name,c in zip(axes,['improvement.json','improvement-low.json'],[32,4]):
|
||||
rows=read(name)
|
||||
x,y,err=grouped(rows,'fast_membership','rps')
|
||||
ax.bar(['Полный Chat','Только членство'],y,yerr=err,capsize=5,color=['#94a3b8','#16a34a'])
|
||||
ax.set_ylabel('Успешные итерации / с'); ax.set_title(f'Concurrency {c}'); ax.grid(axis='y',alpha=.2)
|
||||
for i,v in enumerate(y): ax.text(i,v+max(err)+5,f'{v:.1f}',ha='center')
|
||||
fig.suptitle('A/B: один SELECT вместо двух, 4 API, три повтора')
|
||||
finish(fig,'improvement')
|
||||
rows=read('db-bottleneck.json'); fig,axes=plt.subplots(1,2,figsize=(11,4))
|
||||
for db,color in [(.1,'#dc2626'),(1,'#16a34a')]:
|
||||
group=[r for r in rows if r['db_cpu']==db]
|
||||
for ax,metric in zip(axes,['rps','p95_ms']):
|
||||
x,y,err=grouped(group,'replicas',metric); ax.errorbar(x,y,yerr=err,marker='o',capsize=4,label=f'PostgreSQL: {db} CPU',color=color)
|
||||
for ax in axes: ax.set_xlabel('API-реплики (0.5 CPU / 256 MiB каждая)'); ax.set_xticks([1,2,4]); ax.grid(alpha=.2)
|
||||
axes[0].set_ylabel('Успешные итерации / с'); axes[1].set_ylabel('p95, мс'); axes[0].legend()
|
||||
fig.suptitle('Контролируемый предел общей БД: C=4, два повтора')
|
||||
finish(fig,'db-bottleneck')
|
||||
# Compact raw per-run table alongside the full JSON including container resource samples.
|
||||
with (E/'measurements.csv').open('w') as f:
|
||||
fields=['experiment','series','replicas','db_cpu','fast_membership','repeat','concurrency','elapsed','success','errors','rps','p50_ms','p95_ms','p99_ms']
|
||||
writer=csv.DictWriter(f,fieldnames=fields,extrasaction='ignore'); writer.writeheader()
|
||||
for name in ['scaling','saturation','improvement','improvement-low','db-bottleneck']:
|
||||
for row in read(name+'.json'): writer.writerow(dict(row,experiment=name))
|
||||
print('Four plots and raw per-run CSV generated from evidence JSON.')
|
||||
@@ -0,0 +1,6 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# Recreate real containers, retain PostgreSQL volume. No migration race.
|
||||
docker compose down
|
||||
docker compose up -d --no-build --pull never --wait --wait-timeout 90
|
||||
@@ -0,0 +1,18 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
# First build the new image and apply compatible migrations once:
|
||||
# docker compose build api; docker compose run --rm migrate
|
||||
# One surge container, wait readiness, remove one old container, repeat.
|
||||
# The old IDs are captured before creating replacements.
|
||||
old_ids=$(docker compose ps -q api)
|
||||
count=$(printf '%s\n' "$old_ids" | wc -l | tr -d ' ')
|
||||
[ "$count" -ge 2 ] || { echo 'At least two APIs required' >&2; exit 1; }
|
||||
for old in $old_ids; do
|
||||
docker compose up -d --no-build --pull never --no-deps --no-recreate --scale "api=$((count + 1))" api
|
||||
for id in $(docker compose ps -q api); do
|
||||
python3 scripts/wait-container.py "$id"
|
||||
done
|
||||
docker stop --time 5 "$old"
|
||||
docker rm "$old"
|
||||
done
|
||||
@@ -0,0 +1,16 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
python3 scripts/bootstrap.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait --wait-timeout 120
|
||||
make check
|
||||
make validate PYTHON=.venv/bin/python
|
||||
python3 scripts/experiments.py scaling
|
||||
python3 scripts/environment.py environment-before-db.json
|
||||
python3 scripts/experiments.py bottleneck
|
||||
python3 scripts/experiments.py improvement-low
|
||||
python3 scripts/experiments.py correctness
|
||||
python3 scripts/extra-checks.py
|
||||
python3 scripts/final-audit.py
|
||||
.venv/bin/python scripts/plots.py
|
||||
@@ -0,0 +1,16 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${TARGET_INSTANCE_ID:?Set TARGET_INSTANCE_ID from a real API response}"
|
||||
for id in $(docker compose ps -q api); do
|
||||
host=$(docker inspect -f '{{.Config.Hostname}}' "$id")
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
"$host"-*)
|
||||
printf 'Stopping API container %s (hostname %s)\n' "$id" "$host"
|
||||
docker stop --time 5 "$id"
|
||||
docker inspect -f '{{.Id}} {{.State.Status}}' "$id"
|
||||
exit 0;;
|
||||
esac
|
||||
done
|
||||
printf 'No running API matches target\n' >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,7 @@
|
||||
import subprocess,sys,time
|
||||
for _ in range(90):
|
||||
if subprocess.check_output(['docker','inspect','-f','{{.State.Health.Status}}',sys.argv[1]],text=True).strip()=='healthy':
|
||||
time.sleep(2) # allow HAProxy rise check and DNS refresh
|
||||
break
|
||||
time.sleep(1)
|
||||
else: raise SystemExit('container did not become ready')
|
||||