30 changed files with 2569 additions and 14 deletions
+7
View File
@@ -0,0 +1,7 @@
*.sh text eol=lf
Dockerfile text eol=lf
*.sql text eol=lf
*.py text eol=lf
*.cmd text eol=crlf
*.cfg text eol=lf
*.yaml text eol=lf
+11
View File
@@ -0,0 +1,11 @@
FROM python:3.12.7-slim-bookworm
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1
WORKDIR /app
COPY src/requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY src/ .
RUN useradd -r -u 10001 appuser
USER appuser
EXPOSE 8080
HEALTHCHECK --interval=5s --timeout=3s --retries=10 CMD python -c "import urllib.request as u;u.urlopen('http://127.0.0.1:8080/health/live',timeout=2)"
CMD ["uvicorn","app.main:app","--host","0.0.0.0","--port","8080","--timeout-graceful-shutdown","10"]
+107 -14
View File
@@ -1,37 +1,130 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Корнилов Михаил Андреевич, БПИ2304
- Целевая оценка: 3.
- Использованные источники, библиотеки и помощь ИИ:
Библиотеки: starlette, uvicorn, psycopg 3 + psycopg_pool, argon2-cffi. Образы: `postgres:16.4-alpine`, `haproxy:2.8.10-alpine`, `python:3.12.7-slim-bookworm`.
Каталоги `tests/` и `contracts/` курса не менялись.
При подготовке использовалась помощь Claude
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Prerequisites: Docker Desktop (Compose v2), Git Bash (Windows) либо любой sh, Python 3.9+ для тестов. Версии для прогона записаны в `evidence/01-env.txt`.
```sh
sh scripts/setup-secrets.sh # создаёт secrets/pg_password и secrets/database_url (в .gitignore, значения не печатаются)
cp .env.example .env # необязательно: у переменных есть значения по умолчанию в compose.yaml
docker compose --env-file .env config --quiet
docker compose up -d --build # postgres -> migrate (однократно) -> api x2 -> lb; ~1 минута
curl http://localhost:8080/health/ready # ждём {"status":"ok"}
python tests/smoke.py --base-url http://localhost:8080 # = make test
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080 # = make test-failover
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080 # = make test-persistence
# Linux/macOS: те же команды с scripts/stop-one.sh и scripts/restart.sh
docker compose start api # вернуть остановленную тестом реплику
sh scripts/collect-evidence.sh # все проверки ниже и сохранение в evidence/ (--fresh сначала удаляет данные)
docker compose stop # безопасная остановка: контейнеры остановлены, данные сохранены
docker compose down -v # ОСОЗНАННОЕ удаление учебных данных (том pgdata)
```
Действия оператора: только `setup-secrets.sh` (создать секреты). Порт опубликован только у LB (`127.0.0.1:8080`); API-реплики и PostgreSQL наружу не публикуются. Число реплик: `API_REPLICAS` (по умолчанию 2), например `API_REPLICAS=3 docker compose up -d`.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```
клиент -> lb (HAProxy, :8080) -> api x N (одинаковые реплики одного сервиса) -> postgres (pgdata)
migrate (one-shot) -> postgres
```
Роли и сервисы:
| Роль | Service | Версия | Готовность | Volume | Сеть/порт | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| load_balancer | `lb` | `haproxy:2.8.10-alpine` | `wget http://127.0.0.1:8081/healthz` (200, пока жив хотя бы один backend) | нет (конфиг `infra/haproxy/haproxy.cfg` read-only) | публикует `127.0.0.1:8080`; внутри сети compose | нет |
| api (>=2) | `api`, `deploy.replicas=${API_REPLICAS:-2}` | сборка из `Dockerfile` (`python:3.12.7-slim-bookworm`) | `GET /health/ready` | нет (состояния в контейнере нет) | `expose 8080`, наружу не публикуется | Docker secret `database_url` (файл) |
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | именованный `pgdata` | внутри сети, наружу не публикуется | Docker secret `pg_password` (файл) |
| миграции | `migrate` (one-shot, `restart: "no"`) | тот же образ, что у `api` | завершился с кодом 0 | нет | внутри сети | Docker secret `database_url` |
Источник истины для пользователей, чатов, сообщений, **сессий** и **ключей идемпотентности** — PostgreSQL. В памяти реплики не хранится ничего, от чего зависит корректность, поэтому любую реплику можно остановить или добавить.
- **Сессии.** Как и в lab2: токен (256 бит), в БД только sha256; проверка при каждом запросе выполняется по общей БД. Поэтому один токен действует на любой реплике. Sticky session не используются, балансировка `roundrobin`.
- **Идентификатор реплики.** `X-Instance-Id` = hostname контейнера = короткий ID контейнера Docker; он стабилен в жизни процесса и присутствует на всех ответах API (в том числе ошибках и health). По нему `scripts/stop-one.*` находит именно тот контейнер, который обслужил запрос (фильтр по метке проекта и сервиса `api`, `docker stop -t 5`).
- **Миграции.** Выполняются отдельным one-shot сервисом `migrate` (`python -m app.migrate`) один раз перед стартом реплик (`depends_on: service_completed_successfully`); реплики запускаются с `RUN_MIGRATIONS=0` и миграции не выполняют. Применение защищено advisory lock и таблицей `schema_migrations`, повторный запуск безопасен. `GET /health/ready` возвращает 200, только если БД доступна и применена последняя миграция, известная этой сборке.
- **Идемпотентность отправки сообщения** (`002_idempotency.sql`). `Idempotency-Key` обязателен (`[A-Za-z0-9._:-]{1,128}`, иначе 400). Область: пользователь + `POST` + путь чата + ключ (первичный ключ таблицы `idempotency_keys`). В одной транзакции: ключ захватывается (`INSERT ... ON CONFLICT DO NOTHING`), создаётся сообщение и в строку записывается итоговый ответ. Конкурентный повтор (в том числе на другой реплике) блокируется на уникальном индексе до COMMIT первой транзакции, затем читает сохранённый результат и возвращает тот же 201 и то же сообщение; после ROLLBACK (ошибка, обрыв соединения при падении реплики) ключ свободен, и повтор безопасен. Другое тело при том же ключе — 409; сравнивается хэш канонического JSON (порядок ключей не важен). Срок хранения — `IDEMPOTENCY_TTL_SECONDS` (86400 с); просроченный ключ считается свободным. Доступ и сессия проверяются при каждом повторе (посторонний получает 404, отозванный токен — 401).
- **LB и отказ реплики.** HAProxy обнаруживает backend через DNS Docker (`server-template api 6 api:8080`, перечитывается каждую секунду) и активно проверяет `GET /health/ready` каждую секунду (`inter 1s fall 2 rise 2`, `timeout check 1s`). Максимальное время обнаружения отказа: около 3 с (порог задания — 10 с). Недоступный backend исключается из ротации, `on-marked-down shutdown-sessions` закрывает его сессии. Повторяется только установка соединения (`retries 3`, `option redispatch`): запрос ещё не отправлен, это безопасно. POST, отправленные и потерянные на лету, LB не повторяет; клиент повторяет сообщение с тем же `Idempotency-Key`. POST создания чата/пользователя/входа не идемпотентны и прозрачно не повторяются.
- **Graceful shutdown.** `docker stop` посылает SIGTERM; uvicorn перестаёт принимать соединения, дорабатывает выполняющиеся запросы (`--timeout-graceful-shutdown 10`), `stop_grace_period: 15s`.
- **Что читать из lab2 без изменений:** регистрация, Argon2id, Basic только на входе, Bearer, logout, TTL, keyset-пагинация, формат ошибок, `X-Request-Id`, строгая валидация.
**Что изменено относительно lab2:** `docker compose` теперь описывает 4 сервиса вместо 2; порт публикует только LB; миграции вынесены из старта API в сервис `migrate`; добавлены `X-Instance-Id`, обязательный `Idempotency-Key` и таблица `idempotency_keys`; readiness учитывает версию схемы; неизвестные маршруты возвращают JSON-ошибку с заголовками. Хук перезапуска теперь перезапускает PostgreSQL, API-реплики и LB; добавлен хук остановки одной реплики.
**Соответствие `.env.example`:**
| Переменная | Статус |
| --- | --- |
| `API_REPLICAS` | используется в `compose.yaml` (`deploy.replicas`) |
| `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS` | используются (compose передаёт в API) |
| `DATABASE_URL_FILE` | используется (`/run/secrets/database_url`) |
| `APP_ENV` | передаётся в контейнер, приложением не читается |
| `APP_HOST`, `APP_PORT` | не читаются; адрес и порт заданы в `CMD` Dockerfile (`0.0.0.0:8080`) |
| `SESSION_STORE=postgres` | маркер: сессии всегда в PostgreSQL |
| `CACHE_URL_FILE` | не используется (Redis/Valkey нужен для уровня 4 в lab2; здесь не реализован) |
| `DB_POOL_MAX`, `RUN_MIGRATIONS`, `INSTANCE_ID` | читаются приложением (в `.env.example` нет): размер пула (10), запуск миграций при старте (в compose 0), переопределение идентификатора реплики (по умолчанию hostname) |
## Доказательства критериев
Все файлы лежат в `evidence/`; они собраны одним запуском `sh scripts/collect-evidence.sh --fresh` (Windows 11, Docker Desktop 28.0.4, Compose v2.34.0, 16 CPU / 8 ГБ), токены и пароли в них не печатаются.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| Стенд в `compose.yaml`, одна команда запуска, >=2 реплики, одна точка входа, общая БД и сессии | `docker compose up -d --build`, `docker compose ps -a` | чистый старт до готовности за 15 с; `postgres`, `api-1`, `api-2`, `lb` — healthy, `migrate` — Exited (0); одна публичная точка `127.0.0.1:8080` | `00-clean-start.txt`, `01-env.txt` |
| Публичный smoke через LB | `python tests/smoke.py --base-url http://localhost:8080` | PASS, exit code 0; `check_contract.py` — PASS | `02-smoke.txt` |
| Запросы одного пользователя на разных репликах без повторного входа | 40 запросов `GET /users/me` с одним токеном, счёт по `X-Instance-Id` | 20 ответов от `1f4c3572c169` и 20 от `b7deee7dd66b` (две реплики, повторный вход не выполнялся) | `04-load-balancing.txt` |
| Реплики API не публикуют порты наружу, вход только через LB | `docker port` для двух API-контейнеров, `docker compose port lb 8080` | у API-контейнеров портов нет (`8080/tcp` только внутри сети); LB — `127.0.0.1:8080` | `04-load-balancing.txt`, `01-env.txt` |
| Остановка любой одной реплики: запись возобновляется <=10 с, подтверждённые сообщения доступны, дублей нет | `tests/resilience.py --mode failover --action-script scripts/stop-one.cmd`, раунд 1 (остановлена `api-1`) и раунд 2 (остановлена `api-2`) | раунд 1: 114 успешных записей, 1 неудачная попытка, запись возобновилась через 1,703 с; раунд 2: 122 записи, 1 неудачная, 1,125 с; оба PASS (сообщения доступны, дублей нет, остановленная реплика не отвечает) | `05-failover.txt` |
| Hook останавливает именно одну выбранную реплику | `docker ps -a` до/после; `TARGET_INSTANCE_ID` = ID контейнера | после раунда 1 `Exited (0)` только `1f4c3572c169` (`api-1`), после раунда 2 — только `b7deee7dd66b` (`api-2`); LB отвечает 20 из 20 только живой репликой | `05-failover.txt` |
| Идемпотентность: повтор, другое тело (409), разные пользователи/чаты | `student-tests/lab3_checks.py --mode idem` | тот же ключ — тот же 201 и то же сообщение, без дубля; другое тело — 409; ключ в другом чате и у другого пользователя независим; нет/неверный ключ — 400; посторонний — 404; отозванный токен — 401 | `03-student-checks.txt` |
| Конкурентные повторы одного ключа через разные реплики | 30 параллельных POST с одним ключом; 20 параллельных с одним ключом и двумя телами | все 30 ответов — 201 с одним `id`, в истории одно сообщение; ответили обе реплики (`1f4c3572c169`, `b7deee7dd66b`); при двух телах победитель один, остальным другого тела — 409, создано ровно одно сообщение | `03-student-checks.txt` |
| Повтор после переключения реплики | failover-тест повторяет неопределённый POST с тем же ключом | по одной неудачной попытке в каждом раунде повторены с тем же ключом, дублей нет (проверка `uncertain retry created duplicate message` пройдена) | `05-failover.txt` |
| Сохранность при рестарте всего стенда с прежним токеном | `tests/resilience.py --mode persistence --action-script scripts/restart.cmd` | PASS; после рестарта в БД users=20, chats=8, messages=252, sessions=20, idempotency_keys=252 | `06-persistence.txt` |
| Hook перезапускает реальные процессы | `docker inspect -f StartedAt` до и после | у `postgres`, `api-1`, `api-2`, `lb` значение `StartedAt` изменилось (около 10:48:28–10:48:30 UTC), `RestartCount=0`; данные и токен сохранены | `06-persistence.txt` |
| Миграции выполняются однократно отдельным шагом, повтор безопасен | `docker compose ps -a migrate`, `docker compose logs migrate`, `docker compose run --rm migrate` | `migrate` — Exited (0); в `schema_migrations` две записи (`001_init.sql`, `002_idempotency.sql`) без дублей; API стартуют с `RUN_MIGRATIONS=0` | `07-db-migrations.txt` |
| Пароли Argon2id, токены только как sha256 | `select left(password_hash,10)`, `select length(token_hash)` | 20 из 20 хэшей начинаются с `$argon2id$`; 20 из 20 `token_hash` длиной 32 байта | `07-db-migrations.txt` |
| Проверки LB, время обнаружения отказа | конфигурация HAProxy, логи LB | `option httpchk` по `/health/ready`, `inter 1s fall 2 rise 2`, `timeout check 1s`: обнаружение отказа около 3 с (порог 10 с); в логах LB видно `Server api/api1 is UP` после запуска | `09-lb-config.txt` |
| Секреты и volumes вне Git | `git check-ignore -v`, `git ls-files` | `secrets/` и `.env` игнорируются, отслеживаемых секретов нет | `10-git-hygiene.txt` |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Примечание к проверке hook: тесты подтверждают сохранность данных и сессии, а какие процессы были перезапущены или остановлены, показывают `docker ps -a` и `StartedAt` в `05-failover.txt` и `06-persistence.txt`.
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Нагрузочные серии (RPS, p50/p95/p99 по репликам) на уровне 3 не проводились. Проверены отказы:
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Остановка одной API-реплики (`docker stop`, `api-1`) во время записи, раунд 1 | запись возобновляется <=10 с, дублей и потерь нет | 114 успешных записей, 1 неудачная попытка (повторена с тем же ключом), остановленная реплика не обслуживает запросы | запись возобновилась через 1,703 с после запуска hook; реплика возвращена командой `docker compose start api` и снова видна через LB через 3 с; потерь и дублей нет |
| Остановка второй API-реплики (после восстановления первой), раунд 2 | то же | 122 успешные записи, 1 неудачная попытка (повторена с тем же ключом) | 1,125 с; возврат реплики через 3 с; потерь и дублей нет |
| Рестарт PostgreSQL, API-реплик и LB (`scripts/restart.cmd`) | данные и сессия сохраняются | PASS persistence; у всех четырёх контейнеров изменился `StartedAt` | отдельный рестарт: готов (ready и две реплики) через 12 с; данные сохранены |
| `docker compose stop postgres` | `ready` недоступен, LB отвечает 503; после старта БД сервис возвращается без пересоздания | `/health/ready` и `GET /api/v1/users/me` через LB отвечают 503 | после `docker compose start postgres` ready и две реплики вернулись через 4 с; потеря данных отсутствует |
Версии, лимиты и загрузка на момент прогона — `evidence/01-env.txt`: у API-контейнеров около 30–35 МиБ памяти, у PostgreSQL около 42 МиБ, у LB около 12 МиБ при простое.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- Уровень 4 не реализован: нет CPU/RAM-лимитов, согласованного флипа readiness по SIGTERM, замеров RPS при последовательной остановке реплик, rolling update под нагрузкой. Трек 5 не заявлен.
- SPOF: один LB, одна PostgreSQL (без репликации и бэкапов), один Docker host. Тест проверяет отказ одного процесса API, но не отказ узла, БД или LB.
- При недоступной БД все backend не готовы, LB отвечает 503 без `X-Instance-Id` (ошибка создана LB; контракт это допускает).
- Короткие ошибки при отказе: в каждом раунде failover-теста была ровно одна неудачная попытка (запрос, находившийся на остановленной реплике); клиент обязан повторить сообщение с тем же `Idempotency-Key`, как это делает тест. Другие POST (создание чата, пользователя, вход) повторять без дублей нельзя.
- Строки `idempotency_keys` не удаляются после истечения срока (просроченный ключ освобождается только при повторном использовании того же ключа); таблица растёт без фоновой очистки.
- Время сообщения берётся из `clock_timestamp()` в момент вставки; при конкурентных вставках в один чат порядок коммитов может не совпасть с порядком времени, и keyset-cursor теоретически способен пропустить запись, зафиксированную позже.
- `X-Instance-Id` раскрывает короткий ID контейнера: допустимо для lab3, для lab7 нужен непрозрачный alias.
- Образы закреплены по тегам (`haproxy:2.8.10-alpine`, `postgres:16.4-alpine`, `python:3.12.7-slim-bookworm`), не по digest.
- Реализация учебная: работоспособна и проверена на локальном стенде, но не претендует на промышленную готовность.
## Windows (без make)
```sh
python tests/smoke.py --base-url http://localhost:8080
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080
```
Секреты: `sh scripts/setup-secrets.sh` из Git Bash. Docker Desktop с бэкендом WSL2.
+83
View File
@@ -0,0 +1,83 @@
# Стенд lab3: клиент -> lb (HAProxy) -> api x N -> postgres (источник истины и сессий, идемпотентности).
# Запуск: sh scripts/setup-secrets.sh && docker compose up -d --build
name: mtusi-lab3
services:
postgres:
image: postgres:16.4-alpine
restart: unless-stopped
environment:
POSTGRES_USER: msg
POSTGRES_DB: msg
POSTGRES_PASSWORD_FILE: /run/secrets/pg_password
secrets: [pg_password]
volumes:
- pgdata:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U msg -d msg"]
interval: 3s
timeout: 3s
retries: 20
# Одноразовая миграция: выполняется один раз перед запуском реплик, а не гонкой всех реплик при старте.
migrate:
build: .
image: mtusi-lab3-api:1
command: ["python", "-m", "app.migrate"]
restart: "no"
depends_on:
postgres: {condition: service_healthy}
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
# Один сервис, несколько одинаковых реплик; без container_name и без опубликованных портов.
api:
build: .
image: mtusi-lab3-api:1
restart: unless-stopped
deploy:
replicas: ${API_REPLICAS:-2}
depends_on:
postgres: {condition: service_healthy}
migrate: {condition: service_completed_successfully}
environment:
DATABASE_URL_FILE: /run/secrets/database_url
RUN_MIGRATIONS: "0"
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
APP_ENV: ${APP_ENV:-lab}
secrets: [database_url]
expose: ["8080"]
stop_grace_period: 15s
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request as u;u.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"]
interval: 3s
timeout: 3s
retries: 10
start_period: 5s
# Единственная публичная точка входа. Адреса реплик берутся из DNS Docker и обновляются каждую секунду.
lb:
image: haproxy:2.8.10-alpine
restart: unless-stopped
stop_grace_period: 10s
depends_on:
api: {condition: service_healthy}
ports: ["127.0.0.1:8080:8080"]
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8081/healthz"]
interval: 3s
timeout: 3s
retries: 10
secrets:
pg_password:
file: ./secrets/pg_password
database_url:
file: ./secrets/database_url
volumes:
pgdata:
+164
View File
@@ -0,0 +1,164 @@
# 00 чистый старт (2026-11-13T10:47:04Z)
$ docker compose down -v
Container mtusi-lab3-lb-1 Stopping
Container mtusi-lab3-lb-1 Stopped
Container mtusi-lab3-lb-1 Removing
Container mtusi-lab3-lb-1 Removed
Container mtusi-lab3-api-2 Stopping
Container mtusi-lab3-api-1 Stopping
Container mtusi-lab3-api-2 Stopped
Container mtusi-lab3-api-2 Removing
Container mtusi-lab3-api-2 Removed
Container mtusi-lab3-api-1 Stopped
Container mtusi-lab3-api-1 Removing
Container mtusi-lab3-api-1 Removed
Container mtusi-lab3-migrate-1 Stopping
Container mtusi-lab3-migrate-1 Stopped
Container mtusi-lab3-migrate-1 Removing
Container mtusi-lab3-migrate-1 Removed
Container mtusi-lab3-postgres-1 Stopping
Container mtusi-lab3-postgres-1 Stopped
Container mtusi-lab3-postgres-1 Removing
Container mtusi-lab3-postgres-1 Removed
Volume mtusi-lab3_pgdata Removing
Network mtusi-lab3_default Removing
Volume mtusi-lab3_pgdata Removed
Network mtusi-lab3_default Removed
$ sh scripts/setup-secrets.sh
secrets: ok (значения не печатаются)
$ docker compose up -d --build
Compose can now delegate builds to bake for better performance.
To do so, set COMPOSE_BAKE=true.
#0 building with "desktop-linux" instance using docker driver
#1 [migrate internal] load build definition from Dockerfile
#1 transferring dockerfile: 535B 0.0s done
#1 DONE 0.0s
#2 [migrate internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
#2 DONE 1.0s
#3 [migrate internal] load .dockerignore
#3 transferring context: 216B done
#3 DONE 0.0s
#4 [migrate 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
#4 DONE 0.0s
#5 [migrate internal] load build context
#5 transferring context: 336B done
#5 DONE 0.0s
#6 [migrate 3/6] COPY src/requirements.txt .
#6 CACHED
#7 [migrate 4/6] RUN pip install --no-cache-dir -r requirements.txt
#7 CACHED
#8 [migrate 5/6] COPY src/ .
#8 CACHED
#9 [migrate 2/6] WORKDIR /app
#9 CACHED
#10 [migrate 6/6] RUN useradd -r -u 10001 appuser
#10 CACHED
#11 [migrate] exporting to image
#11 exporting layers done
#11 exporting manifest sha256:a30ed5463352704213d504d088e29ad605a8e823e3844d2ec04b6859fcd09c96 done
#11 exporting config sha256:1a3e2292821c81f7394c56e7b40841662d04a48e11543284941bd934583dbb3e done
#11 exporting attestation manifest sha256:481b70854ef4cec748aa88dc11a7fa7866d3c43994e0e6dd71ad9d50a4f27259 0.0s done
#11 exporting manifest list sha256:547cee3ccc7cd8de0d12866b807c22536f84eef74f502c99a51dbfbaee17d14f 0.0s done
#11 naming to docker.io/library/mtusi-lab3-api:1 done
#11 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
#11 DONE 0.1s
#12 [migrate] resolving provenance for metadata file
#12 DONE 0.0s
#13 [api internal] load build definition from Dockerfile
#13 transferring dockerfile: 535B done
#13 DONE 0.0s
#2 [api internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
#2 DONE 1.3s
#14 [api internal] load .dockerignore
#14 transferring context: 216B done
#14 DONE 0.0s
#4 [api 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
#4 DONE 0.1s
#15 [api internal] load build context
#15 transferring context: 336B done
#15 DONE 0.0s
#9 [api 2/6] WORKDIR /app
#9 CACHED
#16 [api 4/6] RUN pip install --no-cache-dir -r requirements.txt
#16 CACHED
#17 [api 5/6] COPY src/ .
#17 CACHED
#18 [api 3/6] COPY src/requirements.txt .
#18 CACHED
#19 [api 6/6] RUN useradd -r -u 10001 appuser
#19 CACHED
#20 [api] exporting to image
#20 exporting layers done
#20 exporting manifest sha256:b4a7346267f575a3391a0e717d3240bc2790d72e8e2fc92d3f0a650d0bf085dd done
#20 exporting config sha256:35da67b3e9504f57fdd8f40cc68931fd9ac928b152f04e24320ffc4ab3af8da7 done
#20 exporting attestation manifest sha256:d9c916aeb304c7e7e8a3ab817f56eaa9ef6da6745131b218b17667d9c810ae73 0.0s done
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2 0.0s done
#20 naming to docker.io/library/mtusi-lab3-api:1 done
#20 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
#20 DONE 0.1s
#21 [api] resolving provenance for metadata file
#21 DONE 0.0s
api Built
migrate Built
Network mtusi-lab3_default Creating
Network mtusi-lab3_default Created
Volume "mtusi-lab3_pgdata" Creating
Volume "mtusi-lab3_pgdata" Created
Container mtusi-lab3-postgres-1 Creating
Container mtusi-lab3-postgres-1 Created
Container mtusi-lab3-migrate-1 Creating
Container mtusi-lab3-migrate-1 Created
Container mtusi-lab3-api-2 Creating
Container mtusi-lab3-api-1 Creating
Container mtusi-lab3-api-1 Created
Container mtusi-lab3-api-2 Created
Container mtusi-lab3-lb-1 Creating
Container mtusi-lab3-lb-1 Created
Container mtusi-lab3-postgres-1 Starting
Container mtusi-lab3-postgres-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-2 Starting
Container mtusi-lab3-api-2 Started
Container mtusi-lab3-api-1 Starting
Container mtusi-lab3-api-1 Started
Container mtusi-lab3-api-2 Waiting
Container mtusi-lab3-api-1 Waiting
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
Container mtusi-lab3-lb-1 Starting
Container mtusi-lab3-lb-1 Started
ready через 15 с после запуска up
+55
View File
@@ -0,0 +1,55 @@
# 01 окружение (2026-11-13T10:47:24Z)
commit: 0ab3a341aa7ba32363ce43061d4ff02b1f2964af
git status:
A .gitattributes
A Dockerfile
MM REPORT.md
A compose.yaml
A infra/haproxy/haproxy.cfg
A scripts/collect-evidence.sh
A scripts/restart.cmd
A scripts/restart.sh
A scripts/setup-secrets.sh
A scripts/stop-one.cmd
A scripts/stop-one.sh
A src/app/__init__.py
A src/app/main.py
A src/app/migrate.py
A src/migrations/001_init.sql
A src/migrations/002_idempotency.sql
A src/requirements.txt
A student-tests/lab3_checks.py
?? evidence/00-clean-start.txt
?? evidence/01-env.txt
$ docker version
client=28.0.4 server=28.0.4 os=linux/amd64
$ docker compose version
Docker Compose version v2.34.0-desktop.1
python: Python 3.11.5
$ docker compose config --quiet
compose config: OK
$ docker compose images
CONTAINER REPOSITORY TAG IMAGE ID SIZE
mtusi-lab3-api-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
mtusi-lab3-api-2 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
mtusi-lab3-lb-1 haproxy 2.8.10-alpine 54af6e4943e4 12.2MB
mtusi-lab3-migrate-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
mtusi-lab3-postgres-1 postgres 16.4-alpine 5660c2cbfea5 99.2MB
$ docker compose ps -a
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 8 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 9 seconds (healthy) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb 15 seconds ago Up 3 seconds (health: starting) 127.0.0.1:8080->8080/tcp
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate 15 seconds ago Exited (0) 9 seconds ago
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 15 seconds ago Up 14 seconds (healthy) 5432/tcp
$ docker volume ls (pgdata)
local mtusi2026lab2_pgdata
local mtusi-lab3_pgdata
$ docker stats --no-stream
NAME CPU % MEM USAGE / LIMIT
mtusi-lab3-api-1 0.42% 30.51MiB / 7.694GiB
mtusi-lab3-api-2 0.33% 34.94MiB / 7.694GiB
mtusi-lab3-lb-1 0.64% 11.6MiB / 7.694GiB
mtusi-lab3-postgres-1 1.40% 42.34MiB / 7.694GiB
$ docker info (лимиты хоста)
CPUs=16 Mem=8261029888
+7
View File
@@ -0,0 +1,7 @@
# 02 публичные проверки через LB (2026-11-13T10:47:30Z)
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
exit code: 0
$ python tests/smoke.py --base-url http://localhost:8080
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
exit code: 0
+67
View File
@@ -0,0 +1,67 @@
# 03 собственные проверки (2026-11-13T10:47:32Z)
$ python student-tests/lab3_checks.py --base-url http://localhost:8080
PASS: повторный username -> 409
PASS: пароль короче 12 -> 400
PASS: лишнее поле -> 400
PASS: User не содержит пароль/hash/токен
PASS: гонка одинакового username: ровно один 201, остальные 409
PASS: неверный пароль и неизвестный пользователь неразличимы (401, тот же code/message/заголовок)
PASS: вход JSON-телом без Basic -> 401
PASS: Bearer на POST /auth/sessions -> 401
PASS: токен >=256 бит, token_type Bearer
PASS: Basic на бизнес-endpoint -> 401 + WWW-Authenticate: Bearer
PASS: один X-User-Id доступа не даёт
PASS: X-User-Id игнорируется: владелец определяется токеном
PASS: неизвестный токен -> 401
PASS: X-Request-Id совпадает с request_id в теле ошибки
PASS: чат с неизвестным участником -> 400
PASS: после отказа новый чат не появился (нет частичной записи)
PASS: чат создан с обоими участниками
PASS: создатель обязан быть среди member_ids -> 400
PASS: посторонний: GET /chat -> 404
PASS: посторонний: GET /messages -> 404
PASS: посторонний не может писать -> 404
PASS: неверный UUID /chats/not-a-uuid -> 400
PASS: неверный UUID /chats/not-a-uuid/messages -> 400
PASS: sender_id в запросе не принимается -> 400
PASS: пробельный текст -> 400
PASS: отправитель берётся из токена
PASS: пагинация limit=2: без повторов, все 6 сообщений
PASS: cursor от другого чата -> 400
PASS: ?limit=0 -> 400
PASS: ?limit=101 -> 400
PASS: ?limit=abc -> 400
PASS: ?limit=%2B5 -> 400
PASS: ?limit=2&limit=3 -> 400
PASS: тело >1 MiB -> 413
PASS: не JSON Content-Type -> 415
PASS: битый JSON -> 400
PASS: logout -> 204
PASS: повторный logout с отозванным токеном -> 401
PASS: отозванный токен -> 401 + WWW-Authenticate: Bearer
PASS: logout одного пользователя не затрагивает чужие сессии
PASS: все проверки режима 'main'
exit code: 0
$ python student-tests/lab3_checks.py --base-url http://localhost:8080 --mode idem --min-instances 2
PASS: через LB отвечают >= 2 реплик с одним токеном (X-Instance-Id: 2)
PASS: повтор с тем же ключом: тот же 201 и то же сообщение
PASS: повтор не создал дубль
PASS: тот же ключ с другим телом -> 409
PASS: тот же ключ и то же тело (другое форматирование JSON) -> тот же результат
PASS: тот же ключ в другом чате независим
PASS: тот же ключ у другого пользователя независим
PASS: нет Idempotency-Key -> 400
PASS: неверный ключ 'bad key!' -> 400
PASS: неверный ключ 'a/b' -> 400
PASS: неверный ключ 'aaaaaaaaaaaa' -> 400
PASS: неверный ключ '' -> 400
PASS: посторонний с тем же ключом -> 404 (доступ проверяется при повторе)
PASS: без токена -> 401
PASS: 30 параллельных запросов с одним ключом: все 201 и одно и то же сообщение
PASS: в истории ровно одно такое сообщение
INFO: параллельные повторы обслужили реплики: ['1f4c3572c169', 'b7deee7dd66b']
PASS: параллельно один ключ и два разных тела: победитель один, остальным другого тела -> 409
PASS: создано ровно одно сообщение из конкурирующих
PASS: повтор с отозванным токеном -> 401
PASS: все проверки режима 'idem'
exit code: 0
+17
View File
@@ -0,0 +1,17 @@
# 04 балансировка: одна сессия, разные реплики (2026-11-13T10:47:36Z)
$ docker compose ps api (реплики одного сервиса, без container_name)
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 18 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 19 seconds (healthy) 8080/tcp
--- ID работающих API-контейнеров (X-Instance-Id = hostname = короткий ID контейнера)
b7deee7dd66b
1f4c3572c169
--- порты API-контейнеров наружу (должно быть пусто: вход только через LB)
container b7deee7dd66b:
container 1f4c3572c169:
--- порты LB
127.0.0.1:8080
--- 40 запросов с ОДНИМ токеном к GET /users/me через LB: число ответов на каждую реплику
20 X-Instance-Id=1f4c3572c169
20 X-Instance-Id=b7deee7dd66b
реплик увидено: 2 | токен не печатается, повторный вход не выполнялся
+60
View File
@@ -0,0 +1,60 @@
# 05 отказ API-реплики: последовательно каждая из двух (2026-11-13T10:47:38Z)
hook: scripts/stop-one.cmd
=== раунд 1 ===
--- до
b7deee7dd66b mtusi-lab3-api-2 Up 21 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Up 21 seconds (healthy)
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 1.703}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit code: 0
--- после (ровно одна реплика должна быть Exited; остальные Up)
b7deee7dd66b mtusi-lab3-api-2 Up 38 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Exited (0) 14 seconds ago
--- LB сейчас: ответы по репликам (остановленной быть не должно)
20 x-instance-id: b7deee7dd66b
--- восстановление: docker compose start api
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-1 Starting
Container mtusi-lab3-api-1 Started
обе реплики снова видны через LB через 3 с
b7deee7dd66b mtusi-lab3-api-2 Up 44 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
=== раунд 2 ===
--- до
b7deee7dd66b mtusi-lab3-api-2 Up 45 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 1, "first_recovery_seconds": 1.125}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit code: 0
--- после (ровно одна реплика должна быть Exited; остальные Up)
b7deee7dd66b mtusi-lab3-api-2 Exited (0) 14 seconds ago
1f4c3572c169 mtusi-lab3-api-1 Up 20 seconds (healthy)
--- LB сейчас: ответы по репликам (остановленной быть не должно)
20 x-instance-id: 1f4c3572c169
--- восстановление: docker compose start api
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-2 Starting
Container mtusi-lab3-api-2 Started
обе реплики снова видны через LB через 3 с
b7deee7dd66b mtusi-lab3-api-2 Up 3 seconds (health: starting)
1f4c3572c169 mtusi-lab3-api-1 Up 26 seconds (healthy)
+58
View File
@@ -0,0 +1,58 @@
# 06 сохранность при рестарте всего стенда (2026-11-13T10:48:25Z)
--- до
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:47:58.653453624Z RestartCount=0
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:21.861831149Z RestartCount=0
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:47:23.139431439Z RestartCount=0
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:47:12.124665349Z RestartCount=0
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 27 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 4 seconds (health: starting) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up About a minute (healthy) 5432/tcp
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit code: 0
--- после (StartedAt должен измениться у postgres, api и lb)
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:48:29.723218527Z RestartCount=0
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:29.847689238Z RestartCount=0
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:48:30.108703104Z RestartCount=0
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:48:28.056213785Z RestartCount=0
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 7 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 6 seconds (healthy) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 6 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 8 seconds (healthy) 5432/tcp
--- время восстановления одного рестарта (hook + ожидание /health/ready и 2 реплик)
Container mtusi-lab3-postgres-1 Restarting
Container mtusi-lab3-postgres-1 Started
Container mtusi-lab3-api-1 Restarting
Container mtusi-lab3-api-2 Restarting
Container mtusi-lab3-lb-1 Restarting
Container mtusi-lab3-api-2 Started
Container mtusi-lab3-lb-1 Started
Container mtusi-lab3-api-1 Started
Container mtusi-lab3-postgres-1 Running
Container mtusi-lab3-migrate-1 Created
Container mtusi-lab3-api-1 Running
Container mtusi-lab3-api-2 Running
Container mtusi-lab3-lb-1 Running
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-2 Waiting
Container mtusi-lab3-api-1 Waiting
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
готов через 12 с
--- данные в БД после рестарта
users | chats | messages | sessions | idempotency_keys
-------+-------+----------+----------+------------------
20 | 8 | 252 | 20 | 252
(1 row)
+98
View File
@@ -0,0 +1,98 @@
# 07 схема БД и миграции (2026-11-13T10:48:49Z)
version | applied_at
---------------------+-------------------------------
001_init.sql | 2026-11-13 10:47:16.695785+00
002_idempotency.sql | 2026-11-13 10:47:16.75375+00
(2 rows)
List of relations
Schema | Name | Type | Owner
--------+-------------------+-------+-------
public | chat_members | table | msg
public | chats | table | msg
public | idempotency_keys | table | msg
public | messages | table | msg
public | schema_migrations | table | msg
public | sessions | table | msg
public | users | table | msg
(7 rows)
Table "public.idempotency_keys"
Column | Type | Collation | Nullable | Default
--------------+--------------------------+-----------+----------+---------
user_id | uuid | | not null |
method | text | | not null |
path | text | | not null |
key | text | | not null |
request_hash | bytea | | not null |
status_code | integer | | not null |
response | jsonb | | not null |
created_at | timestamp with time zone | | not null | now()
expires_at | timestamp with time zone | | not null |
Indexes:
"idempotency_keys_pkey" PRIMARY KEY, btree (user_id, method, path, key)
"idempotency_expires_idx" btree (expires_at)
Check constraints:
"idempotency_keys_key_check" CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'::text)
Foreign-key constraints:
"idempotency_keys_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
Table "public.sessions"
Column | Type | Collation | Nullable | Default
------------+--------------------------+-----------+----------+---------
token_hash | bytea | | not null |
user_id | uuid | | not null |
expires_at | timestamp with time zone | | not null |
revoked_at | timestamp with time zone | | |
Indexes:
"sessions_pkey" PRIMARY KEY, btree (token_hash)
"sessions_expires_idx" btree (expires_at)
Foreign-key constraints:
"sessions_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
Table "public.messages"
Column | Type | Collation | Nullable | Default
------------+--------------------------+-----------+----------+-------------------
id | uuid | | not null |
chat_id | uuid | | not null |
sender_id | uuid | | not null |
text | text | | not null |
created_at | timestamp with time zone | | not null | clock_timestamp()
Indexes:
"messages_pkey" PRIMARY KEY, btree (id)
"messages_history_idx" btree (chat_id, created_at, id)
Check constraints:
"messages_text_check" CHECK (char_length(text) >= 1 AND char_length(text) <= 4000)
Foreign-key constraints:
"messages_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
"messages_sender_id_fkey" FOREIGN KEY (sender_id) REFERENCES users(id)
--- пароли хранятся как Argon2id, в sessions только sha256 токена
hash_prefix | count
-------------+-------
$argon2id$ | 20
(1 row)
token_hash_bytes | count
------------------+-------
32 | 20
(1 row)
--- миграции выполняет отдельный one-shot сервис migrate (однократно, не репликами)
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate About a minute ago Exited (0) 7 seconds ago
migrations: ok, latest = 002_idempotency.sql
migrations: ok, latest = 002_idempotency.sql
migrations: ok, latest = 002_idempotency.sql
--- API-реплики стартуют с RUN_MIGRATIONS=0
SESSION_TTL_SECONDS=3600
IDEMPOTENCY_TTL_SECONDS=86400
RUN_MIGRATIONS=0
--- повторный явный запуск миграции безопасен
migrations: ok, latest = 002_idempotency.sql
version
---------------------
001_init.sql
002_idempotency.sql
(2 rows)
+15
View File
@@ -0,0 +1,15 @@
# 08 недоступность PostgreSQL (2026-11-13T10:48:55Z)
$ docker compose stop postgres
Container mtusi-lab3-postgres-1 Stopping
Container mtusi-lab3-postgres-1 Stopped
GET /health/ready (через LB) -> 503 (все backend не готовы, LB отвечает 503)
GET /api/v1/users/me -> 503
$ docker compose start postgres
Container mtusi-lab3-postgres-1 Starting
Container mtusi-lab3-postgres-1 Started
ready и 2 реплики снова через 4 с
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 22 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 25 seconds (healthy) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 25 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 3 seconds (healthy) 5432/tcp
+33
View File
@@ -0,0 +1,33 @@
# 09 настройка LB: проверки и время обнаружения отказа (2026-11-13T10:49:05Z)
option redispatch 1 # при неудачном соединении последняя попытка уходит на другой backend
retries 3 # повторяем только установку соединения: запрос ещё не отправлен, это безопасно
timeout connect 1s
timeout client 30s
timeout server 30s
timeout http-request 10s
timeout check 1s
timeout resolve 1s
timeout retry 1s
hold valid 1s
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none on-marked-down shutdown-sessions
server-template api 6 api:8080
Максимальное время обнаружения отказа по конфигурации: inter 1s x fall 2 + timeout check 1s = около 3 с (порог задания: 10 с).
--- фактическое состояние backend в HAProxy (через stats нет; смотрим логи LB за последние строки)
172.24.0.1:47318 [13/Nov/2026:10:49:03.928] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47324 [13/Nov/2026:10:49:04.000] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47326 [13/Nov/2026:10:49:04.054] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47338 [13/Nov/2026:10:49:04.102] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47346 [13/Nov/2026:10:49:04.150] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
[WARNING] (9) : Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
172.24.0.1:47356 [13/Nov/2026:10:49:04.204] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47360 [13/Nov/2026:10:49:04.251] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47368 [13/Nov/2026:10:49:04.318] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47384 [13/Nov/2026:10:49:04.391] public api/api1 0/0/0/2/3 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47400 [13/Nov/2026:10:49:04.454] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47412 [13/Nov/2026:10:49:04.527] public api/api1 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47420 [13/Nov/2026:10:49:04.584] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47424 [13/Nov/2026:10:49:04.656] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
+7
View File
@@ -0,0 +1,7 @@
# 10 секреты и volumes вне Git (2026-11-13T10:49:05Z)
$ git check-ignore -v secrets/pg_password secrets/database_url .env
.gitignore:5:secrets/ secrets/pg_password
.gitignore:5:secrets/ secrets/database_url
.gitignore:2:.env .env
$ отслеживаемые файлы, похожие на секреты:
нет
+616
View File
@@ -0,0 +1,616 @@
# Сводка сбора доказательств lab3 (2026-11-13T10:49:05Z)
00 clean start -> evidence/00-clean-start.txt
01 окружение -> evidence/01-env.txt
02 smoke -> evidence/02-smoke.txt: 1 PASS-строк smoke
03 собственные -> evidence/03-student-checks.txt: 61 PASS, 0 FAIL
04 балансировка -> evidence/04-load-balancing.txt: реплик увидено: 2 | токен не печатается, повторный вход не выполнялся
05 failover -> evidence/05-failover.txt: 2 из 2 раундов PASS
06 persistence -> evidence/06-persistence.txt: PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
07 БД и миграции -> evidence/07-db-migrations.txt
08 БД недоступна -> evidence/08-db-down.txt
09 конфигурация LB -> evidence/09-lb-config.txt
10 git hygiene -> evidence/10-git-hygiene.txt
=================== evidence/00-clean-start.txt
# 00 чистый старт (2026-11-13T10:47:04Z)
$ docker compose down -v
Container mtusi-lab3-lb-1 Stopping
Container mtusi-lab3-lb-1 Stopped
Container mtusi-lab3-lb-1 Removing
Container mtusi-lab3-lb-1 Removed
Container mtusi-lab3-api-2 Stopping
Container mtusi-lab3-api-1 Stopping
Container mtusi-lab3-api-2 Stopped
Container mtusi-lab3-api-2 Removing
Container mtusi-lab3-api-2 Removed
Container mtusi-lab3-api-1 Stopped
Container mtusi-lab3-api-1 Removing
Container mtusi-lab3-api-1 Removed
Container mtusi-lab3-migrate-1 Stopping
Container mtusi-lab3-migrate-1 Stopped
Container mtusi-lab3-migrate-1 Removing
Container mtusi-lab3-migrate-1 Removed
Container mtusi-lab3-postgres-1 Stopping
Container mtusi-lab3-postgres-1 Stopped
Container mtusi-lab3-postgres-1 Removing
Container mtusi-lab3-postgres-1 Removed
Volume mtusi-lab3_pgdata Removing
Network mtusi-lab3_default Removing
Volume mtusi-lab3_pgdata Removed
Network mtusi-lab3_default Removed
$ sh scripts/setup-secrets.sh
secrets: ok (значения не печатаются)
$ docker compose up -d --build
Compose can now delegate builds to bake for better performance.
To do so, set COMPOSE_BAKE=true.
#0 building with "desktop-linux" instance using docker driver
#1 [migrate internal] load build definition from Dockerfile
#1 transferring dockerfile: 535B 0.0s done
#1 DONE 0.0s
#2 [migrate internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
#2 DONE 1.0s
#3 [migrate internal] load .dockerignore
#3 transferring context: 216B done
#3 DONE 0.0s
#4 [migrate 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
#4 DONE 0.0s
#5 [migrate internal] load build context
#5 transferring context: 336B done
#5 DONE 0.0s
#6 [migrate 3/6] COPY src/requirements.txt .
#6 CACHED
#7 [migrate 4/6] RUN pip install --no-cache-dir -r requirements.txt
#7 CACHED
#8 [migrate 5/6] COPY src/ .
#8 CACHED
#9 [migrate 2/6] WORKDIR /app
#9 CACHED
#10 [migrate 6/6] RUN useradd -r -u 10001 appuser
#10 CACHED
#11 [migrate] exporting to image
#11 exporting layers done
#11 exporting manifest sha256:a30ed5463352704213d504d088e29ad605a8e823e3844d2ec04b6859fcd09c96 done
#11 exporting config sha256:1a3e2292821c81f7394c56e7b40841662d04a48e11543284941bd934583dbb3e done
#11 exporting attestation manifest sha256:481b70854ef4cec748aa88dc11a7fa7866d3c43994e0e6dd71ad9d50a4f27259 0.0s done
#11 exporting manifest list sha256:547cee3ccc7cd8de0d12866b807c22536f84eef74f502c99a51dbfbaee17d14f 0.0s done
#11 naming to docker.io/library/mtusi-lab3-api:1 done
#11 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
#11 DONE 0.1s
#12 [migrate] resolving provenance for metadata file
#12 DONE 0.0s
#13 [api internal] load build definition from Dockerfile
#13 transferring dockerfile: 535B done
#13 DONE 0.0s
#2 [api internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
#2 DONE 1.3s
#14 [api internal] load .dockerignore
#14 transferring context: 216B done
#14 DONE 0.0s
#4 [api 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
#4 DONE 0.1s
#15 [api internal] load build context
#15 transferring context: 336B done
#15 DONE 0.0s
#9 [api 2/6] WORKDIR /app
#9 CACHED
#16 [api 4/6] RUN pip install --no-cache-dir -r requirements.txt
#16 CACHED
#17 [api 5/6] COPY src/ .
#17 CACHED
#18 [api 3/6] COPY src/requirements.txt .
#18 CACHED
#19 [api 6/6] RUN useradd -r -u 10001 appuser
#19 CACHED
#20 [api] exporting to image
#20 exporting layers done
#20 exporting manifest sha256:b4a7346267f575a3391a0e717d3240bc2790d72e8e2fc92d3f0a650d0bf085dd done
#20 exporting config sha256:35da67b3e9504f57fdd8f40cc68931fd9ac928b152f04e24320ffc4ab3af8da7 done
#20 exporting attestation manifest sha256:d9c916aeb304c7e7e8a3ab817f56eaa9ef6da6745131b218b17667d9c810ae73 0.0s done
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2 0.0s done
#20 naming to docker.io/library/mtusi-lab3-api:1 done
#20 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
#20 DONE 0.1s
#21 [api] resolving provenance for metadata file
#21 DONE 0.0s
api Built
migrate Built
Network mtusi-lab3_default Creating
Network mtusi-lab3_default Created
Volume "mtusi-lab3_pgdata" Creating
Volume "mtusi-lab3_pgdata" Created
Container mtusi-lab3-postgres-1 Creating
Container mtusi-lab3-postgres-1 Created
Container mtusi-lab3-migrate-1 Creating
Container mtusi-lab3-migrate-1 Created
Container mtusi-lab3-api-2 Creating
Container mtusi-lab3-api-1 Creating
Container mtusi-lab3-api-1 Created
Container mtusi-lab3-api-2 Created
Container mtusi-lab3-lb-1 Creating
Container mtusi-lab3-lb-1 Created
Container mtusi-lab3-postgres-1 Starting
Container mtusi-lab3-postgres-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-2 Starting
Container mtusi-lab3-api-2 Started
Container mtusi-lab3-api-1 Starting
Container mtusi-lab3-api-1 Started
Container mtusi-lab3-api-2 Waiting
Container mtusi-lab3-api-1 Waiting
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
Container mtusi-lab3-lb-1 Starting
Container mtusi-lab3-lb-1 Started
ready через 15 с после запуска up
=================== evidence/01-env.txt
# 01 окружение (2026-11-13T10:47:24Z)
commit: 0ab3a341aa7ba32363ce43061d4ff02b1f2964af
git status:
A .gitattributes
A Dockerfile
MM REPORT.md
A compose.yaml
A infra/haproxy/haproxy.cfg
A scripts/collect-evidence.sh
A scripts/restart.cmd
A scripts/restart.sh
A scripts/setup-secrets.sh
A scripts/stop-one.cmd
A scripts/stop-one.sh
A src/app/__init__.py
A src/app/main.py
A src/app/migrate.py
A src/migrations/001_init.sql
A src/migrations/002_idempotency.sql
A src/requirements.txt
A student-tests/lab3_checks.py
?? evidence/00-clean-start.txt
?? evidence/01-env.txt
$ docker version
client=28.0.4 server=28.0.4 os=linux/amd64
$ docker compose version
Docker Compose version v2.34.0-desktop.1
python: Python 3.11.5
$ docker compose config --quiet
compose config: OK
$ docker compose images
CONTAINER REPOSITORY TAG IMAGE ID SIZE
mtusi-lab3-api-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
mtusi-lab3-api-2 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
mtusi-lab3-lb-1 haproxy 2.8.10-alpine 54af6e4943e4 12.2MB
mtusi-lab3-migrate-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
mtusi-lab3-postgres-1 postgres 16.4-alpine 5660c2cbfea5 99.2MB
$ docker compose ps -a
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 8 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 9 seconds (healthy) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb 15 seconds ago Up 3 seconds (health: starting) 127.0.0.1:8080->8080/tcp
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate 15 seconds ago Exited (0) 9 seconds ago
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 15 seconds ago Up 14 seconds (healthy) 5432/tcp
$ docker volume ls (pgdata)
local mtusi2026lab2_pgdata
local mtusi-lab3_pgdata
$ docker stats --no-stream
NAME CPU % MEM USAGE / LIMIT
mtusi-lab3-api-1 0.42% 30.51MiB / 7.694GiB
mtusi-lab3-api-2 0.33% 34.94MiB / 7.694GiB
mtusi-lab3-lb-1 0.64% 11.6MiB / 7.694GiB
mtusi-lab3-postgres-1 1.40% 42.34MiB / 7.694GiB
$ docker info (лимиты хоста)
CPUs=16 Mem=8261029888
=================== evidence/02-smoke.txt
# 02 публичные проверки через LB (2026-11-13T10:47:30Z)
$ python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
exit code: 0
$ python tests/smoke.py --base-url http://localhost:8080
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
exit code: 0
=================== evidence/03-student-checks.txt
# 03 собственные проверки (2026-11-13T10:47:32Z)
$ python student-tests/lab3_checks.py --base-url http://localhost:8080
PASS: повторный username -> 409
PASS: пароль короче 12 -> 400
PASS: лишнее поле -> 400
PASS: User не содержит пароль/hash/токен
PASS: гонка одинакового username: ровно один 201, остальные 409
PASS: неверный пароль и неизвестный пользователь неразличимы (401, тот же code/message/заголовок)
PASS: вход JSON-телом без Basic -> 401
PASS: Bearer на POST /auth/sessions -> 401
PASS: токен >=256 бит, token_type Bearer
PASS: Basic на бизнес-endpoint -> 401 + WWW-Authenticate: Bearer
PASS: один X-User-Id доступа не даёт
PASS: X-User-Id игнорируется: владелец определяется токеном
PASS: неизвестный токен -> 401
PASS: X-Request-Id совпадает с request_id в теле ошибки
PASS: чат с неизвестным участником -> 400
PASS: после отказа новый чат не появился (нет частичной записи)
PASS: чат создан с обоими участниками
PASS: создатель обязан быть среди member_ids -> 400
PASS: посторонний: GET /chat -> 404
PASS: посторонний: GET /messages -> 404
PASS: посторонний не может писать -> 404
PASS: неверный UUID /chats/not-a-uuid -> 400
PASS: неверный UUID /chats/not-a-uuid/messages -> 400
PASS: sender_id в запросе не принимается -> 400
PASS: пробельный текст -> 400
PASS: отправитель берётся из токена
PASS: пагинация limit=2: без повторов, все 6 сообщений
PASS: cursor от другого чата -> 400
PASS: ?limit=0 -> 400
PASS: ?limit=101 -> 400
PASS: ?limit=abc -> 400
PASS: ?limit=%2B5 -> 400
PASS: ?limit=2&limit=3 -> 400
PASS: тело >1 MiB -> 413
PASS: не JSON Content-Type -> 415
PASS: битый JSON -> 400
PASS: logout -> 204
PASS: повторный logout с отозванным токеном -> 401
PASS: отозванный токен -> 401 + WWW-Authenticate: Bearer
PASS: logout одного пользователя не затрагивает чужие сессии
PASS: все проверки режима 'main'
exit code: 0
$ python student-tests/lab3_checks.py --base-url http://localhost:8080 --mode idem --min-instances 2
PASS: через LB отвечают >= 2 реплик с одним токеном (X-Instance-Id: 2)
PASS: повтор с тем же ключом: тот же 201 и то же сообщение
PASS: повтор не создал дубль
PASS: тот же ключ с другим телом -> 409
PASS: тот же ключ и то же тело (другое форматирование JSON) -> тот же результат
PASS: тот же ключ в другом чате независим
PASS: тот же ключ у другого пользователя независим
PASS: нет Idempotency-Key -> 400
PASS: неверный ключ 'bad key!' -> 400
PASS: неверный ключ 'a/b' -> 400
PASS: неверный ключ 'aaaaaaaaaaaa' -> 400
PASS: неверный ключ '' -> 400
PASS: посторонний с тем же ключом -> 404 (доступ проверяется при повторе)
PASS: без токена -> 401
PASS: 30 параллельных запросов с одним ключом: все 201 и одно и то же сообщение
PASS: в истории ровно одно такое сообщение
INFO: параллельные повторы обслужили реплики: ['1f4c3572c169', 'b7deee7dd66b']
PASS: параллельно один ключ и два разных тела: победитель один, остальным другого тела -> 409
PASS: создано ровно одно сообщение из конкурирующих
PASS: повтор с отозванным токеном -> 401
PASS: все проверки режима 'idem'
exit code: 0
=================== evidence/04-load-balancing.txt
# 04 балансировка: одна сессия, разные реплики (2026-11-13T10:47:36Z)
$ docker compose ps api (реплики одного сервиса, без container_name)
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 18 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 19 seconds (healthy) 8080/tcp
--- ID работающих API-контейнеров (X-Instance-Id = hostname = короткий ID контейнера)
b7deee7dd66b
1f4c3572c169
--- порты API-контейнеров наружу (должно быть пусто: вход только через LB)
container b7deee7dd66b:
container 1f4c3572c169:
--- порты LB
127.0.0.1:8080
--- 40 запросов с ОДНИМ токеном к GET /users/me через LB: число ответов на каждую реплику
20 X-Instance-Id=1f4c3572c169
20 X-Instance-Id=b7deee7dd66b
реплик увидено: 2 | токен не печатается, повторный вход не выполнялся
=================== evidence/05-failover.txt
# 05 отказ API-реплики: последовательно каждая из двух (2026-11-13T10:47:38Z)
hook: scripts/stop-one.cmd
=== раунд 1 ===
--- до
b7deee7dd66b mtusi-lab3-api-2 Up 21 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Up 21 seconds (healthy)
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 1.703}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit code: 0
--- после (ровно одна реплика должна быть Exited; остальные Up)
b7deee7dd66b mtusi-lab3-api-2 Up 38 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Exited (0) 14 seconds ago
--- LB сейчас: ответы по репликам (остановленной быть не должно)
20 x-instance-id: b7deee7dd66b
--- восстановление: docker compose start api
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-1 Starting
Container mtusi-lab3-api-1 Started
обе реплики снова видны через LB через 3 с
b7deee7dd66b mtusi-lab3-api-2 Up 44 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
=== раунд 2 ===
--- до
b7deee7dd66b mtusi-lab3-api-2 Up 45 seconds (healthy)
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 1, "first_recovery_seconds": 1.125}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit code: 0
--- после (ровно одна реплика должна быть Exited; остальные Up)
b7deee7dd66b mtusi-lab3-api-2 Exited (0) 14 seconds ago
1f4c3572c169 mtusi-lab3-api-1 Up 20 seconds (healthy)
--- LB сейчас: ответы по репликам (остановленной быть не должно)
20 x-instance-id: 1f4c3572c169
--- восстановление: docker compose start api
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-2 Starting
Container mtusi-lab3-api-2 Started
обе реплики снова видны через LB через 3 с
b7deee7dd66b mtusi-lab3-api-2 Up 3 seconds (health: starting)
1f4c3572c169 mtusi-lab3-api-1 Up 26 seconds (healthy)
=================== evidence/06-persistence.txt
# 06 сохранность при рестарте всего стенда (2026-11-13T10:48:25Z)
--- до
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:47:58.653453624Z RestartCount=0
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:21.861831149Z RestartCount=0
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:47:23.139431439Z RestartCount=0
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:47:12.124665349Z RestartCount=0
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 27 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 4 seconds (health: starting) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up About a minute (healthy) 5432/tcp
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
exit code: 0
--- после (StartedAt должен измениться у postgres, api и lb)
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:48:29.723218527Z RestartCount=0
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:29.847689238Z RestartCount=0
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:48:30.108703104Z RestartCount=0
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:48:28.056213785Z RestartCount=0
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 7 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 6 seconds (healthy) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 6 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 8 seconds (healthy) 5432/tcp
--- время восстановления одного рестарта (hook + ожидание /health/ready и 2 реплик)
Container mtusi-lab3-postgres-1 Restarting
Container mtusi-lab3-postgres-1 Started
Container mtusi-lab3-api-1 Restarting
Container mtusi-lab3-api-2 Restarting
Container mtusi-lab3-lb-1 Restarting
Container mtusi-lab3-api-2 Started
Container mtusi-lab3-lb-1 Started
Container mtusi-lab3-api-1 Started
Container mtusi-lab3-postgres-1 Running
Container mtusi-lab3-migrate-1 Created
Container mtusi-lab3-api-1 Running
Container mtusi-lab3-api-2 Running
Container mtusi-lab3-lb-1 Running
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Starting
Container mtusi-lab3-migrate-1 Started
Container mtusi-lab3-postgres-1 Waiting
Container mtusi-lab3-migrate-1 Waiting
Container mtusi-lab3-postgres-1 Healthy
Container mtusi-lab3-migrate-1 Exited
Container mtusi-lab3-api-2 Waiting
Container mtusi-lab3-api-1 Waiting
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
готов через 12 с
--- данные в БД после рестарта
users | chats | messages | sessions | idempotency_keys
-------+-------+----------+----------+------------------
20 | 8 | 252 | 20 | 252
(1 row)
=================== evidence/07-db-migrations.txt
# 07 схема БД и миграции (2026-11-13T10:48:49Z)
version | applied_at
---------------------+-------------------------------
001_init.sql | 2026-11-13 10:47:16.695785+00
002_idempotency.sql | 2026-11-13 10:47:16.75375+00
(2 rows)
List of relations
Schema | Name | Type | Owner
--------+-------------------+-------+-------
public | chat_members | table | msg
public | chats | table | msg
public | idempotency_keys | table | msg
public | messages | table | msg
public | schema_migrations | table | msg
public | sessions | table | msg
public | users | table | msg
(7 rows)
Table "public.idempotency_keys"
Column | Type | Collation | Nullable | Default
--------------+--------------------------+-----------+----------+---------
user_id | uuid | | not null |
method | text | | not null |
path | text | | not null |
key | text | | not null |
request_hash | bytea | | not null |
status_code | integer | | not null |
response | jsonb | | not null |
created_at | timestamp with time zone | | not null | now()
expires_at | timestamp with time zone | | not null |
Indexes:
"idempotency_keys_pkey" PRIMARY KEY, btree (user_id, method, path, key)
"idempotency_expires_idx" btree (expires_at)
Check constraints:
"idempotency_keys_key_check" CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'::text)
Foreign-key constraints:
"idempotency_keys_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
Table "public.sessions"
Column | Type | Collation | Nullable | Default
------------+--------------------------+-----------+----------+---------
token_hash | bytea | | not null |
user_id | uuid | | not null |
expires_at | timestamp with time zone | | not null |
revoked_at | timestamp with time zone | | |
Indexes:
"sessions_pkey" PRIMARY KEY, btree (token_hash)
"sessions_expires_idx" btree (expires_at)
Foreign-key constraints:
"sessions_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
Table "public.messages"
Column | Type | Collation | Nullable | Default
------------+--------------------------+-----------+----------+-------------------
id | uuid | | not null |
chat_id | uuid | | not null |
sender_id | uuid | | not null |
text | text | | not null |
created_at | timestamp with time zone | | not null | clock_timestamp()
Indexes:
"messages_pkey" PRIMARY KEY, btree (id)
"messages_history_idx" btree (chat_id, created_at, id)
Check constraints:
"messages_text_check" CHECK (char_length(text) >= 1 AND char_length(text) <= 4000)
Foreign-key constraints:
"messages_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
"messages_sender_id_fkey" FOREIGN KEY (sender_id) REFERENCES users(id)
--- пароли хранятся как Argon2id, в sessions только sha256 токена
hash_prefix | count
-------------+-------
$argon2id$ | 20
(1 row)
token_hash_bytes | count
------------------+-------
32 | 20
(1 row)
--- миграции выполняет отдельный one-shot сервис migrate (однократно, не репликами)
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate About a minute ago Exited (0) 7 seconds ago
migrations: ok, latest = 002_idempotency.sql
migrations: ok, latest = 002_idempotency.sql
migrations: ok, latest = 002_idempotency.sql
--- API-реплики стартуют с RUN_MIGRATIONS=0
SESSION_TTL_SECONDS=3600
IDEMPOTENCY_TTL_SECONDS=86400
RUN_MIGRATIONS=0
--- повторный явный запуск миграции безопасен
migrations: ok, latest = 002_idempotency.sql
version
---------------------
001_init.sql
002_idempotency.sql
(2 rows)
=================== evidence/08-db-down.txt
# 08 недоступность PostgreSQL (2026-11-13T10:48:55Z)
$ docker compose stop postgres
Container mtusi-lab3-postgres-1 Stopping
Container mtusi-lab3-postgres-1 Stopped
GET /health/ready (через LB) -> 503 (все backend не готовы, LB отвечает 503)
GET /api/v1/users/me -> 503
$ docker compose start postgres
Container mtusi-lab3-postgres-1 Starting
Container mtusi-lab3-postgres-1 Started
ready и 2 реплики снова через 4 с
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 22 seconds (healthy) 8080/tcp
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 25 seconds (healthy) 8080/tcp
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 25 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 3 seconds (healthy) 5432/tcp
=================== evidence/09-lb-config.txt
# 09 настройка LB: проверки и время обнаружения отказа (2026-11-13T10:49:05Z)
option redispatch 1 # при неудачном соединении последняя попытка уходит на другой backend
retries 3 # повторяем только установку соединения: запрос ещё не отправлен, это безопасно
timeout connect 1s
timeout client 30s
timeout server 30s
timeout http-request 10s
timeout check 1s
timeout resolve 1s
timeout retry 1s
hold valid 1s
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none on-marked-down shutdown-sessions
server-template api 6 api:8080
Максимальное время обнаружения отказа по конфигурации: inter 1s x fall 2 + timeout check 1s = около 3 с (порог задания: 10 с).
--- фактическое состояние backend в HAProxy (через stats нет; смотрим логи LB за последние строки)
172.24.0.1:47318 [13/Nov/2026:10:49:03.928] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47324 [13/Nov/2026:10:49:04.000] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47326 [13/Nov/2026:10:49:04.054] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47338 [13/Nov/2026:10:49:04.102] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47346 [13/Nov/2026:10:49:04.150] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
[WARNING] (9) : Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
172.24.0.1:47356 [13/Nov/2026:10:49:04.204] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47360 [13/Nov/2026:10:49:04.251] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47368 [13/Nov/2026:10:49:04.318] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47384 [13/Nov/2026:10:49:04.391] public api/api1 0/0/0/2/3 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47400 [13/Nov/2026:10:49:04.454] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47412 [13/Nov/2026:10:49:04.527] public api/api1 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47420 [13/Nov/2026:10:49:04.584] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
172.24.0.1:47424 [13/Nov/2026:10:49:04.656] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
=================== evidence/10-git-hygiene.txt
# 10 секреты и volumes вне Git (2026-11-13T10:49:05Z)
$ git check-ignore -v secrets/pg_password secrets/database_url .env
.gitignore:5:secrets/ secrets/pg_password
.gitignore:5:secrets/ secrets/database_url
.gitignore:2:.env .env
$ отслеживаемые файлы, похожие на секреты:
нет
+52
View File
@@ -0,0 +1,52 @@
# Единая точка входа lab3. Backend-адреса обнаруживаются через DNS Docker (сервис "api" -> IP всех реплик)
# и перечитываются каждую секунду, поэтому добавленные/удалённые реплики подхватываются без перезапуска LB.
global
log stdout format raw local0
maxconn 4096
hard-stop-after 5s # мягкая остановка LB (SIGUSR1) не зависает на keep-alive соединениях
defaults
mode http
log global
option httplog
option dontlognull
option redispatch 1 # при неудачном соединении последняя попытка уходит на другой backend
retries 3 # повторяем только установку соединения: запрос ещё не отправлен, это безопасно
timeout connect 1s
timeout client 30s
timeout server 30s
timeout http-request 10s
timeout check 1s
resolvers docker
nameserver dns1 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold other 1s
hold refused 1s
hold nx 1s
hold timeout 1s
hold obsolete 1s
frontend public
bind :8080
default_backend api
backend api
balance roundrobin
# Активная проверка готовности: инстанс получает трафик только пока GET /health/ready отвечает 200.
# Обнаружение отказа: inter 1s * fall 2 + timeout check 1s => не более ~3 секунд.
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none on-marked-down shutdown-sessions
# До 6 слотов под реплики; свободные слоты остаются без адреса (DOWN) и трафик не получают.
server-template api 6 api:8080
# Внутренняя проверка самого LB для Docker healthcheck: 200, пока есть хотя бы один живой backend.
frontend lb_health
bind 127.0.0.1:8081
monitor-uri /healthz
monitor fail if { nbsrv(api) lt 1 }
+209
View File
@@ -0,0 +1,209 @@
#!/bin/sh
# Собирает доказательства lab3 в evidence/*.txt. Запускать из Git Bash (Windows) или любого sh,
# когда стенд уже поднят: docker compose up -d --build.
# sh scripts/collect-evidence.sh # проверки на текущих данных
# sh scripts/collect-evidence.sh --fresh # сначала `docker compose down -v` (УДАЛЯЕТ учебные данные) и чистый старт
# Скрипт сам останавливает по одной API-реплике (потом запускает снова), перезапускает стенд и останавливает PostgreSQL.
# Тома не удаляются, кроме режима --fresh. Секреты и токены не печатаются.
set -u
cd "$(dirname "$0")/.." || exit 1
export MSYS_NO_PATHCONV=1 # Git Bash: не превращать /run/... в Windows-пути
export PYTHONUTF8=1 # читаемый UTF-8 в evidence/*.txt
mkdir -p evidence
BASE="${BASE_URL:-http://localhost:8080}"
PROJECT=mtusi-lab3
PY=""
for c in python python3 py; do
if "$c" --version >/dev/null 2>&1; then PY="$c"; break; fi
done
[ -n "$PY" ] || { echo "Не найден python (python/python3/py)"; exit 2; }
case "$(uname -s)" in
MINGW*|MSYS*|CYGWIN*) RESTART="${RESTART_HOOK:-scripts/restart.cmd}"; STOPONE="${STOPONE_HOOK:-scripts/stop-one.cmd}" ;;
*) RESTART="${RESTART_HOOK:-scripts/restart.sh}"; STOPONE="${STOPONE_HOOK:-scripts/stop-one.sh}" ;;
esac
echo "Сбор доказательств lab3: 10 шагов, 3-6 минут. Прогресс печатается после каждого шага."
now() { date -u +%Y-%m-%dT%H:%M:%SZ; }
sec() { date +%s; }
wait_ready() {
i=0
until curl -fsS -m 3 "$BASE/health/ready" >/dev/null 2>&1; do
i=$((i + 1)); [ "$i" -gt 90 ] && return 1; sleep 1
done
return 0
}
# ждём, пока через LB снова видны >= $1 разных реплик
wait_replicas() {
want=$1; i=0
while :; do
n=$(for _ in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20; do curl -s -m 3 -D - -o /dev/null "$BASE/health/live" | tr -d '\r' | grep -i '^x-instance-id:'; done | sort -u | wc -l)
[ "$n" -ge "$want" ] && return 0
i=$((i + 1)); [ "$i" -gt 40 ] && return 1; sleep 1
done
}
api_ids() { docker ps -q --filter "label=com.docker.compose.project=$PROJECT" --filter "label=com.docker.compose.service=api"; }
api_state() { docker ps -a --filter "label=com.docker.compose.project=$PROJECT" --filter "label=com.docker.compose.service=api" --format '{{.ID}} {{.Names}} {{.Status}}'; }
started() { docker inspect -f '{{.Name}} StartedAt={{.State.StartedAt}} RestartCount={{.RestartCount}}' $(docker compose ps -q postgres api lb); }
psql_c() { docker compose exec -T postgres psql -U msg -d msg -c "$1"; }
spread() { for _ in $(seq 1 "${1:-40}"); do curl -s -m 3 -D - -o /dev/null -H "Authorization: Bearer ${2:-x}" "$BASE/api/v1/users/me" | tr -d '\r' | grep -i '^x-instance-id:'; done | sort | uniq -c; }
RESULTS=""
note() { RESULTS="$RESULTS
$1"; echo "готово: $1"; }
if [ "${1:-}" = "--fresh" ]; then
{
echo "# 00 чистый старт ($(now))"
echo "\$ docker compose down -v"; docker compose down -v
echo "\$ sh scripts/setup-secrets.sh"; sh scripts/setup-secrets.sh && echo "secrets: ok (значения не печатаются)"
t0=$(sec)
echo "\$ docker compose up -d --build"; docker compose up -d --build
if wait_ready; then echo "ready через $(( $(sec) - t0 )) с после запуска up"; else echo "НЕ ГОТОВ за 90 с"; fi
} > evidence/00-clean-start.txt 2>&1
note "00 clean start -> evidence/00-clean-start.txt"
fi
wait_ready || { echo "LB/API не отвечает на $BASE/health/ready. Сначала: docker compose up -d --build"; exit 1; }
wait_replicas 2 || { echo "Через LB видна меньше чем 2 реплики. Проверьте: docker compose ps"; exit 1; }
{
echo "# 01 окружение ($(now))"
echo "commit: $(git rev-parse HEAD 2>/dev/null || echo 'нет git')"
echo "git status:"; git status --short 2>/dev/null | head -20
echo "\$ docker version"; docker version --format 'client={{.Client.Version}} server={{.Server.Version}} os={{.Server.Os}}/{{.Server.Arch}}'
echo "\$ docker compose version"; docker compose version
echo "python: $($PY --version 2>&1)"
echo "\$ docker compose config --quiet"; docker compose config --quiet && echo "compose config: OK"
echo "\$ docker compose images"; docker compose images
echo "\$ docker compose ps -a"; docker compose ps -a
echo "\$ docker volume ls (pgdata)"; docker volume ls | grep -i pgdata
echo "\$ docker stats --no-stream"; docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}' $(docker compose ps -q)
echo "\$ docker info (лимиты хоста)"; docker info --format 'CPUs={{.NCPU}} Mem={{.MemTotal}}'
} > evidence/01-env.txt 2>&1
note "01 окружение -> evidence/01-env.txt"
{
echo "# 02 публичные проверки через LB ($(now))"
echo "\$ python scripts/check_contract.py"; $PY scripts/check_contract.py; echo "exit code: $?"
echo "\$ python tests/smoke.py --base-url $BASE"; $PY tests/smoke.py --base-url "$BASE"; echo "exit code: $?"
} > evidence/02-smoke.txt 2>&1
note "02 smoke -> evidence/02-smoke.txt: $(grep -c '^PASS: lab3' evidence/02-smoke.txt) PASS-строк smoke"
{
echo "# 03 собственные проверки ($(now))"
echo "\$ python student-tests/lab3_checks.py --base-url $BASE"
$PY student-tests/lab3_checks.py --base-url "$BASE"; echo "exit code: $?"
echo "\$ python student-tests/lab3_checks.py --base-url $BASE --mode idem --min-instances 2"
$PY student-tests/lab3_checks.py --base-url "$BASE" --mode idem --min-instances 2; echo "exit code: $?"
} > evidence/03-student-checks.txt 2>&1
note "03 собственные -> evidence/03-student-checks.txt: $(grep -c '^PASS: ' evidence/03-student-checks.txt) PASS, $(grep -c '^FAIL: ' evidence/03-student-checks.txt) FAIL"
{
echo "# 04 балансировка: одна сессия, разные реплики ($(now))"
echo "\$ docker compose ps api (реплики одного сервиса, без container_name)"; docker compose ps api
echo "--- ID работающих API-контейнеров (X-Instance-Id = hostname = короткий ID контейнера)"; api_ids
echo "--- порты API-контейнеров наружу (должно быть пусто: вход только через LB)"
for c in $(api_ids); do echo "container $c:"; docker port "$c" || true; done
echo "--- порты LB"; docker compose port lb 8080
echo "--- 40 запросов с ОДНИМ токеном к GET /users/me через LB: число ответов на каждую реплику"
$PY - <<'PYEOF' "$BASE"
import base64, collections, json, sys, urllib.request as u
b = sys.argv[1] + "/api/v1"
def call(m, p, body=None, h=None):
r = u.Request(b + p, data=json.dumps(body).encode() if body is not None else None, method=m,
headers={**(h or {}), **({"Content-Type": "application/json"} if body is not None else {})})
return u.urlopen(r, timeout=10)
name = "lbprobe_" + base64.b32encode(__import__("os").urandom(5)).decode().lower()
pw = "correct-horse-battery"
call("POST", "/users", {"username": name, "display_name": "probe", "password": pw})
tok = json.load(call("POST", "/auth/sessions", h={"Authorization": "Basic " + base64.b64encode(f"{name}:{pw}".encode()).decode()}))["token"]
cnt = collections.Counter(call("GET", "/users/me", h={"Authorization": "Bearer " + tok}).headers["X-Instance-Id"] for _ in range(40))
for k, v in sorted(cnt.items()): print(f" {v:3d} X-Instance-Id={k}")
print("реплик увидено:", len(cnt), "| токен не печатается, повторный вход не выполнялся")
PYEOF
} > evidence/04-load-balancing.txt 2>&1
note "04 балансировка -> evidence/04-load-balancing.txt: $(grep -m1 'реплик увидено' evidence/04-load-balancing.txt)"
{
echo "# 05 отказ API-реплики: последовательно каждая из двух ($(now))"
echo "hook: $STOPONE"
for round in 1 2; do
echo; echo "=== раунд $round ==="
echo "--- до"; api_state
echo "\$ python tests/resilience.py --mode failover --action-script $STOPONE"
t0=$(sec)
$PY tests/resilience.py --mode failover --action-script "$STOPONE" --base-url "$BASE"; echo "exit code: $?"
echo "--- после (ровно одна реплика должна быть Exited; остальные Up)"; api_state
echo "--- LB сейчас: ответы по репликам (остановленной быть не должно)"; spread 20
echo "--- восстановление: docker compose start api"; docker compose start api >/dev/null
t1=$(sec); if wait_replicas 2; then echo "обе реплики снова видны через LB через $(( $(sec) - t1 )) с"; else echo "реплика не вернулась за 40 с"; fi
api_state
done
} > evidence/05-failover.txt 2>&1
note "05 failover -> evidence/05-failover.txt: $(grep -c '^PASS: failover' evidence/05-failover.txt) из 2 раундов PASS"
{
echo "# 06 сохранность при рестарте всего стенда ($(now))"
echo "--- до"; started; docker compose ps
echo "\$ python tests/resilience.py --mode persistence --action-script $RESTART"
$PY tests/resilience.py --mode persistence --action-script "$RESTART" --base-url "$BASE"; echo "exit code: $?"
echo "--- после (StartedAt должен измениться у postgres, api и lb)"; started; docker compose ps
echo "--- время восстановления одного рестарта (hook + ожидание /health/ready и 2 реплик)"
t0=$(sec); sh scripts/restart.sh; if wait_ready && wait_replicas 2; then echo "готов через $(( $(sec) - t0 )) с"; else echo "НЕ ГОТОВ за 90 с"; fi
echo "--- данные в БД после рестарта"
psql_c "select (select count(*) from users) users, (select count(*) from chats) chats, (select count(*) from messages) messages, (select count(*) from sessions) sessions, (select count(*) from idempotency_keys) idempotency_keys"
} > evidence/06-persistence.txt 2>&1
note "06 persistence -> evidence/06-persistence.txt: $(grep -m1 -E '^(PASS|FAIL): persistence' evidence/06-persistence.txt || echo 'см. файл')"
{
echo "# 07 схема БД и миграции ($(now))"
psql_c "select * from schema_migrations"
psql_c "\\dt"
for t in idempotency_keys sessions messages; do psql_c "\\d $t"; done
echo "--- пароли хранятся как Argon2id, в sessions только sha256 токена"
psql_c "select left(password_hash, 10) as hash_prefix, count(*) from users group by 1"
psql_c "select length(token_hash) as token_hash_bytes, count(*) from sessions group by 1"
echo "--- миграции выполняет отдельный one-shot сервис migrate (однократно, не репликами)"
docker compose ps -a migrate
docker compose logs --no-log-prefix migrate | tail -3
echo "--- API-реплики стартуют с RUN_MIGRATIONS=0"
docker inspect -f '{{range .Config.Env}}{{println .}}{{end}}' $(api_ids | head -1) | grep -E '^(RUN_MIGRATIONS|SESSION_TTL_SECONDS|IDEMPOTENCY_TTL_SECONDS)='
echo "--- повторный явный запуск миграции безопасен"
docker compose run --rm --no-deps migrate; psql_c "select version from schema_migrations"
} > evidence/07-db-migrations.txt 2>&1
note "07 БД и миграции -> evidence/07-db-migrations.txt"
{
echo "# 08 недоступность PostgreSQL ($(now))"
echo "\$ docker compose stop postgres"; docker compose stop postgres >/dev/null; sleep 4
echo "GET /health/ready (через LB) -> $(curl -s -m 15 -o /dev/null -w '%{http_code}' "$BASE/health/ready") (все backend не готовы, LB отвечает 503)"
echo "GET /api/v1/users/me -> $(curl -s -m 15 -o /dev/null -w '%{http_code}' -H 'Authorization: Bearer anonymous' "$BASE/api/v1/users/me")"
echo "\$ docker compose start postgres"; t0=$(sec); docker compose start postgres >/dev/null
if wait_ready && wait_replicas 2; then echo "ready и 2 реплики снова через $(( $(sec) - t0 )) с"; else echo "НЕ ВОССТАНОВИЛСЯ за 90 с"; fi
docker compose ps
} > evidence/08-db-down.txt 2>&1
note "08 БД недоступна -> evidence/08-db-down.txt"
{
echo "# 09 настройка LB: проверки и время обнаружения отказа ($(now))"
grep -E '^\s*(option httpchk|http-check|default-server|server-template|timeout|retries|option redispatch|hold valid)' infra/haproxy/haproxy.cfg
echo "Максимальное время обнаружения отказа по конфигурации: inter 1s x fall 2 + timeout check 1s = около 3 с (порог задания: 10 с)."
echo "--- фактическое состояние backend в HAProxy (через stats нет; смотрим логи LB за последние строки)"
docker compose logs --no-log-prefix --tail 15 lb
} > evidence/09-lb-config.txt 2>&1
note "09 конфигурация LB -> evidence/09-lb-config.txt"
{
echo "# 10 секреты и volumes вне Git ($(now))"
if git rev-parse --git-dir >/dev/null 2>&1; then
echo "\$ git check-ignore -v secrets/pg_password secrets/database_url .env"; git check-ignore -v secrets/pg_password secrets/database_url .env
echo "\$ отслеживаемые файлы, похожие на секреты:"; git ls-files | grep -E '(^|/)(secrets/|\.env$|.*\.(pem|key)$)' || echo "нет"
else
echo "каталог не является git-репозиторием: запустите проверку в клоне"
fi
} > evidence/10-git-hygiene.txt 2>&1
note "10 git hygiene -> evidence/10-git-hygiene.txt"
{ echo "# Сводка сбора доказательств lab3 ($(now))"; echo "$RESULTS"; for f in evidence/[01][0-9]-*.txt; do echo; echo "=================== $f"; cat "$f"; done; } > evidence/summary.txt 2>&1
echo "$RESULTS"
echo
echo "Готово. Отправьте мне содержимое evidence/summary.txt (секретов в нём нет, но просмотрите глазами)."
+7
View File
@@ -0,0 +1,7 @@
@echo off
cd /d "%~dp0.."
docker compose restart postgres >nul || exit /b 1
docker compose exec -T postgres sh -c "i=0; until pg_isready -U msg -d msg -q; do i=$((i+1)); [ $i -gt 60 ] && exit 1; sleep 1; done" || exit /b 1
docker compose restart api lb >nul || exit /b 1
docker compose up -d --no-build --no-recreate >nul
exit /b %errorlevel%
+9
View File
@@ -0,0 +1,9 @@
#!/bin/sh
# Перезапуск всего стенда с сохранением volumes: PostgreSQL -> (ожидание готовности) -> API-реплики -> LB.
# Данные не удаляются и не пересоздаются; остановленные реплики заодно запускаются.
set -eu
cd "$(dirname "$0")/.." || exit 1
docker compose restart postgres >/dev/null
docker compose exec -T postgres sh -c 'i=0; until pg_isready -U msg -d msg -q; do i=$((i+1)); [ "$i" -gt 60 ] && exit 1; sleep 1; done'
docker compose restart api lb >/dev/null
docker compose up -d --no-build --no-recreate >/dev/null
+11
View File
@@ -0,0 +1,11 @@
#!/bin/sh
# Создаёт локальные секреты (не коммитятся). Безопасно повторять: существующие не перезаписываются.
set -eu
mkdir -p secrets
if [ ! -f secrets/pg_password ]; then
head -c 24 /dev/urandom | base64 | tr -d '/+=\n' > secrets/pg_password
fi
if [ ! -f secrets/database_url ]; then
printf 'postgresql://msg:%s@postgres:5432/msg' "$(cat secrets/pg_password)" > secrets/database_url
fi
chmod 600 secrets/*
+9
View File
@@ -0,0 +1,9 @@
@echo off
rem Stops ONE API replica (TARGET_INSTANCE_ID = X-Instance-Id = short container id) and leaves it stopped.
if "%TARGET_INSTANCE_ID%"=="" exit /b 2
set TARGET_INSTANCE_ID | findstr /r /x "TARGET_INSTANCE_ID=[a-zA-Z0-9_.-][a-zA-Z0-9_.-]*" >nul || exit /b 2
set "CID="
for /f %%i in ('docker ps -q --filter "label=com.docker.compose.project=mtusi-lab3" --filter "label=com.docker.compose.service=api" --filter "id=%TARGET_INSTANCE_ID%"') do set "CID=%%i"
if "%CID%"=="" exit /b 1
docker stop -t 5 %CID% >nul
exit /b %errorlevel%
+15
View File
@@ -0,0 +1,15 @@
#!/bin/sh
# Останавливает ОДНУ API-реплику: ту, X-Instance-Id которой передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
# X-Instance-Id = hostname контейнера = короткий ID контейнера. БД, LB и volumes не затрагиваются.
# Восстановление выполняется отдельно: docker compose start api
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
case "$TARGET_INSTANCE_ID" in
""|*[!a-zA-Z0-9_.-]*) echo "bad TARGET_INSTANCE_ID" >&2; exit 2 ;;
esac
cid=$(docker ps -q \
--filter "label=com.docker.compose.project=mtusi-lab3" \
--filter "label=com.docker.compose.service=api" \
--filter "id=$TARGET_INSTANCE_ID")
[ -n "$cid" ] || { echo "API replica $TARGET_INSTANCE_ID not found" >&2; exit 1; }
docker stop -t 5 "$cid" >/dev/null
View File
+433
View File
@@ -0,0 +1,433 @@
import base64
import binascii
import hashlib
import json
import os
import re
import secrets
import socket
import uuid
from datetime import datetime, timedelta, timezone
import psycopg
from argon2 import PasswordHasher
from argon2.exceptions import VerifyMismatchError, InvalidHashError
from psycopg.errors import UniqueViolation
from psycopg_pool import ConnectionPool, PoolTimeout
from starlette.applications import Starlette
from starlette.requests import Request
from starlette.concurrency import run_in_threadpool
from starlette.responses import JSONResponse, Response
from starlette.routing import Route
from . import migrate
# Идентификатор реплики: стабилен в жизни процесса. В контейнере hostname = короткий ID контейнера,
# по нему scripts/stop-one.* находит именно ту реплику, которая обслужила запрос.
INSTANCE_ID = os.environ.get("INSTANCE_ID") or socket.gethostname()
SESSION_TTL = int(os.environ.get("SESSION_TTL_SECONDS", "3600"))
IDEMPOTENCY_TTL = int(os.environ.get("IDEMPOTENCY_TTL_SECONDS", "86400"))
RUN_MIGRATIONS = os.environ.get("RUN_MIGRATIONS", "1") == "1"
USERNAME_RE = re.compile(r"^[a-z0-9_]{3,32}$")
KEY_RE = re.compile(r"^[A-Za-z0-9._:-]{1,128}$")
ph = PasswordHasher()
# заранее посчитанный хеш — выравнивает время ответа для неизвестного username
DUMMY_HASH = ph.hash("dummy-password-for-timing")
def read_secret(name: str) -> str:
path = os.environ.get(name + "_FILE")
if path:
return open(path, encoding="utf-8").read().strip()
return os.environ[name]
DSN = read_secret("DATABASE_URL")
pool = ConnectionPool(DSN, min_size=2, max_size=int(os.environ.get("DB_POOL_MAX", "10")),
timeout=5, open=False,
kwargs={"connect_timeout": 5,
"options": "-c lock_timeout=10000 -c idle_in_transaction_session_timeout=15000"})
class ApiError(Exception):
def __init__(self, status, code, message, headers=None):
self.status, self.code, self.message, self.headers = status, code, message, headers or {}
def bad(msg="Неверный запрос"):
return ApiError(400, "invalid_request", msg)
def iso(dt: datetime) -> str:
return dt.astimezone(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z")
def parse_uuid(s):
try:
u = uuid.UUID(s)
if str(u) != s.lower():
raise ValueError
return u
except (ValueError, AttributeError, TypeError):
raise bad("Неверный UUID")
def user_json(r):
return {"id": str(r[0]), "username": r[1], "display_name": r[2], "created_at": iso(r[3])}
def msg_json(r):
return {"id": str(r[0]), "chat_id": str(r[1]), "sender_id": str(r[2]), "text": r[3], "created_at": iso(r[4])}
def non_blank(s):
return isinstance(s, str) and s.strip() != ""
def body_json(request: Request, allowed: set, required: set):
ct = request.headers.get("content-type", "").split(";")[0].strip().lower()
if ct != "application/json":
raise ApiError(415, "unsupported_media_type", "Нужен application/json")
raw = request._body # прочитано заранее в обёртке
if len(raw) > MAX_BODY:
raise ApiError(413, "payload_too_large", "Слишком большое тело")
try:
data = json.loads(raw.decode("utf-8"))
except (ValueError, UnicodeError):
raise bad("Некорректный JSON")
if not isinstance(data, dict) or set(data) - allowed or required - set(data):
raise bad()
return data
def current_user(request: Request, conn):
auth = request.headers.get("authorization", "")
parts = auth.split(" ", 1)
hdr = {"WWW-Authenticate": 'Bearer realm="messenger"'}
if len(parts) != 2 or parts[0].lower() != "bearer" or not parts[1].strip():
raise ApiError(401, "unauthorized", "Требуется аутентификация", hdr)
th = hashlib.sha256(parts[1].strip().encode()).digest()
row = conn.execute(
"SELECT u.id,u.username,u.display_name,u.created_at FROM sessions s JOIN users u ON u.id=s.user_id "
"WHERE s.token_hash=%s AND s.revoked_at IS NULL AND s.expires_at>now()", (th,)).fetchone()
if not row:
raise ApiError(401, "unauthorized", "Требуется аутентификация", hdr)
return row, th
MAX_BODY = 1024 * 1024
async def read_body_limited(request: Request):
"""Читает тело с лимитом: 413 до того, как всё тело окажется в памяти."""
cl = request.headers.get("content-length")
if cl is not None and (not cl.isdigit() or int(cl) > MAX_BODY):
raise ApiError(413, "payload_too_large", "Слишком большое тело")
buf = bytearray()
async for chunk in request.stream():
buf += chunk
if len(buf) > MAX_BODY:
raise ApiError(413, "payload_too_large", "Слишком большое тело")
request._body = bytes(buf)
def db(fn):
"""Обёртка эндпоинта: соединение из пула, единая обработка ошибок."""
async def wrapper(request: Request):
rid = request.headers.get("x-request-id") or uuid.uuid4().hex
try:
await read_body_limited(request)
resp = await run_in_threadpool(fn, request)
except ApiError as e:
resp = JSONResponse({"error": {"code": e.code, "message": e.message, "request_id": rid}},
status_code=e.status, headers=e.headers)
except (PoolTimeout, psycopg.OperationalError):
resp = JSONResponse({"error": {"code": "unavailable", "message": "Сервис временно недоступен",
"request_id": rid}}, status_code=503)
except Exception:
resp = JSONResponse({"error": {"code": "internal_error", "message": "Внутренняя ошибка",
"request_id": rid}}, status_code=500)
resp.headers["X-Request-Id"] = rid
resp.headers["X-Instance-Id"] = INSTANCE_ID
return resp
return wrapper
def page_args(request: Request):
q = request.query_params
if len(q.getlist("limit")) > 1 or len(q.getlist("cursor")) > 1:
raise bad("limit/cursor можно указать один раз")
limit = 50
if q.getlist("limit"):
t = q.get("limit")
if not (t.isascii() and t.isdigit()) or not 1 <= int(t) <= 100:
raise bad("limit")
limit = int(t)
return limit, q.get("cursor") or None
def enc_cursor(kind, scope, ts, id_):
return base64.urlsafe_b64encode(json.dumps([kind, scope, ts, str(id_)]).encode()).decode().rstrip("=")
def dec_cursor(c, kind, scope):
try:
v = json.loads(base64.urlsafe_b64decode(c + "=" * (-len(c) % 4)))
if v[0] != kind or v[1] != scope:
raise ValueError
return datetime.fromisoformat(v[2].replace("Z", "+00:00")), uuid.UUID(v[3])
except Exception:
raise bad("cursor")
async def live(request):
return JSONResponse({"status": "ok"}, headers={"X-Request-Id": request.headers.get("x-request-id") or uuid.uuid4().hex, "X-Instance-Id": INSTANCE_ID})
@db
def ready(request):
# готов только если БД доступна и миграции выполнены до версии, которую ожидает эта сборка
with pool.connection(timeout=2) as conn:
row = conn.execute("SELECT 1 FROM schema_migrations WHERE version=%s", (migrate.latest(),)).fetchone()
if not row:
raise ApiError(503, "unavailable", "Схема БД не обновлена")
return JSONResponse({"status": "ok"})
@db
def create_user(request):
d = body_json(request, {"username", "display_name", "password"}, {"username", "display_name", "password"})
u, dn, pw = d["username"], d["display_name"], d["password"]
if not (isinstance(u, str) and USERNAME_RE.fullmatch(u)):
raise bad("username")
if not (non_blank(dn) and len(dn) <= 100):
raise bad("display_name")
if not (isinstance(pw, str) and 12 <= len(pw) <= 128):
raise bad("password")
h = ph.hash(pw)
with pool.connection() as conn:
try:
r = conn.execute("INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) "
"RETURNING id,username,display_name,created_at", (uuid.uuid4(), u, dn, h)).fetchone()
except UniqueViolation:
raise ApiError(409, "conflict", "Имя пользователя занято")
return JSONResponse(user_json(r), status_code=201)
@db
def login(request):
ch = {"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}
fail = ApiError(401, "unauthorized", "Неверные учётные данные", ch)
auth = request.headers.get("authorization", "")
parts = auth.split(" ", 1)
if len(parts) != 2 or parts[0].lower() != "basic":
raise fail
try:
creds = base64.b64decode(parts[1].strip(), validate=True).decode("utf-8")
except (binascii.Error, UnicodeError):
raise fail
if ":" not in creds:
raise fail
username, password = creds.split(":", 1)
with pool.connection() as conn:
row = conn.execute("SELECT id,username,display_name,created_at,password_hash FROM users WHERE username=%s",
(username,)).fetchone()
try:
ph.verify(row[4] if row else DUMMY_HASH, password)
ok = row is not None
except (VerifyMismatchError, InvalidHashError):
ok = False
if not ok:
raise fail
token = secrets.token_urlsafe(32) # 256 бит
exp = datetime.now(timezone.utc) + timedelta(seconds=SESSION_TTL)
conn.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES (%s,%s,%s)",
(hashlib.sha256(token.encode()).digest(), row[0], exp))
return JSONResponse({"token": token, "token_type": "Bearer", "expires_at": iso(exp), "user": user_json(row)},
status_code=201)
@db
def logout(request):
with pool.connection() as conn:
_, th = current_user(request, conn)
conn.execute("UPDATE sessions SET revoked_at=now() WHERE token_hash=%s", (th,))
return Response(status_code=204)
@db
def me(request):
with pool.connection() as conn:
row, _ = current_user(request, conn)
return JSONResponse(user_json(row))
def chat_json(conn, r):
members = [str(x[0]) for x in conn.execute(
"SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id", (r[0],))]
return {"id": str(r[0]), "title": r[1], "member_ids": members, "created_at": iso(r[2])}
@db
def create_chat(request):
with pool.connection() as conn:
user, _ = current_user(request, conn)
d = body_json(request, {"title", "member_ids"}, {"title", "member_ids"})
t, m = d["title"], d["member_ids"]
if not (non_blank(t) and len(t) <= 100):
raise bad("title")
if not (isinstance(m, list) and 1 <= len(m) <= 100 and all(isinstance(x, str) for x in m)):
raise bad("member_ids")
ids = [parse_uuid(x) for x in m]
if len(set(ids)) != len(ids) or user[0] not in ids:
raise bad("member_ids")
found = conn.execute("SELECT count(*) FROM users WHERE id = ANY(%s)", (ids,)).fetchone()[0]
if found != len(ids):
raise bad("member_ids")
cid = uuid.uuid4()
with conn.transaction(): # чат и участники — атомарно
r = conn.execute("INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING id,title,created_at", (cid, t)).fetchone()
with conn.cursor() as cur:
cur.executemany("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)", [(cid, i) for i in ids])
return JSONResponse(chat_json(conn, r), status_code=201)
@db
def list_chats(request):
with pool.connection() as conn:
user, _ = current_user(request, conn)
limit, cursor = page_args(request)
args = [user[0]]
cond = ""
if cursor:
ts, i = dec_cursor(cursor, "chats", str(user[0]))
cond = "AND (c.created_at,c.id) > (%s,%s)"
args += [ts, i]
rows = conn.execute(
"SELECT c.id,c.title,c.created_at FROM chats c JOIN chat_members m ON m.chat_id=c.id AND m.user_id=%s "
f"WHERE true {cond} ORDER BY c.created_at,c.id LIMIT %s", args + [limit + 1]).fetchall()
more = len(rows) > limit
rows = rows[:limit]
nxt = enc_cursor("chats", str(user[0]), iso(rows[-1][2]), rows[-1][0]) if more else None
return JSONResponse({"items": [chat_json(conn, r) for r in rows], "next_cursor": nxt})
def get_chat_or_404(conn, user, chat_id):
cid = parse_uuid(chat_id)
r = conn.execute("SELECT c.id,c.title,c.created_at FROM chats c JOIN chat_members m "
"ON m.chat_id=c.id WHERE c.id=%s AND m.user_id=%s", (cid, user[0])).fetchone()
if not r:
raise ApiError(404, "not_found", "Объект не найден")
return r
@db
def get_chat(request):
with pool.connection() as conn:
user, _ = current_user(request, conn)
r = get_chat_or_404(conn, user, request.path_params["chat_id"])
return JSONResponse(chat_json(conn, r))
def canonical_hash(text: str) -> bytes:
"""Хэш семантики тела: порядок ключей JSON и отсутствие attachment_ids вместо [] не различаются."""
canon = json.dumps({"text": text, "attachment_ids": []}, sort_keys=True, ensure_ascii=False, separators=(",", ":"))
return hashlib.sha256(canon.encode("utf-8")).digest()
@db
def send_message(request):
with pool.connection() as conn:
user, _ = current_user(request, conn)
cid = request.path_params["chat_id"]
chat = get_chat_or_404(conn, user, cid)
key = request.headers.get("idempotency-key")
if key is None or not KEY_RE.fullmatch(key):
raise bad("Idempotency-Key обязателен: [A-Za-z0-9._:-]{1,128}")
d = body_json(request, {"text"}, {"text"})
t = d["text"]
if not (non_blank(t) and len(t) <= 4000):
raise bad("text")
rhash = canonical_hash(t)
path = f"/api/v1/chats/{chat[0]}/messages"
scope = (user[0], "POST", path, key)
with conn.transaction():
# просроченный ключ (старше TTL) считается свободным
conn.execute("DELETE FROM idempotency_keys WHERE user_id=%s AND method=%s AND path=%s AND key=%s "
"AND expires_at<=now()", scope)
# Захват ключа. При конкурентном повторе (в том числе через другую реплику) вторая вставка ждёт
# завершения первой транзакции; после COMMIT она не вставляет строку и читает сохранённый результат,
# после ROLLBACK (например 5xx) получает ключ сама. Дубля сообщения быть не может.
claimed = conn.execute(
"INSERT INTO idempotency_keys(user_id,method,path,key,request_hash,status_code,response,expires_at) "
"VALUES (%s,%s,%s,%s,%s,0,'{}'::jsonb, now() + make_interval(secs => %s)) "
"ON CONFLICT DO NOTHING RETURNING 1", scope + (rhash, IDEMPOTENCY_TTL)).fetchone()
if not claimed:
saved = conn.execute("SELECT request_hash,status_code,response FROM idempotency_keys "
"WHERE user_id=%s AND method=%s AND path=%s AND key=%s", scope).fetchone()
if saved is None: # строка удалена между статементами (истёк TTL): клиент может повторить
raise ApiError(409, "conflict", "Ключ идемпотентности занят, повторите запрос")
if bytes(saved[0]) != rhash:
raise ApiError(409, "conflict", "Idempotency-Key уже использован с другим сообщением")
return JSONResponse(saved[2], status_code=saved[1])
r = conn.execute("INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) "
"RETURNING id,chat_id,sender_id,text,created_at",
(uuid.uuid4(), chat[0], user[0], t)).fetchone()
out = msg_json(r)
conn.execute("UPDATE idempotency_keys SET status_code=201, response=%s::jsonb "
"WHERE user_id=%s AND method=%s AND path=%s AND key=%s",
(json.dumps(out, ensure_ascii=False),) + scope)
return JSONResponse(out, status_code=201)
@db
def list_messages(request):
with pool.connection() as conn:
user, _ = current_user(request, conn)
cid = request.path_params["chat_id"]
chat = get_chat_or_404(conn, user, cid)
limit, cursor = page_args(request)
args = [chat[0]]
cond = ""
if cursor:
ts, i = dec_cursor(cursor, "messages", str(chat[0]))
cond = "AND (created_at,id) > (%s,%s)"
args += [ts, i]
rows = conn.execute("SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s "
f"{cond} ORDER BY created_at,id LIMIT %s", args + [limit + 1]).fetchall()
more = len(rows) > limit
rows = rows[:limit]
nxt = enc_cursor("messages", str(chat[0]), iso(rows[-1][4]), rows[-1][0]) if more else None
return JSONResponse({"items": [msg_json(r) for r in rows], "next_cursor": nxt})
async def lifespan(app):
if RUN_MIGRATIONS: # в compose-стенде миграции выполняет отдельный one-shot сервис migrate
migrate.run(DSN)
pool.open(wait=True, timeout=30)
yield
pool.close()
async def http_error(request, exc):
rid = request.headers.get("x-request-id") or uuid.uuid4().hex
code, msg = (("not_found", "Объект не найден") if exc.status_code == 404
else ("invalid_request", "Метод не поддерживается"))
return JSONResponse({"error": {"code": code, "message": msg, "request_id": rid}}, status_code=exc.status_code,
headers={"X-Request-Id": rid, "X-Instance-Id": INSTANCE_ID})
P = "/api/v1"
app = Starlette(lifespan=lifespan, exception_handlers={404: http_error, 405: http_error}, routes=[
Route("/health/live", live),
Route("/health/ready", ready),
Route(P + "/users", create_user, methods=["POST"]),
Route(P + "/users/me", me),
Route(P + "/auth/sessions", login, methods=["POST"]),
Route(P + "/auth/sessions/current", logout, methods=["DELETE"]),
Route(P + "/chats", create_chat, methods=["POST"]),
Route(P + "/chats", list_chats, methods=["GET"]),
Route(P + "/chats/{chat_id}", get_chat),
Route(P + "/chats/{chat_id}/messages", send_message, methods=["POST"]),
Route(P + "/chats/{chat_id}/messages", list_messages, methods=["GET"]),
])
+38
View File
@@ -0,0 +1,38 @@
"""Версионируемые миграции: применяются по порядку, повторный запуск безопасен."""
import pathlib
import psycopg
DIR = pathlib.Path(__file__).resolve().parent.parent / "migrations"
def latest() -> str:
"""Имя последней миграции, которую ожидает эта сборка приложения."""
return sorted(f.name for f in DIR.glob("*.sql"))[-1]
def run(dsn: str) -> None:
with psycopg.connect(dsn, autocommit=True) as conn:
# advisory lock: несколько реплик/перезапусков не мигрируют одновременно
conn.execute("SELECT pg_advisory_lock(727001)")
try:
conn.execute(
"CREATE TABLE IF NOT EXISTS schema_migrations ("
"version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())"
)
done = {r[0] for r in conn.execute("SELECT version FROM schema_migrations")}
for f in sorted(DIR.glob("*.sql")):
if f.name in done:
continue
with conn.transaction():
conn.execute(f.read_text(encoding="utf-8"))
conn.execute("INSERT INTO schema_migrations(version) VALUES (%s)", (f.name,))
finally:
conn.execute("SELECT pg_advisory_unlock(727001)")
if __name__ == "__main__":
# Однократный запуск: python -m app.migrate (DATABASE_URL_FILE или DATABASE_URL)
import os
path = os.environ.get("DATABASE_URL_FILE")
run(open(path, encoding="utf-8").read().strip() if path else os.environ["DATABASE_URL"])
print("migrations: ok, latest =", latest())
+39
View File
@@ -0,0 +1,39 @@
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100),
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE INDEX chats_created_idx ON chats (created_at, id);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
user_id uuid NOT NULL REFERENCES users(id),
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
sender_id uuid NOT NULL REFERENCES users(id),
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
-- keyset-пагинация истории: WHERE chat_id=$1 AND (created_at,id) > ($2,$3) ORDER BY created_at,id
CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id);
CREATE TABLE sessions (
token_hash bytea PRIMARY KEY, -- sha256(token); сам токен не хранится
user_id uuid NOT NULL REFERENCES users(id),
expires_at timestamptz NOT NULL,
revoked_at timestamptz
);
CREATE INDEX sessions_expires_idx ON sessions (expires_at);
+15
View File
@@ -0,0 +1,15 @@
-- Общая идемпотентность отправки сообщений (lab3): ключ уникален в области пользователь + метод + путь + ключ.
-- Строка вставляется в той же транзакции, что и сообщение, поэтому побочный эффект и результат фиксируются атомарно.
CREATE TABLE idempotency_keys (
user_id uuid NOT NULL REFERENCES users(id),
method text NOT NULL,
path text NOT NULL,
key text NOT NULL CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'),
request_hash bytea NOT NULL, -- sha256 канонического JSON тела
status_code integer NOT NULL,
response jsonb NOT NULL, -- исходный ответ, возвращается при повторе
created_at timestamptz NOT NULL DEFAULT now(),
expires_at timestamptz NOT NULL,
PRIMARY KEY (user_id, method, path, key)
);
CREATE INDEX idempotency_expires_idx ON idempotency_keys (expires_at);
+4
View File
@@ -0,0 +1,4 @@
starlette==0.41.3
uvicorn==0.32.1
psycopg[binary,pool]==3.2.3
argon2-cffi==23.1.0
+323
View File
@@ -0,0 +1,323 @@
#!/usr/bin/env python3
"""Собственные проверки lab2+lab3 (дополняют публичный smoke, ничего не ослабляют).
python student-tests/lab2_checks.py --base-url http://localhost:8080 # основные
python student-tests/lab2_checks.py --base-url http://localhost:8080 --mode idem # идемпотентность и реплики (lab3)
python student-tests/lab2_checks.py --base-url http://localhost:8080 --mode ttl # при SESSION_TTL_SECONDS=2
Только стандартная библиотека. Токены и пароли не печатаются.
"""
import argparse, base64, http.client, json, sys, threading, time, urllib.error, urllib.parse, urllib.request, uuid
PW = "correct-horse-battery"
fails = []
def call(base, method, path, body=None, headers=None, raw=None):
h = dict(headers or {})
data = raw
if body is not None:
data = json.dumps(body).encode()
h.setdefault("Content-Type", "application/json")
req = urllib.request.Request(base + path, data=data, headers=h, method=method)
try:
with urllib.request.urlopen(req, timeout=15) as r:
return r.status, {k.lower(): v for k, v in r.headers.items()}, r.read()
except urllib.error.HTTPError as e:
return e.code, {k.lower(): v for k, v in e.headers.items()}, e.read()
def post_big(base, path, size):
"""POST тела size байт; сервер может ответить 413 и закрыть соединение раньше, чем тело отправлено."""
u = urllib.parse.urlsplit(base)
conn = http.client.HTTPConnection(u.hostname, u.port, timeout=15)
conn.putrequest("POST", u.path + path)
conn.putheader("Content-Type", "application/json")
conn.putheader("Content-Length", str(size))
conn.endheaders()
try:
conn.send(b"{" + b" " * (size - 2) + b"}")
except OSError:
pass # сервер уже ответил и закрыл соединение
try:
return conn.getresponse().status
except (OSError, http.client.HTTPException) as e:
return "нет ответа: %s" % type(e).__name__
finally:
conn.close()
def js(b):
try:
return json.loads(b)
except ValueError:
return None
def check(name, ok, detail=""):
print(("PASS" if ok else "FAIL") + ": " + name + ("" if ok else " -> " + detail))
if not ok:
fails.append(name)
def basic(u, p):
return {"Authorization": "Basic " + base64.b64encode(f"{u}:{p}".encode()).decode()}
def bearer(t):
return {"Authorization": "Bearer " + t}
def H(t, key=None):
"""Заголовки отправки сообщения (lab3): Bearer + Idempotency-Key (по умолчанию новый)."""
return {**bearer(t), "Idempotency-Key": key or uuid.uuid4().hex}
class Api:
def __init__(self, base):
self.base = base + "/api/v1"
def __call__(self, *a, **k):
return call(self.base, *a, **k)
def user(self, prefix="u"):
name = f"{prefix}_{uuid.uuid4().hex[:10]}"
s, _, b = self("POST", "/users", {"username": name, "display_name": name, "password": PW})
assert s == 201, f"create user: {s}"
u = js(b)
s, _, b = self("POST", "/auth/sessions", headers=basic(name, PW))
assert s == 201, f"login: {s}"
return name, u["id"], js(b)["token"]
def main_checks(api):
a_name, a_id, a_tok = api.user("alice")
b_name, b_id, b_tok = api.user("bob")
c_name, c_id, c_tok = api.user("carol")
# --- регистрация
s, _, _ = api("POST", "/users", {"username": a_name, "display_name": "x", "password": PW})
check("повторный username -> 409", s == 409, str(s))
s, _, b = api("POST", "/users", {"username": "x_" + uuid.uuid4().hex[:8], "display_name": "x", "password": "short"})
check("пароль короче 12 -> 400", s == 400, str(s))
s, _, b = api("POST", "/users", {"username": "x_" + uuid.uuid4().hex[:8], "display_name": "x", "password": PW, "extra": 1})
check("лишнее поле -> 400", s == 400, str(s))
s, _, b = api("GET", "/users/me", headers=bearer(a_tok))
me = js(b) or {}
check("User не содержит пароль/hash/токен", s == 200 and not ({"password", "password_hash", "token"} & set(me)), str(sorted(me)))
res = []
rname = "race_" + uuid.uuid4().hex[:10]
def reg():
res.append(api("POST", "/users", {"username": rname, "display_name": "r", "password": PW})[0])
ts = [threading.Thread(target=reg) for _ in range(10)]
[t.start() for t in ts]; [t.join() for t in ts]
check("гонка одинакового username: ровно один 201, остальные 409", sorted(res) == [201] + [409] * 9, str(sorted(res)))
# --- вход
s1, h1, b1 = api("POST", "/auth/sessions", headers=basic(a_name, "wrong-password-123"))
s2, h2, b2 = api("POST", "/auth/sessions", headers=basic("nosuchuser_zz", PW))
e1, e2 = (js(b1) or {}).get("error", {}), (js(b2) or {}).get("error", {})
check("неверный пароль и неизвестный пользователь неразличимы (401, тот же code/message/заголовок)",
s1 == s2 == 401 and e1.get("code") == e2.get("code") and e1.get("message") == e2.get("message")
and h1.get("www-authenticate") == h2.get("www-authenticate") == 'Basic realm="messenger", charset="UTF-8"',
f"{s1}/{s2} {h1.get('www-authenticate')}")
s, _, _ = api("POST", "/auth/sessions", {"username": a_name, "password": PW})
check("вход JSON-телом без Basic -> 401", s == 401, str(s))
s, _, _ = api("POST", "/auth/sessions", headers=bearer(a_tok))
check("Bearer на POST /auth/sessions -> 401", s == 401, str(s))
s, h, b = api("POST", "/auth/sessions", headers=basic(a_name, PW))
d = js(b) or {}
check("токен >=256 бит, token_type Bearer", s == 201 and len(d.get("token", "")) >= 43 and d.get("token_type") == "Bearer", str(s))
# --- бизнес-endpoint принимают только Bearer
s, h, _ = api("GET", "/users/me", headers=basic(a_name, PW))
check("Basic на бизнес-endpoint -> 401 + WWW-Authenticate: Bearer", s == 401 and h.get("www-authenticate", "").startswith("Bearer"), str(s))
s, _, _ = api("GET", "/users/me", headers={"X-User-Id": a_id})
check("один X-User-Id доступа не даёт", s == 401, str(s))
s, _, b = api("GET", "/users/me", headers={**bearer(a_tok), "X-User-Id": b_id})
check("X-User-Id игнорируется: владелец определяется токеном", s == 200 and (js(b) or {}).get("id") == a_id, str(s))
s, _, _ = api("GET", "/users/me", headers=bearer("x" * 43))
check("неизвестный токен -> 401", s == 401, str(s))
# --- запрос-идентификатор в ошибках
s, h, b = api("GET", "/chats")
check("X-Request-Id совпадает с request_id в теле ошибки", s == 401 and h.get("x-request-id") == (js(b) or {}).get("error", {}).get("request_id"), str(s))
# --- чаты и доступ
s, _, b = api("GET", "/chats", headers=bearer(a_tok))
before = len((js(b) or {}).get("items", []))
s, _, b = api("POST", "/chats", {"title": "t", "member_ids": [a_id, str(uuid.uuid4())]}, bearer(a_tok))
check("чат с неизвестным участником -> 400", s == 400, str(s))
s, _, b = api("GET", "/chats", headers=bearer(a_tok))
check("после отказа новый чат не появился (нет частичной записи)", len((js(b) or {}).get("items", [])) == before)
s, _, b = api("POST", "/chats", {"title": "ab", "member_ids": [a_id, b_id]}, bearer(a_tok))
chat = js(b) or {}
check("чат создан с обоими участниками", s == 201 and sorted(chat.get("member_ids", [])) == sorted([a_id, b_id]), str(s))
cid = chat.get("id", "")
s, _, _ = api("POST", "/chats", {"title": "ab", "member_ids": [b_id]}, bearer(a_tok))
check("создатель обязан быть среди member_ids -> 400", s == 400, str(s))
for path in (f"/chats/{cid}", f"/chats/{cid}/messages"):
s, _, _ = api("GET", path, headers=bearer(c_tok))
check(f"посторонний: GET {path.split(cid)[1] or '/chat'} -> 404", s == 404, str(s))
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "hi"}, H(c_tok))
check("посторонний не может писать -> 404", s == 404, str(s))
for path in ("/chats/not-a-uuid", "/chats/not-a-uuid/messages"):
s, _, _ = api("GET", path, headers=bearer(a_tok))
check(f"неверный UUID {path} -> 400", s == 400, str(s))
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "hi", "sender_id": b_id}, H(a_tok))
check("sender_id в запросе не принимается -> 400", s == 400, str(s))
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": " "}, H(a_tok))
check("пробельный текст -> 400", s == 400, str(s))
s, _, b = api("POST", f"/chats/{cid}/messages", {"text": "привет 👋"}, H(b_tok))
check("отправитель берётся из токена", s == 201 and (js(b) or {}).get("sender_id") == b_id, str(s))
# --- пагинация
for i in range(5):
api("POST", f"/chats/{cid}/messages", {"text": f"m{i}"}, H(a_tok))
seen, cur, pages = [], None, 0
while True:
s, _, b = api("GET", f"/chats/{cid}/messages?limit=2" + (f"&cursor={cur}" if cur else ""), headers=bearer(a_tok))
d = js(b) or {}
seen += [m["id"] for m in d.get("items", [])]
pages += 1
cur = d.get("next_cursor")
if not cur or pages > 10:
break
check("пагинация limit=2: без повторов, все 6 сообщений", len(seen) == len(set(seen)) == 6, f"{len(seen)}/{len(set(seen))}")
s, _, b = api("GET", f"/chats/{cid}/messages?limit=2", headers=bearer(a_tok))
cur = (js(b) or {}).get("next_cursor")
s, _, b = api("POST", "/chats", {"title": "other", "member_ids": [a_id]}, bearer(a_tok))
other = (js(b) or {}).get("id")
s, _, _ = api("GET", f"/chats/{other}/messages?cursor={cur}", headers=bearer(a_tok))
check("cursor от другого чата -> 400", s == 400, str(s))
for q in ("limit=0", "limit=101", "limit=abc", "limit=%2B5", "limit=2&limit=3"):
s, _, _ = api("GET", f"/chats/{cid}/messages?{q}", headers=bearer(a_tok))
check(f"?{q} -> 400", s == 400, str(s))
# --- тело запроса
s = post_big(api.base, "/users", 1100 * 1024)
check("тело >1 MiB -> 413", s == 413, str(s))
s, _, _ = api("POST", "/users", raw=b"{}", headers={"Content-Type": "text/plain"})
check("не JSON Content-Type -> 415", s == 415, str(s))
s, _, _ = api("POST", "/users", raw=b"{", headers={"Content-Type": "application/json"})
check("битый JSON -> 400", s == 400, str(s))
# --- logout (в конце: отзывает токен)
s, _, _ = api("DELETE", "/auth/sessions/current", headers=bearer(a_tok))
check("logout -> 204", s == 204, str(s))
s, h, _ = api("DELETE", "/auth/sessions/current", headers=bearer(a_tok))
check("повторный logout с отозванным токеном -> 401", s == 401, str(s))
s, h, _ = api("GET", "/users/me", headers=bearer(a_tok))
check("отозванный токен -> 401 + WWW-Authenticate: Bearer", s == 401 and h.get("www-authenticate", "").startswith("Bearer"), str(s))
s, _, _ = api("GET", "/users/me", headers=bearer(b_tok))
check("logout одного пользователя не затрагивает чужие сессии", s == 200, str(s))
def idempotency_checks(api, min_instances):
a_name, a_id, a_tok = api.user("alice")
b_name, b_id, b_tok = api.user("bob")
c_name, c_id, c_tok = api.user("carol")
s, _, b = api("POST", "/chats", {"title": "idem", "member_ids": [a_id, b_id]}, bearer(a_tok))
cid = js(b)["id"]
s, _, b = api("POST", "/chats", {"title": "idem2", "member_ids": [a_id, b_id]}, bearer(a_tok))
cid2 = js(b)["id"]
def hist(chat, tok):
s, _, b = api("GET", f"/chats/{chat}/messages?limit=100", headers=bearer(tok))
return (js(b) or {}).get("items", [])
# --- несколько реплик за LB, одна сессия, без повторного входа
seen = set()
for _ in range(60):
s, h, _ = api("GET", "/users/me", headers=bearer(a_tok))
if s != 200:
break
seen.add(h.get("x-instance-id"))
check(f"через LB отвечают >= {min_instances} реплик с одним токеном (X-Instance-Id: {len(seen)})",
len(seen) >= min_instances and None not in seen, str(seen))
# --- базовая идемпотентность
key = "k-" + uuid.uuid4().hex
s1, h1, b1 = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(a_tok, key))
s2, h2, b2 = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(a_tok, key))
check("повтор с тем же ключом: тот же 201 и то же сообщение", s1 == s2 == 201 and js(b1) == js(b2), f"{s1}/{s2}")
check("повтор не создал дубль", len([m for m in hist(cid, a_tok) if m["text"] == "один раз"]) == 1)
s, _, b = api("POST", f"/chats/{cid}/messages", {"text": "другой текст"}, H(a_tok, key))
check("тот же ключ с другим телом -> 409", s == 409, str(s))
s, _, b = api("POST", f"/chats/{cid}/messages", raw=b'{"text":"\xd0\xbe\xd0\xb4\xd0\xb8\xd0\xbd \xd1\x80\xd0\xb0\xd0\xb7"}',
headers={**H(a_tok, key), "Content-Type": "application/json"})
check("тот же ключ и то же тело (другое форматирование JSON) -> тот же результат", s == 201 and js(b) == js(b1), str(s))
# --- область ключа: пользователь + метод + путь
s, _, b = api("POST", f"/chats/{cid2}/messages", {"text": "один раз"}, H(a_tok, key))
check("тот же ключ в другом чате независим", s == 201 and js(b)["chat_id"] == cid2, str(s))
s, _, b = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(b_tok, key))
check("тот же ключ у другого пользователя независим", s == 201 and js(b)["sender_id"] == b_id, str(s))
# --- валидация ключа и доступ
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "x"}, bearer(a_tok))
check("нет Idempotency-Key -> 400", s == 400, str(s))
for bad_key in ("bad key!", "a/b", "a" * 129, ""):
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "x"}, {**bearer(a_tok), "Idempotency-Key": bad_key})
check(f"неверный ключ {bad_key[:12]!r} -> 400", s == 400, str(s))
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(c_tok, key))
check("посторонний с тем же ключом -> 404 (доступ проверяется при повторе)", s == 404, str(s))
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "x"}, {"Idempotency-Key": "k1"})
check("без токена -> 401", s == 401, str(s))
# --- конкурентные повторы одного ключа (через LB попадают на разные реплики)
key2 = "c-" + uuid.uuid4().hex
res = []
def fire(text="конкурентно"):
s, h, b = api("POST", f"/chats/{cid}/messages", {"text": text}, H(a_tok, key2))
res.append((s, h.get("x-instance-id"), js(b)))
ts = [threading.Thread(target=fire) for _ in range(30)]
[t.start() for t in ts]; [t.join() for t in ts]
codes = sorted({r[0] for r in res})
ids = {(r[2] or {}).get("id") for r in res}
check("30 параллельных запросов с одним ключом: все 201 и одно и то же сообщение", codes == [201] and len(ids) == 1, f"{codes} {len(ids)}")
check("в истории ровно одно такое сообщение", len([m for m in hist(cid, a_tok) if m["text"] == "конкурентно"]) == 1)
print(f"INFO: параллельные повторы обслужили реплики: {sorted({r[1] for r in res})}")
key3 = "d-" + uuid.uuid4().hex
res.clear()
ts = [threading.Thread(target=lambda i=i: res.append(api("POST", f"/chats/{cid}/messages", {"text": f"вариант {i % 2}"}, H(a_tok, key3))[0])) for i in range(20)]
[t.start() for t in ts]; [t.join() for t in ts]
check("параллельно один ключ и два разных тела: победитель один, остальным другого тела -> 409",
set(res) == {201, 409} and 1 <= res.count(201), str(sorted(set(res))))
check("создано ровно одно сообщение из конкурирующих", len([m for m in hist(cid, a_tok) if m["text"].startswith("вариант")]) == 1)
# --- повтор после logout
s, _, _ = api("DELETE", "/auth/sessions/current", headers=bearer(a_tok))
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(a_tok, key))
check("повтор с отозванным токеном -> 401", s == 401, str(s))
def ttl_checks(api):
name = api.user("ttl")[0]
s, _, b = api("POST", "/auth/sessions", headers=basic(name, PW))
d = js(b) or {}
tok = d.get("token", "")
s0, _, _ = api("GET", "/users/me", headers=bearer(tok))
check("TTL: сразу после входа токен действует (200)", s0 == 200, str(s0))
time.sleep(3.5)
s1, h, _ = api("GET", "/users/me", headers=bearer(tok))
check("TTL: через 3.5 с при SESSION_TTL_SECONDS=2 токен истёк (401)", s1 == 401 and h.get("www-authenticate", "").startswith("Bearer"), str(s1))
if __name__ == "__main__":
ap = argparse.ArgumentParser()
ap.add_argument("--base-url", default="http://localhost:8080")
ap.add_argument("--mode", choices=["main", "idem", "ttl"], default="main")
ap.add_argument("--min-instances", type=int, default=2, help="сколько разных X-Instance-Id ожидается через LB")
a = ap.parse_args()
api = Api(a.base_url.rstrip("/"))
if a.mode == "ttl":
ttl_checks(api)
elif a.mode == "idem":
idempotency_checks(api, a.min_instances)
else:
main_checks(api)
print(("FAIL: %d проверок не прошли: %s" % (len(fails), "; ".join(fails))) if fails else "PASS: все проверки режима '%s'" % a.mode)
sys.exit(1 if fails else 0)