ЛР3 - БПИ2304 - Корнилов - на 3 #149
@@ -0,0 +1,7 @@
|
||||
*.sh text eol=lf
|
||||
Dockerfile text eol=lf
|
||||
*.sql text eol=lf
|
||||
*.py text eol=lf
|
||||
*.cmd text eol=crlf
|
||||
*.cfg text eol=lf
|
||||
*.yaml text eol=lf
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
FROM python:3.12.7-slim-bookworm
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1
|
||||
WORKDIR /app
|
||||
COPY src/requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
COPY src/ .
|
||||
RUN useradd -r -u 10001 appuser
|
||||
USER appuser
|
||||
EXPOSE 8080
|
||||
HEALTHCHECK --interval=5s --timeout=3s --retries=10 CMD python -c "import urllib.request as u;u.urlopen('http://127.0.0.1:8080/health/live',timeout=2)"
|
||||
CMD ["uvicorn","app.main:app","--host","0.0.0.0","--port","8080","--timeout-graceful-shutdown","10"]
|
||||
@@ -1,37 +1,130 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Корнилов Михаил Андреевич, БПИ2304
|
||||
- Целевая оценка: 3.
|
||||
- Использованные источники, библиотеки и помощь ИИ:
|
||||
Библиотеки: starlette, uvicorn, psycopg 3 + psycopg_pool, argon2-cffi. Образы: `postgres:16.4-alpine`, `haproxy:2.8.10-alpine`, `python:3.12.7-slim-bookworm`.
|
||||
Каталоги `tests/` и `contracts/` курса не менялись.
|
||||
При подготовке использовалась помощь Claude
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Prerequisites: Docker Desktop (Compose v2), Git Bash (Windows) либо любой sh, Python 3.9+ для тестов. Версии для прогона записаны в `evidence/01-env.txt`.
|
||||
|
||||
```sh
|
||||
sh scripts/setup-secrets.sh # создаёт secrets/pg_password и secrets/database_url (в .gitignore, значения не печатаются)
|
||||
cp .env.example .env # необязательно: у переменных есть значения по умолчанию в compose.yaml
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose up -d --build # postgres -> migrate (однократно) -> api x2 -> lb; ~1 минута
|
||||
curl http://localhost:8080/health/ready # ждём {"status":"ok"}
|
||||
python tests/smoke.py --base-url http://localhost:8080 # = make test
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080 # = make test-failover
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080 # = make test-persistence
|
||||
# Linux/macOS: те же команды с scripts/stop-one.sh и scripts/restart.sh
|
||||
docker compose start api # вернуть остановленную тестом реплику
|
||||
sh scripts/collect-evidence.sh # все проверки ниже и сохранение в evidence/ (--fresh сначала удаляет данные)
|
||||
docker compose stop # безопасная остановка: контейнеры остановлены, данные сохранены
|
||||
docker compose down -v # ОСОЗНАННОЕ удаление учебных данных (том pgdata)
|
||||
```
|
||||
|
||||
Действия оператора: только `setup-secrets.sh` (создать секреты). Порт опубликован только у LB (`127.0.0.1:8080`); API-реплики и PostgreSQL наружу не публикуются. Число реплик: `API_REPLICAS` (по умолчанию 2), например `API_REPLICAS=3 docker compose up -d`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
клиент -> lb (HAProxy, :8080) -> api x N (одинаковые реплики одного сервиса) -> postgres (pgdata)
|
||||
migrate (one-shot) -> postgres
|
||||
```
|
||||
|
||||
Роли и сервисы:
|
||||
|
||||
| Роль | Service | Версия | Готовность | Volume | Сеть/порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | `haproxy:2.8.10-alpine` | `wget http://127.0.0.1:8081/healthz` (200, пока жив хотя бы один backend) | нет (конфиг `infra/haproxy/haproxy.cfg` read-only) | публикует `127.0.0.1:8080`; внутри сети compose | нет |
|
||||
| api (>=2) | `api`, `deploy.replicas=${API_REPLICAS:-2}` | сборка из `Dockerfile` (`python:3.12.7-slim-bookworm`) | `GET /health/ready` | нет (состояния в контейнере нет) | `expose 8080`, наружу не публикуется | Docker secret `database_url` (файл) |
|
||||
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | именованный `pgdata` | внутри сети, наружу не публикуется | Docker secret `pg_password` (файл) |
|
||||
| миграции | `migrate` (one-shot, `restart: "no"`) | тот же образ, что у `api` | завершился с кодом 0 | нет | внутри сети | Docker secret `database_url` |
|
||||
|
||||
Источник истины для пользователей, чатов, сообщений, **сессий** и **ключей идемпотентности** — PostgreSQL. В памяти реплики не хранится ничего, от чего зависит корректность, поэтому любую реплику можно остановить или добавить.
|
||||
|
||||
- **Сессии.** Как и в lab2: токен (256 бит), в БД только sha256; проверка при каждом запросе выполняется по общей БД. Поэтому один токен действует на любой реплике. Sticky session не используются, балансировка `roundrobin`.
|
||||
- **Идентификатор реплики.** `X-Instance-Id` = hostname контейнера = короткий ID контейнера Docker; он стабилен в жизни процесса и присутствует на всех ответах API (в том числе ошибках и health). По нему `scripts/stop-one.*` находит именно тот контейнер, который обслужил запрос (фильтр по метке проекта и сервиса `api`, `docker stop -t 5`).
|
||||
- **Миграции.** Выполняются отдельным one-shot сервисом `migrate` (`python -m app.migrate`) один раз перед стартом реплик (`depends_on: service_completed_successfully`); реплики запускаются с `RUN_MIGRATIONS=0` и миграции не выполняют. Применение защищено advisory lock и таблицей `schema_migrations`, повторный запуск безопасен. `GET /health/ready` возвращает 200, только если БД доступна и применена последняя миграция, известная этой сборке.
|
||||
- **Идемпотентность отправки сообщения** (`002_idempotency.sql`). `Idempotency-Key` обязателен (`[A-Za-z0-9._:-]{1,128}`, иначе 400). Область: пользователь + `POST` + путь чата + ключ (первичный ключ таблицы `idempotency_keys`). В одной транзакции: ключ захватывается (`INSERT ... ON CONFLICT DO NOTHING`), создаётся сообщение и в строку записывается итоговый ответ. Конкурентный повтор (в том числе на другой реплике) блокируется на уникальном индексе до COMMIT первой транзакции, затем читает сохранённый результат и возвращает тот же 201 и то же сообщение; после ROLLBACK (ошибка, обрыв соединения при падении реплики) ключ свободен, и повтор безопасен. Другое тело при том же ключе — 409; сравнивается хэш канонического JSON (порядок ключей не важен). Срок хранения — `IDEMPOTENCY_TTL_SECONDS` (86400 с); просроченный ключ считается свободным. Доступ и сессия проверяются при каждом повторе (посторонний получает 404, отозванный токен — 401).
|
||||
- **LB и отказ реплики.** HAProxy обнаруживает backend через DNS Docker (`server-template api 6 api:8080`, перечитывается каждую секунду) и активно проверяет `GET /health/ready` каждую секунду (`inter 1s fall 2 rise 2`, `timeout check 1s`). Максимальное время обнаружения отказа: около 3 с (порог задания — 10 с). Недоступный backend исключается из ротации, `on-marked-down shutdown-sessions` закрывает его сессии. Повторяется только установка соединения (`retries 3`, `option redispatch`): запрос ещё не отправлен, это безопасно. POST, отправленные и потерянные на лету, LB не повторяет; клиент повторяет сообщение с тем же `Idempotency-Key`. POST создания чата/пользователя/входа не идемпотентны и прозрачно не повторяются.
|
||||
- **Graceful shutdown.** `docker stop` посылает SIGTERM; uvicorn перестаёт принимать соединения, дорабатывает выполняющиеся запросы (`--timeout-graceful-shutdown 10`), `stop_grace_period: 15s`.
|
||||
- **Что читать из lab2 без изменений:** регистрация, Argon2id, Basic только на входе, Bearer, logout, TTL, keyset-пагинация, формат ошибок, `X-Request-Id`, строгая валидация.
|
||||
|
||||
**Что изменено относительно lab2:** `docker compose` теперь описывает 4 сервиса вместо 2; порт публикует только LB; миграции вынесены из старта API в сервис `migrate`; добавлены `X-Instance-Id`, обязательный `Idempotency-Key` и таблица `idempotency_keys`; readiness учитывает версию схемы; неизвестные маршруты возвращают JSON-ошибку с заголовками. Хук перезапуска теперь перезапускает PostgreSQL, API-реплики и LB; добавлен хук остановки одной реплики.
|
||||
|
||||
**Соответствие `.env.example`:**
|
||||
|
||||
| Переменная | Статус |
|
||||
| --- | --- |
|
||||
| `API_REPLICAS` | используется в `compose.yaml` (`deploy.replicas`) |
|
||||
| `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS` | используются (compose передаёт в API) |
|
||||
| `DATABASE_URL_FILE` | используется (`/run/secrets/database_url`) |
|
||||
| `APP_ENV` | передаётся в контейнер, приложением не читается |
|
||||
| `APP_HOST`, `APP_PORT` | не читаются; адрес и порт заданы в `CMD` Dockerfile (`0.0.0.0:8080`) |
|
||||
| `SESSION_STORE=postgres` | маркер: сессии всегда в PostgreSQL |
|
||||
| `CACHE_URL_FILE` | не используется (Redis/Valkey нужен для уровня 4 в lab2; здесь не реализован) |
|
||||
| `DB_POOL_MAX`, `RUN_MIGRATIONS`, `INSTANCE_ID` | читаются приложением (в `.env.example` нет): размер пула (10), запуск миграций при старте (в compose 0), переопределение идентификатора реплики (по умолчанию hostname) |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Все файлы лежат в `evidence/`; они собраны одним запуском `sh scripts/collect-evidence.sh --fresh` (Windows 11, Docker Desktop 28.0.4, Compose v2.34.0, 16 CPU / 8 ГБ), токены и пароли в них не печатаются.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Стенд в `compose.yaml`, одна команда запуска, >=2 реплики, одна точка входа, общая БД и сессии | `docker compose up -d --build`, `docker compose ps -a` | чистый старт до готовности за 15 с; `postgres`, `api-1`, `api-2`, `lb` — healthy, `migrate` — Exited (0); одна публичная точка `127.0.0.1:8080` | `00-clean-start.txt`, `01-env.txt` |
|
||||
| Публичный smoke через LB | `python tests/smoke.py --base-url http://localhost:8080` | PASS, exit code 0; `check_contract.py` — PASS | `02-smoke.txt` |
|
||||
| Запросы одного пользователя на разных репликах без повторного входа | 40 запросов `GET /users/me` с одним токеном, счёт по `X-Instance-Id` | 20 ответов от `1f4c3572c169` и 20 от `b7deee7dd66b` (две реплики, повторный вход не выполнялся) | `04-load-balancing.txt` |
|
||||
| Реплики API не публикуют порты наружу, вход только через LB | `docker port` для двух API-контейнеров, `docker compose port lb 8080` | у API-контейнеров портов нет (`8080/tcp` только внутри сети); LB — `127.0.0.1:8080` | `04-load-balancing.txt`, `01-env.txt` |
|
||||
| Остановка любой одной реплики: запись возобновляется <=10 с, подтверждённые сообщения доступны, дублей нет | `tests/resilience.py --mode failover --action-script scripts/stop-one.cmd`, раунд 1 (остановлена `api-1`) и раунд 2 (остановлена `api-2`) | раунд 1: 114 успешных записей, 1 неудачная попытка, запись возобновилась через 1,703 с; раунд 2: 122 записи, 1 неудачная, 1,125 с; оба PASS (сообщения доступны, дублей нет, остановленная реплика не отвечает) | `05-failover.txt` |
|
||||
| Hook останавливает именно одну выбранную реплику | `docker ps -a` до/после; `TARGET_INSTANCE_ID` = ID контейнера | после раунда 1 `Exited (0)` только `1f4c3572c169` (`api-1`), после раунда 2 — только `b7deee7dd66b` (`api-2`); LB отвечает 20 из 20 только живой репликой | `05-failover.txt` |
|
||||
| Идемпотентность: повтор, другое тело (409), разные пользователи/чаты | `student-tests/lab3_checks.py --mode idem` | тот же ключ — тот же 201 и то же сообщение, без дубля; другое тело — 409; ключ в другом чате и у другого пользователя независим; нет/неверный ключ — 400; посторонний — 404; отозванный токен — 401 | `03-student-checks.txt` |
|
||||
| Конкурентные повторы одного ключа через разные реплики | 30 параллельных POST с одним ключом; 20 параллельных с одним ключом и двумя телами | все 30 ответов — 201 с одним `id`, в истории одно сообщение; ответили обе реплики (`1f4c3572c169`, `b7deee7dd66b`); при двух телах победитель один, остальным другого тела — 409, создано ровно одно сообщение | `03-student-checks.txt` |
|
||||
| Повтор после переключения реплики | failover-тест повторяет неопределённый POST с тем же ключом | по одной неудачной попытке в каждом раунде повторены с тем же ключом, дублей нет (проверка `uncertain retry created duplicate message` пройдена) | `05-failover.txt` |
|
||||
| Сохранность при рестарте всего стенда с прежним токеном | `tests/resilience.py --mode persistence --action-script scripts/restart.cmd` | PASS; после рестарта в БД users=20, chats=8, messages=252, sessions=20, idempotency_keys=252 | `06-persistence.txt` |
|
||||
| Hook перезапускает реальные процессы | `docker inspect -f StartedAt` до и после | у `postgres`, `api-1`, `api-2`, `lb` значение `StartedAt` изменилось (около 10:48:28–10:48:30 UTC), `RestartCount=0`; данные и токен сохранены | `06-persistence.txt` |
|
||||
| Миграции выполняются однократно отдельным шагом, повтор безопасен | `docker compose ps -a migrate`, `docker compose logs migrate`, `docker compose run --rm migrate` | `migrate` — Exited (0); в `schema_migrations` две записи (`001_init.sql`, `002_idempotency.sql`) без дублей; API стартуют с `RUN_MIGRATIONS=0` | `07-db-migrations.txt` |
|
||||
| Пароли Argon2id, токены только как sha256 | `select left(password_hash,10)`, `select length(token_hash)` | 20 из 20 хэшей начинаются с `$argon2id$`; 20 из 20 `token_hash` длиной 32 байта | `07-db-migrations.txt` |
|
||||
| Проверки LB, время обнаружения отказа | конфигурация HAProxy, логи LB | `option httpchk` по `/health/ready`, `inter 1s fall 2 rise 2`, `timeout check 1s`: обнаружение отказа около 3 с (порог 10 с); в логах LB видно `Server api/api1 is UP` после запуска | `09-lb-config.txt` |
|
||||
| Секреты и volumes вне Git | `git check-ignore -v`, `git ls-files` | `secrets/` и `.env` игнорируются, отслеживаемых секретов нет | `10-git-hygiene.txt` |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Примечание к проверке hook: тесты подтверждают сохранность данных и сессии, а какие процессы были перезапущены или остановлены, показывают `docker ps -a` и `StartedAt` в `05-failover.txt` и `06-persistence.txt`.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Нагрузочные серии (RPS, p50/p95/p99 по репликам) на уровне 3 не проводились. Проверены отказы:
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Остановка одной API-реплики (`docker stop`, `api-1`) во время записи, раунд 1 | запись возобновляется <=10 с, дублей и потерь нет | 114 успешных записей, 1 неудачная попытка (повторена с тем же ключом), остановленная реплика не обслуживает запросы | запись возобновилась через 1,703 с после запуска hook; реплика возвращена командой `docker compose start api` и снова видна через LB через 3 с; потерь и дублей нет |
|
||||
| Остановка второй API-реплики (после восстановления первой), раунд 2 | то же | 122 успешные записи, 1 неудачная попытка (повторена с тем же ключом) | 1,125 с; возврат реплики через 3 с; потерь и дублей нет |
|
||||
| Рестарт PostgreSQL, API-реплик и LB (`scripts/restart.cmd`) | данные и сессия сохраняются | PASS persistence; у всех четырёх контейнеров изменился `StartedAt` | отдельный рестарт: готов (ready и две реплики) через 12 с; данные сохранены |
|
||||
| `docker compose stop postgres` | `ready` недоступен, LB отвечает 503; после старта БД сервис возвращается без пересоздания | `/health/ready` и `GET /api/v1/users/me` через LB отвечают 503 | после `docker compose start postgres` ready и две реплики вернулись через 4 с; потеря данных отсутствует |
|
||||
|
||||
Версии, лимиты и загрузка на момент прогона — `evidence/01-env.txt`: у API-контейнеров около 30–35 МиБ памяти, у PostgreSQL около 42 МиБ, у LB около 12 МиБ при простое.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Уровень 4 не реализован: нет CPU/RAM-лимитов, согласованного флипа readiness по SIGTERM, замеров RPS при последовательной остановке реплик, rolling update под нагрузкой. Трек 5 не заявлен.
|
||||
- SPOF: один LB, одна PostgreSQL (без репликации и бэкапов), один Docker host. Тест проверяет отказ одного процесса API, но не отказ узла, БД или LB.
|
||||
- При недоступной БД все backend не готовы, LB отвечает 503 без `X-Instance-Id` (ошибка создана LB; контракт это допускает).
|
||||
- Короткие ошибки при отказе: в каждом раунде failover-теста была ровно одна неудачная попытка (запрос, находившийся на остановленной реплике); клиент обязан повторить сообщение с тем же `Idempotency-Key`, как это делает тест. Другие POST (создание чата, пользователя, вход) повторять без дублей нельзя.
|
||||
- Строки `idempotency_keys` не удаляются после истечения срока (просроченный ключ освобождается только при повторном использовании того же ключа); таблица растёт без фоновой очистки.
|
||||
- Время сообщения берётся из `clock_timestamp()` в момент вставки; при конкурентных вставках в один чат порядок коммитов может не совпасть с порядком времени, и keyset-cursor теоретически способен пропустить запись, зафиксированную позже.
|
||||
- `X-Instance-Id` раскрывает короткий ID контейнера: допустимо для lab3, для lab7 нужен непрозрачный alias.
|
||||
- Образы закреплены по тегам (`haproxy:2.8.10-alpine`, `postgres:16.4-alpine`, `python:3.12.7-slim-bookworm`), не по digest.
|
||||
- Реализация учебная: работоспособна и проверена на локальном стенде, но не претендует на промышленную готовность.
|
||||
|
||||
## Windows (без make)
|
||||
|
||||
```sh
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080
|
||||
```
|
||||
|
||||
Секреты: `sh scripts/setup-secrets.sh` из Git Bash. Docker Desktop с бэкендом WSL2.
|
||||
|
||||
@@ -0,0 +1,83 @@
|
||||
# Стенд lab3: клиент -> lb (HAProxy) -> api x N -> postgres (источник истины и сессий, идемпотентности).
|
||||
# Запуск: sh scripts/setup-secrets.sh && docker compose up -d --build
|
||||
name: mtusi-lab3
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.4-alpine
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
POSTGRES_USER: msg
|
||||
POSTGRES_DB: msg
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/pg_password
|
||||
secrets: [pg_password]
|
||||
volumes:
|
||||
- pgdata:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U msg -d msg"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
|
||||
# Одноразовая миграция: выполняется один раз перед запуском реплик, а не гонкой всех реплик при старте.
|
||||
migrate:
|
||||
build: .
|
||||
image: mtusi-lab3-api:1
|
||||
command: ["python", "-m", "app.migrate"]
|
||||
restart: "no"
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets: [database_url]
|
||||
|
||||
# Один сервис, несколько одинаковых реплик; без container_name и без опубликованных портов.
|
||||
api:
|
||||
build: .
|
||||
image: mtusi-lab3-api:1
|
||||
restart: unless-stopped
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
migrate: {condition: service_completed_successfully}
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
RUN_MIGRATIONS: "0"
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
APP_ENV: ${APP_ENV:-lab}
|
||||
secrets: [database_url]
|
||||
expose: ["8080"]
|
||||
stop_grace_period: 15s
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request as u;u.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 5s
|
||||
|
||||
# Единственная публичная точка входа. Адреса реплик берутся из DNS Docker и обновляются каждую секунду.
|
||||
lb:
|
||||
image: haproxy:2.8.10-alpine
|
||||
restart: unless-stopped
|
||||
stop_grace_period: 10s
|
||||
depends_on:
|
||||
api: {condition: service_healthy}
|
||||
ports: ["127.0.0.1:8080:8080"]
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8081/healthz"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
|
||||
secrets:
|
||||
pg_password:
|
||||
file: ./secrets/pg_password
|
||||
database_url:
|
||||
file: ./secrets/database_url
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
@@ -0,0 +1,164 @@
|
||||
# 00 чистый старт (2026-11-13T10:47:04Z)
|
||||
$ docker compose down -v
|
||||
Container mtusi-lab3-lb-1 Stopping
|
||||
Container mtusi-lab3-lb-1 Stopped
|
||||
Container mtusi-lab3-lb-1 Removing
|
||||
Container mtusi-lab3-lb-1 Removed
|
||||
Container mtusi-lab3-api-2 Stopping
|
||||
Container mtusi-lab3-api-1 Stopping
|
||||
Container mtusi-lab3-api-2 Stopped
|
||||
Container mtusi-lab3-api-2 Removing
|
||||
Container mtusi-lab3-api-2 Removed
|
||||
Container mtusi-lab3-api-1 Stopped
|
||||
Container mtusi-lab3-api-1 Removing
|
||||
Container mtusi-lab3-api-1 Removed
|
||||
Container mtusi-lab3-migrate-1 Stopping
|
||||
Container mtusi-lab3-migrate-1 Stopped
|
||||
Container mtusi-lab3-migrate-1 Removing
|
||||
Container mtusi-lab3-migrate-1 Removed
|
||||
Container mtusi-lab3-postgres-1 Stopping
|
||||
Container mtusi-lab3-postgres-1 Stopped
|
||||
Container mtusi-lab3-postgres-1 Removing
|
||||
Container mtusi-lab3-postgres-1 Removed
|
||||
Volume mtusi-lab3_pgdata Removing
|
||||
Network mtusi-lab3_default Removing
|
||||
Volume mtusi-lab3_pgdata Removed
|
||||
Network mtusi-lab3_default Removed
|
||||
$ sh scripts/setup-secrets.sh
|
||||
secrets: ok (значения не печатаются)
|
||||
$ docker compose up -d --build
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [migrate internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 535B 0.0s done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
|
||||
#2 DONE 1.0s
|
||||
|
||||
#3 [migrate internal] load .dockerignore
|
||||
#3 transferring context: 216B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [migrate 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
|
||||
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [migrate internal] load build context
|
||||
#5 transferring context: 336B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [migrate 3/6] COPY src/requirements.txt .
|
||||
#6 CACHED
|
||||
|
||||
#7 [migrate 4/6] RUN pip install --no-cache-dir -r requirements.txt
|
||||
#7 CACHED
|
||||
|
||||
#8 [migrate 5/6] COPY src/ .
|
||||
#8 CACHED
|
||||
|
||||
#9 [migrate 2/6] WORKDIR /app
|
||||
#9 CACHED
|
||||
|
||||
#10 [migrate 6/6] RUN useradd -r -u 10001 appuser
|
||||
#10 CACHED
|
||||
|
||||
#11 [migrate] exporting to image
|
||||
#11 exporting layers done
|
||||
#11 exporting manifest sha256:a30ed5463352704213d504d088e29ad605a8e823e3844d2ec04b6859fcd09c96 done
|
||||
#11 exporting config sha256:1a3e2292821c81f7394c56e7b40841662d04a48e11543284941bd934583dbb3e done
|
||||
#11 exporting attestation manifest sha256:481b70854ef4cec748aa88dc11a7fa7866d3c43994e0e6dd71ad9d50a4f27259 0.0s done
|
||||
#11 exporting manifest list sha256:547cee3ccc7cd8de0d12866b807c22536f84eef74f502c99a51dbfbaee17d14f 0.0s done
|
||||
#11 naming to docker.io/library/mtusi-lab3-api:1 done
|
||||
#11 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
|
||||
#11 DONE 0.1s
|
||||
|
||||
#12 [migrate] resolving provenance for metadata file
|
||||
#12 DONE 0.0s
|
||||
|
||||
#13 [api internal] load build definition from Dockerfile
|
||||
#13 transferring dockerfile: 535B done
|
||||
#13 DONE 0.0s
|
||||
|
||||
#2 [api internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
|
||||
#2 DONE 1.3s
|
||||
|
||||
#14 [api internal] load .dockerignore
|
||||
#14 transferring context: 216B done
|
||||
#14 DONE 0.0s
|
||||
|
||||
#4 [api 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
|
||||
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
|
||||
#4 DONE 0.1s
|
||||
|
||||
#15 [api internal] load build context
|
||||
#15 transferring context: 336B done
|
||||
#15 DONE 0.0s
|
||||
|
||||
#9 [api 2/6] WORKDIR /app
|
||||
#9 CACHED
|
||||
|
||||
#16 [api 4/6] RUN pip install --no-cache-dir -r requirements.txt
|
||||
#16 CACHED
|
||||
|
||||
#17 [api 5/6] COPY src/ .
|
||||
#17 CACHED
|
||||
|
||||
#18 [api 3/6] COPY src/requirements.txt .
|
||||
#18 CACHED
|
||||
|
||||
#19 [api 6/6] RUN useradd -r -u 10001 appuser
|
||||
#19 CACHED
|
||||
|
||||
#20 [api] exporting to image
|
||||
#20 exporting layers done
|
||||
#20 exporting manifest sha256:b4a7346267f575a3391a0e717d3240bc2790d72e8e2fc92d3f0a650d0bf085dd done
|
||||
#20 exporting config sha256:35da67b3e9504f57fdd8f40cc68931fd9ac928b152f04e24320ffc4ab3af8da7 done
|
||||
#20 exporting attestation manifest sha256:d9c916aeb304c7e7e8a3ab817f56eaa9ef6da6745131b218b17667d9c810ae73 0.0s done
|
||||
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2
|
||||
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2 0.0s done
|
||||
#20 naming to docker.io/library/mtusi-lab3-api:1 done
|
||||
#20 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
|
||||
#20 DONE 0.1s
|
||||
|
||||
#21 [api] resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
migrate Built
|
||||
Network mtusi-lab3_default Creating
|
||||
Network mtusi-lab3_default Created
|
||||
Volume "mtusi-lab3_pgdata" Creating
|
||||
Volume "mtusi-lab3_pgdata" Created
|
||||
Container mtusi-lab3-postgres-1 Creating
|
||||
Container mtusi-lab3-postgres-1 Created
|
||||
Container mtusi-lab3-migrate-1 Creating
|
||||
Container mtusi-lab3-migrate-1 Created
|
||||
Container mtusi-lab3-api-2 Creating
|
||||
Container mtusi-lab3-api-1 Creating
|
||||
Container mtusi-lab3-api-1 Created
|
||||
Container mtusi-lab3-api-2 Created
|
||||
Container mtusi-lab3-lb-1 Creating
|
||||
Container mtusi-lab3-lb-1 Created
|
||||
Container mtusi-lab3-postgres-1 Starting
|
||||
Container mtusi-lab3-postgres-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-2 Starting
|
||||
Container mtusi-lab3-api-2 Started
|
||||
Container mtusi-lab3-api-1 Starting
|
||||
Container mtusi-lab3-api-1 Started
|
||||
Container mtusi-lab3-api-2 Waiting
|
||||
Container mtusi-lab3-api-1 Waiting
|
||||
Container mtusi-lab3-api-2 Healthy
|
||||
Container mtusi-lab3-api-1 Healthy
|
||||
Container mtusi-lab3-lb-1 Starting
|
||||
Container mtusi-lab3-lb-1 Started
|
||||
ready через 15 с после запуска up
|
||||
@@ -0,0 +1,55 @@
|
||||
# 01 окружение (2026-11-13T10:47:24Z)
|
||||
commit: 0ab3a341aa7ba32363ce43061d4ff02b1f2964af
|
||||
git status:
|
||||
A .gitattributes
|
||||
A Dockerfile
|
||||
MM REPORT.md
|
||||
A compose.yaml
|
||||
A infra/haproxy/haproxy.cfg
|
||||
A scripts/collect-evidence.sh
|
||||
A scripts/restart.cmd
|
||||
A scripts/restart.sh
|
||||
A scripts/setup-secrets.sh
|
||||
A scripts/stop-one.cmd
|
||||
A scripts/stop-one.sh
|
||||
A src/app/__init__.py
|
||||
A src/app/main.py
|
||||
A src/app/migrate.py
|
||||
A src/migrations/001_init.sql
|
||||
A src/migrations/002_idempotency.sql
|
||||
A src/requirements.txt
|
||||
A student-tests/lab3_checks.py
|
||||
?? evidence/00-clean-start.txt
|
||||
?? evidence/01-env.txt
|
||||
$ docker version
|
||||
client=28.0.4 server=28.0.4 os=linux/amd64
|
||||
$ docker compose version
|
||||
Docker Compose version v2.34.0-desktop.1
|
||||
python: Python 3.11.5
|
||||
$ docker compose config --quiet
|
||||
compose config: OK
|
||||
$ docker compose images
|
||||
CONTAINER REPOSITORY TAG IMAGE ID SIZE
|
||||
mtusi-lab3-api-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
|
||||
mtusi-lab3-api-2 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
|
||||
mtusi-lab3-lb-1 haproxy 2.8.10-alpine 54af6e4943e4 12.2MB
|
||||
mtusi-lab3-migrate-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
|
||||
mtusi-lab3-postgres-1 postgres 16.4-alpine 5660c2cbfea5 99.2MB
|
||||
$ docker compose ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 8 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 9 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb 15 seconds ago Up 3 seconds (health: starting) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate 15 seconds ago Exited (0) 9 seconds ago
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 15 seconds ago Up 14 seconds (healthy) 5432/tcp
|
||||
$ docker volume ls (pgdata)
|
||||
local mtusi2026lab2_pgdata
|
||||
local mtusi-lab3_pgdata
|
||||
$ docker stats --no-stream
|
||||
NAME CPU % MEM USAGE / LIMIT
|
||||
mtusi-lab3-api-1 0.42% 30.51MiB / 7.694GiB
|
||||
mtusi-lab3-api-2 0.33% 34.94MiB / 7.694GiB
|
||||
mtusi-lab3-lb-1 0.64% 11.6MiB / 7.694GiB
|
||||
mtusi-lab3-postgres-1 1.40% 42.34MiB / 7.694GiB
|
||||
$ docker info (лимиты хоста)
|
||||
CPUs=16 Mem=8261029888
|
||||
@@ -0,0 +1,7 @@
|
||||
# 02 публичные проверки через LB (2026-11-13T10:47:30Z)
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
exit code: 0
|
||||
$ python tests/smoke.py --base-url http://localhost:8080
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit code: 0
|
||||
@@ -0,0 +1,67 @@
|
||||
# 03 собственные проверки (2026-11-13T10:47:32Z)
|
||||
$ python student-tests/lab3_checks.py --base-url http://localhost:8080
|
||||
PASS: повторный username -> 409
|
||||
PASS: пароль короче 12 -> 400
|
||||
PASS: лишнее поле -> 400
|
||||
PASS: User не содержит пароль/hash/токен
|
||||
PASS: гонка одинакового username: ровно один 201, остальные 409
|
||||
PASS: неверный пароль и неизвестный пользователь неразличимы (401, тот же code/message/заголовок)
|
||||
PASS: вход JSON-телом без Basic -> 401
|
||||
PASS: Bearer на POST /auth/sessions -> 401
|
||||
PASS: токен >=256 бит, token_type Bearer
|
||||
PASS: Basic на бизнес-endpoint -> 401 + WWW-Authenticate: Bearer
|
||||
PASS: один X-User-Id доступа не даёт
|
||||
PASS: X-User-Id игнорируется: владелец определяется токеном
|
||||
PASS: неизвестный токен -> 401
|
||||
PASS: X-Request-Id совпадает с request_id в теле ошибки
|
||||
PASS: чат с неизвестным участником -> 400
|
||||
PASS: после отказа новый чат не появился (нет частичной записи)
|
||||
PASS: чат создан с обоими участниками
|
||||
PASS: создатель обязан быть среди member_ids -> 400
|
||||
PASS: посторонний: GET /chat -> 404
|
||||
PASS: посторонний: GET /messages -> 404
|
||||
PASS: посторонний не может писать -> 404
|
||||
PASS: неверный UUID /chats/not-a-uuid -> 400
|
||||
PASS: неверный UUID /chats/not-a-uuid/messages -> 400
|
||||
PASS: sender_id в запросе не принимается -> 400
|
||||
PASS: пробельный текст -> 400
|
||||
PASS: отправитель берётся из токена
|
||||
PASS: пагинация limit=2: без повторов, все 6 сообщений
|
||||
PASS: cursor от другого чата -> 400
|
||||
PASS: ?limit=0 -> 400
|
||||
PASS: ?limit=101 -> 400
|
||||
PASS: ?limit=abc -> 400
|
||||
PASS: ?limit=%2B5 -> 400
|
||||
PASS: ?limit=2&limit=3 -> 400
|
||||
PASS: тело >1 MiB -> 413
|
||||
PASS: не JSON Content-Type -> 415
|
||||
PASS: битый JSON -> 400
|
||||
PASS: logout -> 204
|
||||
PASS: повторный logout с отозванным токеном -> 401
|
||||
PASS: отозванный токен -> 401 + WWW-Authenticate: Bearer
|
||||
PASS: logout одного пользователя не затрагивает чужие сессии
|
||||
PASS: все проверки режима 'main'
|
||||
exit code: 0
|
||||
$ python student-tests/lab3_checks.py --base-url http://localhost:8080 --mode idem --min-instances 2
|
||||
PASS: через LB отвечают >= 2 реплик с одним токеном (X-Instance-Id: 2)
|
||||
PASS: повтор с тем же ключом: тот же 201 и то же сообщение
|
||||
PASS: повтор не создал дубль
|
||||
PASS: тот же ключ с другим телом -> 409
|
||||
PASS: тот же ключ и то же тело (другое форматирование JSON) -> тот же результат
|
||||
PASS: тот же ключ в другом чате независим
|
||||
PASS: тот же ключ у другого пользователя независим
|
||||
PASS: нет Idempotency-Key -> 400
|
||||
PASS: неверный ключ 'bad key!' -> 400
|
||||
PASS: неверный ключ 'a/b' -> 400
|
||||
PASS: неверный ключ 'aaaaaaaaaaaa' -> 400
|
||||
PASS: неверный ключ '' -> 400
|
||||
PASS: посторонний с тем же ключом -> 404 (доступ проверяется при повторе)
|
||||
PASS: без токена -> 401
|
||||
PASS: 30 параллельных запросов с одним ключом: все 201 и одно и то же сообщение
|
||||
PASS: в истории ровно одно такое сообщение
|
||||
INFO: параллельные повторы обслужили реплики: ['1f4c3572c169', 'b7deee7dd66b']
|
||||
PASS: параллельно один ключ и два разных тела: победитель один, остальным другого тела -> 409
|
||||
PASS: создано ровно одно сообщение из конкурирующих
|
||||
PASS: повтор с отозванным токеном -> 401
|
||||
PASS: все проверки режима 'idem'
|
||||
exit code: 0
|
||||
@@ -0,0 +1,17 @@
|
||||
# 04 балансировка: одна сессия, разные реплики (2026-11-13T10:47:36Z)
|
||||
$ docker compose ps api (реплики одного сервиса, без container_name)
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 18 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 19 seconds (healthy) 8080/tcp
|
||||
--- ID работающих API-контейнеров (X-Instance-Id = hostname = короткий ID контейнера)
|
||||
b7deee7dd66b
|
||||
1f4c3572c169
|
||||
--- порты API-контейнеров наружу (должно быть пусто: вход только через LB)
|
||||
container b7deee7dd66b:
|
||||
container 1f4c3572c169:
|
||||
--- порты LB
|
||||
127.0.0.1:8080
|
||||
--- 40 запросов с ОДНИМ токеном к GET /users/me через LB: число ответов на каждую реплику
|
||||
20 X-Instance-Id=1f4c3572c169
|
||||
20 X-Instance-Id=b7deee7dd66b
|
||||
реплик увидено: 2 | токен не печатается, повторный вход не выполнялся
|
||||
@@ -0,0 +1,60 @@
|
||||
# 05 отказ API-реплики: последовательно каждая из двух (2026-11-13T10:47:38Z)
|
||||
hook: scripts/stop-one.cmd
|
||||
|
||||
=== раунд 1 ===
|
||||
--- до
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 21 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 21 seconds (healthy)
|
||||
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 1.703}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit code: 0
|
||||
--- после (ровно одна реплика должна быть Exited; остальные Up)
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 38 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Exited (0) 14 seconds ago
|
||||
--- LB сейчас: ответы по репликам (остановленной быть не должно)
|
||||
20 x-instance-id: b7deee7dd66b
|
||||
--- восстановление: docker compose start api
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-1 Starting
|
||||
Container mtusi-lab3-api-1 Started
|
||||
обе реплики снова видны через LB через 3 с
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 44 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
|
||||
|
||||
=== раунд 2 ===
|
||||
--- до
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 45 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
|
||||
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 1, "first_recovery_seconds": 1.125}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit code: 0
|
||||
--- после (ровно одна реплика должна быть Exited; остальные Up)
|
||||
b7deee7dd66b mtusi-lab3-api-2 Exited (0) 14 seconds ago
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 20 seconds (healthy)
|
||||
--- LB сейчас: ответы по репликам (остановленной быть не должно)
|
||||
20 x-instance-id: 1f4c3572c169
|
||||
--- восстановление: docker compose start api
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-2 Starting
|
||||
Container mtusi-lab3-api-2 Started
|
||||
обе реплики снова видны через LB через 3 с
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 3 seconds (health: starting)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 26 seconds (healthy)
|
||||
@@ -0,0 +1,58 @@
|
||||
# 06 сохранность при рестарте всего стенда (2026-11-13T10:48:25Z)
|
||||
--- до
|
||||
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:47:58.653453624Z RestartCount=0
|
||||
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:21.861831149Z RestartCount=0
|
||||
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:47:23.139431439Z RestartCount=0
|
||||
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:47:12.124665349Z RestartCount=0
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 27 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 4 seconds (health: starting) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up About a minute (healthy) 5432/tcp
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit code: 0
|
||||
--- после (StartedAt должен измениться у postgres, api и lb)
|
||||
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:48:29.723218527Z RestartCount=0
|
||||
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:29.847689238Z RestartCount=0
|
||||
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:48:30.108703104Z RestartCount=0
|
||||
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:48:28.056213785Z RestartCount=0
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 7 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 6 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 6 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 8 seconds (healthy) 5432/tcp
|
||||
--- время восстановления одного рестарта (hook + ожидание /health/ready и 2 реплик)
|
||||
Container mtusi-lab3-postgres-1 Restarting
|
||||
Container mtusi-lab3-postgres-1 Started
|
||||
Container mtusi-lab3-api-1 Restarting
|
||||
Container mtusi-lab3-api-2 Restarting
|
||||
Container mtusi-lab3-lb-1 Restarting
|
||||
Container mtusi-lab3-api-2 Started
|
||||
Container mtusi-lab3-lb-1 Started
|
||||
Container mtusi-lab3-api-1 Started
|
||||
Container mtusi-lab3-postgres-1 Running
|
||||
Container mtusi-lab3-migrate-1 Created
|
||||
Container mtusi-lab3-api-1 Running
|
||||
Container mtusi-lab3-api-2 Running
|
||||
Container mtusi-lab3-lb-1 Running
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-2 Waiting
|
||||
Container mtusi-lab3-api-1 Waiting
|
||||
Container mtusi-lab3-api-2 Healthy
|
||||
Container mtusi-lab3-api-1 Healthy
|
||||
готов через 12 с
|
||||
--- данные в БД после рестарта
|
||||
users | chats | messages | sessions | idempotency_keys
|
||||
-------+-------+----------+----------+------------------
|
||||
20 | 8 | 252 | 20 | 252
|
||||
(1 row)
|
||||
|
||||
@@ -0,0 +1,98 @@
|
||||
# 07 схема БД и миграции (2026-11-13T10:48:49Z)
|
||||
version | applied_at
|
||||
---------------------+-------------------------------
|
||||
001_init.sql | 2026-11-13 10:47:16.695785+00
|
||||
002_idempotency.sql | 2026-11-13 10:47:16.75375+00
|
||||
(2 rows)
|
||||
|
||||
List of relations
|
||||
Schema | Name | Type | Owner
|
||||
--------+-------------------+-------+-------
|
||||
public | chat_members | table | msg
|
||||
public | chats | table | msg
|
||||
public | idempotency_keys | table | msg
|
||||
public | messages | table | msg
|
||||
public | schema_migrations | table | msg
|
||||
public | sessions | table | msg
|
||||
public | users | table | msg
|
||||
(7 rows)
|
||||
|
||||
Table "public.idempotency_keys"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
--------------+--------------------------+-----------+----------+---------
|
||||
user_id | uuid | | not null |
|
||||
method | text | | not null |
|
||||
path | text | | not null |
|
||||
key | text | | not null |
|
||||
request_hash | bytea | | not null |
|
||||
status_code | integer | | not null |
|
||||
response | jsonb | | not null |
|
||||
created_at | timestamp with time zone | | not null | now()
|
||||
expires_at | timestamp with time zone | | not null |
|
||||
Indexes:
|
||||
"idempotency_keys_pkey" PRIMARY KEY, btree (user_id, method, path, key)
|
||||
"idempotency_expires_idx" btree (expires_at)
|
||||
Check constraints:
|
||||
"idempotency_keys_key_check" CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'::text)
|
||||
Foreign-key constraints:
|
||||
"idempotency_keys_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
|
||||
Table "public.sessions"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
------------+--------------------------+-----------+----------+---------
|
||||
token_hash | bytea | | not null |
|
||||
user_id | uuid | | not null |
|
||||
expires_at | timestamp with time zone | | not null |
|
||||
revoked_at | timestamp with time zone | | |
|
||||
Indexes:
|
||||
"sessions_pkey" PRIMARY KEY, btree (token_hash)
|
||||
"sessions_expires_idx" btree (expires_at)
|
||||
Foreign-key constraints:
|
||||
"sessions_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
|
||||
Table "public.messages"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
------------+--------------------------+-----------+----------+-------------------
|
||||
id | uuid | | not null |
|
||||
chat_id | uuid | | not null |
|
||||
sender_id | uuid | | not null |
|
||||
text | text | | not null |
|
||||
created_at | timestamp with time zone | | not null | clock_timestamp()
|
||||
Indexes:
|
||||
"messages_pkey" PRIMARY KEY, btree (id)
|
||||
"messages_history_idx" btree (chat_id, created_at, id)
|
||||
Check constraints:
|
||||
"messages_text_check" CHECK (char_length(text) >= 1 AND char_length(text) <= 4000)
|
||||
Foreign-key constraints:
|
||||
"messages_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
|
||||
"messages_sender_id_fkey" FOREIGN KEY (sender_id) REFERENCES users(id)
|
||||
|
||||
--- пароли хранятся как Argon2id, в sessions только sha256 токена
|
||||
hash_prefix | count
|
||||
-------------+-------
|
||||
$argon2id$ | 20
|
||||
(1 row)
|
||||
|
||||
token_hash_bytes | count
|
||||
------------------+-------
|
||||
32 | 20
|
||||
(1 row)
|
||||
|
||||
--- миграции выполняет отдельный one-shot сервис migrate (однократно, не репликами)
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate About a minute ago Exited (0) 7 seconds ago
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
--- API-реплики стартуют с RUN_MIGRATIONS=0
|
||||
SESSION_TTL_SECONDS=3600
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
RUN_MIGRATIONS=0
|
||||
--- повторный явный запуск миграции безопасен
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
version
|
||||
---------------------
|
||||
001_init.sql
|
||||
002_idempotency.sql
|
||||
(2 rows)
|
||||
|
||||
@@ -0,0 +1,15 @@
|
||||
# 08 недоступность PostgreSQL (2026-11-13T10:48:55Z)
|
||||
$ docker compose stop postgres
|
||||
Container mtusi-lab3-postgres-1 Stopping
|
||||
Container mtusi-lab3-postgres-1 Stopped
|
||||
GET /health/ready (через LB) -> 503 (все backend не готовы, LB отвечает 503)
|
||||
GET /api/v1/users/me -> 503
|
||||
$ docker compose start postgres
|
||||
Container mtusi-lab3-postgres-1 Starting
|
||||
Container mtusi-lab3-postgres-1 Started
|
||||
ready и 2 реплики снова через 4 с
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 22 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 25 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 25 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 3 seconds (healthy) 5432/tcp
|
||||
@@ -0,0 +1,33 @@
|
||||
# 09 настройка LB: проверки и время обнаружения отказа (2026-11-13T10:49:05Z)
|
||||
option redispatch 1 # при неудачном соединении последняя попытка уходит на другой backend
|
||||
retries 3 # повторяем только установку соединения: запрос ещё не отправлен, это безопасно
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
timeout http-request 10s
|
||||
timeout check 1s
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none on-marked-down shutdown-sessions
|
||||
server-template api 6 api:8080
|
||||
Максимальное время обнаружения отказа по конфигурации: inter 1s x fall 2 + timeout check 1s = около 3 с (порог задания: 10 с).
|
||||
--- фактическое состояние backend в HAProxy (через stats нет; смотрим логи LB за последние строки)
|
||||
172.24.0.1:47318 [13/Nov/2026:10:49:03.928] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47324 [13/Nov/2026:10:49:04.000] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47326 [13/Nov/2026:10:49:04.054] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47338 [13/Nov/2026:10:49:04.102] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47346 [13/Nov/2026:10:49:04.150] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
[WARNING] (9) : Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
172.24.0.1:47356 [13/Nov/2026:10:49:04.204] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47360 [13/Nov/2026:10:49:04.251] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47368 [13/Nov/2026:10:49:04.318] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47384 [13/Nov/2026:10:49:04.391] public api/api1 0/0/0/2/3 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47400 [13/Nov/2026:10:49:04.454] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47412 [13/Nov/2026:10:49:04.527] public api/api1 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47420 [13/Nov/2026:10:49:04.584] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47424 [13/Nov/2026:10:49:04.656] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
@@ -0,0 +1,7 @@
|
||||
# 10 секреты и volumes вне Git (2026-11-13T10:49:05Z)
|
||||
$ git check-ignore -v secrets/pg_password secrets/database_url .env
|
||||
.gitignore:5:secrets/ secrets/pg_password
|
||||
.gitignore:5:secrets/ secrets/database_url
|
||||
.gitignore:2:.env .env
|
||||
$ отслеживаемые файлы, похожие на секреты:
|
||||
нет
|
||||
@@ -0,0 +1,616 @@
|
||||
# Сводка сбора доказательств lab3 (2026-11-13T10:49:05Z)
|
||||
|
||||
00 clean start -> evidence/00-clean-start.txt
|
||||
01 окружение -> evidence/01-env.txt
|
||||
02 smoke -> evidence/02-smoke.txt: 1 PASS-строк smoke
|
||||
03 собственные -> evidence/03-student-checks.txt: 61 PASS, 0 FAIL
|
||||
04 балансировка -> evidence/04-load-balancing.txt: реплик увидено: 2 | токен не печатается, повторный вход не выполнялся
|
||||
05 failover -> evidence/05-failover.txt: 2 из 2 раундов PASS
|
||||
06 persistence -> evidence/06-persistence.txt: PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
07 БД и миграции -> evidence/07-db-migrations.txt
|
||||
08 БД недоступна -> evidence/08-db-down.txt
|
||||
09 конфигурация LB -> evidence/09-lb-config.txt
|
||||
10 git hygiene -> evidence/10-git-hygiene.txt
|
||||
|
||||
=================== evidence/00-clean-start.txt
|
||||
# 00 чистый старт (2026-11-13T10:47:04Z)
|
||||
$ docker compose down -v
|
||||
Container mtusi-lab3-lb-1 Stopping
|
||||
Container mtusi-lab3-lb-1 Stopped
|
||||
Container mtusi-lab3-lb-1 Removing
|
||||
Container mtusi-lab3-lb-1 Removed
|
||||
Container mtusi-lab3-api-2 Stopping
|
||||
Container mtusi-lab3-api-1 Stopping
|
||||
Container mtusi-lab3-api-2 Stopped
|
||||
Container mtusi-lab3-api-2 Removing
|
||||
Container mtusi-lab3-api-2 Removed
|
||||
Container mtusi-lab3-api-1 Stopped
|
||||
Container mtusi-lab3-api-1 Removing
|
||||
Container mtusi-lab3-api-1 Removed
|
||||
Container mtusi-lab3-migrate-1 Stopping
|
||||
Container mtusi-lab3-migrate-1 Stopped
|
||||
Container mtusi-lab3-migrate-1 Removing
|
||||
Container mtusi-lab3-migrate-1 Removed
|
||||
Container mtusi-lab3-postgres-1 Stopping
|
||||
Container mtusi-lab3-postgres-1 Stopped
|
||||
Container mtusi-lab3-postgres-1 Removing
|
||||
Container mtusi-lab3-postgres-1 Removed
|
||||
Volume mtusi-lab3_pgdata Removing
|
||||
Network mtusi-lab3_default Removing
|
||||
Volume mtusi-lab3_pgdata Removed
|
||||
Network mtusi-lab3_default Removed
|
||||
$ sh scripts/setup-secrets.sh
|
||||
secrets: ok (значения не печатаются)
|
||||
$ docker compose up -d --build
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "desktop-linux" instance using docker driver
|
||||
|
||||
#1 [migrate internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 535B 0.0s done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [migrate internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
|
||||
#2 DONE 1.0s
|
||||
|
||||
#3 [migrate internal] load .dockerignore
|
||||
#3 transferring context: 216B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [migrate 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
|
||||
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [migrate internal] load build context
|
||||
#5 transferring context: 336B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [migrate 3/6] COPY src/requirements.txt .
|
||||
#6 CACHED
|
||||
|
||||
#7 [migrate 4/6] RUN pip install --no-cache-dir -r requirements.txt
|
||||
#7 CACHED
|
||||
|
||||
#8 [migrate 5/6] COPY src/ .
|
||||
#8 CACHED
|
||||
|
||||
#9 [migrate 2/6] WORKDIR /app
|
||||
#9 CACHED
|
||||
|
||||
#10 [migrate 6/6] RUN useradd -r -u 10001 appuser
|
||||
#10 CACHED
|
||||
|
||||
#11 [migrate] exporting to image
|
||||
#11 exporting layers done
|
||||
#11 exporting manifest sha256:a30ed5463352704213d504d088e29ad605a8e823e3844d2ec04b6859fcd09c96 done
|
||||
#11 exporting config sha256:1a3e2292821c81f7394c56e7b40841662d04a48e11543284941bd934583dbb3e done
|
||||
#11 exporting attestation manifest sha256:481b70854ef4cec748aa88dc11a7fa7866d3c43994e0e6dd71ad9d50a4f27259 0.0s done
|
||||
#11 exporting manifest list sha256:547cee3ccc7cd8de0d12866b807c22536f84eef74f502c99a51dbfbaee17d14f 0.0s done
|
||||
#11 naming to docker.io/library/mtusi-lab3-api:1 done
|
||||
#11 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
|
||||
#11 DONE 0.1s
|
||||
|
||||
#12 [migrate] resolving provenance for metadata file
|
||||
#12 DONE 0.0s
|
||||
|
||||
#13 [api internal] load build definition from Dockerfile
|
||||
#13 transferring dockerfile: 535B done
|
||||
#13 DONE 0.0s
|
||||
|
||||
#2 [api internal] load metadata for docker.io/library/python:3.12.7-slim-bookworm
|
||||
#2 DONE 1.3s
|
||||
|
||||
#14 [api internal] load .dockerignore
|
||||
#14 transferring context: 216B done
|
||||
#14 DONE 0.0s
|
||||
|
||||
#4 [api 1/6] FROM docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
|
||||
#4 resolve docker.io/library/python:3.12.7-slim-bookworm@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d 0.0s done
|
||||
#4 DONE 0.1s
|
||||
|
||||
#15 [api internal] load build context
|
||||
#15 transferring context: 336B done
|
||||
#15 DONE 0.0s
|
||||
|
||||
#9 [api 2/6] WORKDIR /app
|
||||
#9 CACHED
|
||||
|
||||
#16 [api 4/6] RUN pip install --no-cache-dir -r requirements.txt
|
||||
#16 CACHED
|
||||
|
||||
#17 [api 5/6] COPY src/ .
|
||||
#17 CACHED
|
||||
|
||||
#18 [api 3/6] COPY src/requirements.txt .
|
||||
#18 CACHED
|
||||
|
||||
#19 [api 6/6] RUN useradd -r -u 10001 appuser
|
||||
#19 CACHED
|
||||
|
||||
#20 [api] exporting to image
|
||||
#20 exporting layers done
|
||||
#20 exporting manifest sha256:b4a7346267f575a3391a0e717d3240bc2790d72e8e2fc92d3f0a650d0bf085dd done
|
||||
#20 exporting config sha256:35da67b3e9504f57fdd8f40cc68931fd9ac928b152f04e24320ffc4ab3af8da7 done
|
||||
#20 exporting attestation manifest sha256:d9c916aeb304c7e7e8a3ab817f56eaa9ef6da6745131b218b17667d9c810ae73 0.0s done
|
||||
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2
|
||||
#20 exporting manifest list sha256:a78eddcc8ef68cf184bc636847104e5222ec5e832eeccb5ba99bd9272961fdb2 0.0s done
|
||||
#20 naming to docker.io/library/mtusi-lab3-api:1 done
|
||||
#20 unpacking to docker.io/library/mtusi-lab3-api:1 0.0s done
|
||||
#20 DONE 0.1s
|
||||
|
||||
#21 [api] resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
migrate Built
|
||||
Network mtusi-lab3_default Creating
|
||||
Network mtusi-lab3_default Created
|
||||
Volume "mtusi-lab3_pgdata" Creating
|
||||
Volume "mtusi-lab3_pgdata" Created
|
||||
Container mtusi-lab3-postgres-1 Creating
|
||||
Container mtusi-lab3-postgres-1 Created
|
||||
Container mtusi-lab3-migrate-1 Creating
|
||||
Container mtusi-lab3-migrate-1 Created
|
||||
Container mtusi-lab3-api-2 Creating
|
||||
Container mtusi-lab3-api-1 Creating
|
||||
Container mtusi-lab3-api-1 Created
|
||||
Container mtusi-lab3-api-2 Created
|
||||
Container mtusi-lab3-lb-1 Creating
|
||||
Container mtusi-lab3-lb-1 Created
|
||||
Container mtusi-lab3-postgres-1 Starting
|
||||
Container mtusi-lab3-postgres-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-2 Starting
|
||||
Container mtusi-lab3-api-2 Started
|
||||
Container mtusi-lab3-api-1 Starting
|
||||
Container mtusi-lab3-api-1 Started
|
||||
Container mtusi-lab3-api-2 Waiting
|
||||
Container mtusi-lab3-api-1 Waiting
|
||||
Container mtusi-lab3-api-2 Healthy
|
||||
Container mtusi-lab3-api-1 Healthy
|
||||
Container mtusi-lab3-lb-1 Starting
|
||||
Container mtusi-lab3-lb-1 Started
|
||||
ready через 15 с после запуска up
|
||||
|
||||
=================== evidence/01-env.txt
|
||||
# 01 окружение (2026-11-13T10:47:24Z)
|
||||
commit: 0ab3a341aa7ba32363ce43061d4ff02b1f2964af
|
||||
git status:
|
||||
A .gitattributes
|
||||
A Dockerfile
|
||||
MM REPORT.md
|
||||
A compose.yaml
|
||||
A infra/haproxy/haproxy.cfg
|
||||
A scripts/collect-evidence.sh
|
||||
A scripts/restart.cmd
|
||||
A scripts/restart.sh
|
||||
A scripts/setup-secrets.sh
|
||||
A scripts/stop-one.cmd
|
||||
A scripts/stop-one.sh
|
||||
A src/app/__init__.py
|
||||
A src/app/main.py
|
||||
A src/app/migrate.py
|
||||
A src/migrations/001_init.sql
|
||||
A src/migrations/002_idempotency.sql
|
||||
A src/requirements.txt
|
||||
A student-tests/lab3_checks.py
|
||||
?? evidence/00-clean-start.txt
|
||||
?? evidence/01-env.txt
|
||||
$ docker version
|
||||
client=28.0.4 server=28.0.4 os=linux/amd64
|
||||
$ docker compose version
|
||||
Docker Compose version v2.34.0-desktop.1
|
||||
python: Python 3.11.5
|
||||
$ docker compose config --quiet
|
||||
compose config: OK
|
||||
$ docker compose images
|
||||
CONTAINER REPOSITORY TAG IMAGE ID SIZE
|
||||
mtusi-lab3-api-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
|
||||
mtusi-lab3-api-2 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
|
||||
mtusi-lab3-lb-1 haproxy 2.8.10-alpine 54af6e4943e4 12.2MB
|
||||
mtusi-lab3-migrate-1 mtusi-lab3-api 1 a78eddcc8ef6 52.1MB
|
||||
mtusi-lab3-postgres-1 postgres 16.4-alpine 5660c2cbfea5 99.2MB
|
||||
$ docker compose ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 8 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 15 seconds ago Up 9 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb 15 seconds ago Up 3 seconds (health: starting) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate 15 seconds ago Exited (0) 9 seconds ago
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 15 seconds ago Up 14 seconds (healthy) 5432/tcp
|
||||
$ docker volume ls (pgdata)
|
||||
local mtusi2026lab2_pgdata
|
||||
local mtusi-lab3_pgdata
|
||||
$ docker stats --no-stream
|
||||
NAME CPU % MEM USAGE / LIMIT
|
||||
mtusi-lab3-api-1 0.42% 30.51MiB / 7.694GiB
|
||||
mtusi-lab3-api-2 0.33% 34.94MiB / 7.694GiB
|
||||
mtusi-lab3-lb-1 0.64% 11.6MiB / 7.694GiB
|
||||
mtusi-lab3-postgres-1 1.40% 42.34MiB / 7.694GiB
|
||||
$ docker info (лимиты хоста)
|
||||
CPUs=16 Mem=8261029888
|
||||
|
||||
=================== evidence/02-smoke.txt
|
||||
# 02 публичные проверки через LB (2026-11-13T10:47:30Z)
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
exit code: 0
|
||||
$ python tests/smoke.py --base-url http://localhost:8080
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit code: 0
|
||||
|
||||
=================== evidence/03-student-checks.txt
|
||||
# 03 собственные проверки (2026-11-13T10:47:32Z)
|
||||
$ python student-tests/lab3_checks.py --base-url http://localhost:8080
|
||||
PASS: повторный username -> 409
|
||||
PASS: пароль короче 12 -> 400
|
||||
PASS: лишнее поле -> 400
|
||||
PASS: User не содержит пароль/hash/токен
|
||||
PASS: гонка одинакового username: ровно один 201, остальные 409
|
||||
PASS: неверный пароль и неизвестный пользователь неразличимы (401, тот же code/message/заголовок)
|
||||
PASS: вход JSON-телом без Basic -> 401
|
||||
PASS: Bearer на POST /auth/sessions -> 401
|
||||
PASS: токен >=256 бит, token_type Bearer
|
||||
PASS: Basic на бизнес-endpoint -> 401 + WWW-Authenticate: Bearer
|
||||
PASS: один X-User-Id доступа не даёт
|
||||
PASS: X-User-Id игнорируется: владелец определяется токеном
|
||||
PASS: неизвестный токен -> 401
|
||||
PASS: X-Request-Id совпадает с request_id в теле ошибки
|
||||
PASS: чат с неизвестным участником -> 400
|
||||
PASS: после отказа новый чат не появился (нет частичной записи)
|
||||
PASS: чат создан с обоими участниками
|
||||
PASS: создатель обязан быть среди member_ids -> 400
|
||||
PASS: посторонний: GET /chat -> 404
|
||||
PASS: посторонний: GET /messages -> 404
|
||||
PASS: посторонний не может писать -> 404
|
||||
PASS: неверный UUID /chats/not-a-uuid -> 400
|
||||
PASS: неверный UUID /chats/not-a-uuid/messages -> 400
|
||||
PASS: sender_id в запросе не принимается -> 400
|
||||
PASS: пробельный текст -> 400
|
||||
PASS: отправитель берётся из токена
|
||||
PASS: пагинация limit=2: без повторов, все 6 сообщений
|
||||
PASS: cursor от другого чата -> 400
|
||||
PASS: ?limit=0 -> 400
|
||||
PASS: ?limit=101 -> 400
|
||||
PASS: ?limit=abc -> 400
|
||||
PASS: ?limit=%2B5 -> 400
|
||||
PASS: ?limit=2&limit=3 -> 400
|
||||
PASS: тело >1 MiB -> 413
|
||||
PASS: не JSON Content-Type -> 415
|
||||
PASS: битый JSON -> 400
|
||||
PASS: logout -> 204
|
||||
PASS: повторный logout с отозванным токеном -> 401
|
||||
PASS: отозванный токен -> 401 + WWW-Authenticate: Bearer
|
||||
PASS: logout одного пользователя не затрагивает чужие сессии
|
||||
PASS: все проверки режима 'main'
|
||||
exit code: 0
|
||||
$ python student-tests/lab3_checks.py --base-url http://localhost:8080 --mode idem --min-instances 2
|
||||
PASS: через LB отвечают >= 2 реплик с одним токеном (X-Instance-Id: 2)
|
||||
PASS: повтор с тем же ключом: тот же 201 и то же сообщение
|
||||
PASS: повтор не создал дубль
|
||||
PASS: тот же ключ с другим телом -> 409
|
||||
PASS: тот же ключ и то же тело (другое форматирование JSON) -> тот же результат
|
||||
PASS: тот же ключ в другом чате независим
|
||||
PASS: тот же ключ у другого пользователя независим
|
||||
PASS: нет Idempotency-Key -> 400
|
||||
PASS: неверный ключ 'bad key!' -> 400
|
||||
PASS: неверный ключ 'a/b' -> 400
|
||||
PASS: неверный ключ 'aaaaaaaaaaaa' -> 400
|
||||
PASS: неверный ключ '' -> 400
|
||||
PASS: посторонний с тем же ключом -> 404 (доступ проверяется при повторе)
|
||||
PASS: без токена -> 401
|
||||
PASS: 30 параллельных запросов с одним ключом: все 201 и одно и то же сообщение
|
||||
PASS: в истории ровно одно такое сообщение
|
||||
INFO: параллельные повторы обслужили реплики: ['1f4c3572c169', 'b7deee7dd66b']
|
||||
PASS: параллельно один ключ и два разных тела: победитель один, остальным другого тела -> 409
|
||||
PASS: создано ровно одно сообщение из конкурирующих
|
||||
PASS: повтор с отозванным токеном -> 401
|
||||
PASS: все проверки режима 'idem'
|
||||
exit code: 0
|
||||
|
||||
=================== evidence/04-load-balancing.txt
|
||||
# 04 балансировка: одна сессия, разные реплики (2026-11-13T10:47:36Z)
|
||||
$ docker compose ps api (реплики одного сервиса, без container_name)
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 18 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api 25 seconds ago Up 19 seconds (healthy) 8080/tcp
|
||||
--- ID работающих API-контейнеров (X-Instance-Id = hostname = короткий ID контейнера)
|
||||
b7deee7dd66b
|
||||
1f4c3572c169
|
||||
--- порты API-контейнеров наружу (должно быть пусто: вход только через LB)
|
||||
container b7deee7dd66b:
|
||||
container 1f4c3572c169:
|
||||
--- порты LB
|
||||
127.0.0.1:8080
|
||||
--- 40 запросов с ОДНИМ токеном к GET /users/me через LB: число ответов на каждую реплику
|
||||
20 X-Instance-Id=1f4c3572c169
|
||||
20 X-Instance-Id=b7deee7dd66b
|
||||
реплик увидено: 2 | токен не печатается, повторный вход не выполнялся
|
||||
|
||||
=================== evidence/05-failover.txt
|
||||
# 05 отказ API-реплики: последовательно каждая из двух (2026-11-13T10:47:38Z)
|
||||
hook: scripts/stop-one.cmd
|
||||
|
||||
=== раунд 1 ===
|
||||
--- до
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 21 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 21 seconds (healthy)
|
||||
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 1.703}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit code: 0
|
||||
--- после (ровно одна реплика должна быть Exited; остальные Up)
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 38 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Exited (0) 14 seconds ago
|
||||
--- LB сейчас: ответы по репликам (остановленной быть не должно)
|
||||
20 x-instance-id: b7deee7dd66b
|
||||
--- восстановление: docker compose start api
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-1 Starting
|
||||
Container mtusi-lab3-api-1 Started
|
||||
обе реплики снова видны через LB через 3 с
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 44 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
|
||||
|
||||
=== раунд 2 ===
|
||||
--- до
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 45 seconds (healthy)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 3 seconds (health: starting)
|
||||
$ python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 1, "first_recovery_seconds": 1.125}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit code: 0
|
||||
--- после (ровно одна реплика должна быть Exited; остальные Up)
|
||||
b7deee7dd66b mtusi-lab3-api-2 Exited (0) 14 seconds ago
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 20 seconds (healthy)
|
||||
--- LB сейчас: ответы по репликам (остановленной быть не должно)
|
||||
20 x-instance-id: 1f4c3572c169
|
||||
--- восстановление: docker compose start api
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-2 Starting
|
||||
Container mtusi-lab3-api-2 Started
|
||||
обе реплики снова видны через LB через 3 с
|
||||
b7deee7dd66b mtusi-lab3-api-2 Up 3 seconds (health: starting)
|
||||
1f4c3572c169 mtusi-lab3-api-1 Up 26 seconds (healthy)
|
||||
|
||||
=================== evidence/06-persistence.txt
|
||||
# 06 сохранность при рестарте всего стенда (2026-11-13T10:48:25Z)
|
||||
--- до
|
||||
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:47:58.653453624Z RestartCount=0
|
||||
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:21.861831149Z RestartCount=0
|
||||
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:47:23.139431439Z RestartCount=0
|
||||
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:47:12.124665349Z RestartCount=0
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 27 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 4 seconds (health: starting) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up About a minute (healthy) 5432/tcp
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit code: 0
|
||||
--- после (StartedAt должен измениться у postgres, api и lb)
|
||||
/mtusi-lab3-api-1 StartedAt=2026-11-13T10:48:29.723218527Z RestartCount=0
|
||||
/mtusi-lab3-api-2 StartedAt=2026-11-13T10:48:29.847689238Z RestartCount=0
|
||||
/mtusi-lab3-lb-1 StartedAt=2026-11-13T10:48:30.108703104Z RestartCount=0
|
||||
/mtusi-lab3-postgres-1 StartedAt=2026-11-13T10:48:28.056213785Z RestartCount=0
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 7 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 6 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 6 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 8 seconds (healthy) 5432/tcp
|
||||
--- время восстановления одного рестарта (hook + ожидание /health/ready и 2 реплик)
|
||||
Container mtusi-lab3-postgres-1 Restarting
|
||||
Container mtusi-lab3-postgres-1 Started
|
||||
Container mtusi-lab3-api-1 Restarting
|
||||
Container mtusi-lab3-api-2 Restarting
|
||||
Container mtusi-lab3-lb-1 Restarting
|
||||
Container mtusi-lab3-api-2 Started
|
||||
Container mtusi-lab3-lb-1 Started
|
||||
Container mtusi-lab3-api-1 Started
|
||||
Container mtusi-lab3-postgres-1 Running
|
||||
Container mtusi-lab3-migrate-1 Created
|
||||
Container mtusi-lab3-api-1 Running
|
||||
Container mtusi-lab3-api-2 Running
|
||||
Container mtusi-lab3-lb-1 Running
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Starting
|
||||
Container mtusi-lab3-migrate-1 Started
|
||||
Container mtusi-lab3-postgres-1 Waiting
|
||||
Container mtusi-lab3-migrate-1 Waiting
|
||||
Container mtusi-lab3-postgres-1 Healthy
|
||||
Container mtusi-lab3-migrate-1 Exited
|
||||
Container mtusi-lab3-api-2 Waiting
|
||||
Container mtusi-lab3-api-1 Waiting
|
||||
Container mtusi-lab3-api-2 Healthy
|
||||
Container mtusi-lab3-api-1 Healthy
|
||||
готов через 12 с
|
||||
--- данные в БД после рестарта
|
||||
users | chats | messages | sessions | idempotency_keys
|
||||
-------+-------+----------+----------+------------------
|
||||
20 | 8 | 252 | 20 | 252
|
||||
(1 row)
|
||||
|
||||
|
||||
=================== evidence/07-db-migrations.txt
|
||||
# 07 схема БД и миграции (2026-11-13T10:48:49Z)
|
||||
version | applied_at
|
||||
---------------------+-------------------------------
|
||||
001_init.sql | 2026-11-13 10:47:16.695785+00
|
||||
002_idempotency.sql | 2026-11-13 10:47:16.75375+00
|
||||
(2 rows)
|
||||
|
||||
List of relations
|
||||
Schema | Name | Type | Owner
|
||||
--------+-------------------+-------+-------
|
||||
public | chat_members | table | msg
|
||||
public | chats | table | msg
|
||||
public | idempotency_keys | table | msg
|
||||
public | messages | table | msg
|
||||
public | schema_migrations | table | msg
|
||||
public | sessions | table | msg
|
||||
public | users | table | msg
|
||||
(7 rows)
|
||||
|
||||
Table "public.idempotency_keys"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
--------------+--------------------------+-----------+----------+---------
|
||||
user_id | uuid | | not null |
|
||||
method | text | | not null |
|
||||
path | text | | not null |
|
||||
key | text | | not null |
|
||||
request_hash | bytea | | not null |
|
||||
status_code | integer | | not null |
|
||||
response | jsonb | | not null |
|
||||
created_at | timestamp with time zone | | not null | now()
|
||||
expires_at | timestamp with time zone | | not null |
|
||||
Indexes:
|
||||
"idempotency_keys_pkey" PRIMARY KEY, btree (user_id, method, path, key)
|
||||
"idempotency_expires_idx" btree (expires_at)
|
||||
Check constraints:
|
||||
"idempotency_keys_key_check" CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'::text)
|
||||
Foreign-key constraints:
|
||||
"idempotency_keys_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
|
||||
Table "public.sessions"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
------------+--------------------------+-----------+----------+---------
|
||||
token_hash | bytea | | not null |
|
||||
user_id | uuid | | not null |
|
||||
expires_at | timestamp with time zone | | not null |
|
||||
revoked_at | timestamp with time zone | | |
|
||||
Indexes:
|
||||
"sessions_pkey" PRIMARY KEY, btree (token_hash)
|
||||
"sessions_expires_idx" btree (expires_at)
|
||||
Foreign-key constraints:
|
||||
"sessions_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
|
||||
Table "public.messages"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
------------+--------------------------+-----------+----------+-------------------
|
||||
id | uuid | | not null |
|
||||
chat_id | uuid | | not null |
|
||||
sender_id | uuid | | not null |
|
||||
text | text | | not null |
|
||||
created_at | timestamp with time zone | | not null | clock_timestamp()
|
||||
Indexes:
|
||||
"messages_pkey" PRIMARY KEY, btree (id)
|
||||
"messages_history_idx" btree (chat_id, created_at, id)
|
||||
Check constraints:
|
||||
"messages_text_check" CHECK (char_length(text) >= 1 AND char_length(text) <= 4000)
|
||||
Foreign-key constraints:
|
||||
"messages_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
|
||||
"messages_sender_id_fkey" FOREIGN KEY (sender_id) REFERENCES users(id)
|
||||
|
||||
--- пароли хранятся как Argon2id, в sessions только sha256 токена
|
||||
hash_prefix | count
|
||||
-------------+-------
|
||||
$argon2id$ | 20
|
||||
(1 row)
|
||||
|
||||
token_hash_bytes | count
|
||||
------------------+-------
|
||||
32 | 20
|
||||
(1 row)
|
||||
|
||||
--- миграции выполняет отдельный one-shot сервис migrate (однократно, не репликами)
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-migrate-1 mtusi-lab3-api:1 "python -m app.migra…" migrate About a minute ago Exited (0) 7 seconds ago
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
--- API-реплики стартуют с RUN_MIGRATIONS=0
|
||||
SESSION_TTL_SECONDS=3600
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
RUN_MIGRATIONS=0
|
||||
--- повторный явный запуск миграции безопасен
|
||||
migrations: ok, latest = 002_idempotency.sql
|
||||
version
|
||||
---------------------
|
||||
001_init.sql
|
||||
002_idempotency.sql
|
||||
(2 rows)
|
||||
|
||||
|
||||
=================== evidence/08-db-down.txt
|
||||
# 08 недоступность PostgreSQL (2026-11-13T10:48:55Z)
|
||||
$ docker compose stop postgres
|
||||
Container mtusi-lab3-postgres-1 Stopping
|
||||
Container mtusi-lab3-postgres-1 Stopped
|
||||
GET /health/ready (через LB) -> 503 (все backend не готовы, LB отвечает 503)
|
||||
GET /api/v1/users/me -> 503
|
||||
$ docker compose start postgres
|
||||
Container mtusi-lab3-postgres-1 Starting
|
||||
Container mtusi-lab3-postgres-1 Started
|
||||
ready и 2 реплики снова через 4 с
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
mtusi-lab3-api-1 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 22 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-api-2 mtusi-lab3-api:1 "uvicorn app.main:ap…" api About a minute ago Up 25 seconds (healthy) 8080/tcp
|
||||
mtusi-lab3-lb-1 haproxy:2.8.10-alpine "docker-entrypoint.s…" lb About a minute ago Up 25 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres About a minute ago Up 3 seconds (healthy) 5432/tcp
|
||||
|
||||
=================== evidence/09-lb-config.txt
|
||||
# 09 настройка LB: проверки и время обнаружения отказа (2026-11-13T10:49:05Z)
|
||||
option redispatch 1 # при неудачном соединении последняя попытка уходит на другой backend
|
||||
retries 3 # повторяем только установку соединения: запрос ещё не отправлен, это безопасно
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
timeout http-request 10s
|
||||
timeout check 1s
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none on-marked-down shutdown-sessions
|
||||
server-template api 6 api:8080
|
||||
Максимальное время обнаружения отказа по конфигурации: inter 1s x fall 2 + timeout check 1s = около 3 с (порог задания: 10 с).
|
||||
--- фактическое состояние backend в HAProxy (через stats нет; смотрим логи LB за последние строки)
|
||||
172.24.0.1:47318 [13/Nov/2026:10:49:03.928] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47324 [13/Nov/2026:10:49:04.000] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47326 [13/Nov/2026:10:49:04.054] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47338 [13/Nov/2026:10:49:04.102] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47346 [13/Nov/2026:10:49:04.150] public api/api2 0/0/0/1/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
[WARNING] (9) : Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 3ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
172.24.0.1:47356 [13/Nov/2026:10:49:04.204] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47360 [13/Nov/2026:10:49:04.251] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47368 [13/Nov/2026:10:49:04.318] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47384 [13/Nov/2026:10:49:04.391] public api/api1 0/0/0/2/3 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47400 [13/Nov/2026:10:49:04.454] public api/api2 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47412 [13/Nov/2026:10:49:04.527] public api/api1 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47420 [13/Nov/2026:10:49:04.584] public api/api2 0/0/0/2/2 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
172.24.0.1:47424 [13/Nov/2026:10:49:04.656] public api/api1 0/0/0/1/1 200 208 - - ---- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||||
|
||||
=================== evidence/10-git-hygiene.txt
|
||||
# 10 секреты и volumes вне Git (2026-11-13T10:49:05Z)
|
||||
$ git check-ignore -v secrets/pg_password secrets/database_url .env
|
||||
.gitignore:5:secrets/ secrets/pg_password
|
||||
.gitignore:5:secrets/ secrets/database_url
|
||||
.gitignore:2:.env .env
|
||||
$ отслеживаемые файлы, похожие на секреты:
|
||||
нет
|
||||
@@ -0,0 +1,52 @@
|
||||
# Единая точка входа lab3. Backend-адреса обнаруживаются через DNS Docker (сервис "api" -> IP всех реплик)
|
||||
# и перечитываются каждую секунду, поэтому добавленные/удалённые реплики подхватываются без перезапуска LB.
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 4096
|
||||
hard-stop-after 5s # мягкая остановка LB (SIGUSR1) не зависает на keep-alive соединениях
|
||||
|
||||
defaults
|
||||
mode http
|
||||
log global
|
||||
option httplog
|
||||
option dontlognull
|
||||
option redispatch 1 # при неудачном соединении последняя попытка уходит на другой backend
|
||||
retries 3 # повторяем только установку соединения: запрос ещё не отправлен, это безопасно
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
timeout http-request 10s
|
||||
timeout check 1s
|
||||
|
||||
resolvers docker
|
||||
nameserver dns1 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold other 1s
|
||||
hold refused 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
hold obsolete 1s
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend api
|
||||
|
||||
backend api
|
||||
balance roundrobin
|
||||
# Активная проверка готовности: инстанс получает трафик только пока GET /health/ready отвечает 200.
|
||||
# Обнаружение отказа: inter 1s * fall 2 + timeout check 1s => не более ~3 секунд.
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none on-marked-down shutdown-sessions
|
||||
# До 6 слотов под реплики; свободные слоты остаются без адреса (DOWN) и трафик не получают.
|
||||
server-template api 6 api:8080
|
||||
|
||||
# Внутренняя проверка самого LB для Docker healthcheck: 200, пока есть хотя бы один живой backend.
|
||||
frontend lb_health
|
||||
bind 127.0.0.1:8081
|
||||
monitor-uri /healthz
|
||||
monitor fail if { nbsrv(api) lt 1 }
|
||||
@@ -0,0 +1,209 @@
|
||||
#!/bin/sh
|
||||
# Собирает доказательства lab3 в evidence/*.txt. Запускать из Git Bash (Windows) или любого sh,
|
||||
# когда стенд уже поднят: docker compose up -d --build.
|
||||
# sh scripts/collect-evidence.sh # проверки на текущих данных
|
||||
# sh scripts/collect-evidence.sh --fresh # сначала `docker compose down -v` (УДАЛЯЕТ учебные данные) и чистый старт
|
||||
# Скрипт сам останавливает по одной API-реплике (потом запускает снова), перезапускает стенд и останавливает PostgreSQL.
|
||||
# Тома не удаляются, кроме режима --fresh. Секреты и токены не печатаются.
|
||||
set -u
|
||||
cd "$(dirname "$0")/.." || exit 1
|
||||
export MSYS_NO_PATHCONV=1 # Git Bash: не превращать /run/... в Windows-пути
|
||||
export PYTHONUTF8=1 # читаемый UTF-8 в evidence/*.txt
|
||||
mkdir -p evidence
|
||||
BASE="${BASE_URL:-http://localhost:8080}"
|
||||
PROJECT=mtusi-lab3
|
||||
PY=""
|
||||
for c in python python3 py; do
|
||||
if "$c" --version >/dev/null 2>&1; then PY="$c"; break; fi
|
||||
done
|
||||
[ -n "$PY" ] || { echo "Не найден python (python/python3/py)"; exit 2; }
|
||||
case "$(uname -s)" in
|
||||
MINGW*|MSYS*|CYGWIN*) RESTART="${RESTART_HOOK:-scripts/restart.cmd}"; STOPONE="${STOPONE_HOOK:-scripts/stop-one.cmd}" ;;
|
||||
*) RESTART="${RESTART_HOOK:-scripts/restart.sh}"; STOPONE="${STOPONE_HOOK:-scripts/stop-one.sh}" ;;
|
||||
esac
|
||||
echo "Сбор доказательств lab3: 10 шагов, 3-6 минут. Прогресс печатается после каждого шага."
|
||||
|
||||
now() { date -u +%Y-%m-%dT%H:%M:%SZ; }
|
||||
sec() { date +%s; }
|
||||
wait_ready() {
|
||||
i=0
|
||||
until curl -fsS -m 3 "$BASE/health/ready" >/dev/null 2>&1; do
|
||||
i=$((i + 1)); [ "$i" -gt 90 ] && return 1; sleep 1
|
||||
done
|
||||
return 0
|
||||
}
|
||||
# ждём, пока через LB снова видны >= $1 разных реплик
|
||||
wait_replicas() {
|
||||
want=$1; i=0
|
||||
while :; do
|
||||
n=$(for _ in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20; do curl -s -m 3 -D - -o /dev/null "$BASE/health/live" | tr -d '\r' | grep -i '^x-instance-id:'; done | sort -u | wc -l)
|
||||
[ "$n" -ge "$want" ] && return 0
|
||||
i=$((i + 1)); [ "$i" -gt 40 ] && return 1; sleep 1
|
||||
done
|
||||
}
|
||||
api_ids() { docker ps -q --filter "label=com.docker.compose.project=$PROJECT" --filter "label=com.docker.compose.service=api"; }
|
||||
api_state() { docker ps -a --filter "label=com.docker.compose.project=$PROJECT" --filter "label=com.docker.compose.service=api" --format '{{.ID}} {{.Names}} {{.Status}}'; }
|
||||
started() { docker inspect -f '{{.Name}} StartedAt={{.State.StartedAt}} RestartCount={{.RestartCount}}' $(docker compose ps -q postgres api lb); }
|
||||
psql_c() { docker compose exec -T postgres psql -U msg -d msg -c "$1"; }
|
||||
spread() { for _ in $(seq 1 "${1:-40}"); do curl -s -m 3 -D - -o /dev/null -H "Authorization: Bearer ${2:-x}" "$BASE/api/v1/users/me" | tr -d '\r' | grep -i '^x-instance-id:'; done | sort | uniq -c; }
|
||||
RESULTS=""
|
||||
note() { RESULTS="$RESULTS
|
||||
$1"; echo "готово: $1"; }
|
||||
|
||||
if [ "${1:-}" = "--fresh" ]; then
|
||||
{
|
||||
echo "# 00 чистый старт ($(now))"
|
||||
echo "\$ docker compose down -v"; docker compose down -v
|
||||
echo "\$ sh scripts/setup-secrets.sh"; sh scripts/setup-secrets.sh && echo "secrets: ok (значения не печатаются)"
|
||||
t0=$(sec)
|
||||
echo "\$ docker compose up -d --build"; docker compose up -d --build
|
||||
if wait_ready; then echo "ready через $(( $(sec) - t0 )) с после запуска up"; else echo "НЕ ГОТОВ за 90 с"; fi
|
||||
} > evidence/00-clean-start.txt 2>&1
|
||||
note "00 clean start -> evidence/00-clean-start.txt"
|
||||
fi
|
||||
|
||||
wait_ready || { echo "LB/API не отвечает на $BASE/health/ready. Сначала: docker compose up -d --build"; exit 1; }
|
||||
wait_replicas 2 || { echo "Через LB видна меньше чем 2 реплики. Проверьте: docker compose ps"; exit 1; }
|
||||
|
||||
{
|
||||
echo "# 01 окружение ($(now))"
|
||||
echo "commit: $(git rev-parse HEAD 2>/dev/null || echo 'нет git')"
|
||||
echo "git status:"; git status --short 2>/dev/null | head -20
|
||||
echo "\$ docker version"; docker version --format 'client={{.Client.Version}} server={{.Server.Version}} os={{.Server.Os}}/{{.Server.Arch}}'
|
||||
echo "\$ docker compose version"; docker compose version
|
||||
echo "python: $($PY --version 2>&1)"
|
||||
echo "\$ docker compose config --quiet"; docker compose config --quiet && echo "compose config: OK"
|
||||
echo "\$ docker compose images"; docker compose images
|
||||
echo "\$ docker compose ps -a"; docker compose ps -a
|
||||
echo "\$ docker volume ls (pgdata)"; docker volume ls | grep -i pgdata
|
||||
echo "\$ docker stats --no-stream"; docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}' $(docker compose ps -q)
|
||||
echo "\$ docker info (лимиты хоста)"; docker info --format 'CPUs={{.NCPU}} Mem={{.MemTotal}}'
|
||||
} > evidence/01-env.txt 2>&1
|
||||
note "01 окружение -> evidence/01-env.txt"
|
||||
|
||||
{
|
||||
echo "# 02 публичные проверки через LB ($(now))"
|
||||
echo "\$ python scripts/check_contract.py"; $PY scripts/check_contract.py; echo "exit code: $?"
|
||||
echo "\$ python tests/smoke.py --base-url $BASE"; $PY tests/smoke.py --base-url "$BASE"; echo "exit code: $?"
|
||||
} > evidence/02-smoke.txt 2>&1
|
||||
note "02 smoke -> evidence/02-smoke.txt: $(grep -c '^PASS: lab3' evidence/02-smoke.txt) PASS-строк smoke"
|
||||
|
||||
{
|
||||
echo "# 03 собственные проверки ($(now))"
|
||||
echo "\$ python student-tests/lab3_checks.py --base-url $BASE"
|
||||
$PY student-tests/lab3_checks.py --base-url "$BASE"; echo "exit code: $?"
|
||||
echo "\$ python student-tests/lab3_checks.py --base-url $BASE --mode idem --min-instances 2"
|
||||
$PY student-tests/lab3_checks.py --base-url "$BASE" --mode idem --min-instances 2; echo "exit code: $?"
|
||||
} > evidence/03-student-checks.txt 2>&1
|
||||
note "03 собственные -> evidence/03-student-checks.txt: $(grep -c '^PASS: ' evidence/03-student-checks.txt) PASS, $(grep -c '^FAIL: ' evidence/03-student-checks.txt) FAIL"
|
||||
|
||||
{
|
||||
echo "# 04 балансировка: одна сессия, разные реплики ($(now))"
|
||||
echo "\$ docker compose ps api (реплики одного сервиса, без container_name)"; docker compose ps api
|
||||
echo "--- ID работающих API-контейнеров (X-Instance-Id = hostname = короткий ID контейнера)"; api_ids
|
||||
echo "--- порты API-контейнеров наружу (должно быть пусто: вход только через LB)"
|
||||
for c in $(api_ids); do echo "container $c:"; docker port "$c" || true; done
|
||||
echo "--- порты LB"; docker compose port lb 8080
|
||||
echo "--- 40 запросов с ОДНИМ токеном к GET /users/me через LB: число ответов на каждую реплику"
|
||||
$PY - <<'PYEOF' "$BASE"
|
||||
import base64, collections, json, sys, urllib.request as u
|
||||
b = sys.argv[1] + "/api/v1"
|
||||
def call(m, p, body=None, h=None):
|
||||
r = u.Request(b + p, data=json.dumps(body).encode() if body is not None else None, method=m,
|
||||
headers={**(h or {}), **({"Content-Type": "application/json"} if body is not None else {})})
|
||||
return u.urlopen(r, timeout=10)
|
||||
name = "lbprobe_" + base64.b32encode(__import__("os").urandom(5)).decode().lower()
|
||||
pw = "correct-horse-battery"
|
||||
call("POST", "/users", {"username": name, "display_name": "probe", "password": pw})
|
||||
tok = json.load(call("POST", "/auth/sessions", h={"Authorization": "Basic " + base64.b64encode(f"{name}:{pw}".encode()).decode()}))["token"]
|
||||
cnt = collections.Counter(call("GET", "/users/me", h={"Authorization": "Bearer " + tok}).headers["X-Instance-Id"] for _ in range(40))
|
||||
for k, v in sorted(cnt.items()): print(f" {v:3d} X-Instance-Id={k}")
|
||||
print("реплик увидено:", len(cnt), "| токен не печатается, повторный вход не выполнялся")
|
||||
PYEOF
|
||||
} > evidence/04-load-balancing.txt 2>&1
|
||||
note "04 балансировка -> evidence/04-load-balancing.txt: $(grep -m1 'реплик увидено' evidence/04-load-balancing.txt)"
|
||||
|
||||
{
|
||||
echo "# 05 отказ API-реплики: последовательно каждая из двух ($(now))"
|
||||
echo "hook: $STOPONE"
|
||||
for round in 1 2; do
|
||||
echo; echo "=== раунд $round ==="
|
||||
echo "--- до"; api_state
|
||||
echo "\$ python tests/resilience.py --mode failover --action-script $STOPONE"
|
||||
t0=$(sec)
|
||||
$PY tests/resilience.py --mode failover --action-script "$STOPONE" --base-url "$BASE"; echo "exit code: $?"
|
||||
echo "--- после (ровно одна реплика должна быть Exited; остальные Up)"; api_state
|
||||
echo "--- LB сейчас: ответы по репликам (остановленной быть не должно)"; spread 20
|
||||
echo "--- восстановление: docker compose start api"; docker compose start api >/dev/null
|
||||
t1=$(sec); if wait_replicas 2; then echo "обе реплики снова видны через LB через $(( $(sec) - t1 )) с"; else echo "реплика не вернулась за 40 с"; fi
|
||||
api_state
|
||||
done
|
||||
} > evidence/05-failover.txt 2>&1
|
||||
note "05 failover -> evidence/05-failover.txt: $(grep -c '^PASS: failover' evidence/05-failover.txt) из 2 раундов PASS"
|
||||
|
||||
{
|
||||
echo "# 06 сохранность при рестарте всего стенда ($(now))"
|
||||
echo "--- до"; started; docker compose ps
|
||||
echo "\$ python tests/resilience.py --mode persistence --action-script $RESTART"
|
||||
$PY tests/resilience.py --mode persistence --action-script "$RESTART" --base-url "$BASE"; echo "exit code: $?"
|
||||
echo "--- после (StartedAt должен измениться у postgres, api и lb)"; started; docker compose ps
|
||||
echo "--- время восстановления одного рестарта (hook + ожидание /health/ready и 2 реплик)"
|
||||
t0=$(sec); sh scripts/restart.sh; if wait_ready && wait_replicas 2; then echo "готов через $(( $(sec) - t0 )) с"; else echo "НЕ ГОТОВ за 90 с"; fi
|
||||
echo "--- данные в БД после рестарта"
|
||||
psql_c "select (select count(*) from users) users, (select count(*) from chats) chats, (select count(*) from messages) messages, (select count(*) from sessions) sessions, (select count(*) from idempotency_keys) idempotency_keys"
|
||||
} > evidence/06-persistence.txt 2>&1
|
||||
note "06 persistence -> evidence/06-persistence.txt: $(grep -m1 -E '^(PASS|FAIL): persistence' evidence/06-persistence.txt || echo 'см. файл')"
|
||||
|
||||
{
|
||||
echo "# 07 схема БД и миграции ($(now))"
|
||||
psql_c "select * from schema_migrations"
|
||||
psql_c "\\dt"
|
||||
for t in idempotency_keys sessions messages; do psql_c "\\d $t"; done
|
||||
echo "--- пароли хранятся как Argon2id, в sessions только sha256 токена"
|
||||
psql_c "select left(password_hash, 10) as hash_prefix, count(*) from users group by 1"
|
||||
psql_c "select length(token_hash) as token_hash_bytes, count(*) from sessions group by 1"
|
||||
echo "--- миграции выполняет отдельный one-shot сервис migrate (однократно, не репликами)"
|
||||
docker compose ps -a migrate
|
||||
docker compose logs --no-log-prefix migrate | tail -3
|
||||
echo "--- API-реплики стартуют с RUN_MIGRATIONS=0"
|
||||
docker inspect -f '{{range .Config.Env}}{{println .}}{{end}}' $(api_ids | head -1) | grep -E '^(RUN_MIGRATIONS|SESSION_TTL_SECONDS|IDEMPOTENCY_TTL_SECONDS)='
|
||||
echo "--- повторный явный запуск миграции безопасен"
|
||||
docker compose run --rm --no-deps migrate; psql_c "select version from schema_migrations"
|
||||
} > evidence/07-db-migrations.txt 2>&1
|
||||
note "07 БД и миграции -> evidence/07-db-migrations.txt"
|
||||
|
||||
{
|
||||
echo "# 08 недоступность PostgreSQL ($(now))"
|
||||
echo "\$ docker compose stop postgres"; docker compose stop postgres >/dev/null; sleep 4
|
||||
echo "GET /health/ready (через LB) -> $(curl -s -m 15 -o /dev/null -w '%{http_code}' "$BASE/health/ready") (все backend не готовы, LB отвечает 503)"
|
||||
echo "GET /api/v1/users/me -> $(curl -s -m 15 -o /dev/null -w '%{http_code}' -H 'Authorization: Bearer anonymous' "$BASE/api/v1/users/me")"
|
||||
echo "\$ docker compose start postgres"; t0=$(sec); docker compose start postgres >/dev/null
|
||||
if wait_ready && wait_replicas 2; then echo "ready и 2 реплики снова через $(( $(sec) - t0 )) с"; else echo "НЕ ВОССТАНОВИЛСЯ за 90 с"; fi
|
||||
docker compose ps
|
||||
} > evidence/08-db-down.txt 2>&1
|
||||
note "08 БД недоступна -> evidence/08-db-down.txt"
|
||||
|
||||
{
|
||||
echo "# 09 настройка LB: проверки и время обнаружения отказа ($(now))"
|
||||
grep -E '^\s*(option httpchk|http-check|default-server|server-template|timeout|retries|option redispatch|hold valid)' infra/haproxy/haproxy.cfg
|
||||
echo "Максимальное время обнаружения отказа по конфигурации: inter 1s x fall 2 + timeout check 1s = около 3 с (порог задания: 10 с)."
|
||||
echo "--- фактическое состояние backend в HAProxy (через stats нет; смотрим логи LB за последние строки)"
|
||||
docker compose logs --no-log-prefix --tail 15 lb
|
||||
} > evidence/09-lb-config.txt 2>&1
|
||||
note "09 конфигурация LB -> evidence/09-lb-config.txt"
|
||||
|
||||
{
|
||||
echo "# 10 секреты и volumes вне Git ($(now))"
|
||||
if git rev-parse --git-dir >/dev/null 2>&1; then
|
||||
echo "\$ git check-ignore -v secrets/pg_password secrets/database_url .env"; git check-ignore -v secrets/pg_password secrets/database_url .env
|
||||
echo "\$ отслеживаемые файлы, похожие на секреты:"; git ls-files | grep -E '(^|/)(secrets/|\.env$|.*\.(pem|key)$)' || echo "нет"
|
||||
else
|
||||
echo "каталог не является git-репозиторием: запустите проверку в клоне"
|
||||
fi
|
||||
} > evidence/10-git-hygiene.txt 2>&1
|
||||
note "10 git hygiene -> evidence/10-git-hygiene.txt"
|
||||
|
||||
{ echo "# Сводка сбора доказательств lab3 ($(now))"; echo "$RESULTS"; for f in evidence/[01][0-9]-*.txt; do echo; echo "=================== $f"; cat "$f"; done; } > evidence/summary.txt 2>&1
|
||||
echo "$RESULTS"
|
||||
echo
|
||||
echo "Готово. Отправьте мне содержимое evidence/summary.txt (секретов в нём нет, но просмотрите глазами)."
|
||||
@@ -0,0 +1,7 @@
|
||||
@echo off
|
||||
cd /d "%~dp0.."
|
||||
docker compose restart postgres >nul || exit /b 1
|
||||
docker compose exec -T postgres sh -c "i=0; until pg_isready -U msg -d msg -q; do i=$((i+1)); [ $i -gt 60 ] && exit 1; sleep 1; done" || exit /b 1
|
||||
docker compose restart api lb >nul || exit /b 1
|
||||
docker compose up -d --no-build --no-recreate >nul
|
||||
exit /b %errorlevel%
|
||||
@@ -0,0 +1,9 @@
|
||||
#!/bin/sh
|
||||
# Перезапуск всего стенда с сохранением volumes: PostgreSQL -> (ожидание готовности) -> API-реплики -> LB.
|
||||
# Данные не удаляются и не пересоздаются; остановленные реплики заодно запускаются.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.." || exit 1
|
||||
docker compose restart postgres >/dev/null
|
||||
docker compose exec -T postgres sh -c 'i=0; until pg_isready -U msg -d msg -q; do i=$((i+1)); [ "$i" -gt 60 ] && exit 1; sleep 1; done'
|
||||
docker compose restart api lb >/dev/null
|
||||
docker compose up -d --no-build --no-recreate >/dev/null
|
||||
@@ -0,0 +1,11 @@
|
||||
#!/bin/sh
|
||||
# Создаёт локальные секреты (не коммитятся). Безопасно повторять: существующие не перезаписываются.
|
||||
set -eu
|
||||
mkdir -p secrets
|
||||
if [ ! -f secrets/pg_password ]; then
|
||||
head -c 24 /dev/urandom | base64 | tr -d '/+=\n' > secrets/pg_password
|
||||
fi
|
||||
if [ ! -f secrets/database_url ]; then
|
||||
printf 'postgresql://msg:%s@postgres:5432/msg' "$(cat secrets/pg_password)" > secrets/database_url
|
||||
fi
|
||||
chmod 600 secrets/*
|
||||
@@ -0,0 +1,9 @@
|
||||
@echo off
|
||||
rem Stops ONE API replica (TARGET_INSTANCE_ID = X-Instance-Id = short container id) and leaves it stopped.
|
||||
if "%TARGET_INSTANCE_ID%"=="" exit /b 2
|
||||
set TARGET_INSTANCE_ID | findstr /r /x "TARGET_INSTANCE_ID=[a-zA-Z0-9_.-][a-zA-Z0-9_.-]*" >nul || exit /b 2
|
||||
set "CID="
|
||||
for /f %%i in ('docker ps -q --filter "label=com.docker.compose.project=mtusi-lab3" --filter "label=com.docker.compose.service=api" --filter "id=%TARGET_INSTANCE_ID%"') do set "CID=%%i"
|
||||
if "%CID%"=="" exit /b 1
|
||||
docker stop -t 5 %CID% >nul
|
||||
exit /b %errorlevel%
|
||||
@@ -0,0 +1,15 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ОДНУ API-реплику: ту, X-Instance-Id которой передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
|
||||
# X-Instance-Id = hostname контейнера = короткий ID контейнера. БД, LB и volumes не затрагиваются.
|
||||
# Восстановление выполняется отдельно: docker compose start api
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
""|*[!a-zA-Z0-9_.-]*) echo "bad TARGET_INSTANCE_ID" >&2; exit 2 ;;
|
||||
esac
|
||||
cid=$(docker ps -q \
|
||||
--filter "label=com.docker.compose.project=mtusi-lab3" \
|
||||
--filter "label=com.docker.compose.service=api" \
|
||||
--filter "id=$TARGET_INSTANCE_ID")
|
||||
[ -n "$cid" ] || { echo "API replica $TARGET_INSTANCE_ID not found" >&2; exit 1; }
|
||||
docker stop -t 5 "$cid" >/dev/null
|
||||
+433
@@ -0,0 +1,433 @@
|
||||
import base64
|
||||
import binascii
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import secrets
|
||||
import socket
|
||||
import uuid
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
import psycopg
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import VerifyMismatchError, InvalidHashError
|
||||
from psycopg.errors import UniqueViolation
|
||||
from psycopg_pool import ConnectionPool, PoolTimeout
|
||||
from starlette.applications import Starlette
|
||||
from starlette.requests import Request
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
from starlette.responses import JSONResponse, Response
|
||||
from starlette.routing import Route
|
||||
|
||||
from . import migrate
|
||||
|
||||
# Идентификатор реплики: стабилен в жизни процесса. В контейнере hostname = короткий ID контейнера,
|
||||
# по нему scripts/stop-one.* находит именно ту реплику, которая обслужила запрос.
|
||||
INSTANCE_ID = os.environ.get("INSTANCE_ID") or socket.gethostname()
|
||||
SESSION_TTL = int(os.environ.get("SESSION_TTL_SECONDS", "3600"))
|
||||
IDEMPOTENCY_TTL = int(os.environ.get("IDEMPOTENCY_TTL_SECONDS", "86400"))
|
||||
RUN_MIGRATIONS = os.environ.get("RUN_MIGRATIONS", "1") == "1"
|
||||
USERNAME_RE = re.compile(r"^[a-z0-9_]{3,32}$")
|
||||
KEY_RE = re.compile(r"^[A-Za-z0-9._:-]{1,128}$")
|
||||
ph = PasswordHasher()
|
||||
# заранее посчитанный хеш — выравнивает время ответа для неизвестного username
|
||||
DUMMY_HASH = ph.hash("dummy-password-for-timing")
|
||||
|
||||
|
||||
def read_secret(name: str) -> str:
|
||||
path = os.environ.get(name + "_FILE")
|
||||
if path:
|
||||
return open(path, encoding="utf-8").read().strip()
|
||||
return os.environ[name]
|
||||
|
||||
|
||||
DSN = read_secret("DATABASE_URL")
|
||||
pool = ConnectionPool(DSN, min_size=2, max_size=int(os.environ.get("DB_POOL_MAX", "10")),
|
||||
timeout=5, open=False,
|
||||
kwargs={"connect_timeout": 5,
|
||||
"options": "-c lock_timeout=10000 -c idle_in_transaction_session_timeout=15000"})
|
||||
|
||||
|
||||
class ApiError(Exception):
|
||||
def __init__(self, status, code, message, headers=None):
|
||||
self.status, self.code, self.message, self.headers = status, code, message, headers or {}
|
||||
|
||||
|
||||
def bad(msg="Неверный запрос"):
|
||||
return ApiError(400, "invalid_request", msg)
|
||||
|
||||
|
||||
def iso(dt: datetime) -> str:
|
||||
return dt.astimezone(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z")
|
||||
|
||||
|
||||
def parse_uuid(s):
|
||||
try:
|
||||
u = uuid.UUID(s)
|
||||
if str(u) != s.lower():
|
||||
raise ValueError
|
||||
return u
|
||||
except (ValueError, AttributeError, TypeError):
|
||||
raise bad("Неверный UUID")
|
||||
|
||||
|
||||
def user_json(r):
|
||||
return {"id": str(r[0]), "username": r[1], "display_name": r[2], "created_at": iso(r[3])}
|
||||
|
||||
|
||||
def msg_json(r):
|
||||
return {"id": str(r[0]), "chat_id": str(r[1]), "sender_id": str(r[2]), "text": r[3], "created_at": iso(r[4])}
|
||||
|
||||
|
||||
def non_blank(s):
|
||||
return isinstance(s, str) and s.strip() != ""
|
||||
|
||||
|
||||
def body_json(request: Request, allowed: set, required: set):
|
||||
ct = request.headers.get("content-type", "").split(";")[0].strip().lower()
|
||||
if ct != "application/json":
|
||||
raise ApiError(415, "unsupported_media_type", "Нужен application/json")
|
||||
raw = request._body # прочитано заранее в обёртке
|
||||
if len(raw) > MAX_BODY:
|
||||
raise ApiError(413, "payload_too_large", "Слишком большое тело")
|
||||
try:
|
||||
data = json.loads(raw.decode("utf-8"))
|
||||
except (ValueError, UnicodeError):
|
||||
raise bad("Некорректный JSON")
|
||||
if not isinstance(data, dict) or set(data) - allowed or required - set(data):
|
||||
raise bad()
|
||||
return data
|
||||
|
||||
|
||||
def current_user(request: Request, conn):
|
||||
auth = request.headers.get("authorization", "")
|
||||
parts = auth.split(" ", 1)
|
||||
hdr = {"WWW-Authenticate": 'Bearer realm="messenger"'}
|
||||
if len(parts) != 2 or parts[0].lower() != "bearer" or not parts[1].strip():
|
||||
raise ApiError(401, "unauthorized", "Требуется аутентификация", hdr)
|
||||
th = hashlib.sha256(parts[1].strip().encode()).digest()
|
||||
row = conn.execute(
|
||||
"SELECT u.id,u.username,u.display_name,u.created_at FROM sessions s JOIN users u ON u.id=s.user_id "
|
||||
"WHERE s.token_hash=%s AND s.revoked_at IS NULL AND s.expires_at>now()", (th,)).fetchone()
|
||||
if not row:
|
||||
raise ApiError(401, "unauthorized", "Требуется аутентификация", hdr)
|
||||
return row, th
|
||||
|
||||
|
||||
MAX_BODY = 1024 * 1024
|
||||
|
||||
|
||||
async def read_body_limited(request: Request):
|
||||
"""Читает тело с лимитом: 413 до того, как всё тело окажется в памяти."""
|
||||
cl = request.headers.get("content-length")
|
||||
if cl is not None and (not cl.isdigit() or int(cl) > MAX_BODY):
|
||||
raise ApiError(413, "payload_too_large", "Слишком большое тело")
|
||||
buf = bytearray()
|
||||
async for chunk in request.stream():
|
||||
buf += chunk
|
||||
if len(buf) > MAX_BODY:
|
||||
raise ApiError(413, "payload_too_large", "Слишком большое тело")
|
||||
request._body = bytes(buf)
|
||||
|
||||
|
||||
def db(fn):
|
||||
"""Обёртка эндпоинта: соединение из пула, единая обработка ошибок."""
|
||||
async def wrapper(request: Request):
|
||||
rid = request.headers.get("x-request-id") or uuid.uuid4().hex
|
||||
try:
|
||||
await read_body_limited(request)
|
||||
resp = await run_in_threadpool(fn, request)
|
||||
except ApiError as e:
|
||||
resp = JSONResponse({"error": {"code": e.code, "message": e.message, "request_id": rid}},
|
||||
status_code=e.status, headers=e.headers)
|
||||
except (PoolTimeout, psycopg.OperationalError):
|
||||
resp = JSONResponse({"error": {"code": "unavailable", "message": "Сервис временно недоступен",
|
||||
"request_id": rid}}, status_code=503)
|
||||
except Exception:
|
||||
resp = JSONResponse({"error": {"code": "internal_error", "message": "Внутренняя ошибка",
|
||||
"request_id": rid}}, status_code=500)
|
||||
resp.headers["X-Request-Id"] = rid
|
||||
resp.headers["X-Instance-Id"] = INSTANCE_ID
|
||||
return resp
|
||||
return wrapper
|
||||
|
||||
|
||||
def page_args(request: Request):
|
||||
q = request.query_params
|
||||
if len(q.getlist("limit")) > 1 or len(q.getlist("cursor")) > 1:
|
||||
raise bad("limit/cursor можно указать один раз")
|
||||
limit = 50
|
||||
if q.getlist("limit"):
|
||||
t = q.get("limit")
|
||||
if not (t.isascii() and t.isdigit()) or not 1 <= int(t) <= 100:
|
||||
raise bad("limit")
|
||||
limit = int(t)
|
||||
return limit, q.get("cursor") or None
|
||||
|
||||
|
||||
def enc_cursor(kind, scope, ts, id_):
|
||||
return base64.urlsafe_b64encode(json.dumps([kind, scope, ts, str(id_)]).encode()).decode().rstrip("=")
|
||||
|
||||
|
||||
def dec_cursor(c, kind, scope):
|
||||
try:
|
||||
v = json.loads(base64.urlsafe_b64decode(c + "=" * (-len(c) % 4)))
|
||||
if v[0] != kind or v[1] != scope:
|
||||
raise ValueError
|
||||
return datetime.fromisoformat(v[2].replace("Z", "+00:00")), uuid.UUID(v[3])
|
||||
except Exception:
|
||||
raise bad("cursor")
|
||||
|
||||
|
||||
async def live(request):
|
||||
return JSONResponse({"status": "ok"}, headers={"X-Request-Id": request.headers.get("x-request-id") or uuid.uuid4().hex, "X-Instance-Id": INSTANCE_ID})
|
||||
|
||||
|
||||
@db
|
||||
def ready(request):
|
||||
# готов только если БД доступна и миграции выполнены до версии, которую ожидает эта сборка
|
||||
with pool.connection(timeout=2) as conn:
|
||||
row = conn.execute("SELECT 1 FROM schema_migrations WHERE version=%s", (migrate.latest(),)).fetchone()
|
||||
if not row:
|
||||
raise ApiError(503, "unavailable", "Схема БД не обновлена")
|
||||
return JSONResponse({"status": "ok"})
|
||||
|
||||
|
||||
@db
|
||||
def create_user(request):
|
||||
d = body_json(request, {"username", "display_name", "password"}, {"username", "display_name", "password"})
|
||||
u, dn, pw = d["username"], d["display_name"], d["password"]
|
||||
if not (isinstance(u, str) and USERNAME_RE.fullmatch(u)):
|
||||
raise bad("username")
|
||||
if not (non_blank(dn) and len(dn) <= 100):
|
||||
raise bad("display_name")
|
||||
if not (isinstance(pw, str) and 12 <= len(pw) <= 128):
|
||||
raise bad("password")
|
||||
h = ph.hash(pw)
|
||||
with pool.connection() as conn:
|
||||
try:
|
||||
r = conn.execute("INSERT INTO users(id,username,display_name,password_hash) VALUES (%s,%s,%s,%s) "
|
||||
"RETURNING id,username,display_name,created_at", (uuid.uuid4(), u, dn, h)).fetchone()
|
||||
except UniqueViolation:
|
||||
raise ApiError(409, "conflict", "Имя пользователя занято")
|
||||
return JSONResponse(user_json(r), status_code=201)
|
||||
|
||||
|
||||
@db
|
||||
def login(request):
|
||||
ch = {"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}
|
||||
fail = ApiError(401, "unauthorized", "Неверные учётные данные", ch)
|
||||
auth = request.headers.get("authorization", "")
|
||||
parts = auth.split(" ", 1)
|
||||
if len(parts) != 2 or parts[0].lower() != "basic":
|
||||
raise fail
|
||||
try:
|
||||
creds = base64.b64decode(parts[1].strip(), validate=True).decode("utf-8")
|
||||
except (binascii.Error, UnicodeError):
|
||||
raise fail
|
||||
if ":" not in creds:
|
||||
raise fail
|
||||
username, password = creds.split(":", 1)
|
||||
with pool.connection() as conn:
|
||||
row = conn.execute("SELECT id,username,display_name,created_at,password_hash FROM users WHERE username=%s",
|
||||
(username,)).fetchone()
|
||||
try:
|
||||
ph.verify(row[4] if row else DUMMY_HASH, password)
|
||||
ok = row is not None
|
||||
except (VerifyMismatchError, InvalidHashError):
|
||||
ok = False
|
||||
if not ok:
|
||||
raise fail
|
||||
token = secrets.token_urlsafe(32) # 256 бит
|
||||
exp = datetime.now(timezone.utc) + timedelta(seconds=SESSION_TTL)
|
||||
conn.execute("INSERT INTO sessions(token_hash,user_id,expires_at) VALUES (%s,%s,%s)",
|
||||
(hashlib.sha256(token.encode()).digest(), row[0], exp))
|
||||
return JSONResponse({"token": token, "token_type": "Bearer", "expires_at": iso(exp), "user": user_json(row)},
|
||||
status_code=201)
|
||||
|
||||
|
||||
@db
|
||||
def logout(request):
|
||||
with pool.connection() as conn:
|
||||
_, th = current_user(request, conn)
|
||||
conn.execute("UPDATE sessions SET revoked_at=now() WHERE token_hash=%s", (th,))
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
@db
|
||||
def me(request):
|
||||
with pool.connection() as conn:
|
||||
row, _ = current_user(request, conn)
|
||||
return JSONResponse(user_json(row))
|
||||
|
||||
|
||||
def chat_json(conn, r):
|
||||
members = [str(x[0]) for x in conn.execute(
|
||||
"SELECT user_id FROM chat_members WHERE chat_id=%s ORDER BY user_id", (r[0],))]
|
||||
return {"id": str(r[0]), "title": r[1], "member_ids": members, "created_at": iso(r[2])}
|
||||
|
||||
|
||||
@db
|
||||
def create_chat(request):
|
||||
with pool.connection() as conn:
|
||||
user, _ = current_user(request, conn)
|
||||
d = body_json(request, {"title", "member_ids"}, {"title", "member_ids"})
|
||||
t, m = d["title"], d["member_ids"]
|
||||
if not (non_blank(t) and len(t) <= 100):
|
||||
raise bad("title")
|
||||
if not (isinstance(m, list) and 1 <= len(m) <= 100 and all(isinstance(x, str) for x in m)):
|
||||
raise bad("member_ids")
|
||||
ids = [parse_uuid(x) for x in m]
|
||||
if len(set(ids)) != len(ids) or user[0] not in ids:
|
||||
raise bad("member_ids")
|
||||
found = conn.execute("SELECT count(*) FROM users WHERE id = ANY(%s)", (ids,)).fetchone()[0]
|
||||
if found != len(ids):
|
||||
raise bad("member_ids")
|
||||
cid = uuid.uuid4()
|
||||
with conn.transaction(): # чат и участники — атомарно
|
||||
r = conn.execute("INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING id,title,created_at", (cid, t)).fetchone()
|
||||
with conn.cursor() as cur:
|
||||
cur.executemany("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)", [(cid, i) for i in ids])
|
||||
return JSONResponse(chat_json(conn, r), status_code=201)
|
||||
|
||||
|
||||
@db
|
||||
def list_chats(request):
|
||||
with pool.connection() as conn:
|
||||
user, _ = current_user(request, conn)
|
||||
limit, cursor = page_args(request)
|
||||
args = [user[0]]
|
||||
cond = ""
|
||||
if cursor:
|
||||
ts, i = dec_cursor(cursor, "chats", str(user[0]))
|
||||
cond = "AND (c.created_at,c.id) > (%s,%s)"
|
||||
args += [ts, i]
|
||||
rows = conn.execute(
|
||||
"SELECT c.id,c.title,c.created_at FROM chats c JOIN chat_members m ON m.chat_id=c.id AND m.user_id=%s "
|
||||
f"WHERE true {cond} ORDER BY c.created_at,c.id LIMIT %s", args + [limit + 1]).fetchall()
|
||||
more = len(rows) > limit
|
||||
rows = rows[:limit]
|
||||
nxt = enc_cursor("chats", str(user[0]), iso(rows[-1][2]), rows[-1][0]) if more else None
|
||||
return JSONResponse({"items": [chat_json(conn, r) for r in rows], "next_cursor": nxt})
|
||||
|
||||
|
||||
def get_chat_or_404(conn, user, chat_id):
|
||||
cid = parse_uuid(chat_id)
|
||||
r = conn.execute("SELECT c.id,c.title,c.created_at FROM chats c JOIN chat_members m "
|
||||
"ON m.chat_id=c.id WHERE c.id=%s AND m.user_id=%s", (cid, user[0])).fetchone()
|
||||
if not r:
|
||||
raise ApiError(404, "not_found", "Объект не найден")
|
||||
return r
|
||||
|
||||
|
||||
@db
|
||||
def get_chat(request):
|
||||
with pool.connection() as conn:
|
||||
user, _ = current_user(request, conn)
|
||||
r = get_chat_or_404(conn, user, request.path_params["chat_id"])
|
||||
return JSONResponse(chat_json(conn, r))
|
||||
|
||||
|
||||
def canonical_hash(text: str) -> bytes:
|
||||
"""Хэш семантики тела: порядок ключей JSON и отсутствие attachment_ids вместо [] не различаются."""
|
||||
canon = json.dumps({"text": text, "attachment_ids": []}, sort_keys=True, ensure_ascii=False, separators=(",", ":"))
|
||||
return hashlib.sha256(canon.encode("utf-8")).digest()
|
||||
|
||||
|
||||
@db
|
||||
def send_message(request):
|
||||
with pool.connection() as conn:
|
||||
user, _ = current_user(request, conn)
|
||||
cid = request.path_params["chat_id"]
|
||||
chat = get_chat_or_404(conn, user, cid)
|
||||
key = request.headers.get("idempotency-key")
|
||||
if key is None or not KEY_RE.fullmatch(key):
|
||||
raise bad("Idempotency-Key обязателен: [A-Za-z0-9._:-]{1,128}")
|
||||
d = body_json(request, {"text"}, {"text"})
|
||||
t = d["text"]
|
||||
if not (non_blank(t) and len(t) <= 4000):
|
||||
raise bad("text")
|
||||
rhash = canonical_hash(t)
|
||||
path = f"/api/v1/chats/{chat[0]}/messages"
|
||||
scope = (user[0], "POST", path, key)
|
||||
with conn.transaction():
|
||||
# просроченный ключ (старше TTL) считается свободным
|
||||
conn.execute("DELETE FROM idempotency_keys WHERE user_id=%s AND method=%s AND path=%s AND key=%s "
|
||||
"AND expires_at<=now()", scope)
|
||||
# Захват ключа. При конкурентном повторе (в том числе через другую реплику) вторая вставка ждёт
|
||||
# завершения первой транзакции; после COMMIT она не вставляет строку и читает сохранённый результат,
|
||||
# после ROLLBACK (например 5xx) получает ключ сама. Дубля сообщения быть не может.
|
||||
claimed = conn.execute(
|
||||
"INSERT INTO idempotency_keys(user_id,method,path,key,request_hash,status_code,response,expires_at) "
|
||||
"VALUES (%s,%s,%s,%s,%s,0,'{}'::jsonb, now() + make_interval(secs => %s)) "
|
||||
"ON CONFLICT DO NOTHING RETURNING 1", scope + (rhash, IDEMPOTENCY_TTL)).fetchone()
|
||||
if not claimed:
|
||||
saved = conn.execute("SELECT request_hash,status_code,response FROM idempotency_keys "
|
||||
"WHERE user_id=%s AND method=%s AND path=%s AND key=%s", scope).fetchone()
|
||||
if saved is None: # строка удалена между статементами (истёк TTL): клиент может повторить
|
||||
raise ApiError(409, "conflict", "Ключ идемпотентности занят, повторите запрос")
|
||||
if bytes(saved[0]) != rhash:
|
||||
raise ApiError(409, "conflict", "Idempotency-Key уже использован с другим сообщением")
|
||||
return JSONResponse(saved[2], status_code=saved[1])
|
||||
r = conn.execute("INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) "
|
||||
"RETURNING id,chat_id,sender_id,text,created_at",
|
||||
(uuid.uuid4(), chat[0], user[0], t)).fetchone()
|
||||
out = msg_json(r)
|
||||
conn.execute("UPDATE idempotency_keys SET status_code=201, response=%s::jsonb "
|
||||
"WHERE user_id=%s AND method=%s AND path=%s AND key=%s",
|
||||
(json.dumps(out, ensure_ascii=False),) + scope)
|
||||
return JSONResponse(out, status_code=201)
|
||||
|
||||
|
||||
@db
|
||||
def list_messages(request):
|
||||
with pool.connection() as conn:
|
||||
user, _ = current_user(request, conn)
|
||||
cid = request.path_params["chat_id"]
|
||||
chat = get_chat_or_404(conn, user, cid)
|
||||
limit, cursor = page_args(request)
|
||||
args = [chat[0]]
|
||||
cond = ""
|
||||
if cursor:
|
||||
ts, i = dec_cursor(cursor, "messages", str(chat[0]))
|
||||
cond = "AND (created_at,id) > (%s,%s)"
|
||||
args += [ts, i]
|
||||
rows = conn.execute("SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=%s "
|
||||
f"{cond} ORDER BY created_at,id LIMIT %s", args + [limit + 1]).fetchall()
|
||||
more = len(rows) > limit
|
||||
rows = rows[:limit]
|
||||
nxt = enc_cursor("messages", str(chat[0]), iso(rows[-1][4]), rows[-1][0]) if more else None
|
||||
return JSONResponse({"items": [msg_json(r) for r in rows], "next_cursor": nxt})
|
||||
|
||||
|
||||
async def lifespan(app):
|
||||
if RUN_MIGRATIONS: # в compose-стенде миграции выполняет отдельный one-shot сервис migrate
|
||||
migrate.run(DSN)
|
||||
pool.open(wait=True, timeout=30)
|
||||
yield
|
||||
pool.close()
|
||||
|
||||
|
||||
async def http_error(request, exc):
|
||||
rid = request.headers.get("x-request-id") or uuid.uuid4().hex
|
||||
code, msg = (("not_found", "Объект не найден") if exc.status_code == 404
|
||||
else ("invalid_request", "Метод не поддерживается"))
|
||||
return JSONResponse({"error": {"code": code, "message": msg, "request_id": rid}}, status_code=exc.status_code,
|
||||
headers={"X-Request-Id": rid, "X-Instance-Id": INSTANCE_ID})
|
||||
|
||||
|
||||
P = "/api/v1"
|
||||
app = Starlette(lifespan=lifespan, exception_handlers={404: http_error, 405: http_error}, routes=[
|
||||
Route("/health/live", live),
|
||||
Route("/health/ready", ready),
|
||||
Route(P + "/users", create_user, methods=["POST"]),
|
||||
Route(P + "/users/me", me),
|
||||
Route(P + "/auth/sessions", login, methods=["POST"]),
|
||||
Route(P + "/auth/sessions/current", logout, methods=["DELETE"]),
|
||||
Route(P + "/chats", create_chat, methods=["POST"]),
|
||||
Route(P + "/chats", list_chats, methods=["GET"]),
|
||||
Route(P + "/chats/{chat_id}", get_chat),
|
||||
Route(P + "/chats/{chat_id}/messages", send_message, methods=["POST"]),
|
||||
Route(P + "/chats/{chat_id}/messages", list_messages, methods=["GET"]),
|
||||
])
|
||||
@@ -0,0 +1,38 @@
|
||||
"""Версионируемые миграции: применяются по порядку, повторный запуск безопасен."""
|
||||
import pathlib
|
||||
import psycopg
|
||||
|
||||
DIR = pathlib.Path(__file__).resolve().parent.parent / "migrations"
|
||||
|
||||
|
||||
def latest() -> str:
|
||||
"""Имя последней миграции, которую ожидает эта сборка приложения."""
|
||||
return sorted(f.name for f in DIR.glob("*.sql"))[-1]
|
||||
|
||||
|
||||
def run(dsn: str) -> None:
|
||||
with psycopg.connect(dsn, autocommit=True) as conn:
|
||||
# advisory lock: несколько реплик/перезапусков не мигрируют одновременно
|
||||
conn.execute("SELECT pg_advisory_lock(727001)")
|
||||
try:
|
||||
conn.execute(
|
||||
"CREATE TABLE IF NOT EXISTS schema_migrations ("
|
||||
"version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())"
|
||||
)
|
||||
done = {r[0] for r in conn.execute("SELECT version FROM schema_migrations")}
|
||||
for f in sorted(DIR.glob("*.sql")):
|
||||
if f.name in done:
|
||||
continue
|
||||
with conn.transaction():
|
||||
conn.execute(f.read_text(encoding="utf-8"))
|
||||
conn.execute("INSERT INTO schema_migrations(version) VALUES (%s)", (f.name,))
|
||||
finally:
|
||||
conn.execute("SELECT pg_advisory_unlock(727001)")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
# Однократный запуск: python -m app.migrate (DATABASE_URL_FILE или DATABASE_URL)
|
||||
import os
|
||||
path = os.environ.get("DATABASE_URL_FILE")
|
||||
run(open(path, encoding="utf-8").read().strip() if path else os.environ["DATABASE_URL"])
|
||||
print("migrations: ok, latest =", latest())
|
||||
@@ -0,0 +1,39 @@
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY,
|
||||
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
|
||||
CREATE TABLE chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE INDEX chats_created_idx ON chats (created_at, id);
|
||||
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id);
|
||||
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
sender_id uuid NOT NULL REFERENCES users(id),
|
||||
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
-- keyset-пагинация истории: WHERE chat_id=$1 AND (created_at,id) > ($2,$3) ORDER BY created_at,id
|
||||
CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id);
|
||||
|
||||
CREATE TABLE sessions (
|
||||
token_hash bytea PRIMARY KEY, -- sha256(token); сам токен не хранится
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
expires_at timestamptz NOT NULL,
|
||||
revoked_at timestamptz
|
||||
);
|
||||
CREATE INDEX sessions_expires_idx ON sessions (expires_at);
|
||||
@@ -0,0 +1,15 @@
|
||||
-- Общая идемпотентность отправки сообщений (lab3): ключ уникален в области пользователь + метод + путь + ключ.
|
||||
-- Строка вставляется в той же транзакции, что и сообщение, поэтому побочный эффект и результат фиксируются атомарно.
|
||||
CREATE TABLE idempotency_keys (
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
method text NOT NULL,
|
||||
path text NOT NULL,
|
||||
key text NOT NULL CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'),
|
||||
request_hash bytea NOT NULL, -- sha256 канонического JSON тела
|
||||
status_code integer NOT NULL,
|
||||
response jsonb NOT NULL, -- исходный ответ, возвращается при повторе
|
||||
created_at timestamptz NOT NULL DEFAULT now(),
|
||||
expires_at timestamptz NOT NULL,
|
||||
PRIMARY KEY (user_id, method, path, key)
|
||||
);
|
||||
CREATE INDEX idempotency_expires_idx ON idempotency_keys (expires_at);
|
||||
@@ -0,0 +1,4 @@
|
||||
starlette==0.41.3
|
||||
uvicorn==0.32.1
|
||||
psycopg[binary,pool]==3.2.3
|
||||
argon2-cffi==23.1.0
|
||||
@@ -0,0 +1,323 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Собственные проверки lab2+lab3 (дополняют публичный smoke, ничего не ослабляют).
|
||||
|
||||
python student-tests/lab2_checks.py --base-url http://localhost:8080 # основные
|
||||
python student-tests/lab2_checks.py --base-url http://localhost:8080 --mode idem # идемпотентность и реплики (lab3)
|
||||
python student-tests/lab2_checks.py --base-url http://localhost:8080 --mode ttl # при SESSION_TTL_SECONDS=2
|
||||
|
||||
Только стандартная библиотека. Токены и пароли не печатаются.
|
||||
"""
|
||||
import argparse, base64, http.client, json, sys, threading, time, urllib.error, urllib.parse, urllib.request, uuid
|
||||
|
||||
PW = "correct-horse-battery"
|
||||
fails = []
|
||||
|
||||
|
||||
def call(base, method, path, body=None, headers=None, raw=None):
|
||||
h = dict(headers or {})
|
||||
data = raw
|
||||
if body is not None:
|
||||
data = json.dumps(body).encode()
|
||||
h.setdefault("Content-Type", "application/json")
|
||||
req = urllib.request.Request(base + path, data=data, headers=h, method=method)
|
||||
try:
|
||||
with urllib.request.urlopen(req, timeout=15) as r:
|
||||
return r.status, {k.lower(): v for k, v in r.headers.items()}, r.read()
|
||||
except urllib.error.HTTPError as e:
|
||||
return e.code, {k.lower(): v for k, v in e.headers.items()}, e.read()
|
||||
|
||||
|
||||
def post_big(base, path, size):
|
||||
"""POST тела size байт; сервер может ответить 413 и закрыть соединение раньше, чем тело отправлено."""
|
||||
u = urllib.parse.urlsplit(base)
|
||||
conn = http.client.HTTPConnection(u.hostname, u.port, timeout=15)
|
||||
conn.putrequest("POST", u.path + path)
|
||||
conn.putheader("Content-Type", "application/json")
|
||||
conn.putheader("Content-Length", str(size))
|
||||
conn.endheaders()
|
||||
try:
|
||||
conn.send(b"{" + b" " * (size - 2) + b"}")
|
||||
except OSError:
|
||||
pass # сервер уже ответил и закрыл соединение
|
||||
try:
|
||||
return conn.getresponse().status
|
||||
except (OSError, http.client.HTTPException) as e:
|
||||
return "нет ответа: %s" % type(e).__name__
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def js(b):
|
||||
try:
|
||||
return json.loads(b)
|
||||
except ValueError:
|
||||
return None
|
||||
|
||||
|
||||
def check(name, ok, detail=""):
|
||||
print(("PASS" if ok else "FAIL") + ": " + name + ("" if ok else " -> " + detail))
|
||||
if not ok:
|
||||
fails.append(name)
|
||||
|
||||
|
||||
def basic(u, p):
|
||||
return {"Authorization": "Basic " + base64.b64encode(f"{u}:{p}".encode()).decode()}
|
||||
|
||||
|
||||
def bearer(t):
|
||||
return {"Authorization": "Bearer " + t}
|
||||
|
||||
|
||||
def H(t, key=None):
|
||||
"""Заголовки отправки сообщения (lab3): Bearer + Idempotency-Key (по умолчанию новый)."""
|
||||
return {**bearer(t), "Idempotency-Key": key or uuid.uuid4().hex}
|
||||
|
||||
|
||||
class Api:
|
||||
def __init__(self, base):
|
||||
self.base = base + "/api/v1"
|
||||
|
||||
def __call__(self, *a, **k):
|
||||
return call(self.base, *a, **k)
|
||||
|
||||
def user(self, prefix="u"):
|
||||
name = f"{prefix}_{uuid.uuid4().hex[:10]}"
|
||||
s, _, b = self("POST", "/users", {"username": name, "display_name": name, "password": PW})
|
||||
assert s == 201, f"create user: {s}"
|
||||
u = js(b)
|
||||
s, _, b = self("POST", "/auth/sessions", headers=basic(name, PW))
|
||||
assert s == 201, f"login: {s}"
|
||||
return name, u["id"], js(b)["token"]
|
||||
|
||||
|
||||
def main_checks(api):
|
||||
a_name, a_id, a_tok = api.user("alice")
|
||||
b_name, b_id, b_tok = api.user("bob")
|
||||
c_name, c_id, c_tok = api.user("carol")
|
||||
|
||||
# --- регистрация
|
||||
s, _, _ = api("POST", "/users", {"username": a_name, "display_name": "x", "password": PW})
|
||||
check("повторный username -> 409", s == 409, str(s))
|
||||
s, _, b = api("POST", "/users", {"username": "x_" + uuid.uuid4().hex[:8], "display_name": "x", "password": "short"})
|
||||
check("пароль короче 12 -> 400", s == 400, str(s))
|
||||
s, _, b = api("POST", "/users", {"username": "x_" + uuid.uuid4().hex[:8], "display_name": "x", "password": PW, "extra": 1})
|
||||
check("лишнее поле -> 400", s == 400, str(s))
|
||||
s, _, b = api("GET", "/users/me", headers=bearer(a_tok))
|
||||
me = js(b) or {}
|
||||
check("User не содержит пароль/hash/токен", s == 200 and not ({"password", "password_hash", "token"} & set(me)), str(sorted(me)))
|
||||
|
||||
res = []
|
||||
rname = "race_" + uuid.uuid4().hex[:10]
|
||||
def reg():
|
||||
res.append(api("POST", "/users", {"username": rname, "display_name": "r", "password": PW})[0])
|
||||
ts = [threading.Thread(target=reg) for _ in range(10)]
|
||||
[t.start() for t in ts]; [t.join() for t in ts]
|
||||
check("гонка одинакового username: ровно один 201, остальные 409", sorted(res) == [201] + [409] * 9, str(sorted(res)))
|
||||
|
||||
# --- вход
|
||||
s1, h1, b1 = api("POST", "/auth/sessions", headers=basic(a_name, "wrong-password-123"))
|
||||
s2, h2, b2 = api("POST", "/auth/sessions", headers=basic("nosuchuser_zz", PW))
|
||||
e1, e2 = (js(b1) or {}).get("error", {}), (js(b2) or {}).get("error", {})
|
||||
check("неверный пароль и неизвестный пользователь неразличимы (401, тот же code/message/заголовок)",
|
||||
s1 == s2 == 401 and e1.get("code") == e2.get("code") and e1.get("message") == e2.get("message")
|
||||
and h1.get("www-authenticate") == h2.get("www-authenticate") == 'Basic realm="messenger", charset="UTF-8"',
|
||||
f"{s1}/{s2} {h1.get('www-authenticate')}")
|
||||
s, _, _ = api("POST", "/auth/sessions", {"username": a_name, "password": PW})
|
||||
check("вход JSON-телом без Basic -> 401", s == 401, str(s))
|
||||
s, _, _ = api("POST", "/auth/sessions", headers=bearer(a_tok))
|
||||
check("Bearer на POST /auth/sessions -> 401", s == 401, str(s))
|
||||
s, h, b = api("POST", "/auth/sessions", headers=basic(a_name, PW))
|
||||
d = js(b) or {}
|
||||
check("токен >=256 бит, token_type Bearer", s == 201 and len(d.get("token", "")) >= 43 and d.get("token_type") == "Bearer", str(s))
|
||||
|
||||
# --- бизнес-endpoint принимают только Bearer
|
||||
s, h, _ = api("GET", "/users/me", headers=basic(a_name, PW))
|
||||
check("Basic на бизнес-endpoint -> 401 + WWW-Authenticate: Bearer", s == 401 and h.get("www-authenticate", "").startswith("Bearer"), str(s))
|
||||
s, _, _ = api("GET", "/users/me", headers={"X-User-Id": a_id})
|
||||
check("один X-User-Id доступа не даёт", s == 401, str(s))
|
||||
s, _, b = api("GET", "/users/me", headers={**bearer(a_tok), "X-User-Id": b_id})
|
||||
check("X-User-Id игнорируется: владелец определяется токеном", s == 200 and (js(b) or {}).get("id") == a_id, str(s))
|
||||
s, _, _ = api("GET", "/users/me", headers=bearer("x" * 43))
|
||||
check("неизвестный токен -> 401", s == 401, str(s))
|
||||
|
||||
# --- запрос-идентификатор в ошибках
|
||||
s, h, b = api("GET", "/chats")
|
||||
check("X-Request-Id совпадает с request_id в теле ошибки", s == 401 and h.get("x-request-id") == (js(b) or {}).get("error", {}).get("request_id"), str(s))
|
||||
|
||||
# --- чаты и доступ
|
||||
s, _, b = api("GET", "/chats", headers=bearer(a_tok))
|
||||
before = len((js(b) or {}).get("items", []))
|
||||
s, _, b = api("POST", "/chats", {"title": "t", "member_ids": [a_id, str(uuid.uuid4())]}, bearer(a_tok))
|
||||
check("чат с неизвестным участником -> 400", s == 400, str(s))
|
||||
s, _, b = api("GET", "/chats", headers=bearer(a_tok))
|
||||
check("после отказа новый чат не появился (нет частичной записи)", len((js(b) or {}).get("items", [])) == before)
|
||||
s, _, b = api("POST", "/chats", {"title": "ab", "member_ids": [a_id, b_id]}, bearer(a_tok))
|
||||
chat = js(b) or {}
|
||||
check("чат создан с обоими участниками", s == 201 and sorted(chat.get("member_ids", [])) == sorted([a_id, b_id]), str(s))
|
||||
cid = chat.get("id", "")
|
||||
s, _, _ = api("POST", "/chats", {"title": "ab", "member_ids": [b_id]}, bearer(a_tok))
|
||||
check("создатель обязан быть среди member_ids -> 400", s == 400, str(s))
|
||||
for path in (f"/chats/{cid}", f"/chats/{cid}/messages"):
|
||||
s, _, _ = api("GET", path, headers=bearer(c_tok))
|
||||
check(f"посторонний: GET {path.split(cid)[1] or '/chat'} -> 404", s == 404, str(s))
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "hi"}, H(c_tok))
|
||||
check("посторонний не может писать -> 404", s == 404, str(s))
|
||||
for path in ("/chats/not-a-uuid", "/chats/not-a-uuid/messages"):
|
||||
s, _, _ = api("GET", path, headers=bearer(a_tok))
|
||||
check(f"неверный UUID {path} -> 400", s == 400, str(s))
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "hi", "sender_id": b_id}, H(a_tok))
|
||||
check("sender_id в запросе не принимается -> 400", s == 400, str(s))
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": " "}, H(a_tok))
|
||||
check("пробельный текст -> 400", s == 400, str(s))
|
||||
s, _, b = api("POST", f"/chats/{cid}/messages", {"text": "привет 👋"}, H(b_tok))
|
||||
check("отправитель берётся из токена", s == 201 and (js(b) or {}).get("sender_id") == b_id, str(s))
|
||||
|
||||
# --- пагинация
|
||||
for i in range(5):
|
||||
api("POST", f"/chats/{cid}/messages", {"text": f"m{i}"}, H(a_tok))
|
||||
seen, cur, pages = [], None, 0
|
||||
while True:
|
||||
s, _, b = api("GET", f"/chats/{cid}/messages?limit=2" + (f"&cursor={cur}" if cur else ""), headers=bearer(a_tok))
|
||||
d = js(b) or {}
|
||||
seen += [m["id"] for m in d.get("items", [])]
|
||||
pages += 1
|
||||
cur = d.get("next_cursor")
|
||||
if not cur or pages > 10:
|
||||
break
|
||||
check("пагинация limit=2: без повторов, все 6 сообщений", len(seen) == len(set(seen)) == 6, f"{len(seen)}/{len(set(seen))}")
|
||||
s, _, b = api("GET", f"/chats/{cid}/messages?limit=2", headers=bearer(a_tok))
|
||||
cur = (js(b) or {}).get("next_cursor")
|
||||
s, _, b = api("POST", "/chats", {"title": "other", "member_ids": [a_id]}, bearer(a_tok))
|
||||
other = (js(b) or {}).get("id")
|
||||
s, _, _ = api("GET", f"/chats/{other}/messages?cursor={cur}", headers=bearer(a_tok))
|
||||
check("cursor от другого чата -> 400", s == 400, str(s))
|
||||
for q in ("limit=0", "limit=101", "limit=abc", "limit=%2B5", "limit=2&limit=3"):
|
||||
s, _, _ = api("GET", f"/chats/{cid}/messages?{q}", headers=bearer(a_tok))
|
||||
check(f"?{q} -> 400", s == 400, str(s))
|
||||
|
||||
# --- тело запроса
|
||||
s = post_big(api.base, "/users", 1100 * 1024)
|
||||
check("тело >1 MiB -> 413", s == 413, str(s))
|
||||
s, _, _ = api("POST", "/users", raw=b"{}", headers={"Content-Type": "text/plain"})
|
||||
check("не JSON Content-Type -> 415", s == 415, str(s))
|
||||
s, _, _ = api("POST", "/users", raw=b"{", headers={"Content-Type": "application/json"})
|
||||
check("битый JSON -> 400", s == 400, str(s))
|
||||
|
||||
# --- logout (в конце: отзывает токен)
|
||||
s, _, _ = api("DELETE", "/auth/sessions/current", headers=bearer(a_tok))
|
||||
check("logout -> 204", s == 204, str(s))
|
||||
s, h, _ = api("DELETE", "/auth/sessions/current", headers=bearer(a_tok))
|
||||
check("повторный logout с отозванным токеном -> 401", s == 401, str(s))
|
||||
s, h, _ = api("GET", "/users/me", headers=bearer(a_tok))
|
||||
check("отозванный токен -> 401 + WWW-Authenticate: Bearer", s == 401 and h.get("www-authenticate", "").startswith("Bearer"), str(s))
|
||||
s, _, _ = api("GET", "/users/me", headers=bearer(b_tok))
|
||||
check("logout одного пользователя не затрагивает чужие сессии", s == 200, str(s))
|
||||
|
||||
|
||||
def idempotency_checks(api, min_instances):
|
||||
a_name, a_id, a_tok = api.user("alice")
|
||||
b_name, b_id, b_tok = api.user("bob")
|
||||
c_name, c_id, c_tok = api.user("carol")
|
||||
s, _, b = api("POST", "/chats", {"title": "idem", "member_ids": [a_id, b_id]}, bearer(a_tok))
|
||||
cid = js(b)["id"]
|
||||
s, _, b = api("POST", "/chats", {"title": "idem2", "member_ids": [a_id, b_id]}, bearer(a_tok))
|
||||
cid2 = js(b)["id"]
|
||||
|
||||
def hist(chat, tok):
|
||||
s, _, b = api("GET", f"/chats/{chat}/messages?limit=100", headers=bearer(tok))
|
||||
return (js(b) or {}).get("items", [])
|
||||
|
||||
# --- несколько реплик за LB, одна сессия, без повторного входа
|
||||
seen = set()
|
||||
for _ in range(60):
|
||||
s, h, _ = api("GET", "/users/me", headers=bearer(a_tok))
|
||||
if s != 200:
|
||||
break
|
||||
seen.add(h.get("x-instance-id"))
|
||||
check(f"через LB отвечают >= {min_instances} реплик с одним токеном (X-Instance-Id: {len(seen)})",
|
||||
len(seen) >= min_instances and None not in seen, str(seen))
|
||||
|
||||
# --- базовая идемпотентность
|
||||
key = "k-" + uuid.uuid4().hex
|
||||
s1, h1, b1 = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(a_tok, key))
|
||||
s2, h2, b2 = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(a_tok, key))
|
||||
check("повтор с тем же ключом: тот же 201 и то же сообщение", s1 == s2 == 201 and js(b1) == js(b2), f"{s1}/{s2}")
|
||||
check("повтор не создал дубль", len([m for m in hist(cid, a_tok) if m["text"] == "один раз"]) == 1)
|
||||
s, _, b = api("POST", f"/chats/{cid}/messages", {"text": "другой текст"}, H(a_tok, key))
|
||||
check("тот же ключ с другим телом -> 409", s == 409, str(s))
|
||||
s, _, b = api("POST", f"/chats/{cid}/messages", raw=b'{"text":"\xd0\xbe\xd0\xb4\xd0\xb8\xd0\xbd \xd1\x80\xd0\xb0\xd0\xb7"}',
|
||||
headers={**H(a_tok, key), "Content-Type": "application/json"})
|
||||
check("тот же ключ и то же тело (другое форматирование JSON) -> тот же результат", s == 201 and js(b) == js(b1), str(s))
|
||||
|
||||
# --- область ключа: пользователь + метод + путь
|
||||
s, _, b = api("POST", f"/chats/{cid2}/messages", {"text": "один раз"}, H(a_tok, key))
|
||||
check("тот же ключ в другом чате независим", s == 201 and js(b)["chat_id"] == cid2, str(s))
|
||||
s, _, b = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(b_tok, key))
|
||||
check("тот же ключ у другого пользователя независим", s == 201 and js(b)["sender_id"] == b_id, str(s))
|
||||
|
||||
# --- валидация ключа и доступ
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "x"}, bearer(a_tok))
|
||||
check("нет Idempotency-Key -> 400", s == 400, str(s))
|
||||
for bad_key in ("bad key!", "a/b", "a" * 129, ""):
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "x"}, {**bearer(a_tok), "Idempotency-Key": bad_key})
|
||||
check(f"неверный ключ {bad_key[:12]!r} -> 400", s == 400, str(s))
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(c_tok, key))
|
||||
check("посторонний с тем же ключом -> 404 (доступ проверяется при повторе)", s == 404, str(s))
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "x"}, {"Idempotency-Key": "k1"})
|
||||
check("без токена -> 401", s == 401, str(s))
|
||||
|
||||
# --- конкурентные повторы одного ключа (через LB попадают на разные реплики)
|
||||
key2 = "c-" + uuid.uuid4().hex
|
||||
res = []
|
||||
def fire(text="конкурентно"):
|
||||
s, h, b = api("POST", f"/chats/{cid}/messages", {"text": text}, H(a_tok, key2))
|
||||
res.append((s, h.get("x-instance-id"), js(b)))
|
||||
ts = [threading.Thread(target=fire) for _ in range(30)]
|
||||
[t.start() for t in ts]; [t.join() for t in ts]
|
||||
codes = sorted({r[0] for r in res})
|
||||
ids = {(r[2] or {}).get("id") for r in res}
|
||||
check("30 параллельных запросов с одним ключом: все 201 и одно и то же сообщение", codes == [201] and len(ids) == 1, f"{codes} {len(ids)}")
|
||||
check("в истории ровно одно такое сообщение", len([m for m in hist(cid, a_tok) if m["text"] == "конкурентно"]) == 1)
|
||||
print(f"INFO: параллельные повторы обслужили реплики: {sorted({r[1] for r in res})}")
|
||||
|
||||
key3 = "d-" + uuid.uuid4().hex
|
||||
res.clear()
|
||||
ts = [threading.Thread(target=lambda i=i: res.append(api("POST", f"/chats/{cid}/messages", {"text": f"вариант {i % 2}"}, H(a_tok, key3))[0])) for i in range(20)]
|
||||
[t.start() for t in ts]; [t.join() for t in ts]
|
||||
check("параллельно один ключ и два разных тела: победитель один, остальным другого тела -> 409",
|
||||
set(res) == {201, 409} and 1 <= res.count(201), str(sorted(set(res))))
|
||||
check("создано ровно одно сообщение из конкурирующих", len([m for m in hist(cid, a_tok) if m["text"].startswith("вариант")]) == 1)
|
||||
|
||||
# --- повтор после logout
|
||||
s, _, _ = api("DELETE", "/auth/sessions/current", headers=bearer(a_tok))
|
||||
s, _, _ = api("POST", f"/chats/{cid}/messages", {"text": "один раз"}, H(a_tok, key))
|
||||
check("повтор с отозванным токеном -> 401", s == 401, str(s))
|
||||
|
||||
|
||||
def ttl_checks(api):
|
||||
name = api.user("ttl")[0]
|
||||
s, _, b = api("POST", "/auth/sessions", headers=basic(name, PW))
|
||||
d = js(b) or {}
|
||||
tok = d.get("token", "")
|
||||
s0, _, _ = api("GET", "/users/me", headers=bearer(tok))
|
||||
check("TTL: сразу после входа токен действует (200)", s0 == 200, str(s0))
|
||||
time.sleep(3.5)
|
||||
s1, h, _ = api("GET", "/users/me", headers=bearer(tok))
|
||||
check("TTL: через 3.5 с при SESSION_TTL_SECONDS=2 токен истёк (401)", s1 == 401 and h.get("www-authenticate", "").startswith("Bearer"), str(s1))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--base-url", default="http://localhost:8080")
|
||||
ap.add_argument("--mode", choices=["main", "idem", "ttl"], default="main")
|
||||
ap.add_argument("--min-instances", type=int, default=2, help="сколько разных X-Instance-Id ожидается через LB")
|
||||
a = ap.parse_args()
|
||||
api = Api(a.base_url.rstrip("/"))
|
||||
if a.mode == "ttl":
|
||||
ttl_checks(api)
|
||||
elif a.mode == "idem":
|
||||
idempotency_checks(api, a.min_instances)
|
||||
else:
|
||||
main_checks(api)
|
||||
print(("FAIL: %d проверок не прошли: %s" % (len(fails), "; ".join(fails))) if fails else "PASS: все проверки режима '%s'" % a.mode)
|
||||
sys.exit(1 if fails else 0)
|
||||
Reference in New Issue
Block a user