lab3: nginx, replicas, idempotency, tests

This commit is contained in:
2026-11-06 17:23:38 +03:00
commit 46c829b730
96 changed files with 206384 additions and 0 deletions
+20
View File
@@ -0,0 +1,20 @@
.git
.github
.env
.env.*
!.env.example
secrets
certs
volumes
data
backups
*.key
*.pem
*.p12
*.pfx
*.jks
.venv
__pycache__
node_modules
evidence
.DS_Store
+16
View File
@@ -0,0 +1,16 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
POSTGRES_USER=messenger
POSTGRES_PASSWORD=messenger_password
POSTGRES_DB=messenger_db
DATABASE_URL=postgresql+asyncpg://messenger:messenger_password@db:5432/messenger_db
REDIS_URL=redis://redis:6379/0
+50
View File
@@ -0,0 +1,50 @@
## Лабораторная 3
Автор / группа: Долда Кирилл / БПИ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 1
**Что реализовано и что перенесено:**
Реализован стенд с двумя API-репликами (`app1`, `app2`) за балансировщиком Nginx, общими PostgreSQL и Redis.
**Команды запуска из чистого clone:**
cp .env.example .env
docker compose up -d --build
docker compose exec -w /app app1 alembic upgrade head
**Результаты проверок и ссылка на REPORT.md:**
make test — PASS: lab3 public API scenario.
make test-lab3 — PASS (3/3): идемпотентность (тот же id), идемпотентность (409), общая сессия (≥2 разных x-instance-id).
make test-security — PASS (3/3): неверный пароль → 401, logout → 401, expiry → 401.
make test-dependencies — PASS (2/2): БД → 503, Redis → 500 с Error.
make failover / make failover-app2 — все 20 запросов 200, ни одного 502 (failover ≤ 0.5 сек, меньше 10 сек).
make rolling-load + make rolling-update — все 200, без простоя.
Трек 1: RPS ~250–260 при 1/2/4 репликах; saturation point на 4 репликах (~260 RPS); 6 реплик → 257 (спад).
**Ограничения / известные ошибки:**
synchronous_commit=off — для демонстрации (риск потери 10–20 мс данных при жёстком падении хоста).
RPS ~250–260 — предел для текущего стенда
tests/load.py — погрешность в измерениях (RPS может немного изменяться).
**Источники и использование ИИ:**
FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary, pytest, nginx:alpine, postgres:16-alpine, redis:7-alpine.
- [ x ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ x ] Контракт и публичные тесты не ослаблены.
- [ x ] make check и make test выполнены; приложен реальный вывод.
- [ x ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ x ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ x ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+16
View File
@@ -0,0 +1,16 @@
name: Skeleton contracts
on: [push, pull_request]
permissions:
contents: read
jobs:
contracts:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.12'
- run: python -m pip install -r requirements-dev.txt
- run: make check validate PYTHON=python
# This job validates the skeleton, not a student solution.
# Add build, readiness and make test in a separate application job.
+32
View File
@@ -0,0 +1,32 @@
# Local/private state
.env
.env.*
!.env.example
secrets/
certs/private/
*.key
*.p12
*.pfx
*.jks
*.pem
*.tfstate*
volumes/
data/
backups/
# Runtime/build artifacts
.venv/
__pycache__/
*.py[cod]
node_modules/
dist/
build/
target/
bin/
obj/
coverage/
*.log
.DS_Store
.idea/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
+19
View File
@@ -0,0 +1,19 @@
# Работа через fork и pull request
1. После публикации преподавателем сделайте fork репозитория **текущей** лабораторной в своём аккаунте и clone своего fork. URL преподаватель выдаёт отдельно.
2. Создайте ветку `solution/<group>-<surname>` от исходной ветки skeleton. Ветка преподавателя и файлы контракта остаются основой проверки.
3. Для lab2–7 перенесите из своей предыдущей лабы только исходники, миграции, собственные тесты, Dockerfile и нужные конфигурации. Не копируйте `.git`, `.env`, credentials, volumes, `README.md`, `COURSE.md`, публичные `tests/` и `contracts/` поверх новой версии. Сначала сравните изменения API в `COURSE.md`.
4. Реализуйте задание, добавьте свою инструкцию запуска и заполните `REPORT.md`. Публичные проверки дополняйте отдельными тестами, не ослабляйте assertions.
5. Выполните `make check`, запустите свой стенд, затем `make test`. Выполните сценарии отказов текущей лабы. Их запуск всегда явный: scaffold сам не останавливает контейнеры.
6. Commit и push делайте в свой fork. Откройте PR в исходный репозиторий преподавателя, заголовок: `ЛР N — Группа — Фамилия — на 3/4/5`. Выберите правильную базовую ветку и заполните шаблон.
7. После замечаний обновляйте тот же PR. Чужие решения не переносите без указания источника и согласованных правил курса.
Платформа может называть PR «merge request» — процесс тот же. `.github/` содержит необязательные удобства для GitHub; проверки локально от платформы не зависят. Инициализация и публикация исходных Git-репозиториев выполняются преподавателем отдельно.
## Правила изменения skeleton
Не удаляйте обязательные endpoint, поля, рубрику и публичные проверки. Изменение контракта согласуйте отдельным комментарием/PR; обход тестов не является решением. Код приложения размещайте в `src/` либо в принятой для языка структуре. Собственные тесты — `student-tests/` или штатный каталог фреймворка. Ссылки на результаты проверки и команды запуска должны переживать clone на другой машине.
## CI
Готовый GitHub workflow проверяет целостность контракта и синтаксис Python-проверок. Он **не запускает отсутствующее приложение** и **не подтверждает оценку**. Студент добавляет сборку своего приложения, запуск/готовность стенда и `make test` в отдельный job. Не используйте `pull_request_target` для запуска кода из fork, не выдавайте CI секреты или доступ к общему Docker-host.
+53
View File
@@ -0,0 +1,53 @@
# Сквозной проект: мессенджер под нагрузкой
Семь самостоятельных репозиториев содержат задания и проверяемые контракты одной системы. Вы переносите собственную реализацию между лабораторными. Язык, фреймворк и библиотеки выбираете сами. Web UI, WebSocket, редактирование/удаление сообщений, публичный поиск пользователей и Kubernetes не входят в обязательный минимум: достаточно REST API.
| Лаба | Новая инженерная задача | Что появляется в системе |
| --- | --- | --- |
| 1 | Контракт, процессы и контейнер | In-memory API, Dockerfile, HTTP smoke |
| 2 | Сохранность и идентификация | PostgreSQL, Basic → сессия; Redis/Valkey на 4 |
| 3 | Горизонтальное масштабирование | Балансировщик, ≥2 API-реплики, общие сессии, идемпотентность |
| 4 | Бинарные данные | Приватное S3-совместимое хранилище и вложения |
| 5 | Фоновая работа | Брокер, worker, состояния вложений и преобразование изображений |
| 6 | Диагностика | OTel Collector, хранилища сигналов, Grafana |
| 7 | Защита и эксплуатация | Argon2id, TLS/mTLS, OpenBao, минимальные привилегии |
## Как оценивать
Оценки накопительные **внутри лабораторной**: 4 = весь уровень 3 + весь уровень 4; 5 = весь уровень 4 + **один** полностью выполненный трек 5 на выбор. Несколько недоделанных треков не заменяют один завершённый. Условие «весь уровень» включает реализацию, проверку и объяснение на защите. Красивые схемы и дополнительные технологии не компенсируют неработающий обязательный сценарий.
Для начала следующей лабы достаточно обязательного минимума предыдущей. Сохраняются предыдущие обязательные возможности, с явно описанными переходами API ниже. Не требуется сначала получить 5 за все ранние лабы. Можно исправлять свою базу по ходу курса; такие исправления выделяйте в PR. Реализация на 3 работоспособна, но не претендует на промышленную готовность. Даже 5 в lab7 — учебная доказанная защита в заявленной модели угроз, а не сертификат полной безопасности.
На 3 студент самостоятельно собирает рабочую систему. На 4 показывает практики, ожидаемые от стажёра/джуна в команде: воспроизводимость, диагностику, обработку ошибок и проверки отказов. На 5 формулирует гипотезу, ставит эксперимент, приводит измерения и обсуждает границы решения — это предмет конкретной похвалы магистранту.
## Контракт и совместимость
`contracts/openapi.json` — OpenAPI 3.1.0, `contracts/README.md` — нормативная семантика. Контракт каждого репозитория самодостаточен; соседние папки на машине преподавателя не нужны. `tests/` — публичные проверки, а не эталонное решение. Контракт, рубрика и публичные тесты имеют приоритет над случайным поведением библиотек. При противоречии создайте вопрос преподавателю; не подгоняйте тест под приложение.
Три объявленных изменения обязательного API:
1. **1 → 2:** регистрация требует `password`; `X-User-Id` заменяется Bearer. Basic используется только при создании сессии.
2. **2 → 3:** `Idempotency-Key` обязателен для отправки сообщения; ответы API содержат `X-Instance-Id`.
3. **4 → 5:** загрузка вложения возвращает `202` вместо `201`, состояние становится асинхронным. Клиент опрашивает метаданные. Старое текстовое сообщение остаётся валидным: `attachment_ids` по умолчанию `[]`.
У lab7 меняется транспорт на HTTPS, бизнес-эндпоинты остаются прежними. Внутреннее mTLS не заменяет пользовательскую сессию. Новые возможности на 4/5 добавляйте обратно совместимо, в отдельном `contracts/extensions.openapi.json` или документе; обязательный контракт сохраняйте.
## Общая предметная модель
Пользователь (`username`, `display_name`) состоит в чатах. Список участников задаётся при создании чата и в обязательном API не изменяется. В чате отправляются сообщения, с lab4 — со ссылками на вложения этого чата. Сервер назначает UUID и время. Порядок истории — `(created_at, id)` по возрастанию. Для защиты достаточно показать взаимодействие нескольких API-клиентов; фронтенд не требуется.
С lab2 данные PostgreSQL — источник истины. Сессии могут храниться в PostgreSQL или Redis/Valkey, если выполняют контракт срока жизни и перезапуска. Файлы с lab4 живут в S3, метаданные — в PostgreSQL. Redis и Valkey — альтернативы: оба одновременно не нужны. Аналогично выбирается одно S3-хранилище, один брокер и один основной путь оркестрации.
## Воспроизводимость и честные измерения
- Укажите версии runtime и контейнерных образов, аппаратную конфигурацию, CPU/RAM-лимиты, команду запуска и время прогрева. Для образов используйте явный тег версии или digest, не `latest`.
- Все тестовые пользователи и изображения синтетические. `make test` создаёт данные: запускайте его на учебном стенде. Не публикуйте пароли, токены, приватные ключи, персональные данные или подписанные URL.
- Минимальный отчёт о нагрузке: длительность, конкуренция/интенсивность, успешные RPS, доля ошибок, p50/p95/p99, CPU/RAM, размер набора данных. Универсального проходного RPS для разных ноутбуков нет.
- Сравнивайте одинаковые запросы при одинаковых ресурсах. Успешный `/health/live` не доказывает сохранность сообщений, а HTTP `202` — окончание обработки.
- Один Docker-host не обеспечивает отказоустойчивость к потере этого host. Несколько API-процессов не делают единственную БД или LB высокодоступными. Отдельно называйте, какие отказы выдерживает эксперимент.
## Что сдавать
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода и ИИ. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
PR должен собираться из чистого clone по инструкции автора. Секреты создаются отдельно; тестовые fixtures и открытые конфигурации хранятся в репозитории. Перенос кода между лабами описан в [CONTRIBUTING.md](CONTRIBUTING.md).
+24
View File
@@ -0,0 +1,24 @@
FROM python:3.13-slim
WORKDIR /app
COPY requirements-dev.txt .
RUN pip install --no-cache-dir -r requirements-dev.txt
RUN useradd --create-home --shell /bin/bash appuser
COPY app/ app/
COPY alembic.ini .
COPY alembic/ alembic/
RUN chown -R appuser:appuser /app/alembic
USER appuser
EXPOSE 8080
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
CMD python -c "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/live')" || exit 1
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-graceful-shutdown", "10", "--reload"]
+8
View File
@@ -0,0 +1,8 @@
# Teaching outline, not a runnable Dockerfile. Implement your own Dockerfile.
# 1. Choose a runtime/toolchain version and pin the base image tag/digest.
# 2. Copy dependency manifests first; install from the language lockfile.
# 3. Copy source and build. For compiled languages use a separate runtime stage.
# 4. Run the HTTP process as PID 1; listen on 0.0.0.0:8080.
# 5. Add non-root, signals and healthcheck according to the current rubric.
# 6. Pass runtime config/secrets at startup, never COPY .env or secret files.
# This file deliberately has no FROM/CMD: selecting/implementing them is the task.
+38
View File
@@ -0,0 +1,38 @@
# Памятка преподавателю — лабораторная 3
## Что подготовлено
Язык реализации не задан. README содержит накопительные уровни 3/4/5, сценарий защиты и вопросы. В каждой лабе собственная полная версия OpenAPI, поэтому fork не зависит от соседних каталогов. Публичный HTTP smoke не содержит реализации сервера; Dockerfile.example и compose.example.yaml (если есть) — задания/ориентиры, не готовый deployment.
## Перед публикацией
1. Выберите GitHub/GitLab и организацию, опубликуйте каждый каталог как отдельный template/skeleton repository, сообщите студентам URL и правила именования PR/MR. Эти материалы не публикуют репозитории автоматически.
2. Задайте default branch, защиту исходных материалов и правила приёма. `.github/` уже содержит шаблон PR и CI контракта; в GitLab перенесите эквивалентные настройки, локальные Makefile-команды одинаковы.
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода/ИИ и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
4. Уточните ограничения площадки (например доступна ли виртуализация/несколько узлов). Для 5 предусмотрено по два трека: один можно выполнить без настоящего multi-node cloud. Универсальный проходной RPS не установлен.
## Что проверять
| Проверка | Что подтверждает | Чего не подтверждает |
| --- | --- | --- |
| make check | Структура файлов, JSON, локальные refs, синтаксис Python | Реализация/запуск API |
| make validate | Полная OpenAPI 3.1, JSON Schema и примеры | Поведение сервера |
| make test | Один сквозной контрактный сценарий текущей лабы | Все ошибки, persistence, HA, security |
| test-persistence (lab2+) | Данные/прежний токен после вызова restart hook | Реальный перезапуск, если hook — no-op |
| test-failover (lab3+) | Смена обслуживающей реплики, сохранность, retry без дубля | Несколько физических узлов, HA DB/LB |
| test-security (lab7) | Доверенный HTTPS и отказ недоверенного CA | Внутреннее mTLS/identity/ACL/OpenBao |
| Защита и тесты студента | Реальность инфраструктуры и критерии выбранного уровня | Неограниченная промышленная безопасность |
Проверяйте реальные контейнеры/логи процессов и данные до/после отказа: одного X-Instance-Id недостаточно. Для 4 требуются все пункты 3+4, для 5 — все пункты 3+4 и один **завершённый** трек 5. Сравнивайте подтверждённые результаты со сформулированными критериями, а не количество установленных сервисов.
## Приём PR
Проверка запускается на изолированном учебном окружении с синтетическими secrets, не на общей production БД. Студенческие Dockerfile/hooks/CI — выполняемый код: обычный fork workflow без секретов и без доступа к общему Docker socket. Не запускайте PR через pull_request_target с привилегиями преподавателя.
Исходные README/контракт/публичные tests сохраняются, реализация переносится студентом между лабами через собственные исходники и миграции. Исправление общей спецификации публикуйте отдельным изменением, объясняя влияние на все затронутые лабораторные.
## Проверка этой версии skeleton
На 2026-09-10 выполнены структурные проверки и полная валидация всех семи OpenAPI/JSON Schema, проверка локальных Markdown-ссылок/YAML и декодирование PNG fixture. HTTP-клиенты проверены на временном изолированном тестовом стенде: позитивный smoke 1–7, отрицательные варианты неправильного sender, pagination, ACL, logout, bytes и пустого API; также пути persistence/failover/load и внешнего TLS.
Временный стенд не включён в студенческие каталоги и не является эталонным решением. Реальное приложение, Compose, PostgreSQL/S3/broker и mTLS/OpenBao в skeleton отсутствуют: их работоспособность не заявляется. Docker CLI в среде подготовки не был доступен. Это проверка материалов и тестовых драйверов, не приёмка будущих решений студентов.
+100
View File
@@ -0,0 +1,100 @@
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
explain-10k:
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM messages WHERE chat_id = '22222222-2222-2222-2222-222222222222' ORDER BY created_at, id LIMIT 50 OFFSET 0;"
explain-composite:
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM messages WHERE chat_id = '66666666-6666-4666-8666-666666666666' ORDER BY created_at, id LIMIT 50 OFFSET 0;" | tee evidence/explain_composite.txt
explain-simple:
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "DROP INDEX IF EXISTS ix_messages_chat_created_id;"
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "CREATE INDEX ix_messages_chat_only ON messages (chat_id); ANALYZE messages;"
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM messages WHERE chat_id = '66666666-6666-4666-8666-666666666666' ORDER BY created_at, id LIMIT 50 OFFSET 0;" | tee evidence/explain_simple.txt
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "DROP INDEX ix_messages_chat_only;"
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -c "CREATE INDEX ix_messages_chat_created_id ON messages (chat_id, created_at, id);"
backup-restore:
@echo "Делаем бекап pg_dump"
time docker exec -it mtusi_messenger_db pg_dump -U messenger -d messenger_db > evidence/backup.sql
@echo "Создаем новую базу messenger_restore"
docker exec -it mtusi_messenger_db psql -U messenger -d postgres -c "DROP DATABASE IF EXISTS messenger_restore;"
docker exec -it mtusi_messenger_db psql -U messenger -d postgres -c "CREATE DATABASE messenger_restore;"
@echo "Копируем бекап в контейнер и восстанавливаем"
docker cp evidence/backup.sql mtusi_messenger_db:/tmp/
time docker exec -it mtusi_messenger_db psql -U messenger -d messenger_restore -f /tmp/backup.sql > /dev/null
@echo "В основной базе messenger_db:"
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_db -t -c "SELECT count(*) FROM messages;"
@echo "В восстановленной базе messenger_restore:"
docker exec -it mtusi_messenger_db psql -U messenger -d messenger_restore -t -c "SELECT count(*) FROM messages;"
test-race:
@echo "Запускаем два одновременных запроса на регистрацию"
@RACE_USER="race_$$(date +%s)"; \
curl -s -o /dev/null -w "Запрос 1: %{http_code}\n" -X POST http://localhost:8080/api/v1/users -H "Content-Type: application/json" -d "{\"username\": \"$$RACE_USER\", \"display_name\": \"Race\", \"password\": \"secret1234567\"}" & \
curl -s -o /dev/null -w "Запрос 2: %{http_code}\n" -X POST http://localhost:8080/api/v1/users -H "Content-Type: application/json" -d "{\"username\": \"$$RACE_USER\", \"display_name\": \"Race\", \"password\": \"secret1234567\"}" & \
wait
test-redis:
@echo "Ставим Redis на паузу"
docker pause mtusi_messenger_redis
@echo "Запрос"
time curl -s -w "\nHTTP Статус: %{http_code}\n" http://localhost:8080/api/v1/users/me -H "Authorization: Bearer test_token"
@echo "Снимаем паузу"
docker unpause mtusi_messenger_redis
test-health-db:
@echo "Останавливаем БД"
docker compose stop db
@echo "Проверяем health ready"
curl -s -o /dev/null -w "HTTP Статус: %{http_code}\n" http://localhost:8080/health/ready
docker compose start db
test-health-redis:
@echo "Останавливаем"
docker compose stop redis
@echo "Проверяем health ожидая 503 "
curl -s -o /dev/null -w "HTTP Статус: %{http_code}\n" http://localhost:8080/health/ready
docker compose start redis
test-dependencies:
$(PYTHON) -m pytest tests/test_resilience.py -v
failover:
./scripts/failover-test.sh app1
failover-app2:
./scripts/failover-test.sh app2
rolling-load:
./scripts/rolling-load.sh
rolling-update:
./scripts/rolling-update.sh
test-lab3:
$(PYTHON) -m pytest tests/test_lab3.py -v
+104
View File
@@ -0,0 +1,104 @@
# Лабораторная 3. Балансировка и отказ API-реплики
Запустить несколько взаимозаменяемых экземпляров API за единой точкой входа и сохранить корректность при остановке одного из них.
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
## Откуда начинаем
Нужен минимум lab2: PostgreSQL, общие действующие сессии, миграции. Добавляются X-Instance-Id и обязательный Idempotency-Key при отправке сообщения.
**Архитектура:** Клиент → LB → API × 2+ → общие PostgreSQL и хранилище сессий. Compose или Swarm — на выбор.
## Что сделать
1. Выберите Compose + Nginx/HAProxy/Traefik либо Docker Swarm. Для выбранного варианта дайте одну последовательность запуска.
2. Уберите локальные сессии/другие данные, от которых зависит корректность, из API. Миграции выполняйте отдельно и согласованно, а не гонкой всех реплик.
3. Настройте балансировщик, проверки готовности, DNS/обновление backend-адресов и graceful shutdown. Не закрепляйте клиента sticky session как способ исправить раздельное состояние.
4. Реализуйте общую идемпотентность отправки сообщения. Проверьте одинаковый ключ одновременно через разные реплики.
5. Подготовьте явный action script, останавливающий одну выбранную API-реплику, и продемонстрируйте чтение/запись во время отказа.
## Оценка «3»: работающий минимум
- Весь стенд описан в compose.yaml или stack.yaml, запускается документированной командой. Не менее двух API-реплик, одна публичная точка входа, одна общая БД и общее хранилище сессий.
- Разные запросы одного пользователя обслуживаются разными репликами без повторного входа. Это видно по X-Instance-Id. Доступ через LB — основной проверяемый маршрут.
- Можно остановить любую одну API-реплику при работающей другой: не позднее 10 секунд продолжаются новые чтения/записи, подтверждённые сообщения доступны. Краткие ошибки/оборванные запросы во время обнаружения отказа измеряются и допустимы.
- Повтор POST сообщения с тем же Idempotency-Key не создаёт дубль, включая конкурентный повтор и переключение реплики. Неподтверждённую запись клиент может безопасно повторить с тем же ключом.
- make test, persistence и failover-сценарий проходят; для failover проверяется наличие ≥2 наблюдаемых реплик. Для Swarm сборка образа и его доступность узлам описаны отдельно.
## Оценка «4»: уровень стажёра/джуна
Весь уровень 3 **и все** пункты ниже:
- Health/readiness, timeouts и прекращение приёма при SIGTERM настроены согласованно; LB исключает недоступный backend. Укажите период проверок и максимальное время обнаружения отказа.
- Последовательно остановите каждую API-реплику (восстанавливая предыдущую); соберите RPS, ошибки и время восстановления. Общая идемпотентность проверяется параллельными запросами с одним ключом.
- Контейнеры имеют CPU/RAM-лимиты, API не публикуют порты наружу в обход LB; секреты и хранилища общие только там, где нужно. Нет container_name, мешающего масштабированию одного Compose-service.
- Rolling update или эквивалентная поочерёдная замена проверена под нагрузкой. Миграции запускаются однократно и совместимы с работающей версией либо ограничение честно описано.
## Оценка «5»: исследование и доказанный результат
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
**Трек 1. Цена масштабирования.** При фиксированном суммарном CPU/RAM сравните 1/2/4 API-реплики на одном профиле нагрузки; затем проведите серию с ростом ресурсов. Найдите saturation point БД/LB/пула и покажите, почему рост реплик перестаёт помогать. Дайте исходные данные, графики и одно подтверждённое улучшение.
**Трек 2. Отказ узла.** Расширьте стенд до нескольких узлов, покажите перенос API при потере узла и разберите оставшиеся SPOF (LB, DB, storage). Для заявленной защищённой зависимости покажите реальный failover и сохранность данных. Если DB не реплицирована, не заявляйте выживание её узла.
## Как начать и проверить
```sh
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
make check
# После реализации запустите свой сервер/стенд по REPORT.md.
# По умолчанию тест использует http://localhost:8080.
make test
```
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
```sh
# Compose-вариант после реализации:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождитесь /health/ready; затем make test.
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
```
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
```
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
## Сценарий защиты
1. Запустить стенд и показать ≥2 разных X-Instance-Id через LB с одной сессией.
2. Запустить make test-failover ACTION_SCRIPT=scripts/stop-one.sh. Скрипт теста выполняет запросы во время action, учитывает ошибки и повторяет сообщения с исходным ключом.
3. Показать, какой контейнер действительно остановлен; заголовок сам по себе не доказательство разных процессов. Повторить для второй реплики после восстановления первой.
4. Проверить restart всего стенда с сохранением volumes и неизменным токеном. Для 4/5 — соответствующие эксперименты.
## Что должно быть в PR
compose.yaml или stack.yaml, конфигурация LB, scripts/restart.sh, scripts/stop-one.sh, Dockerfile, миграции, результаты отказов.
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
## Вопросы на защите
- Чем отказ процесса отличается от отказа узла?
- Почему depends_on/healthcheck сами по себе не являются балансировщиком?
- Какие POST можно повторять после timeout и что защищает Idempotency-Key?
- Что сломается при увеличении числа API, если сессии находятся в локальной памяти?
## Первичные материалы
- [Compose services](https://docs.docker.com/reference/compose-file/services/)
- [Swarm routing mesh](https://docs.docker.com/engine/swarm/ingress/)
- [Swarm services](https://docs.docker.com/engine/swarm/services/)
+97
View File
@@ -0,0 +1,97 @@
# Отчёт — лабораторная 3
- Автор, группа: Долда Кирилл, БПИ2301
- Целевая оценка; на 5, Трек 1 (Цена масштабирования)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary.
## Запуск из чистого clone
Требования: Docker Desktop, Python 3.13 для локальных тестов.
Версии runtime/образов:
python:3.13-slim
postgres:16-alpine
redis:7-alpine
nginx:alpine
Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4
Создание локальных secrets/.env:
cp .env.example .env
Сборка и запуск:
docker compose up -d --build
Миграции (однократно, до запуска трафика):
docker compose exec -w /app app1 alembic upgrade head
Тесты:
make check - offline-проверка структуры и синтаксиса
make test - публичный smoke-тест контракта API
make test-lab3 - собственные тесты лабы 3 (идемпотентность + общая сессия)
make test-dependencies - тесты отказов зависимостей (БД -> 503, Redis -> 500)
make failover - остановка app1 -> проверка, что сервис жив (app2)
make failover-app2 - остановка app2 -> проверка, что сервис жив (app1)
make rolling-load - нагрузка во время rolling update (в одном терминале)
make rolling-update - поочерёдное обновление реплик (в другом терминале)
make load - нагрузочный тест для Трека 1 (RPS, p50/p95/p99)
## Архитектура и решения
Схема процессов/хранилищ:
Клиент -> Nginx (LB) -> API * 2 (app1, app2) -> PostgreSQL (источник истины) + Redis (сессии).
Источник истины: PostgreSQL. Пользователи, чаты, участники, сообщения.
Сессии: Redis. Токен secrets.token_urlsafe(32) с TTL. Персистентность Redis через --appendonly yes.
Транзакционные границы: Создание сообщения с Idempotency-Key: SET NX в Redis, застолбить ключ -> commit в БД, создать сообщение в postgre -> SET результата в Redis сохраняем.
Что перенесено из lab2: PostgreSQL, Redis для сессий, миграции, Bearer-токены.
Что изменено: Добавлены реплики app1/app2, Nginx (LB), X-Instance-Id, Idempotency-Key, лимиты CPU/RAM, failover-тесты, rolling update, least_conn в Nginx.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|----------------------------|------------------------|---------------------------------------------------------------------------------------------------------|--------------------------------|
| Публичный smoke | make test | PASS: lab3 public API scenario | |
| Собственные тесты | make test-lab3 | PASS (3/3): идемпотентность (тот же id), идемпотентность (409), общая сессия (≥2 разных x-instance-id) | evidence/test-lab3.txt |
| Тесты отказов зависимостей | make test-dependencies | PASS (2/2): БД -> 503, Redis -> 500 с Error | evidence/test-dependencies.txt |
| Failover app1 | make failover | Все 20 запросов 200, ни одного 502 | evidence/failover-app1.txt |
| Failover app2 | make failover-app2 | Все 20 запросов 200, ни одного 502 | evidence/failover-app2.txt |
| Rolling load | make rolling-load | Все 200, X-Instance-Id меняется | evidence/rolling-load.txt |
| Rolling update | make rolling-update | Без простоя | evidence/rolling-update.txt |
## Эксперименты и отказы
Гипотеза (Трек 1):
При фиксированных суммарных ресурсах (2 CPU / 1 GB) рост числа реплик API даст прирост RPS, но упрётся в saturation point.
Методика: make load (POST /messages, 30 сек, 4 пользователя).
Конфигурации: 1, 2, 4, 6 реплик при суммарных 2 CPU / 1 GB. Замеряли RPS и p99.
Так же проводили замеры с 1 CPU / 512M. Результаты всех замеров зафиксированы в папке evidence.
| Реплик | RPS (среднее) | p99 (мс) |
| 1 | ~250 | 23 |
| 2 | ~255 | 31 |
| 4 | ~260 | 26 |
| 6 | 257 | - |
## Ограничения и следующие шаги
Что выдерживается: Отказ процесса (реплики), rolling update, общая сессия, идемпотентность, миграции однократно.
Подтверждённое улучшение: p99 снижен с 48.7 до 12.9 мс (CPU 0.5 → 1.0) — улучшение задержки. RPS не вырос — saturation point в общем ресурсе.
При фиксированных суммарных ресурсах 2 CPU и 1 GB и распределении их на 1, 2 и 4 реплики RPS составил 250, 255 и 260, что указывает на достижение saturation point именно на 4 репликах.
При изначально меньших ресурсах - 0.5 CPU и 512 MB на реплику, сатурация наступала уже на 1 реплике, так как увеличение числа реплик не раскрывало потенциал из-за максимальной нагрузки на каждую из них.
В качестве подтверждённого улучшения в этом сценарии доказано, что увеличение CPU на реплику с 0.5 до 1.0 подняло RPS с 234 до 254 и снизило p99 с 24 до 17 мс по результатам make load (4 пользователя отправляют в течении 30 секунд запросы на создание сообщений).
Для полноценного эксперимента за пределами условий задания на 1, 2, 4 реплики был проведён замер на 6 репликах, который показал 257 RPS, подтвердив saturation point на 4 репликах и последующее снижение.
Также доказано, что увеличение CPU с 1 до 2 на реплику, при втором тесте, даёт прирост скорости ответа p99 на 7–10% при распределении реплик, но не увеличивает RPS.
+117
View File
@@ -0,0 +1,117 @@
# A generic, single database configuration.
[alembic]
# path to migration scripts
# Use forward slashes (/) also on windows to provide an os agnostic path
script_location = alembic
# template used to generate migration file names; The default value is %%(rev)s_%%(slug)s
# Uncomment the line below if you want the files to be prepended with date and time
# see https://alembic.sqlalchemy.org/en/latest/tutorial.html#editing-the-ini-file
# for all available tokens
# file_template = %%(year)d_%%(month).2d_%%(day).2d_%%(hour).2d%%(minute).2d-%%(rev)s_%%(slug)s
# sys.path path, will be prepended to sys.path if present.
# defaults to the current working directory.
prepend_sys_path = .
# timezone to use when rendering the date within the migration file
# as well as the filename.
# If specified, requires the python>=3.9 or backports.zoneinfo library.
# Any required deps can installed by adding `alembic[tz]` to the pip requirements
# string value is passed to ZoneInfo()
# leave blank for localtime
# timezone =
# max length of characters to apply to the "slug" field
# truncate_slug_length = 40
# set to 'true' to run the environment during
# the 'revision' command, regardless of autogenerate
# revision_environment = false
# set to 'true' to allow .pyc and .pyo files without
# a source .py file to be detected as revisions in the
# versions/ directory
# sourceless = false
# version location specification; This defaults
# to alembic/versions. When using multiple version
# directories, initial revisions must be specified with --version-path.
# The path separator used here should be the separator specified by "version_path_separator" below.
# version_locations = %(here)s/bar:%(here)s/bat:alembic/versions
# version path separator; As mentioned above, this is the character used to split
# version_locations. The default within new alembic.ini files is "os", which uses os.pathsep.
# If this key is omitted entirely, it falls back to the legacy behavior of splitting on spaces and/or commas.
# Valid values for version_path_separator are:
#
# version_path_separator = :
# version_path_separator = ;
# version_path_separator = space
# version_path_separator = newline
version_path_separator = os # Use os.pathsep. Default configuration used for new projects.
# set to 'true' to search source files recursively
# in each "version_locations" directory
# new in Alembic version 1.10
# recursive_version_locations = false
# the output encoding used when revision files
# are written from script.py.mako
# output_encoding = utf-8
sqlalchemy.url = driver://user:pass@localhost/dbname
[post_write_hooks]
# post_write_hooks defines scripts or Python functions that are run
# on newly generated revision scripts. See the documentation for further
# detail and examples
# format using "black" - use the console_scripts runner, against the "black" entrypoint
# hooks = black
# black.type = console_scripts
# black.entrypoint = black
# black.options = -l 79 REVISION_SCRIPT_FILENAME
# lint with attempts to fix using "ruff" - use the exec runner, execute a binary
# hooks = ruff
# ruff.type = exec
# ruff.executable = %(here)s/.venv/bin/ruff
# ruff.options = --fix REVISION_SCRIPT_FILENAME
# Logging configuration
[loggers]
keys = root,sqlalchemy,alembic
[handlers]
keys = console
[formatters]
keys = generic
[logger_root]
level = WARNING
handlers = console
qualname =
[logger_sqlalchemy]
level = WARNING
handlers =
qualname = sqlalchemy.engine
[logger_alembic]
level = INFO
handlers =
qualname = alembic
[handler_console]
class = StreamHandler
args = (sys.stderr,)
level = NOTSET
formatter = generic
[formatter_generic]
format = %(levelname)-5.5s [%(name)s] %(message)s
datefmt = %H:%M:%S
+1
View File
@@ -0,0 +1 @@
Generic single-database configuration.
+88
View File
@@ -0,0 +1,88 @@
from app.models.base import Base
from app.models.user import User
from app.models.chat import Chat, ChatMember
from app.models.message import Message
from app.config import DATABASE_URL
from logging.config import fileConfig
from sqlalchemy import engine_from_config
from sqlalchemy import pool
from alembic import context
# this is the Alembic Config object, which provides
# access to the values within the .ini file in use.
config = context.config
config.set_main_option("sqlalchemy.url", DATABASE_URL.replace("+asyncpg", "+psycopg2"))
# Interpret the config file for Python logging.
# This line sets up loggers basically.
if config.config_file_name is not None:
fileConfig(config.config_file_name)
# add your model's MetaData object here
# for 'autogenerate' support
# from myapp import mymodel
# target_metadata = mymodel.Base.metadata
target_metadata = Base.metadata
# other values from the config, defined by the needs of env.py,
# can be acquired:
# my_important_option = config.get_main_option("my_important_option")
# ... etc.
def run_migrations_offline() -> None:
"""Run migrations in 'offline' mode.
This configures the context with just a URL
and not an Engine, though an Engine is acceptable
here as well. By skipping the Engine creation
we don't even need a DBAPI to be available.
Calls to context.execute() here emit the given string to the
script output.
"""
url = config.get_main_option("sqlalchemy.url")
context.configure(
url=url,
target_metadata=target_metadata,
literal_binds=True,
dialect_opts={"paramstyle": "named"},
)
with context.begin_transaction():
context.run_migrations()
def run_migrations_online() -> None:
"""Run migrations in 'online' mode.
In this scenario we need to create an Engine
and associate a connection with the context.
"""
connectable = engine_from_config(
config.get_section(config.config_ini_section, {}),
prefix="sqlalchemy.",
poolclass=pool.NullPool,
)
with connectable.connect() as connection:
context.configure(
connection=connection, target_metadata=target_metadata
)
with context.begin_transaction():
context.run_migrations()
if context.is_offline_mode():
run_migrations_offline()
else:
run_migrations_online()
+26
View File
@@ -0,0 +1,26 @@
"""${message}
Revision ID: ${up_revision}
Revises: ${down_revision | comma,n}
Create Date: ${create_date}
"""
from typing import Sequence, Union
from alembic import op
import sqlalchemy as sa
${imports if imports else ""}
# revision identifiers, used by Alembic.
revision: str = ${repr(up_revision)}
down_revision: Union[str, None] = ${repr(down_revision)}
branch_labels: Union[str, Sequence[str], None] = ${repr(branch_labels)}
depends_on: Union[str, Sequence[str], None] = ${repr(depends_on)}
def upgrade() -> None:
${upgrades if upgrades else "pass"}
def downgrade() -> None:
${downgrades if downgrades else "pass"}
@@ -0,0 +1,30 @@
"""create tables
Revision ID: 08fe661df060
Revises: bc35c1b6b748
Create Date: 2026-10-31 11:52:26.342048
"""
from typing import Sequence, Union
from alembic import op
import sqlalchemy as sa
# revision identifiers, used by Alembic.
revision: str = '08fe661df060'
down_revision: Union[str, None] = 'bc35c1b6b748'
branch_labels: Union[str, Sequence[str], None] = None
depends_on: Union[str, Sequence[str], None] = None
def upgrade() -> None:
# ### commands auto generated by Alembic - please adjust! ###
pass
# ### end Alembic commands ###
def downgrade() -> None:
# ### commands auto generated by Alembic - please adjust! ###
pass
# ### end Alembic commands ###
@@ -0,0 +1,67 @@
"""create tables
Revision ID: b24373e3b620
Revises:
Create Date: 2026-10-24 06:54:22.471827
"""
from typing import Sequence, Union
from alembic import op
import sqlalchemy as sa
# revision identifiers, used by Alembic.
revision: str = 'b24373e3b620'
down_revision: Union[str, None] = None
branch_labels: Union[str, Sequence[str], None] = None
depends_on: Union[str, Sequence[str], None] = None
def upgrade() -> None:
# ### commands auto generated by Alembic - please adjust! ###
op.create_table('chats',
sa.Column('id', sa.UUID(), nullable=False),
sa.Column('title', sa.String(length=100), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), server_default=sa.text('now()'), nullable=False),
sa.PrimaryKeyConstraint('id')
)
op.create_table('users',
sa.Column('id', sa.UUID(), nullable=False),
sa.Column('username', sa.String(length=32), nullable=False),
sa.Column('display_name', sa.String(length=100), nullable=False),
sa.Column('password_hash', sa.String(length=255), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), server_default=sa.text('now()'), nullable=False),
sa.PrimaryKeyConstraint('id')
)
op.create_index(op.f('ix_users_username'), 'users', ['username'], unique=True)
op.create_table('chat_members',
sa.Column('chat_id', sa.UUID(), nullable=False),
sa.Column('user_id', sa.UUID(), nullable=False),
sa.ForeignKeyConstraint(['chat_id'], ['chats.id'], ondelete='CASCADE'),
sa.ForeignKeyConstraint(['user_id'], ['users.id'], ondelete='CASCADE'),
sa.PrimaryKeyConstraint('chat_id', 'user_id')
)
op.create_table('messages',
sa.Column('id', sa.UUID(), nullable=False),
sa.Column('chat_id', sa.UUID(), nullable=False),
sa.Column('sender_id', sa.UUID(), nullable=False),
sa.Column('text', sa.Text(), nullable=False),
sa.Column('created_at', sa.DateTime(timezone=True), server_default=sa.text('now()'), nullable=False),
sa.ForeignKeyConstraint(['chat_id'], ['chats.id'], ondelete='CASCADE'),
sa.ForeignKeyConstraint(['sender_id'], ['users.id'], ondelete='CASCADE'),
sa.PrimaryKeyConstraint('id')
)
op.create_index('ix_messages_chat_created_id', 'messages', ['chat_id', 'created_at', 'id'], unique=False)
# ### end Alembic commands ###
def downgrade() -> None:
# ### commands auto generated by Alembic - please adjust! ###
op.drop_index('ix_messages_chat_created_id', table_name='messages')
op.drop_table('messages')
op.drop_table('chat_members')
op.drop_index(op.f('ix_users_username'), table_name='users')
op.drop_table('users')
op.drop_table('chats')
# ### end Alembic commands ###
@@ -0,0 +1,43 @@
"""seed explain test 10k
Revision ID: bc35c1b6b748
Revises: f9b85be2b710
Create Date: 2026-10-24 07:04:09.294404
"""
from typing import Sequence, Union
from alembic import op
import sqlalchemy as sa
# revision identifiers, used by Alembic.
revision: str = 'bc35c1b6b748'
down_revision: Union[str, None] = 'f9b85be2b710'
branch_labels: Union[str, Sequence[str], None] = None
depends_on: Union[str, Sequence[str], None] = None
def upgrade() -> None:
op.execute("""
INSERT INTO users (id, username, display_name, password_hash, created_at)
VALUES ('11111111-1111-1111-1111-111111111111', 'explain_test', 'Test', 'hash', NOW())
ON CONFLICT DO NOTHING;
""")
op.execute("""
INSERT INTO chats (id, title, created_at)
VALUES ('22222222-2222-2222-2222-222222222222', 'Explain Chat', NOW())
ON CONFLICT DO NOTHING;
""")
op.execute("""
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '22222222-2222-2222-2222-222222222222', '11111111-1111-1111-1111-111111111111', 'Message ' || i, NOW() - (i || ' minutes')::interval
FROM generate_series(1, 10000) AS i;
""")
def downgrade() -> None:
op.execute("DELETE FROM messages WHERE chat_id = '22222222-2222-2222-2222-222222222222';")
op.execute("DELETE FROM chats WHERE id = '22222222-2222-2222-2222-222222222222';")
op.execute("DELETE FROM users WHERE id = '11111111-1111-1111-1111-111111111111';")
@@ -0,0 +1,69 @@
"""seed load test data
Revision ID: f9b85be2b710
Revises: b24373e3b620
Create Date: ...
"""
from typing import Sequence, Union
from alembic import op
import sqlalchemy as sa
# revision identifiers, used by Alembic.
revision: str = 'f9b85be2b710'
down_revision: Union[str, None] = 'b24373e3b620'
branch_labels: Union[str, Sequence[str], None] = None
depends_on: Union[str, Sequence[str], None] = None
def upgrade() -> None:
op.execute("""
INSERT INTO users (id, username, display_name, password_hash, created_at)
VALUES ('55555555-5555-4555-8555-555555555555', 'load_test', 'Load', 'hash', NOW())
ON CONFLICT DO NOTHING;
""")
op.execute("""
INSERT INTO chats (id, title, created_at) VALUES
('66666666-6666-4666-8666-666666666666', 'Big Chat', NOW()),
('77777777-7777-4777-8777-777777777777', 'Small Chat 1', NOW()),
('88888888-8888-4888-8888-888888888888', 'Small Chat 2', NOW())
ON CONFLICT DO NOTHING;
""")
op.execute("""
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '66666666-6666-4666-8666-666666666666', '55555555-5555-4555-8555-555555555555', 'Big ' || i, NOW() - (i || ' minutes')::interval
FROM generate_series(1, 80000) AS i;
""")
op.execute("""
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '77777777-7777-4777-8777-777777777777', '55555555-5555-4555-8555-555555555555', 'Small1 ' || i, NOW() - (i || ' minutes')::interval
FROM generate_series(1, 10000) AS i;
""")
op.execute("""
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '88888888-8888-4888-8888-888888888888', '55555555-5555-4555-8555-555555555555', 'Small2 ' || i, NOW() - (i || ' minutes')::interval
FROM generate_series(1, 10000) AS i;
""")
def downgrade() -> None:
op.execute("""
DELETE FROM messages WHERE chat_id IN (
'66666666-6666-4666-8666-666666666666',
'77777777-7777-4777-8777-777777777777',
'88888888-8888-4888-8888-888888888888'
);
""")
op.execute("""
DELETE FROM chats WHERE id IN (
'66666666-6666-4666-8666-666666666666',
'77777777-7777-4777-8777-777777777777',
'88888888-8888-4888-8888-888888888888'
);
""")
op.execute("DELETE FROM users WHERE id = '55555555-5555-4555-8555-555555555555';")
View File
+20
View File
@@ -0,0 +1,20 @@
import os
DATABASE_URL = os.getenv(
"DATABASE_URL",
"postgresql+asyncpg://messenger:messenger_password@db:5432/messenger_db",
)
REDIS_URL = os.getenv("REDIS_URL", "redis://redis:6379/0")
SESSION_TTL_SECONDS = int(os.getenv("SESSION_TTL_SECONDS", "3600"))
CODE_MAP = {
400: "invalid_request",
401: "unauthorized",
404: "not_found",
409: "conflict",
413: "payload_too_large",
415: "unsupported_media_type",
429: "rate_limited",
503: "unavailable",
500: "internal_error",
}
+13
View File
@@ -0,0 +1,13 @@
from sqlalchemy.ext.asyncio import create_async_engine, async_sessionmaker
from app.config import DATABASE_URL
engine = create_async_engine(
DATABASE_URL,
pool_size=5,
max_overflow=10,
pool_timeout=30,
pool_recycle=1800,
echo=False,
)
async_session_maker = async_sessionmaker(engine, expire_on_commit=False)
+6
View File
@@ -0,0 +1,6 @@
from sqlalchemy.ext.asyncio import AsyncSession
from app.database import async_session_maker
async def get_session():
async with async_session_maker() as session:
yield session
+37
View File
@@ -0,0 +1,37 @@
from fastapi import HTTPException, Request
from fastapi.responses import JSONResponse
from fastapi.exceptions import RequestValidationError
from app.config import CODE_MAP
def error_response(request: Request, status_code: int, code: str, message: str, extra_headers: dict = None):
request_id = getattr(request.state, "request_id", "unknown")
headers = {"X-Request-Id": request_id}
if extra_headers:
headers.update(extra_headers)
return JSONResponse(
status_code=status_code,
content={
"error": {
"code": code,
"message": message,
"request_id": request_id,
}
},
headers=headers,
)
async def http_exception_handler(request: Request, exc: HTTPException):
code = CODE_MAP.get(exc.status_code, "internal_error")
return error_response(request, exc.status_code, code, str(exc.detail), extra_headers=exc.headers)
async def validation_exception_handler(request: Request, exc: RequestValidationError):
return error_response(request, 400, "invalid_request", "Ошибка валидации данных")
async def internal_error_handler(request: Request, exc: Exception):
return error_response(request, 500, "internal_error", "Внутренняя ошибка сервера")
+33
View File
@@ -0,0 +1,33 @@
from fastapi import FastAPI
from fastapi.exceptions import RequestValidationError
from fastapi import HTTPException
import uuid
from app.middleware import RequestIdMiddleware
from app.exceptions import http_exception_handler, validation_exception_handler
from app.routers import health, users, chats, messages, auth
app = FastAPI(
title="MTUSI Messenger",
version="1.1.0",
)
INSTANCE_ID = str(uuid.uuid4())
@app.middleware("http")
async def add_instance_id_header(request, call_next):
response = await call_next(request)
response.headers["X-Instance-Id"] = INSTANCE_ID
return response
app.add_middleware(RequestIdMiddleware)
app.add_exception_handler(HTTPException, http_exception_handler)
app.add_exception_handler(RequestValidationError, validation_exception_handler)
app.include_router(health.router)
app.include_router(users.router)
app.include_router(chats.router)
app.include_router(messages.router)
app.include_router(auth.router)
+11
View File
@@ -0,0 +1,11 @@
import uuid as uuid_lib
from starlette.middleware.base import BaseHTTPMiddleware
class RequestIdMiddleware(BaseHTTPMiddleware):
async def dispatch(self, request, call_next):
request_id = str(uuid_lib.uuid4())
request.state.request_id = request_id
response = await call_next(request)
response.headers["X-Request-Id"] = request_id
return response
View File
+4
View File
@@ -0,0 +1,4 @@
from sqlalchemy.orm import DeclarativeBase
class Base(DeclarativeBase):
pass
+35
View File
@@ -0,0 +1,35 @@
import uuid
from datetime import datetime
from sqlalchemy import String, DateTime, ForeignKey, func
from sqlalchemy.orm import Mapped, mapped_column
from sqlalchemy.dialects.postgresql import UUID
from app.models.base import Base
class Chat(Base):
__tablename__ = "chats"
id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), primary_key=True, default=uuid.uuid4
)
title: Mapped[str] = mapped_column(String(100), nullable=False)
created_at: Mapped[datetime] = mapped_column(
DateTime(timezone=True), server_default=func.now()
)
class ChatMember(Base):
__tablename__ = "chat_members"
chat_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True),
ForeignKey("chats.id", ondelete="CASCADE"),
primary_key=True,
)
user_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True),
ForeignKey("users.id", ondelete="CASCADE"),
primary_key=True,
)
+34
View File
@@ -0,0 +1,34 @@
import uuid
from datetime import datetime
from sqlalchemy import Text, DateTime, ForeignKey, Index, func
from sqlalchemy.orm import Mapped, mapped_column
from sqlalchemy.dialects.postgresql import UUID
from app.models.base import Base
class Message(Base):
__tablename__ = "messages"
id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), primary_key=True, default=uuid.uuid4
)
chat_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True),
ForeignKey("chats.id", ondelete="CASCADE"),
nullable=False,
)
sender_id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True),
ForeignKey("users.id", ondelete="CASCADE"),
nullable=False,
)
text: Mapped[str] = mapped_column(Text, nullable=False)
created_at: Mapped[datetime] = mapped_column(
DateTime(timezone=True), server_default=func.now()
)
__table_args__ = (
Index("ix_messages_chat_created_id", "chat_id", "created_at", "id"),
)
+24
View File
@@ -0,0 +1,24 @@
import uuid
from datetime import datetime
from sqlalchemy import String, DateTime, func
from sqlalchemy.orm import Mapped, mapped_column
from sqlalchemy.dialects.postgresql import UUID
from app.models.base import Base
class User(Base):
__tablename__ = "users"
id: Mapped[uuid.UUID] = mapped_column(
UUID(as_uuid=True), primary_key=True, default=uuid.uuid4
)
username: Mapped[str] = mapped_column(
String(32), unique=True, nullable=False, index=True
)
display_name: Mapped[str] = mapped_column(String(100), nullable=False)
password_hash: Mapped[str] = mapped_column(String(255), nullable=False)
created_at: Mapped[datetime] = mapped_column(
DateTime(timezone=True), server_default=func.now()
)
+20
View File
@@ -0,0 +1,20 @@
def paginate(items: list, limit: int, cursor: str | None):
start = 0
if cursor is not None:
try:
start = int(cursor)
except ValueError:
start = 0
if start < 0:
start = 0
page = items[start : start + limit]
next_index = start + limit
if next_index < len(items):
next_cursor = str(next_index)
else:
next_cursor = None
return page, next_cursor
+9
View File
@@ -0,0 +1,9 @@
import redis.asyncio as redis
from app.config import REDIS_URL
redis_client = redis.from_url(
REDIS_URL,
decode_responses=True,
socket_timeout=3,
socket_connect_timeout=3,
)
View File
+83
View File
@@ -0,0 +1,83 @@
from fastapi import APIRouter, Depends, HTTPException, status
from fastapi.security import HTTPBasic, HTTPBasicCredentials, HTTPAuthorizationCredentials
from pydantic import BaseModel, ConfigDict, field_serializer
from app.redis_client import redis_client
from sqlalchemy import select
from sqlalchemy.ext.asyncio import AsyncSession
import uuid
from datetime import datetime
from app.database import async_session_maker
from app.models.user import User
from app.security import verify_password, create_session, delete_session, bearer_scheme
router = APIRouter(prefix="/api/v1/auth", tags=["auth"])
security = HTTPBasic(realm="messenger")
class UserResponse(BaseModel):
id: uuid.UUID
username: str
display_name: str
created_at: datetime
model_config = ConfigDict(from_attributes=True)
@field_serializer('created_at')
def serialize_dt(self, dt: datetime):
return dt.isoformat().replace("+00:00", "Z")
class SessionResponse(BaseModel):
token: str
token_type: str
expires_at: str
user: UserResponse
@field_serializer('expires_at')
def serialize_dt(self, dt_str: str):
if dt_str and dt_str.endswith("+00:00"):
return dt_str.replace("+00:00", "Z")
return dt_str
# Basic Auth в Bearer Token
@router.post("/sessions", status_code=201, response_model=SessionResponse)
async def login(credentials: HTTPBasicCredentials = Depends(security)):
async with async_session_maker() as session:
result = await session.execute(select(User).where(User.username == credentials.username))
user = result.scalar_one_or_none()
if not user or not verify_password(credentials.password, user.password_hash):
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="Incorrect username or password",
headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'},
)
session_data = await create_session(user.id)
session_data["user"] = user
return session_data
@router.delete("/sessions/current", status_code=204)
async def logout(credentials: HTTPAuthorizationCredentials = Depends(bearer_scheme)):
if not credentials:
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="Not authenticated",
headers={"WWW-Authenticate": 'Bearer realm="messenger"'},
)
token = credentials.credentials
user_id = await redis_client.get(f"session:{token}")
if not user_id:
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="Invalid or expired token",
headers={"WWW-Authenticate": 'Bearer realm="messenger"'},
)
await delete_session(token)
return None
+139
View File
@@ -0,0 +1,139 @@
import uuid
from datetime import datetime
from fastapi import APIRouter, HTTPException, Depends
from pydantic import BaseModel, Field, field_validator, ConfigDict, field_serializer
from sqlalchemy.ext.asyncio import AsyncSession
from sqlalchemy import select
from app.models.chat import Chat, ChatMember
from app.models.user import User
from app.security import get_current_user
from app.dependencies import get_session
from app.pagination import paginate
router = APIRouter(prefix="/api/v1/chats", tags=["chats"])
class CreateChat(BaseModel):
model_config = ConfigDict(extra="forbid")
title: str = Field(min_length=1, max_length=100)
member_ids: list[str] = Field(min_length=1, max_length=100)
@field_validator("member_ids")
@classmethod
def unique_members(cls, v):
if len(set(v)) != len(v):
raise ValueError("member_ids должны быть уникальными")
return v
class ChatResponse(BaseModel):
id: uuid.UUID
title: str
member_ids: list[uuid.UUID]
created_at: datetime
model_config = ConfigDict(from_attributes=True)
@field_serializer('created_at')
def serialize_dt(self, dt: datetime):
return dt.isoformat().replace("+00:00", "Z")
@router.post("", status_code=201)
async def create_chat(
payload: CreateChat,
user: User = Depends(get_current_user),
session: AsyncSession = Depends(get_session)
):
if str(user.id) not in payload.member_ids:
raise HTTPException(status_code=400, detail="Пользователь должен быть участником чата")
for member_id in payload.member_ids:
result = await session.execute(select(User).where(User.id == member_id))
if not result.scalar_one_or_none():
raise HTTPException(status_code=400, detail=f"несуществующий пользователь: {member_id}")
chat = Chat(title=payload.title)
session.add(chat)
await session.flush()
for member_id in payload.member_ids:
session.add(ChatMember(chat_id=chat.id, user_id=member_id))
await session.commit()
await session.refresh(chat)
return {
"id": chat.id,
"title": chat.title,
"member_ids": payload.member_ids,
"created_at": chat.created_at.isoformat().replace("+00:00", "Z"),
}
@router.get("/{chat_id}")
async def get_chat(
chat_id: str,
user: User = Depends(get_current_user),
session: AsyncSession = Depends(get_session)
):
result = await session.execute(select(Chat).where(Chat.id == chat_id))
chat = result.scalar_one_or_none()
if not chat:
raise HTTPException(status_code=404, detail="чат не найден")
result = await session.execute(
select(ChatMember).where(ChatMember.chat_id == chat.id, ChatMember.user_id == user.id)
)
if not result.scalar_one_or_none():
raise HTTPException(status_code=404, detail="чат не найден")
result = await session.execute(select(ChatMember.user_id).where(ChatMember.chat_id == chat.id))
member_ids = []
for row in result.all():
user_id = row[0]
member_ids.append(str(user_id))
return {
"id": chat.id,
"title": chat.title,
"member_ids": member_ids,
"created_at": chat.created_at.isoformat().replace("+00:00", "Z"),
}
@router.get("")
async def list_chats(
limit: int = 20,
cursor: str | None = None,
user: User = Depends(get_current_user),
session: AsyncSession = Depends(get_session)
):
if limit < 1 or limit > 100:
raise HTTPException(status_code=400, detail="limit должен быть от 1 до 100")
result = await session.execute(
select(Chat)
.join(ChatMember, Chat.id == ChatMember.chat_id)
.where(ChatMember.user_id == user.id)
.order_by(Chat.created_at, Chat.id)
)
chats = result.scalars().all()
my_chats = []
for chat in chats:
result = await session.execute(select(ChatMember.user_id).where(ChatMember.chat_id == chat.id))
member_ids = []
for row in result.all():
user_id = row[0]
member_ids.append(str(user_id))
my_chats.append({
"id": chat.id,
"title": chat.title,
"member_ids": member_ids,
"created_at": chat.created_at.isoformat().replace("+00:00", "Z"),
})
page, next_cursor = paginate(my_chats, limit, cursor)
return {"items": page, "next_cursor": next_cursor}
+34
View File
@@ -0,0 +1,34 @@
from fastapi import APIRouter
from fastapi import HTTPException
from sqlalchemy import text
from app.database import async_session_maker
from app.redis_client import redis_client
router = APIRouter(tags=["health"])
@router.get("/health/live")
def live():
return {"status": "ok"}
@router.get("/health/ready")
async def ready():
try:
async with async_session_maker() as session:
await session.execute(text("SELECT 1"))
await redis_client.ping()
return {"status": "ok"}
except Exception:
raise HTTPException(status_code=503, detail="unavailable")
@router.get("/")
def home():
return {
"service": "MTUSI Messenger",
"version": "1.1.0",
"docs": "/docs",
}
+150
View File
@@ -0,0 +1,150 @@
import uuid
from datetime import datetime
from fastapi import APIRouter, HTTPException, Depends, Header
from pydantic import BaseModel, Field, ConfigDict, field_serializer
from sqlalchemy.ext.asyncio import AsyncSession
from sqlalchemy import select
from app.redis_client import redis_client
import json
from app.models.message import Message
from app.models.chat import Chat, ChatMember
from app.models.user import User
from app.security import get_current_user
from app.dependencies import get_session
router = APIRouter(prefix="/api/v1/chats/{chat_id}/messages", tags=["messages"])
class CreateMessage(BaseModel):
model_config = ConfigDict(extra="forbid")
text: str = Field(min_length=1, max_length=4000)
class MessageResponse(BaseModel):
id: uuid.UUID
chat_id: uuid.UUID
sender_id: uuid.UUID
text: str
created_at: datetime
model_config = ConfigDict(from_attributes=True)
@field_serializer('created_at')
def serialize_dt(self, dt: datetime):
return dt.isoformat().replace("+00:00", "Z")
async def check_chat_access(chat_id: str, user_id: uuid.UUID, session: AsyncSession):
chat = await session.get(Chat, chat_id)
if not chat:
raise HTTPException(status_code=404, detail="чат не найден")
result = await session.execute(
select(ChatMember).where(ChatMember.chat_id == chat.id, ChatMember.user_id == user_id)
)
if not result.scalar_one_or_none():
raise HTTPException(status_code=404, detail="чат не найден")
return chat
@router.post("", status_code=201, response_model=MessageResponse)
async def create_message(
chat_id: str,
payload: CreateMessage,
idempotency_key: str = Header(
...,
alias="Idempotency-Key",
min_length=1,
max_length=128,
pattern=r"^[A-Za-z0-9._:-]+$",
),
user: User = Depends(get_current_user),
session: AsyncSession = Depends(get_session)
):
await check_chat_access(chat_id, user.id, session)
redis_key = f"idem:{user.id}:{chat_id}:{idempotency_key}"
body = payload.model_dump()
raw = await redis_client.get(redis_key)
if raw:
stored = json.loads(raw)
if stored["state"] == "done":
if stored["request_body"] == body:
return stored["response"]
raise HTTPException(status_code=409, detail="Idempotency-Key переиспользован с другим телом запроса")
raise HTTPException(status_code=409, detail="Запрос с этим Idempotency-Key ещё обрабатывается")
acquired = await redis_client.set(
redis_key,
json.dumps({"state": "processing", "request_body": body}),
nx=True,
ex=86400,
)
if not acquired:
raise HTTPException(409, "Одновременный запрос с тем же самым Idempotency-Key")
message = Message(chat_id=chat_id, sender_id=user.id, text=payload.text)
session.add(message)
await session.commit()
await session.refresh(message)
response_data = {
"id": str(message.id),
"chat_id": str(message.chat_id),
"sender_id": str(message.sender_id),
"text": message.text,
"created_at": message.created_at.isoformat().replace("+00:00", "Z"),
}
await redis_client.set(
redis_key,
json.dumps({"state": "done",
"request_body": body,
"response": response_data}),
ex=86400,
)
return response_data
@router.get("")
async def list_messages(
chat_id: str,
limit: int = 50,
cursor: str | None = None,
user: User = Depends(get_current_user),
session: AsyncSession = Depends(get_session)
):
if limit < 1 or limit > 100:
raise HTTPException(status_code=400, detail="limit должен быть от 1 до 100")
await check_chat_access(chat_id, user.id, session)
offset = int(cursor) if cursor else 0
result = await session.execute(
select(Message)
.where(Message.chat_id == chat_id)
.order_by(Message.created_at, Message.id)
.limit(limit + 1)
.offset(offset)
)
msgs = result.scalars().all()
has_next = len(msgs) > limit
if has_next:
msgs = msgs[:limit]
my_messages = [
{
"id": m.id,
"chat_id": m.chat_id,
"sender_id": m.sender_id,
"text": m.text,
"created_at": m.created_at.isoformat().replace("+00:00", "Z"),
} for m in msgs
]
next_cursor = str(offset + limit) if has_next else None
return {"items": my_messages, "next_cursor": next_cursor}
+55
View File
@@ -0,0 +1,55 @@
import uuid
from datetime import datetime
from fastapi import APIRouter, HTTPException, Depends
from pydantic import BaseModel, Field, ConfigDict, field_serializer
from sqlalchemy.ext.asyncio import AsyncSession
from sqlalchemy import select
from sqlalchemy.exc import IntegrityError
from app.models.user import User
from app.security import get_password_hash, get_current_user
from app.dependencies import get_session
router = APIRouter(prefix="/api/v1/users", tags=["users"])
class CreateUser(BaseModel):
model_config = ConfigDict(extra="forbid")
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
display_name: str = Field(min_length=1, max_length=100)
password: str = Field(min_length=5, max_length=128)
class UserResponse(BaseModel):
id: uuid.UUID
username: str
display_name: str
created_at: datetime
model_config = ConfigDict(from_attributes=True)
@field_serializer('created_at')
def serialize_dt(self, dt: datetime):
return dt.isoformat().replace("+00:00", "Z")
@router.post("", status_code=201, response_model=UserResponse)
async def register_user(payload: CreateUser, session: AsyncSession = Depends(get_session)):
result = await session.execute(select(User).where(User.username == payload.username))
if result.scalar_one_or_none():
raise HTTPException(status_code=409, detail="Имя пользователя уже существует")
user = User(
username=payload.username,
display_name=payload.display_name,
password_hash=get_password_hash(payload.password)
)
session.add(user)
try:
await session.commit()
except IntegrityError:
await session.rollback()
raise HTTPException(status_code=409, detail="Имя пользователя уже существует")
await session.refresh(user)
return user
@router.get("/me", response_model=UserResponse)
async def current_user(user: User = Depends(get_current_user)):
return user
+81
View File
@@ -0,0 +1,81 @@
import secrets
from datetime import datetime, timezone, timedelta
from passlib.context import CryptContext
from fastapi import Depends, HTTPException, status
from fastapi.security import HTTPBearer, HTTPAuthorizationCredentials
from sqlalchemy import select
from app.database import async_session_maker
from app.models.user import User
from app.redis_client import redis_client
from app.config import SESSION_TTL_SECONDS
pwd_context = CryptContext(schemes=["bcrypt"], deprecated="auto")
bearer_scheme = HTTPBearer(auto_error=False)
def get_password_hash(password: str) -> str:
return pwd_context.hash(password)
def verify_password(plain: str, hashed: str) -> bool:
return pwd_context.verify(plain, hashed)
async def create_session(user_id: str) -> dict:
token = secrets.token_urlsafe(32)
expires_at = datetime.now(timezone.utc) + timedelta(seconds=SESSION_TTL_SECONDS)
await redis_client.setex(
name=f"session:{token}",
time=SESSION_TTL_SECONDS,
value=str(user_id),
)
return {
"token": token,
"token_type": "Bearer",
"expires_at": expires_at.isoformat().replace("+00:00", "Z"),
}
async def delete_session(token: str) -> None:
await redis_client.delete(f"session:{token}")
async def get_current_user(credentials: HTTPAuthorizationCredentials = Depends(bearer_scheme)):
if not credentials:
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="Not authenticated",
headers={"WWW-Authenticate": 'Bearer realm="messenger"'},
)
token = credentials.credentials
try:
user_id = await redis_client.get(f"session:{token}")
except Exception:
raise HTTPException(
status_code=status.HTTP_500_INTERNAL_SERVER_ERROR,
detail="Внутренняя ошибка сервера"
)
if not user_id:
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="Invalid or expired token",
headers={"WWW-Authenticate": 'Bearer realm="messenger"'},
)
async with async_session_maker() as session:
result = await session.execute(select(User).where(User.id == user_id))
user = result.scalar_one_or_none()
if not user:
raise HTTPException(
status_code=status.HTTP_401_UNAUTHORIZED,
detail="User not found",
headers={"WWW-Authenticate": 'Bearer realm="messenger"'},
)
return user
+9
View File
@@ -0,0 +1,9 @@
import threading
users_lock = threading.Lock()
messages_lock = threading.Lock()
users_by_id: dict[str, dict] = {}
users_by_username: dict[str, dict] = {}
chats_by_id: dict[str, dict] = {}
messages_by_chat: dict[str, list[dict]] = {}
+11
View File
@@ -0,0 +1,11 @@
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
# Service names below are logical roles, not imposed container names.
x-lab-number: 3
x-required-roles:
- api
- postgres
- load_balancer
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
services: {}
+61
View File
@@ -0,0 +1,61 @@
# Семантика API
Этот текст дополняет [openapi.json](openapi.json). Обязательный API соответствует уровню 3 текущей лабораторной. Факультативный crop или rate limiting не становятся обязательными только из-за наличия допустимого имени варианта или кода ошибки в схеме.
## Формат и ошибки
- JSON — UTF-8, `Content-Type: application/json`. UUID — строка; время — RFC 3339 UTC с `Z`, назначается сервером. Часы не считаются уникальным ID.
- Каждый ответ API, включая ошибки и health, содержит непустой `X-Request-Id`. Тело ошибки: `{"error":{"code":"invalid_request","message":"...","request_id":"..."}}`; `request_id` совпадает с заголовком. Сообщение ошибки не раскрывает stack trace, SQL, credentials или наличие чужого объекта.
- Обязательные строки не состоят только из пробельных символов. `username` строго `[a-z0-9_]{3,32}`, уникален; `display_name` — 1–100 Unicode code points. JSON с лишними полями или неверными типами — `400`; malformed JSON также `400`.
- `400 invalid_request` — неверные поля, UUID, cursor, limit; `401 unauthorized` — нет действительной идентификации/сессии; `404 not_found` — объекта нет или он чужой; `409 conflict` — username занят, повторный ключ с другим сообщением, объект ещё не готов; `413 payload_too_large`; `415 unsupported_media_type`; `429 rate_limited`; `503 unavailable`. Неожиданное исключение — `500 internal_error` без внутренних деталей.
- Сначала аутентификация, затем доступ к конкретному ресурсу. Любой аутентифицированный участник чата может читать его историю и вложения и писать в него; посторонний получает `404`. Списки содержат только доступные объекты. Не используйте `403` для раскрытия существования чужого чата.
- `GET /health/live` проверяет только жизнь процесса, возвращает `200 {"status":"ok"}`. `GET /health/ready` возвращает 200, если приложение может безопасно обслуживать обязательный синхронный путь; иначе 503 в общем формате ошибки. Какие зависимости критичны, зафиксируйте в отчёте; недоступность Grafana не должна останавливать API.
## Пользователи, чаты и сообщения
- `POST /users` публичен; возвращает `201 User`. Пароль/его hash и сессионные данные никогда не входят в User.
- `POST /chats` принимает title и явный список существующих `member_ids`, включая вызывающего. Дубликаты, неизвестные участники и отсутствие вызывающего — 400. Чат создаётся атомарно. GET списка чатов сортируется по `(created_at, id)` по возрастанию.
- Отправитель сообщения выводится из текущей идентификации, поле `sender_id` в запросе не принимается. Текст — до 4000 Unicode code points. Нельзя отправить пустой/пробельный текст без вложений.
- История использует keyset cursor: `(created_at, id)`, по возрастанию; `limit` — целое 1–100, по умолчанию 50. Ответ `{"items":[...],"next_cursor":null}`. Непустой cursor — непрозрачная для клиента строка; последний элемент предыдущей страницы не повторяется. Cursor привязан к ресурсу/запросу: от другого чата — 400. Изменять `limit` при продолжении можно.
- `next_cursor` равен null, если на момент чтения следующей записи нет. Гарантируется отсутствие повторов при обходе неизменной истории; snapshot изоляция между несколькими HTTP-запросами не требуется. При конкурентных вставках опишите выбранную семантику и ограничения часов.
- Подтверждённое сообщение видно следующему чтению через любую API-реплику. Допускается кэш, но он не должен возвращать устаревшую историю после успешной записи. Удаление и изменение участников в обязательный API не входят.
## Идентификация и сессии
**Lab1:** защищённые endpoint требуют `X-User-Id: <UUID существующего пользователя>`; отсутствие/неизвестный ID — 401. Это учебный выбор пользователя: любой клиент может выдать себя за другого.
**Lab2–7:** `POST /auth/sessions` принимает только `Authorization: Basic <base64(username:password)>`, без JSON body. Username ограничен ASCII; пароль кодируется UTF-8, 12–128 code points, двоеточие в пароле допустимо. Неверные credentials — одинаковый 401 и `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`.
Вход возвращает `201 {"token":"...","token_type":"Bearer","expires_at":"...Z","user":{...}}`. Токен — непрозрачное случайное значение, не username/UUID и не обязательный JWT; энтропия не менее 256 бит. Храните серверную сессию с expiry; TTL задаётся `SESSION_TTL_SECONDS`, по умолчанию 3600 (в тесте истечения можно 2). В обычном smoke TTL должен быть не менее 300.
Все защищённые endpoint принимают только `Authorization: Bearer <token>`. Истёкший/отозванный/неизвестный токен — 401 с `WWW-Authenticate: Bearer realm="messenger"`. Basic на бизнес-endpoint — 401. `X-User-Id` с lab2 игнорируется: он не меняет владельца сессии и сам по себе не даёт доступ. `DELETE /auth/sessions/current` отзывает текущий токен и возвращает 204 без тела; повтор с отозванным токеном — 401.
Пользователи, чаты, сообщения и ещё действительные сессии переживают перезапуск приложения и используемых хранилищ с сохранёнными volumes. TTL не продлевается из-за рестарта. Пароли уже с lab2 хешируются библиотечным password KDF (Argon2id, scrypt или bcrypt с учётом ограничений библиотеки), не SHA-256 и не plaintext. Если bcrypt не поддерживает весь диапазон UTF-8 паролей без усечения, выберите другую библиотечную схему. В lab7 обязателен Argon2id.
Basic — это кодирование, не шифрование. HTTP lab1–6 допускается только для локального изолированного стенда с синтетическими данными; для удалённой демонстрации нужен TLS. Lab7 использует HTTPS обязательно. См. [RFC 7617](https://www.rfc-editor.org/info/rfc7617/).
## Балансировка и повторная отправка (с lab3)
- Каждый ответ, созданный API, содержит `X-Instance-Id`; значение стабильно для жизни процесса. Ошибки соединения, созданные самим LB, могут не иметь этого заголовка. В lab7 используйте случайный alias реплики без раскрытия hostname/IP.
- Для POST сообщения обязателен `Idempotency-Key` (ASCII `[A-Za-z0-9._:-]{1,128}`). Нет/неверный ключ — 400. Область уникальности: текущий пользователь + HTTP-метод + путь чата + ключ.
- При повторе того же валидного JSON в течение 24 часов сервер возвращает тот же код 201 и то же Message. Порядок ключей JSON и отсутствующий `attachment_ids` вместо `[]` семантически равны. Другой body при том же ключе — 409. Разные пользователи/чаты могут использовать одинаковый ключ независимо.
- Одновременные повторы через разные реплики создают ровно одно сообщение. Повтор снова проверяет действительность сессии и доступ. Транзиентные 5xx не фиксируются как окончательный результат; побочный эффект и запись результата должны быть атомарны.
- Ключ обязателен только для сообщений. Самостоятельный retry загрузки файла или создания чата может создать ещё один объект; не добавляйте прозрачные повторы этих POST без расширения контракта.
## Вложения (с lab4)
- `POST /chats/{chat_id}/attachments?filename=photo.png`: сырые bytes одного PNG/JPEG; `Content-Type: image/png` или `image/jpeg`. Не multipart. Максимум **10 MiB = 10 485 760 байт**. MIME проверяется по содержимому; заведомо повреждённые/чужие форматы — 415, превышение bytes — 413. Не более 40 миллионов декодированных пикселей (превышение — 413). Устанавливайте лимит до полной распаковки изображения.
- `filename` — отображаемое имя (1–255 code points). Не используйте его как путь/ключ S3. Имя с `/`, `\`, NUL или управляющими символами — 400. Bucket приватен; object key генерирует сервер. Оригинал возвращается побайтно, его lowercase SHA-256 и размер соответствуют исходному файлу.
- Lab4 возвращает `201 Attachment` со `status=ready`, `variants=[]`, `error_code=null` только после сохранения оригинала и метаданных. Lab5–7 возвращают `202 Attachment` со снимком `status=queued`; готовность определяется последующим GET метаданных. Быстрый worker может закончить до первого GET — это нормально.
- Файл заранее привязан к чату. В POST сообщения добавляется `attachment_ids` (0–10 уникальных ID, по умолчанию []). Можно отправить `text=""` с хотя бы одним вложением. Все вложения должны принадлежать этому чату; чужое/неизвестное — 404. Любой участник может ссылаться на доступное вложение чата. Failed-вложение прикреплять нельзя (409); queued/processing с lab5 можно.
- `GET /attachments/{id}` и `/content` доступны только участникам чата. Download возвращает байты с истинным Content-Type, через авторизованный API, **без redirect** в обязательном контракте. Приватный bucket сам по себе не заменяет эту проверку. `variant` по умолчанию original. Для queued/processing content — 409; для failed — 409. Отсутствующий вариант ready-объекта — 404.
- В ready-метаданных `error_code=null`. В failed — краткий машинный код (например `invalid_image`, `processing_failed`, `retry_exhausted`), без stack trace. `size_bytes`, `sha256`, `content_type` всегда описывают оригинал; у вариантов отдельные поля. Публичный API не раскрывает ключи бакета, внутренние адреса и credentials.
- Прямой upload/download по временной подписи — факультативное расширение. Его дополняют ограничение срока/размера, уникальный ключ и подтверждение реально загруженного объекта; он не заменяет стандартный endpoint. Особенности подписанных URL: [S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-presigned-url.html).
## Фоновая обработка (с lab5)
До 202 все байты приняты в **устойчивый staging**, а намерение обработать файл надёжно сохранено. HTTP-передача клиента не исчезает и не становится мгновенной. Staging — приватный S3-prefix либо общий persistent volume, доступный worker; локальная память/API ephemeral disk не подходит. Worker асинхронно переносит/публикует оригинал в конечный S3-prefix и создаёт варианты; если staging уже в S3, опишите эту границу честно.
Обязательный thumbnail: JPEG, изображение вписано в 256×256 с сохранением пропорций, без увеличения маленьких исходников, EXIF orientation применяется; alpha компонуется на белый. Размеры округляются вниз, минимум 1 px. Fixture 320×200 должен дать 256×160. Статус ready ставится после сохранения оригинала и thumbnail. Crop на 4: JPEG, центрированный квадрат 128×128 (для маленьких исходников допускается увеличение). Optimized на 4: WebP, вписан в 1280×1280 без увеличения, параметры качества и удаления EXIF документируются; не обещайте уменьшение каждого маленького файла.
Допустимые состояния и события описаны в `jobs.schema.json` и `attachment-states.md`. Доставка — at least once; обработка идемпотентна, повторы не размножают варианты. Финальные ошибки наблюдаемы, бесконечный немой retry недопустим. Обязательный smoke ждёт ready до 60 секунд; это бюджет локального smoke для одного файла при свободном worker, не универсальный production SLA. В очередь идут ссылки/ID, не бинарное содержимое.
+58
View File
@@ -0,0 +1,58 @@
{
"CreateUser": {
"username": "alice",
"display_name": "Алиса",
"password": "Example-only-not-a-real-secret-123"
},
"User": {
"id": "11111111-1111-4111-8111-111111111111",
"username": "alice",
"display_name": "Алиса",
"created_at": "2026-09-01T12:00:00Z"
},
"CreateChat": {
"title": "Проект по ВНП",
"member_ids": [
"11111111-1111-4111-8111-111111111111",
"22222222-2222-4222-8222-222222222222"
]
},
"Chat": {
"title": "Проект по ВНП",
"member_ids": [
"11111111-1111-4111-8111-111111111111",
"22222222-2222-4222-8222-222222222222"
],
"id": "33333333-3333-4333-8333-333333333333",
"created_at": "2026-09-01T12:00:00Z"
},
"CreateMessage": {
"text": "Привет, Боб!"
},
"Message": {
"id": "44444444-4444-4444-8444-444444444444",
"chat_id": "33333333-3333-4333-8333-333333333333",
"sender_id": "11111111-1111-4111-8111-111111111111",
"text": "Привет, Боб!",
"created_at": "2026-09-01T12:00:00Z"
},
"MessagePage": {
"items": [
{
"id": "44444444-4444-4444-8444-444444444444",
"chat_id": "33333333-3333-4333-8333-333333333333",
"sender_id": "11111111-1111-4111-8111-111111111111",
"text": "Привет, Боб!",
"created_at": "2026-09-01T12:00:00Z"
}
],
"next_cursor": null
},
"Error": {
"error": {
"code": "not_found",
"message": "Объект не найден",
"request_id": "example-request-id"
}
}
}
+36
View File
@@ -0,0 +1,36 @@
{
"lab": 3,
"kind": "requirements, not runnable deployment",
"required_for_grade_3": [
{
"role": "api",
"count_min": 2,
"student_implements": true,
"persistent_local_state": false
},
{
"role": "postgres",
"purpose": "users/chats/membership/messages/metadata",
"persistent_volume": true
},
{
"role": "load_balancer",
"public_entrypoint": true,
"backend_readiness": true
}
],
"optional_components": [
{
"role": "redis_or_valkey",
"required_for_lab2_grade4": true,
"note": "Choose one; if only store of sessions, configure durable persistence."
}
],
"rules": [
"Choose Compose or Swarm for lab3+; do not need both.",
"Never publish internal API replica ports in bypass of LB from lab3.",
"Versions/digests must be fixed in implementation.",
"Do not remove volumes in restart/failover checks.",
"Document service names, healthchecks, bootstrap/migrations and credentials."
]
}
File diff suppressed because it is too large Load Diff
+92
View File
@@ -0,0 +1,92 @@
services:
db:
image: postgres:16-alpine
container_name: mtusi_messenger_db
environment:
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
POSTGRES_DB: ${POSTGRES_DB}
command: postgres -c synchronous_commit=off
volumes:
- postgres_data:/var/lib/postgresql/data
ports:
- "5432:5432"
healthcheck:
test: ["CMD-SHELL", "pg_isready -U ${POSTGRES_USER} -d ${POSTGRES_DB}"]
interval: 5s
timeout: 5s
retries: 5
restart: unless-stopped
redis:
image: redis:7-alpine
container_name: mtusi_messenger_redis
command: redis-server --appendonly yes
volumes:
- redis_data:/data
ports:
- "6379:6379"
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 5s
timeout: 3s
retries: 5
restart: unless-stopped
app1:
build: .
environment:
DATABASE_URL: ${DATABASE_URL}
REDIS_URL: ${REDIS_URL}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS}
deploy:
resources:
limits:
cpus: "0.5"
memory: 512M
depends_on:
db:
condition: service_healthy
redis:
condition: service_healthy
volumes:
- ./app:/app/app
- ./alembic:/app/alembic
- ./alembic.ini:/app/alembic.ini
app2:
build: .
environment:
DATABASE_URL: ${DATABASE_URL}
REDIS_URL: ${REDIS_URL}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS}
deploy:
resources:
limits:
cpus: "0.5"
memory: 512M
depends_on:
db:
condition: service_healthy
redis:
condition: service_healthy
volumes:
- ./app:/app/app
- ./alembic:/app/alembic
- ./alembic.ini:/app/alembic.ini
nginx:
image: nginx:alpine
container_name: mtusi_messenger_nginx
ports:
- "127.0.0.1:8080:80"
volumes:
- ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
depends_on:
- app1
- app2
volumes:
postgres_data:
redis_data:
+5
View File
@@ -0,0 +1,5 @@
# Доказательства
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
+200294
View File
File diff suppressed because it is too large Load Diff
+13
View File
@@ -0,0 +1,13 @@
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=0.42..5.54 rows=50 width=66) (actual time=0.103..0.111 rows=50 loops=1)
Buffers: shared hit=4
-> Index Scan using ix_messages_chat_created_id on messages (cost=0.42..8222.03 rows=80203 width=66) (actual time=0.102..0.107 rows=50 loops=1)
Index Cond: (chat_id = '66666666-6666-4666-8666-666666666666'::uuid)
Buffers: shared hit=4
Planning:
Buffers: shared hit=107
Planning Time: 0.865 ms
Execution Time: 0.168 ms
(9 rows)
+22
View File
@@ -0,0 +1,22 @@
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=6279.67..6285.42 rows=50 width=66) (actual time=7.323..8.152 rows=50 loops=1)
Buffers: shared hit=1063 read=72
-> Gather Merge (cost=6279.67..11696.05 rows=47099 width=66) (actual time=7.322..8.148 rows=50 loops=1)
Workers Planned: 1
Workers Launched: 1
Buffers: shared hit=1063 read=72
-> Sort (cost=5279.66..5397.40 rows=47099 width=66) (actual time=6.368..6.368 rows=26 loops=2)
Sort Key: created_at, id
Sort Method: top-N heapsort Memory: 38kB
Buffers: shared hit=1063 read=72
Worker 0: Sort Method: top-N heapsort Memory: 38kB
-> Parallel Index Scan using ix_messages_chat_only on messages (cost=0.42..3715.06 rows=47099 width=66) (actual time=0.031..2.837 rows=40000 loops=2)
--More-- ␍ ␍ Index Cond: (chat_id = '66666666-6666-4666-8666-66666666666--More-- ␍ ␍6'::uuid)
--More-- ␍ ␍ Buffers: shared hit=1048 read=72
--More-- ␍ ␍ Planning:
--More-- ␍ ␍ Buffers: shared hit=98 read=1
--More-- ␍ ␍ Planning Time: 0.335 ms
--More-- ␍ ␍ Execution Time: 8.200 ms
--More-- ␍ ␍(18 rows)
--More-- ␍ ␍
+29
View File
@@ -0,0 +1,29 @@
./scripts/failover-test.sh app1
Останавливаю app1
16:50:48.3N
Останавливаю app1...
app1 остановлен
Шлю запросы каждые 0.5 сек, смотрю код и x-instance-id
16:50:48.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:51.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:51.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:52.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:52.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:53.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:53.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:54.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:55.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:55.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:56.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:58.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:59.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:50:59.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:51:00.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:51:00.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:51:01.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:51:02.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:51:02.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
16:51:03.3N code=200 x-instance-id: 4749a273-c09f-47b2-9172-f373b786233b
Поднимаю app1 обратно
+29
View File
@@ -0,0 +1,29 @@
./scripts/failover-test.sh app2
Останавливаю app2
16:51:08.3N
Останавливаю app2...
app2 остановлен
Шлю запросы каждые 0.5 сек, смотрю код и x-instance-id
16:51:09.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:11.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:14.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:14.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:15.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:15.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:16.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:17.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:17.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:18.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:18.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:19.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:21.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:22.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:22.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:23.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:24.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:24.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:25.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
16:51:25.3N code=200 x-instance-id: 534c1846-b123-481b-a9c4-71c7049315ae
Поднимаю app2 обратно
+18
View File
@@ -0,0 +1,18 @@
python3 tests/load.py --base-url "http://localhost:8080"
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 30.609,
"concurrency": 4,
"successful_requests": 8195,
"failed_requests": 8,
"error_ratio": 0.000975,
"successful_rps": 267.73,
"successful_latency_ms": {
"p50": 9.403,
"p95": 12.088,
"p99": 17.671
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 32.212,
"concurrency": 20,
"successful_requests": 7940,
"failed_requests": 60,
"error_ratio": 0.0075,
"successful_rps": 246.491,
"successful_latency_ms": {
"p50": 32.546,
"p95": 76.906,
"p99": 114.623
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+22
View File
@@ -0,0 +1,22 @@
=== Замер для 2 реплик ===
Лимиты: cpus=0.5, memory=512M на реплику (суммарно 1 CPU / 1 GB)
Конфигурация: app1 + app2 за Nginx
Нагрузка: make load (POST /messages, 30 сек, concurrency 4)
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 31.155,
"concurrency": 4,
"successful_requests": 8156,
"failed_requests": 3,
"error_ratio": 0.000368,
"successful_rps": 261.789,
"successful_latency_ms": {
"p50": 8.613,
"p95": 36.591,
"p99": 48.722
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 33.193,
"concurrency": 20,
"successful_requests": 8386,
"failed_requests": 60,
"error_ratio": 0.007104,
"successful_rps": 252.642,
"successful_latency_ms": {
"p50": 18.858,
"p95": 78.217,
"p99": 156.447
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 31.089,
"concurrency": 4,
"successful_requests": 8190,
"failed_requests": 12,
"error_ratio": 0.001463,
"successful_rps": 263.441,
"successful_latency_ms": {
"p50": 7.843,
"p95": 11.567,
"p99": 16.163
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 32.952,
"concurrency": 20,
"successful_requests": 8299,
"failed_requests": 20,
"error_ratio": 0.002404,
"successful_rps": 251.855,
"successful_latency_ms": {
"p50": 9.001,
"p95": 274.971,
"p99": 389.683
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+18
View File
@@ -0,0 +1,18 @@
python3 tests/load.py --base-url "http://localhost:8080"
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 30.999,
"concurrency": 4,
"successful_requests": 8165,
"failed_requests": 12,
"error_ratio": 0.001468,
"successful_rps": 263.396,
"successful_latency_ms": {
"p50": 7.054,
"p95": 11.933,
"p99": 23.37
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+18
View File
@@ -0,0 +1,18 @@
python3 tests/load.py --base-url "http://localhost:8080"
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30,
"elapsed_seconds": 32.012,
"concurrency": 4,
"successful_requests": 8160,
"failed_requests": 2,
"error_ratio": 0.000245,
"successful_rps": 254.903,
"successful_latency_ms": {
"p50": 6.556,
"p95": 53.415,
"p99": 69.04
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+32
View File
@@ -0,0 +1,32 @@
./scripts/rolling-load.sh
Нагрузка: 30 запросов с интервалом 0.5 сек
16:51:30 code=200 instance=534c1846-b123-481b-a9c4-71c7049315ae
16:51:30 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:31 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:33 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:34 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:35 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:35 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:36 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:36 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:37 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:37 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:38 code=200 instance=0a6121d9-07cc-4491-9937-e8b68e5156c5
16:51:38 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:39 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:40 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:41 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:41 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:42 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:43 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:43 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:44 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:44 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:45 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:45 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:46 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:46 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:47 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:47 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
16:51:48 code=200 instance=06026485-762d-4e6a-a368-e1bac311a756
16:51:49 code=200 instance=86e75a44-8448-4aec-99c1-a2d9378f0dc2
+159
View File
@@ -0,0 +1,159 @@
./scripts/rolling-update.sh
Rolling update: app1
Container mtusi2026lab3-app1-1 Stopping
Container mtusi2026lab3-app1-1 Stopped
#0 building with "desktop-linux" instance using docker driver
#1 [app1 internal] load build definition from Dockerfile
#1 transferring dockerfile: 685B done
#1 DONE 0.0s
#2 [app1 internal] load metadata for docker.io/library/python:3.13-slim
#2 DONE 1.8s
#3 [app1 internal] load .dockerignore
#3 transferring context: 279B done
#3 DONE 0.0s
#4 [app1 1/9] FROM docker.io/library/python:3.13-slim@sha256:09a17cad02668ae61ece136b4fd36ac3849e14f670ebedb637ea3e15580525bc
#4 DONE 0.0s
#5 [app1 internal] load build context
#5 transferring context: 4.73kB done
#5 DONE 0.0s
#6 [app1 4/9] RUN pip install --no-cache-dir -r requirements-dev.txt
#6 CACHED
#7 [app1 3/9] COPY requirements-dev.txt .
#7 CACHED
#8 [app1 2/9] WORKDIR /app
#8 CACHED
#9 [app1 8/9] COPY alembic/ alembic/
#9 CACHED
#10 [app1 6/9] COPY app/ app/
#10 CACHED
#11 [app1 7/9] COPY alembic.ini .
#11 CACHED
#12 [app1 5/9] RUN useradd --create-home --shell /bin/bash appuser
#12 CACHED
#13 [app1 9/9] RUN chown -R appuser:appuser /app/alembic
#13 CACHED
#14 [app1] exporting to image
#14 exporting layers done
#14 writing image sha256:af1621af7e8af7324cc026feef618c950fa872eeb17c4333dade10b720a57503 done
#14 naming to docker.io/library/mtusi2026lab3-app1 done
#14 DONE 0.0s
#15 [app1] resolving provenance for metadata file
#15 DONE 0.0s
Container mtusi_messenger_redis Running
Container mtusi_messenger_db Running
Container mtusi2026lab3-app1-1 Created
Container mtusi_messenger_redis Waiting
Container mtusi_messenger_db Waiting
Container mtusi_messenger_redis Healthy
Container mtusi_messenger_db Healthy
Container mtusi2026lab3-app1-1 Starting
Container mtusi2026lab3-app1-1 Started
Жду, пока app1 станет healthy...
Rolling update: app2
Container mtusi2026lab3-app2-1 Stopping
Container mtusi2026lab3-app2-1 Stopped
#0 building with "desktop-linux" instance using docker driver
#1 [app2 internal] load build definition from Dockerfile
#1 transferring dockerfile: 685B done
#1 DONE 0.0s
#2 [app2 internal] load metadata for docker.io/library/python:3.13-slim
#2 DONE 0.3s
#3 [app2 internal] load .dockerignore
#3 transferring context: 279B done
#3 DONE 0.0s
#4 [app2 1/9] FROM docker.io/library/python:3.13-slim@sha256:09a17cad02668ae61ece136b4fd36ac3849e14f670ebedb637ea3e15580525bc
#4 DONE 0.0s
#5 [app2 internal] load build context
#5 transferring context: 4.73kB done
#5 DONE 0.0s
#6 [app2 3/9] COPY requirements-dev.txt .
#6 CACHED
#7 [app2 7/9] COPY alembic.ini .
#7 CACHED
#8 [app2 8/9] COPY alembic/ alembic/
#8 CACHED
#9 [app2 5/9] RUN useradd --create-home --shell /bin/bash appuser
#9 CACHED
#10 [app2 2/9] WORKDIR /app
#10 CACHED
#11 [app2 4/9] RUN pip install --no-cache-dir -r requirements-dev.txt
#11 CACHED
#12 [app2 6/9] COPY app/ app/
#12 CACHED
#13 [app2 9/9] RUN chown -R appuser:appuser /app/alembic
#13 CACHED
#14 [app2] exporting to image
#14 exporting layers done
#14 writing image sha256:9c5ffbef790bf603d2cd9d54e18df8b05aa9541f5201974646cfd5fb1d46720b done
#14 naming to docker.io/library/mtusi2026lab3-app2 done
#14 DONE 0.0s
#15 [app2] resolving provenance for metadata file
#15 DONE 0.0s
Container mtusi_messenger_redis Running
Container mtusi_messenger_db Running
Container mtusi2026lab3-app2-1 Created
Container mtusi_messenger_redis Waiting
Container mtusi_messenger_db Waiting
Container mtusi_messenger_db Healthy
Container mtusi_messenger_redis Healthy
Container mtusi2026lab3-app2-1 Starting
Container mtusi2026lab3-app2-1 Started
Жду, пока app2 станет healthy...
Проверка: обе реплики живы
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
␍ 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0␍100 15 100 15 0 0 2824 0 --:--:-- --:--:-- --:--:-- 3000
HTTP/1.1 200 OK
Server: nginx/1.29.4
Date: Fri, 06 Nov 2026 13:51:44 GMT
Content-Type: application/json
Content-Length: 15
Connection: keep-alive
x-instance-id: 06026485-762d-4e6a-a368-e1bac311a756
x-request-id: 9fd1f3e6-0c5a-4cce-a727-35467ef553b8
{"status":"ok"} % Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
␍ 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0␍100 15 100 15 0 0 3764 0 --:--:-- --:--:-- --:--:-- 5000
HTTP/1.1 200 OK
Server: nginx/1.29.4
Date: Fri, 06 Nov 2026 13:51:44 GMT
Content-Type: application/json
Content-Length: 15
Connection: keep-alive
x-instance-id: 86e75a44-8448-4aec-99c1-a2d9378f0dc2
x-request-id: 23fcdcf5-8f9c-48f3-8973-4c5a49186e23
{"status":"ok"}
+10
View File
@@ -0,0 +1,10 @@
HTTP/1.1 200 OK
Server: nginx/1.29.4
Date: Sat, 31 Oct 2026 14:20:31 GMT
Content-Type: application/json
Content-Length: 133
Connection: keep-alive
x-instance-id: 0bde7749-b376-47a1-b6b5-d6996cc8f451
x-request-id: b58b0c54-8f13-48ba-a469-b63f3bdd62f5
{"id":"75ff0b0b-2cc0-43cf-af38-a50ff2968506","username":"lbtest","display_name":"LB Test","created_at":"2026-10-31T14:06:35.944873Z"}
+10
View File
@@ -0,0 +1,10 @@
HTTP/1.1 200 OK
Server: nginx/1.29.4
Date: Sat, 31 Oct 2026 14:20:31 GMT
Content-Type: application/json
Content-Length: 133
Connection: keep-alive
x-instance-id: fd34912d-faf5-44cf-bb1c-5a6b6ab368dd
x-request-id: c4499fdd-21c8-4b60-90be-e47e079ede18
{"id":"75ff0b0b-2cc0-43cf-af38-a50ff2968506","username":"lbtest","display_name":"LB Test","created_at":"2026-10-31T14:06:35.944873Z"}
+10
View File
@@ -0,0 +1,10 @@
HTTP/1.1 200 OK
Server: nginx/1.29.4
Date: Sat, 31 Oct 2026 14:20:31 GMT
Content-Type: application/json
Content-Length: 133
Connection: keep-alive
x-instance-id: 0bde7749-b376-47a1-b6b5-d6996cc8f451
x-request-id: 40834f73-64c3-40de-adfe-049ecc07a4d4
{"id":"75ff0b0b-2cc0-43cf-af38-a50ff2968506","username":"lbtest","display_name":"LB Test","created_at":"2026-10-31T14:06:35.944873Z"}
+10
View File
@@ -0,0 +1,10 @@
HTTP/1.1 200 OK
Server: nginx/1.29.4
Date: Sat, 31 Oct 2026 14:20:31 GMT
Content-Type: application/json
Content-Length: 133
Connection: keep-alive
x-instance-id: fd34912d-faf5-44cf-bb1c-5a6b6ab368dd
x-request-id: 3a53c323-e47a-4eb4-8321-bd289f81d751
{"id":"75ff0b0b-2cc0-43cf-af38-a50ff2968506","username":"lbtest","display_name":"LB Test","created_at":"2026-10-31T14:06:35.944873Z"}
+12
View File
@@ -0,0 +1,12 @@
python3 -m pytest tests/test_resilience.py -v
============================= test session starts ==============================
platform darwin -- Python 3.13.2, pytest-8.3.4, pluggy-1.6.0 -- /Users/kirill/Downloads/drone_simulation_project/.venv/bin/python3
cachedir: .pytest_cache
rootdir: /Users/kirill/Desktop/esp/temka/mtusi2026lab3
plugins: platformdirs-4.12.2, anyio-3.6.2
collecting ... collected 2 items
tests/test_resilience.py::test_postgres_down_returns_503 PASSED [ 50%]
tests/test_resilience.py::test_redis_down_returns_500_json PASSED [100%]
============================== 2 passed in 6.84s ===============================
+13
View File
@@ -0,0 +1,13 @@
python3 -m pytest tests/test_lab3.py -v
============================= test session starts ==============================
platform darwin -- Python 3.13.2, pytest-8.3.4, pluggy-1.6.0 -- /Users/kirill/Downloads/drone_simulation_project/.venv/bin/python3
cachedir: .pytest_cache
rootdir: /Users/kirill/Desktop/esp/temka/mtusi2026lab3
plugins: platformdirs-4.12.2, anyio-3.6.2
collecting ... collected 3 items
tests/test_lab3.py::test_idempotency_same_body_returns_same_id PASSED [ 33%]
tests/test_lab3.py::test_idempotency_different_body_returns_409 PASSED [ 66%]
tests/test_lab3.py::test_shared_session_across_replicas PASSED [100%]
============================== 3 passed in 1.50s ===============================
+46
View File
@@ -0,0 +1,46 @@
# Optional HTTP-client worksheet; no extension is required by the course.
# Replace IDs/token locally from real responses; do not commit filled-in credentials.
# Canonical API: contracts/openapi.json and contracts/README.md.
@baseUrl = http://localhost:8080
@aliceId = REPLACE_WITH_CREATED_ALICE_UUID
@bobId = REPLACE_WITH_CREATED_BOB_UUID
@chatId = REPLACE_WITH_CREATED_CHAT_UUID
@sessionToken = REPLACE_LOCALLY_DO_NOT_COMMIT
### Liveness
GET {{baseUrl}}/health/live
### Register Alice (repeat with username bob/display_name Боб)
POST {{baseUrl}}/api/v1/users
Content-Type: application/json
{
"username": "alice",
"display_name": "Алиса",
"password": "Example-only-not-a-real-secret-123"
}
### Create session: generate the Base64 value locally, do not commit credentials
# Base64 of UTF-8 username:password; only this endpoint accepts Basic.
POST {{baseUrl}}/api/v1/auth/sessions
Authorization: Basic REPLACE_WITH_LOCAL_BASE64_CREDENTIAL
### Create chat; both UUIDs must be real registered users
POST {{baseUrl}}/api/v1/chats
Authorization: Bearer {{sessionToken}}
Content-Type: application/json
{"title":"Проект по ВНП","member_ids":["{{aliceId}}","{{bobId}}"]}
### Send message
POST {{baseUrl}}/api/v1/chats/{{chatId}}/messages
Authorization: Bearer {{sessionToken}}
Idempotency-Key: example-message-001
Content-Type: application/json
{"text":"Привет, Боб!"}
### Read first page
GET {{baseUrl}}/api/v1/chats/{{chatId}}/messages?limit=50
Authorization: Bearer {{sessionToken}}
+7
View File
@@ -0,0 +1,7 @@
# Инфраструктура студента
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
+8
View File
@@ -0,0 +1,8 @@
{
"number": 3,
"title": "Балансировка и отказ API-реплики",
"contract_version": "1.3.0",
"default_base_url": "http://localhost:8080",
"grading": "3; 4 includes 3; 5 includes 4 plus one completed research track",
"scaffold_has_application": false
}
+26
View File
@@ -0,0 +1,26 @@
events { worker_connections 1024; }
http {
upstream api_backend {
least_conn;
server app1:8080 max_fails=2 fail_timeout=5s;
server app2:8080 max_fails=2 fail_timeout=5s;
}
server {
listen 80;
location / {
proxy_pass http://api_backend;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream error timeout http_502 http_503 http_504;
proxy_connect_timeout 2s;
proxy_send_timeout 5s;
proxy_read_timeout 5s;
}
}
}
+13
View File
@@ -0,0 +1,13 @@
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
openapi-spec-validator==0.7.2
pytest==8.3.4
fastapi==0.115.0
uvicorn[standard]==0.52.4
pydantic==2.13.5
asyncpg==0.31.0
sqlalchemy[asyncio]==2.1.0
redis==6.2.0
passlib==1.7.4
bcrypt==4.1.2
alembic==1.14.0
psycopg2-binary
View File
+14
View File
@@ -0,0 +1,14 @@
from pydantic import BaseModel, Field, field_validator, ConfigDict
class CreateChat(BaseModel):
model_config = ConfigDict(extra="forbid")
title: str = Field(min_length=1, max_length=100)
member_ids: list[str] = Field(min_length=1, max_length=100)
@field_validator("member_ids")
@classmethod
def unique_members(cls, v):
if len(set(v)) != len(v):
raise ValueError("member_ids должны быть уникальными")
return v
+6
View File
@@ -0,0 +1,6 @@
from pydantic import BaseModel, Field, ConfigDict
class CreateMessage(BaseModel):
model_config = ConfigDict(extra="forbid")
text: str = Field(min_length=1, max_length=4000)
+7
View File
@@ -0,0 +1,7 @@
from pydantic import BaseModel, Field, ConfigDict
class CreateUser(BaseModel):
model_config = ConfigDict(extra="forbid")
username: str = Field(pattern=r"^[a-z0-9_]{3,32}$")
display_name: str = Field(min_length=1, max_length=100)
+54
View File
@@ -0,0 +1,54 @@
#!/usr/bin/env python3
"""Offline structural checks; full schema validation is a separate target."""
import ast
import json
from pathlib import Path
import re
ROOT = Path(__file__).resolve().parents[1]
def main():
lab = json.loads((ROOT/'lab.json').read_text())['number']
spec = json.loads((ROOT/'contracts/openapi.json').read_text())
assert spec['openapi']=='3.1.0'
assert spec['info']['version']=='1.%d.0'%lab
operation_ids = set()
def walk(value):
if isinstance(value,dict):
if '$ref' in value:
pointer = value['$ref']
assert pointer.startswith('#/'), 'unexpected external reference'
target = spec
for part in pointer[2:].split('/'):
target = target[part.replace('~1','/').replace('~0','~')]
for v in value.values():
walk(v)
elif isinstance(value,list):
for v in value:
walk(v)
walk(spec)
for route,methods in spec['paths'].items():
placeholders = set(re.findall(r'\{([^}]+)\}',route))
for method,op in methods.items():
assert op['operationId'] not in operation_ids, 'duplicate operationId'
operation_ids.add(op['operationId'])
params = {p['name'] for p in op.get('parameters',[]) if p['in']=='path' and p.get('required')}
assert placeholders==params, 'path parameter mismatch: '+route
for response in op['responses'].values():
assert 'X-Request-Id' in response['headers']
if lab>=3:
assert 'X-Instance-Id' in response['headers']
assert ('/api/v1/auth/sessions' in spec['paths']) == (lab>=2)
assert ('/api/v1/attachments/{attachment_id}' in spec['paths']) == (lab>=4)
for file in list((ROOT/'tests').glob('*.py'))+list((ROOT/'scripts').glob('*.py')):
ast.parse(file.read_text(),filename=str(file))
for file in ROOT.rglob('*.json'):
if any(part in {'.git','.venv','node_modules','vendor','output'} for part in file.parts):
continue
json.loads(file.read_text())
for required in ('README.md','COURSE.md','CONTRIBUTING.md','REPORT.md','contracts/README.md','tests/smoke.py','tests/README.md'):
assert (ROOT/required).is_file(), 'missing '+required
print('PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.')
if __name__=='__main__':
main()
+21
View File
@@ -0,0 +1,21 @@
#!/bin/bash
REPLICA="${1:-app1}"
echo "Останавливаю $REPLICA"
date +"%H:%M:%S.%3N"
./scripts/stop-one.sh "$REPLICA"
echo ""
echo "Шлю запросы каждые 0.5 сек, смотрю код и x-instance-id"
for i in {1..20}; do
TS=$(date +"%H:%M:%S.%3N")
CODE=$(curl -s -o /dev/null -w "%{http_code}" http://localhost:8080/health/live)
INST=$(curl -s -i http://localhost:8080/health/live | grep -i "^x-instance-id:" | tr -d '\r')
echo "$TS code=$CODE $INST"
sleep 0.5
done
echo ""
echo "Поднимаю $REPLICA обратно"
docker compose start "$REPLICA"
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
set -eu
# TODO: copy to restart.sh and implement using YOUR compose/stack services.
# Restart API and ALL used state stores (DB, sessions, S3, broker as applicable).
# Preserve persistent volumes and schema/data; never down -v / flush / re-seed.
# Allow operator unseal if required in lab7; do not print credentials.
# Exit 0 only after the intended action; test waits for API readiness separately.
printf '%s
' 'TODO: implement restart.sh for your infrastructure' >&2
exit 2
+13
View File
@@ -0,0 +1,13 @@
#!/bin/bash
echo "Нагрузка: 30 запросов с интервалом 0.5 сек"
for i in {1..30}; do
TS=$(date +"%H:%M:%S")
RESP=$(curl -s -i http://localhost:8080/health/live)
CODE=$(echo "$RESP" | head -1 | awk '{print $2}')
INST=$(echo "$RESP" | grep -i "^x-instance-id:" | tr -d '\r' | awk '{print $2}')
echo "$TS code=$CODE instance=${INST:-<нет>}"
sleep 0.5
done
+21
View File
@@ -0,0 +1,21 @@
#!/bin/bash
set -e
echo "Rolling update: app1"
docker compose stop app1
docker compose up -d --build app1
echo "Жду, пока app1 станет healthy..."
sleep 5
echo ""
echo "Rolling update: app2"
docker compose stop app2
docker compose up -d --build app2
echo "Жду, пока app2 станет healthy..."
sleep 5
echo ""
echo "Проверка: обе реплики живы"
curl -i http://localhost:8080/health/live
curl -i http://localhost:8080/health/live
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
set -eu
# TODO: copy to stop-one.sh, map TARGET_INSTANCE_ID to ONE API container/task.
# Stop that instance and leave it stopped; no stop of DB/LB/volumes.
# Return quickly (within 10 s); the test sends requests during this script.
# Restore the replica explicitly after the test. Never print credentials.
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
printf '%s
' 'TODO: implement stop-one.sh for your infrastructure' >&2
exit 2
+12
View File
@@ -0,0 +1,12 @@
#!/bin/bash
REPLICA="${1:-app1}"
if [ "$REPLICA" != "app1" ] && [ "$REPLICA" != "app2" ]; then
echo "Ошибка: укажи app1 или app2" >&2
exit 1
fi
echo "Останавливаю $REPLICA..."
docker compose stop "$REPLICA"
echo "$REPLICA остановлен"
+23
View File
@@ -0,0 +1,23 @@
#!/usr/bin/env python3
"""Full OpenAPI and JSON Schema checks; install requirements-dev.txt first."""
import json
from pathlib import Path
from openapi_spec_validator import validate
from jsonschema import Draft202012Validator
root = Path(__file__).resolve().parents[1]
spec = json.loads((root/'contracts/openapi.json').read_text())
validate(spec)
from referencing import Registry, Resource
# The base URI resolves local #/components references inside examples.
resource = dict(spec, **{'$schema': 'https://json-schema.org/draft/2020-12/schema'})
registry = Registry().with_resource('urn:mtusi:openapi', Resource.from_contents(resource))
for name, example in json.loads((root/'contracts/examples.json').read_text()).items():
schema = {'$ref': 'urn:mtusi:openapi#/components/schemas/' + name}
Draft202012Validator(schema, registry=registry).validate(example)
for path in (root/'contracts').glob('*.schema.json'):
schema = json.loads(path.read_text())
Draft202012Validator.check_schema(schema)
for example in schema.get('examples',[]):
Draft202012Validator(schema).validate(example)
print('PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.')
+57
View File
@@ -0,0 +1,57 @@
# Публичные проверки
Python **3.9+**, стандартная библиотека. Сервер уже должен быть запущен; проверки не создают готовое приложение и сами не управляют Docker. `make check` можно выполнить на исходном skeleton, `make test` — только после реализации API. Полная OpenAPI-валидация отдельно: `make validate` после установки `requirements-dev.txt` в venv.
```sh
make check
make test BASE_URL=http://localhost:8080
# без make:
python3 tests/smoke.py --base-url http://localhost:8080
```
`smoke.py` выполняет **один сквозной сценарий**, автоматически выбирая профиль из `lab.json`: health → три пользователя → вход с lab2 → чат → сообщения → пагинация → ошибки доступа → идемпотентность с lab3 → файл с lab4 → thumbnail с lab5 → logout. Он проверяет JSON по используемому подмножеству схемы, коды/headers, Unicode, SHA-256 оригинала и фактические JPEG-размеры thumbnail. Это публичный минимум, не полный fuzz/security/load suite.
Каждый запуск создаёт уникальных синтетических пользователей, чат и сообщения. Данные автоматически не удаляются: в API курса нет delete. Для чистого повтора используйте отдельный тестовый стенд/volume и осознанный сброс своего окружения. Session tokens хранятся только в памяти процесса и не печатаются/не сохраняются.
## Проверка сохранности, lab2+
Скопируйте `scripts/restart.example.sh` в `scripts/restart.sh`, реализуйте перезапуск **API и всех используемых хранилищ** с сохранением volumes и задайте executable bit. Скрипт может опираться на ваш compose.yaml или stack.yaml. Он не должен удалять volumes, повторно seed-ить БД или менять тестовые данные.
```sh
chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
Тест создаёт данные и сессию, запускает указанный файл без shell interpolation, ожидает готовности и проверяет те же данные **с прежним токеном**. В lab4+ также проверяется исходный файл. Hook может работать до 90 секунд, готовность затем ожидается до 90 секунд. TTL сессии для этого теста — минимум 300 секунд. Успех не доказывает, что hook действительно перезапустил БД: приложите команды/состояния контейнеров до и после.
## Проверка отказа, lab3+
Реализуйте `scripts/stop-one.sh` на основе примера. `TARGET_INSTANCE_ID` в окружении содержит alias обслужившей тест API-реплики: сопоставьте его своему контейнеру/Swarm task и остановите именно его. Скрипт должен быстро вернуть 0 и **оставить эту реплику остановленной**; восстановление выполняйте отдельно. Swarm может создать новую task с другим ID — это допустимо.
```sh
chmod +x scripts/stop-one.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
Перед отказом тест наблюдает ≥2 API-реплики; 15 секунд отправляет сообщения параллельно выполнению hook, повторяет неопределённый POST с тем же ключом, проверяет восстановление записи за ≤10 секунд, отсутствие остановленной реплики в последних ответах, сохранность подтверждённых сообщений и отсутствие дублей. Ошибки переходного периода учитываются. Затем восстановите реплику и повторите для другой. Скрипт — проверка одного отказа API, не гарантия HA БД/LB/host. Вывод hook скрыт, чтобы не утекли секреты; отлаживайте его отдельно с безопасным выводом.
## Нагрузка
```sh
python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
```
Это простой **closed-loop** генератор POST сообщений; он ограничен производительностью клиента и страдает coordinated omission. Он выдаёт successful RPS, ошибки и p50/p95/p99 **только успешных запросов**. Во время нагрузки нет прозрачных retry; timeout мог скрыть совершённую запись, поэтому это throughput HTTP-подтверждений, не точный счётчик COMMIT. Изменение размера истории входит в профиль. Для серьёзного исследования используйте k6/Locust/wrk либо свой обоснованный генератор, а не выводите максимальную пропускную способность из одного запуска этого скрипта. Для нагрузки pipeline изображений нужен отдельный сценарий студента.
## HTTPS, lab7
```sh
make test BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
make test-security BASE_URL=https://localhost:8443 CA_FILE=/absolute/path/to/ca.crt
```
Все скрипты принимают `--ca-file`/`CA_FILE` и проверяют серверный сертификат и hostname. `--insecure` отсутствует. TLS-тест сначала проверяет рабочее доверенное соединение, затем намеренно пустой trust store и именно ошибку проверки сертификата; network timeout не засчитывается как правильный отказ. **Внутреннее mTLS, identity/authorization, OpenBao policy и hardening проверяют отдельные тесты студента** по trust matrix. Клиентский сертификат внешнему учебному REST-клиенту не требуется: mTLS находится на внутренних связях.
## Что ещё остаётся доказать
Smoke не доказывает persistence, число реальных контейнеров, durability брокера, outbox, отсутствие утечек/уязвимостей, полноту telemetry или выполнение уровня 4/5. Конкурентные/нагрузочные/негативные проверки своего решения добавляйте отдельно. Список защиты текущей лабы находится в README.md. Проверки рассчитаны на localhost-стенд, не на production.
+217
View File
@@ -0,0 +1,217 @@
"""HTTP helpers for public black-box tests; Python 3.9+, standard library only."""
import base64
import datetime as dt
import hashlib
import json
import os
from pathlib import Path
import re
import ssl
import time
import urllib.error
import urllib.request
import uuid
ROOT = Path(__file__).resolve().parents[1]
LAB = json.loads((ROOT / 'lab.json').read_text())['number']
SPEC = json.loads((ROOT / 'contracts/openapi.json').read_text())
class Failure(AssertionError):
pass
def check(condition, message):
if not condition:
raise Failure(message)
def timestamp(value):
check(isinstance(value, str) and value.endswith('Z'), 'timestamp must be UTC ending in Z')
try:
return dt.datetime.fromisoformat(value[:-1] + '+00:00')
except ValueError as exc:
raise Failure('invalid RFC3339 timestamp') from exc
def validate(value, schema, where='response'):
"""Validate the JSON Schema subset used by the supplied contract, not arbitrary OpenAPI."""
if '$ref' in schema:
target = SPEC
for part in schema['$ref'].split('/')[1:]:
target = target[part]
return validate(value, target, where)
kinds = schema.get('type', [])
if isinstance(kinds, str):
kinds = [kinds]
matches = {'null':value is None, 'boolean':isinstance(value,bool), 'integer':isinstance(value,int) and not isinstance(value,bool), 'number':isinstance(value,(int,float)) and not isinstance(value,bool), 'string':isinstance(value,str), 'array':isinstance(value,list), 'object':isinstance(value,dict)}
if kinds:
check(any(matches.get(k,False) for k in kinds), where + ': incorrect type')
if 'enum' in schema:
check(value in schema['enum'], where + ': invalid enum')
if 'const' in schema:
check(value == schema['const'], where + ': invalid const')
if isinstance(value,dict):
props = schema.get('properties',{})
check(all(k in value for k in schema.get('required',[])), where + ': missing required fields')
if schema.get('additionalProperties') is False:
check(not set(value).difference(props), where + ': unexpected fields')
for key, sub in props.items():
if key in value:
validate(value[key], sub, where + '.' + key)
if isinstance(value,list):
check(len(value) >= schema.get('minItems',0), where + ': too few items')
check(len(value) <= schema.get('maxItems',float('inf')), where + ': too many items')
if schema.get('uniqueItems'):
encoded = [json.dumps(x,sort_keys=True) for x in value]
check(len(encoded)==len(set(encoded)), where + ': duplicate items')
if 'items' in schema:
for item in value:
validate(item, schema['items'], where + '[]')
if isinstance(value,str):
check(len(value) >= schema.get('minLength',0), where + ': too short')
check(len(value) <= schema.get('maxLength',float('inf')), where + ': too long')
if 'pattern' in schema:
check(re.search(schema['pattern'], value) is not None, where + ': pattern mismatch')
if schema.get('format') == 'uuid':
try:
uuid.UUID(value)
except ValueError as exc:
raise Failure(where + ': invalid UUID') from exc
if schema.get('format') == 'date-time':
timestamp(value)
if isinstance(value,(int,float)) and not isinstance(value,bool):
check(value >= schema.get('minimum',-float('inf')), where + ': below minimum')
check(value <= schema.get('maximum',float('inf')), where + ': above maximum')
if 'anyOf' in schema:
for alternative in schema['anyOf']:
try:
validate(value, alternative, where)
break
except Failure:
pass
else:
raise Failure(where + ': no anyOf branch matches')
def shape(value, name):
validate(value, SPEC['components']['schemas'][name])
return value
class NoRedirect(urllib.request.HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
class Client:
def __init__(self, base_url=None, ca_file=None, timeout=10):
self.base = (base_url or os.environ.get('BASE_URL') or ('https://localhost:8443' if LAB==7 else 'http://localhost:8080')).rstrip('/')
check(self.base.startswith(('http://','https://')), 'BASE_URL must be HTTP(S)')
check(LAB != 7 or self.base.startswith('https://'), 'lab7 requires HTTPS')
self.timeout = timeout
context = ssl.create_default_context(cafile=ca_file or os.environ.get('CA_FILE') or None)
self.opener = urllib.request.build_opener(NoRedirect(), urllib.request.HTTPSHandler(context=context))
def call(self, method, path, expected=200, body=None, actor=None, headers=None, raw=None, schema=None):
h = {'Accept':'application/json'}
if actor:
h['X-User-Id' if LAB==1 else 'Authorization'] = actor['id'] if LAB==1 else 'Bearer ' + actor['token']
if body is not None:
raw = json.dumps(body,ensure_ascii=False).encode('utf-8')
h['Content-Type'] = 'application/json'
h.update(headers or {})
req = urllib.request.Request(self.base + path, data=raw, headers=h, method=method)
start = time.monotonic()
try:
response = self.opener.open(req, timeout=self.timeout)
except urllib.error.HTTPError as error:
response = error
except (urllib.error.URLError,TimeoutError,OSError) as exc:
# Do not print URL query, headers, request body, or credentials.
raise Failure(method + ' ' + path.split('?')[0] + ': connection/TLS failure (' + type(exc).__name__ + ')') from None
with response:
status = response.code
rh = response.headers
data = response.read(16*1024*1024 + 1)
check(len(data) <= 16*1024*1024, 'response exceeds test safety limit')
allowed = [expected] if isinstance(expected,int) else expected
check(status in allowed, method + ' ' + path.split('?')[0] + ': expected ' + str(allowed) + ', received ' + str(status))
check(bool(rh.get('X-Request-Id')), 'missing X-Request-Id')
if LAB>=3:
check(bool(rh.get('X-Instance-Id')), 'missing X-Instance-Id')
payload = None
if schema or status>=400:
check(rh.get_content_type()=='application/json', 'expected application/json')
try:
payload = json.loads(data)
except (ValueError,UnicodeError):
raise Failure('invalid response JSON') from None
shape(payload, 'Error' if status>=400 else schema)
if status>=400:
check(payload['error']['request_id']==rh.get('X-Request-Id'),'error request_id differs from header')
if status==401 and LAB>=2:
scheme = 'Basic' if path=='/api/v1/auth/sessions' else 'Bearer'
check(rh.get('WWW-Authenticate','').lower().startswith(scheme.lower()), 'incorrect WWW-Authenticate challenge')
if status==204:
check(not data, '204 must not contain body')
return {'status':status,'headers':rh,'json':payload,'bytes':data,'elapsed':time.monotonic()-start}
def user(self, label):
username = 'u_' + label + '_' + uuid.uuid4().hex[:12]
password = 'T3st-' + uuid.uuid4().hex
body = {'username':username,'display_name':'Студент ' + label}
if LAB>=2:
body['password'] = password
user = self.call('POST','/api/v1/users',201,body=body,schema='User')['json']
check(user['username']==username,'username changed')
actor = {'id':user['id'],'user':user,'registration':body}
if LAB>=2:
credential = base64.b64encode((username+':'+password).encode()).decode()
session = self.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+credential},schema='Session')['json']
check(session['user']==user,'session user mismatch')
check(timestamp(session['expires_at']) > dt.datetime.now(dt.timezone.utc),'session already expired')
actor['token'] = session['token']
return actor
def bootstrap(self):
self.call('GET','/health/live',schema='Health')
self.call('GET','/health/ready',schema='Health')
alice, bob, eve = (self.user(label) for label in ('alice','bob','eve'))
chat = self.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Контрактный тест','member_ids':[alice['id'],bob['id']]},schema='Chat')['json']
check(set(chat['member_ids'])=={alice['id'],bob['id']},'chat member mismatch')
return alice,bob,eve,chat
def message(self, actor, chat, text, key=None, attachments=None):
body = {'text':text}
if attachments is not None:
body['attachment_ids'] = attachments
headers = {'Idempotency-Key':key or uuid.uuid4().hex} if LAB>=3 else {}
return self.call('POST','/api/v1/chats/'+chat['id']+'/messages',201,actor=actor,body=body,headers=headers,schema='Message')
def attachment(self, actor, chat):
content = (ROOT / 'tests/fixtures/sample.png').read_bytes()
att = self.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',201 if LAB==4 else 202,actor=actor,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')['json']
check(att['status']==('ready' if LAB==4 else 'queued'),'incorrect upload status')
check(att['chat_id']==chat['id'] and att['owner_id']==actor['id'],'attachment ownership mismatch')
check(att['sha256']==hashlib.sha256(content).hexdigest() and att['size_bytes']==len(content),'original checksum/size mismatch')
return att,content
def wait_ready(self, actor, att, wait_seconds=60):
deadline = time.monotonic()+wait_seconds
while time.monotonic()<deadline:
att = self.call('GET','/api/v1/attachments/'+att['id'],actor=actor,schema='Attachment')['json']
check(att['status']!='failed','attachment reached failed')
if att['status']=='ready':
return att
time.sleep(0.3)
raise Failure('attachment did not become ready within test deadline')
def arguments(description, configure=None):
import argparse
p = argparse.ArgumentParser(description=description)
p.add_argument('--base-url', default=None)
p.add_argument('--ca-file', default=None)
if configure:
configure(p)
return p.parse_args()
def run(main):
try:
main()
except (Failure,ValueError,OSError) as exc:
print('FAIL:', str(exc))
raise SystemExit(1)
+58
View File
@@ -0,0 +1,58 @@
#!/usr/bin/env python3
"""Small closed-loop HTTP write benchmark; not an open-loop capacity proof."""
from concurrent.futures import ThreadPoolExecutor
import json
import math
from pathlib import Path
import threading
import time
from client import Client, Failure, LAB, arguments, check, run
def main():
def configure(p):
p.add_argument('--duration',type=float,default=30)
p.add_argument('--concurrency',type=int,default=4)
p.add_argument('--output',default=None,help='Optional JSON metrics, no session tokens')
args = arguments('Synthetic POST message load, closed loop; creates users/messages',configure)
check(1<=args.duration<=3600,'duration must be 1..3600 seconds')
check(1<=args.concurrency<=128,'concurrency must be 1..128')
c = Client(args.base_url,args.ca_file)
alice,bob,eve,chat = c.bootstrap()
barrier = threading.Barrier(args.concurrency)
def worker(worker_id):
local = Client(args.base_url,args.ca_file,timeout=5)
barrier.wait()
deadline = time.monotonic()+args.duration
latencies,errors = [],0
index = 0
while time.monotonic()<deadline:
start = time.monotonic()
try:
local.message(alice,chat,'load-%s-%s' % (worker_id,index))
latencies.append(time.monotonic()-start)
except Failure:
errors += 1
index += 1
return latencies,errors
started = time.monotonic()
with ThreadPoolExecutor(max_workers=args.concurrency) as pool:
results = list(pool.map(worker,range(args.concurrency)))
elapsed = time.monotonic()-started
latencies = sorted(x for values,_ in results for x in values)
errors = sum(n for _,n in results)
total = len(latencies)+errors
def percentile(p):
return round(1000*latencies[max(0,math.ceil(p*len(latencies))-1)],3) if latencies else None
report = {'lab':LAB,'workload':'closed-loop POST messages; no automatic retries','requested_duration_seconds':args.duration,'elapsed_seconds':round(elapsed,3),'concurrency':args.concurrency,'successful_requests':len(latencies),'failed_requests':errors,'error_ratio':round(errors/total,6) if total else None,'successful_rps':round(len(latencies)/elapsed,3),'successful_latency_ms':{'p50':percentile(.50),'p95':percentile(.95),'p99':percentile(.99)},'note':'Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.'}
text = json.dumps(report,ensure_ascii=False,indent=2)
if args.output:
dest = Path(args.output)
dest.parent.mkdir(parents=True,exist_ok=True)
dest.write_text(text+'\n')
print(text)
check(bool(latencies),'no successful writes')
# Errors are reported, not treated as a universal load-test threshold.
if __name__=='__main__':
run(main)
+129
View File
@@ -0,0 +1,129 @@
#!/usr/bin/env python3
"""Explicit operator-authored hook; tokens remain in memory, volumes are never removed by this test."""
import json
import os
from pathlib import Path
import subprocess
import time
import uuid
from urllib.parse import quote
from client import Client, Failure, LAB, arguments, check, run
def history(c, actor, chat):
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100'
result = []
seen = set()
for _ in range(1000):
page = c.call('GET',path,actor=actor,schema='MessagePage')['json']
result.extend(page['items'])
cursor = page['next_cursor']
if cursor is None:
return result
check(cursor not in seen,'cursor cycle')
seen.add(cursor)
path = '/api/v1/chats/'+chat['id']+'/messages?limit=100&cursor='+quote(cursor,safe='')
raise Failure('history pagination exceeded safety bound')
def main():
def configure(p):
p.add_argument('--mode', choices=['persistence','failover'], required=True)
p.add_argument('--action-script',required=True,help='Executable script authored by student; restarts stack or stops ONE API replica')
args = arguments('Explicit restart/failover scenario; modifies only synthetic API data',configure)
check(LAB>=2,'persistence requires lab2+')
check(args.mode!='failover' or LAB>=3,'failover requires lab3+')
script = Path(args.action_script).expanduser().resolve()
check(script.is_file() and os.access(script,os.X_OK),'action script must exist and be executable (chmod +x)')
check('.example.' not in script.name,'copy and implement the example hook first')
c = Client(args.base_url,args.ca_file,timeout=2)
alice,bob,eve,chat = c.bootstrap()
sent = c.message(alice,chat,'Сохранить при отказе')
original = sent['json']
target = sent['headers'].get('X-Instance-Id','')
attachment = content = None
if LAB>=4:
attachment,content = c.attachment(alice,chat)
if LAB>=5:
attachment = c.wait_ready(alice,attachment)
env = dict(os.environ)
env['TARGET_INSTANCE_ID'] = target
observed = set()
if args.mode=='failover':
for _ in range(40):
observed.add(c.call('GET','/api/v1/users/me',actor=alice,schema='User')['headers']['X-Instance-Id'])
check(len(observed)>=2,'less than two API instances observed before failure; verify LB/session affinity')
print('Executing explicit '+args.mode+' hook; hook output suppressed to avoid leaking secrets.')
# No shell interpolation and no Docker commands in this test.
proc = subprocess.Popen([str(script)],env=env,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
started = time.monotonic()
successes,failures,after_instances = [],0,[]
try:
if args.mode=='persistence':
try:
code = proc.wait(timeout=90)
except subprocess.TimeoutExpired:
raise Failure('restart hook exceeded 90 seconds') from None
check(code==0,'restart hook failed (inspect your script locally)')
deadline = time.monotonic()+90
while True:
try:
c.call('GET','/health/ready',schema='Health')
c.call('GET','/api/v1/users/me',actor=alice,schema='User')
break
except Failure:
check(time.monotonic()<deadline,'stack/session did not recover within 90 seconds')
time.sleep(0.5)
else:
first_recovery = None
key = uuid.uuid4().hex
text = 'Запись во время отказа ' + key
while time.monotonic()-started < 15:
code = proc.poll()
check(code is None or code==0,'stop-one hook failed (inspect your script locally)')
check(code is not None or time.monotonic()-started<10,'stop-one hook must return within 10 seconds')
try:
response = c.message(alice,chat,text,key=key)
msg = response['json']
if code==0:
if first_recovery is None:
first_recovery = time.monotonic()-started
after_instances.append(response['headers']['X-Instance-Id'])
successes.append(msg)
key = uuid.uuid4().hex
text = 'Запись во время отказа ' + key
except Failure:
failures += 1
# Keep SAME key/body after an uncertain POST result.
time.sleep(0.1)
check(proc.poll()==0,'stop-one hook did not finish successfully')
check(first_recovery is not None and first_recovery<=10,'writes did not recover within 10 seconds from hook start')
check(len(after_instances)>=5,'too few successful writes after stop')
check(target not in after_instances[-5:],'target replica still serves requests; hook must leave it stopped')
print(json.dumps({'observed_instances_before':len(observed),'successful_writes':len(successes),'failed_attempts':failures,'first_recovery_seconds':round(first_recovery,3)},ensure_ascii=False))
# Existing token, no re-login. Read all confirmations and reject duplicates.
messages = history(c,bob,chat)
ids = [m['id'] for m in messages]
check(len(ids)==len(set(ids)),'duplicated message IDs in history')
check(any(m==original for m in messages),'confirmed pre-failure message lost or altered')
for msg in successes:
check(any(m==msg for m in messages),'confirmed in-flight message lost or altered')
# Bodies are unique in this scenario: an uncertain request may exist once, never twice.
texts = [m['text'] for m in messages]
check(len(texts)==len(set(texts)),'uncertain retry created duplicate message')
if attachment:
c.call('GET','/api/v1/attachments/'+attachment['id'],actor=bob,schema='Attachment')
downloaded = c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob)
check(downloaded['bytes']==content,'attachment lost or changed across failure')
print('PASS: '+args.mode+' preserved confirmed data and existing session. Hook scope needs operator evidence.')
finally:
if proc.poll() is None:
proc.terminate()
try:
proc.wait(timeout=5)
except subprocess.TimeoutExpired:
proc.kill()
proc.wait()
if __name__=='__main__':
run(main)
+82
View File
@@ -0,0 +1,82 @@
#!/usr/bin/env python3
"""One complete public acceptance scenario, cumulative by lab number."""
import base64
import hashlib
import uuid
from client import Client, LAB, arguments, check, run, timestamp
def main():
args = arguments('Messenger public smoke; creates synthetic users and messages')
c = Client(args.base_url,args.ca_file)
alice,bob,eve,chat = c.bootstrap()
path = '/api/v1/chats/'+chat['id']
c.call('POST','/api/v1/users',409,body=alice['registration'])
c.call('GET','/api/v1/users/me',401)
c.call('GET',path,404,actor=eve)
me = c.call('GET','/api/v1/users/me',actor=alice,schema='User')['json']
check(me==alice['user'],'current user mismatch')
listed = c.call('GET','/api/v1/chats?limit=100',actor=bob,schema='ChatPage')['json']
check(any(x['id']==chat['id'] for x in listed['items']),'member cannot list chat')
hidden = c.call('GET','/api/v1/chats?limit=100',actor=eve,schema='ChatPage')['json']
check(all(x['id']!=chat['id'] for x in hidden['items']),'chat leaks to outsider')
key = uuid.uuid4().hex
first = c.message(alice,chat,'Привет, мир 👋',key=key)['json']
second = c.message(bob,chat,'Сообщение Боба')['json']
check(first['sender_id']==alice['id'] and second['sender_id']==bob['id'],'sender was not derived from actor')
check(first['chat_id']==second['chat_id']==chat['id'],'wrong chat in message')
check(first['text']=='Привет, мир 👋' and second['text']=='Сообщение Боба','message text changed')
page1 = c.call('GET',path+'/messages?limit=1',actor=bob,schema='MessagePage')['json']
check(len(page1['items'])==1 and page1['next_cursor'],'first page must have one item and cursor')
from urllib.parse import quote
page2 = c.call('GET',path+'/messages?limit=1&cursor='+quote(page1['next_cursor'],safe=''),actor=alice,schema='MessagePage')['json']
check(len(page2['items'])==1 and page2['next_cursor'] is None,'second page must finish history')
ordered = sorted([first,second],key=lambda x:(timestamp(x['created_at']),uuid.UUID(x['id']).int))
check(page1['items']+page2['items']==ordered,'pagination lost, duplicated or reordered a message')
h = {'Idempotency-Key':uuid.uuid4().hex} if LAB>=3 else {}
c.call('POST',path+'/messages',400,actor=alice,body={'text':''},headers=h)
c.call('POST',path+'/messages',404,actor=eve,body={'text':'чужое'},headers=h)
c.call('GET',path+'/messages?limit=0',400,actor=alice)
if LAB>=2:
bad = base64.b64encode((alice['registration']['username']+':wrong-password').encode()).decode()
c.call('POST','/api/v1/auth/sessions',401,headers={'Authorization':'Basic '+bad})
good = base64.b64encode((alice['registration']['username']+':'+alice['registration']['password']).encode()).decode()
c.call('GET','/api/v1/users/me',401,headers={'Authorization':'Basic '+good})
c.call('GET','/api/v1/users/me',401,headers={'X-User-Id':alice['id']})
me = c.call('GET','/api/v1/users/me',actor=alice,headers={'X-User-Id':eve['id']},schema='User')['json']
check(me['id']==alice['id'],'X-User-Id overrode bearer identity')
if LAB>=3:
replay = c.message(alice,chat,first['text'],key=key)['json']
check(replay==first,'idempotency replay differs')
c.call('POST',path+'/messages',409,actor=alice,body={'text':'другой body'},headers={'Idempotency-Key':key})
c.call('POST',path+'/messages',400,actor=alice,body={'text':'без ключа'})
if LAB>=4:
att,content = c.attachment(alice,chat)
# A queued attachment must already be linkable to its own chat.
attached = c.message(alice,chat,'',attachments=[att['id']])['json']
check(attached['attachment_ids']==[att['id']],'message lost attachment')
ready = c.wait_ready(bob,att) if LAB>=5 else att
check(ready['error_code'] is None,'ready attachment has an error')
download = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
check(download['bytes']==content,'download differs from original')
check(download['headers'].get_content_type()=='image/png','original content type mismatch')
for suffix in ('','/content'):
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
if LAB>=5:
variants = [x for x in ready['variants'] if x['name']=='thumbnail']
check(len(variants)==1,'expected exactly one thumbnail')
v = variants[0]
check((v['width'],v['height'])==(256,160),'thumbnail metadata has wrong dimensions')
thumb = c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',actor=bob)
check(thumb['headers'].get_content_type()=='image/jpeg','thumbnail content type mismatch')
check(len(thumb['bytes'])==v['size_bytes'] and hashlib.sha256(thumb['bytes']).hexdigest()==v['sha256'],'thumbnail checksum mismatch')
from image_probe import jpeg_size
check(jpeg_size(thumb['bytes'])==(256,160),'actual JPEG dimensions mismatch')
if LAB>=2:
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
c.call('GET','/api/v1/users/me',401,actor=alice)
c.call('DELETE','/api/v1/auth/sessions/current',401,actor=alice)
print('PASS: lab%d public API scenario; infrastructure and grading evidence remain separate.' % LAB)
if __name__=='__main__':
run(main)
+81
View File
@@ -0,0 +1,81 @@
import uuid
import requests
BASE_URL = "http://localhost:8080"
def register_and_login(username, password="valid_password_123"):
requests.post(f"{BASE_URL}/api/v1/users", json={
"username": username,
"display_name": "Test",
"password": password,
})
resp = requests.post(f"{BASE_URL}/api/v1/auth/sessions", auth=(username, password))
assert resp.status_code == 201, f"Логин не удался: {resp.text}"
return resp.json()["token"]
def create_chat(token):
headers = {"Authorization": f"Bearer {token}"}
me = requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers).json()
resp = requests.post(f"{BASE_URL}/api/v1/chats", headers=headers, json={
"title": "Test Chat",
"member_ids": [me["id"]],
})
assert resp.status_code == 201, f"Чат не создан: {resp.text}"
return resp.json()["id"]
def test_idempotency_same_body_returns_same_id():
token = register_and_login("test_idem_same")
chat_id = create_chat(token)
key = str(uuid.uuid4())
headers = {
"Authorization": f"Bearer {token}",
"Idempotency-Key": key,
"Content-Type": "application/json",
}
body = {"text": "Hello"}
r1 = requests.post(f"{BASE_URL}/api/v1/chats/{chat_id}/messages", headers=headers, json=body)
r2 = requests.post(f"{BASE_URL}/api/v1/chats/{chat_id}/messages", headers=headers, json=body)
assert r1.status_code == 201, f"Первый запрос: {r1.status_code}"
assert r2.status_code == 201, f"Повтор: {r2.status_code}"
assert r1.json()["id"] == r2.json()["id"], "Id (uuid) сообщения должен быть одинаковым"
def test_idempotency_different_body_returns_409():
token = register_and_login("test_idem_diff")
chat_id = create_chat(token)
key = str(uuid.uuid4())
headers = {
"Authorization": f"Bearer {token}",
"Idempotency-Key": key,
"Content-Type": "application/json",
}
r1 = requests.post(f"{BASE_URL}/api/v1/chats/{chat_id}/messages",
headers=headers, json={"text": "First"})
assert r1.status_code == 201
r2 = requests.post(f"{BASE_URL}/api/v1/chats/{chat_id}/messages",
headers=headers, json={"text": "Second"})
assert r2.status_code == 409, f"Ожидался 409, получен {r2.status_code}"
assert r2.json()["error"]["code"] == "conflict"
def test_shared_session_across_replicas():
token = register_and_login("test_shared_session")
headers = {"Authorization": f"Bearer {token}"}
instance_ids = set()
for _ in range(10):
resp = requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers)
assert resp.status_code == 200, f"Сессия не работает: {resp.status_code}"
instance_ids.add(resp.headers.get("x-instance-id"))
assert len(instance_ids) >= 2, (
f"Ожидались ≥2 разных x-instance-id, получено: {instance_ids}. "
f"Проверь, что app1 и app2 запущены и Nginx балансирует."
)
+32
View File
@@ -0,0 +1,32 @@
import subprocess
import time
import requests
BASE_URL = "http://localhost:8080"
def test_postgres_down_returns_503():
subprocess.run(["docker", "compose", "stop", "db"], check=True)
time.sleep(1)
try:
resp = requests.get(f"{BASE_URL}/health/ready")
assert resp.status_code == 503, f"Ожидался 503, получен {resp.status_code}"
finally:
subprocess.run(["docker", "compose", "start", "db"], check=True)
time.sleep(2)
def test_redis_down_returns_500_json():
subprocess.run(["docker", "pause", "mtusi_messenger_redis"], check=True)
try:
headers = {"Authorization": "Bearer test_token"}
resp = requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers)
assert resp.status_code == 500, f"Ожидался 500, получен {resp.status_code}"
body = resp.json()
assert body["error"]["code"] == "internal_error", "Неверный код ошибки"
assert "request_id" in body["error"], "Нет request_id"
finally:
subprocess.run(["docker", "unpause", "mtusi_messenger_redis"], check=True)
+44
View File
@@ -0,0 +1,44 @@
import pytest
import requests
import time
BASE_URL = "http://localhost:8080"
def register_and_login(username, password):
requests.post(f"{BASE_URL}/api/v1/users", json={
"username": username, "display_name": "Test", "password": password
})
resp = requests.post(f"{BASE_URL}/api/v1/auth/sessions", auth=(username, password))
return resp.json()["token"]
def test_wrong_password():
username = "test_wrong_pass"
password = "valid_password_123"
requests.post(f"{BASE_URL}/api/v1/users", json={
"username": username, "display_name": "Test", "password": password
})
resp = requests.post(f"{BASE_URL}/api/v1/auth/sessions", auth=(username, "wrong_password"))
assert resp.status_code == 401
def test_logout():
token = register_and_login("test_logout", "valid_password_123")
headers = {"Authorization": f"Bearer {token}"}
assert requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers).status_code == 200
assert requests.delete(f"{BASE_URL}/api/v1/auth/sessions/current", headers=headers).status_code == 204
assert requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers).status_code == 401
def test_expiry():
token = register_and_login("test_expiry", "valid_password_123")
headers = {"Authorization": f"Bearer {token}"}
assert requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers).status_code == 200
time.sleep(3)
assert requests.get(f"{BASE_URL}/api/v1/users/me", headers=headers).status_code == 401