From 7d506a05875aa233b7ad8eb0ccbb3b9dd2cd4785 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=A1=D0=B8=D1=80=D0=B5=D0=BD=D0=BA=D0=BE=20=D0=98=D0=BB?= =?UTF-8?q?=D1=8C=D1=8F?= Date: Mon, 16 Nov 2026 22:19:07 +0000 Subject: [PATCH] =?UTF-8?q?=D0=9F=D0=BE=D0=B4=D0=BD=D1=8F=D1=82=D1=8C=20?= =?UTF-8?q?=D0=B1=D0=B0=D0=BB=D0=B0=D0=BD=D1=81=D0=B8=D1=80=D0=BE=D0=B2?= =?UTF-8?q?=D0=BE=D1=87=D0=BD=D1=8B=D0=B9=20=D1=81=D1=82=D0=B5=D0=BD=D0=B4?= =?UTF-8?q?=20=D0=B8=D0=B7=20=D0=B4=D0=B2=D1=83=D1=85=20=D1=80=D0=B5=D0=BF?= =?UTF-8?q?=D0=BB=D0=B8=D0=BA=20=D0=B7=D0=B0=20HAProxy?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Dockerfile, compose (api1, api2, postgres, migrate, lb), haproxy.cfg с round-robin и healthcheck на /health/ready, secrets с DATABASE_URL и инициализация локальной БД (scripts/init_local.py). --- Dockerfile | 9 ++++++ compose.yaml | 72 +++++++++++++++++++++++++++++++++++++++++++ infra/DATABASE.md | 29 +++++++++++++++++ infra/haproxy.cfg | 41 ++++++++++++++++++++++++ scripts/init_local.py | 24 +++++++++++++++ 5 files changed, 175 insertions(+) create mode 100644 Dockerfile create mode 100644 compose.yaml create mode 100644 infra/DATABASE.md create mode 100644 infra/haproxy.cfg create mode 100644 scripts/init_local.py diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..f0409068 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,9 @@ +FROM python:3.11.11-slim-bookworm +WORKDIR /app +ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab +COPY requirements.txt ./ +RUN pip install --no-cache-dir -r requirements.txt +COPY messenger ./messenger +EXPOSE 8080 +COPY migrations ./migrations +CMD ["python", "-m", "messenger"] diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..5755a010 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,72 @@ +x-api: &api + build: . + environment: &app-environment + APP_HOST: 0.0.0.0 + APP_PORT: 8080 + APP_ENV: ${APP_ENV:-lab} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + SESSION_STORE: postgres + DATABASE_URL_FILE: /run/secrets/database_url + secrets: + - database_url + depends_on: + db: + condition: service_healthy + migrate: + condition: service_completed_successfully + stop_grace_period: 8s + healthcheck: + test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=3)"] + interval: 2s + timeout: 4s + retries: 20 + +services: + db: + image: postgres:16.6-bookworm + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: + - postgres_password + volumes: + - postgres_data:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 2s + timeout: 3s + retries: 30 + migrate: + build: . + command: ["python", "-m", "messenger.migrate"] + environment: *app-environment + secrets: + - database_url + depends_on: + db: + condition: service_healthy + restart: "no" + api1: + <<: *api + api2: + <<: *api + lb: + image: haproxy:3.0.8-bookworm + ports: + - "127.0.0.1:8080:8080" + volumes: + - ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + depends_on: + api1: + condition: service_healthy + api2: + condition: service_healthy +volumes: + postgres_data: +secrets: + postgres_password: + file: ./secrets/postgres_password + database_url: + file: ./secrets/database_url diff --git a/infra/DATABASE.md b/infra/DATABASE.md new file mode 100644 index 00000000..e0aef353 --- /dev/null +++ b/infra/DATABASE.md @@ -0,0 +1,29 @@ +# Схема и транзакционные границы + +Проект схемы составлен перед реализацией SQL-адаптера. PostgreSQL — единый источник истины, включая сессии. + +| Таблица | Ключи и ограничения | Индексы и назначение | +| --- | --- | --- | +| users | UUID PK, username UNIQUE, NOT NULL для имени/хеша/времени | UNIQUE username для регистрации и входа | +| chats | UUID PK, title NOT NULL | (created_at, id) для списка | +| chat_members | (chat_id, user_id) PK, два FK, position для порядка участников | (user_id, chat_id) для доступных чатов | +| messages | UUID PK, chat_id FK, sender_id FK, составной FK на членство | (chat_id, created_at, id) для истории | +| sessions | token_hash PK, user_id FK, expires_at NOT NULL | expiry для возможной очистки | +| app_settings | name PK, value NOT NULL | постоянный случайный ключ подписи курсоров | +| schema_migrations | version PK | только учёт применённых миграций | + +Каждый метод записи репозитория — одна транзакция с COMMIT до HTTP-ответа. Создание чата: проверить существование всех пользователей, вставить чат и всех участников, COMMIT; ошибка откатывает всё. Регистрация защищена UNIQUE, конфликт возвращает 409. Сообщение вставляется после проверки членства; FK также не позволяет записать отправителя вне чата. Создание/отзыв сессии — отдельные транзакции. Сессия проверяется на каждом защищённом запросе по времени БД; рестарт не меняет expiry. + +Миграции нумеруются в migrations/*.sql. Runner выполняет новые файлы и запись версии в одной транзакции под advisory lock. Повторный запуск не выполняет уже учтённую версию. Пароли — Argon2id; в sessions лежит SHA-256 случайного 256-битного токена, а не пароль. SHA-256 здесь служит индексом высокоэнтропийного токена и не заменяет password KDF. + +Пагинация SQL keyset, LIMIT + 1; offset не используется. Курсор сохраняет область ресурса и подписан постоянным ключом из БД, поэтому продолжение работает после рестарта. Часы PostgreSQL задают created_at. Между страницами нет snapshot; поздно закоммиченная конкурентная запись с ключом до курсора может не попасть в уже начатый обход. Для неизменной истории гарантируется отсутствие повторов и пропусков. + +## Lab3: общий результат отправки + +Миграция 002 добавляет message_requests с PK `(user_id, chat_id, idempotency_key)`, FK на сообщение и expires_at. Таблица относится только к POST сообщений: HTTP-метод и тип пути заданы её назначением. В ключ не входят имя реплики или сессия, поэтому новый вход того же пользователя не меняет область идемпотентности. + +Перед записью PostgreSQL advisory transaction lock блокирует только хеш области ключа. Все реплики вычисляют его одинаково через SHA-256; совпадение 64-битных хешей может лишь сериализовать независимые операции, но не объединяет их результаты: lookup всегда по полному составному ключу. После ожидания блокировки новый statement в READ COMMITTED видит результат победившей транзакции. + +При существующей действующей записи сравнивается текст: тот же текст возвращает исходное Message с 201, другой — 409. Поля и типы валидируются до этого; в lab3 единственное поле CreateMessage — text. Создание Message и message_requests происходит в одной транзакции, поэтому 5xx/rollback не оставляет отдельного подтверждённого результата. После COMMIT потерянный HTTP-ответ можно восстановить повтором. Expiry не продлевается повтором; TTL не менее 24 часов. Просроченная запись ключа удаляется при повторном использовании этой области, старое сообщение остаётся в истории. + +Реплики не запускают миграции при старте. Единственный Compose job migrate выполняет их перед API; advisory lock runner дополнительно защищает ручной повтор запуска. Существующие миграции 001 сохранены без изменения. В lab3 нет автоматического обновления работающего стенда с несовместимым DDL. diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg new file mode 100644 index 00000000..c7073118 --- /dev/null +++ b/infra/haproxy.cfg @@ -0,0 +1,41 @@ +global + log stdout format raw local0 + maxconn 256 + +defaults + log global + mode http + option dontlognull + timeout connect 1s + timeout client 10s + timeout server 10s + timeout check 1s + timeout http-request 10s + timeout http-keep-alive 2s + # No transparent replay of POSTs. The client owns retry + Idempotency-Key. + retries 0 + +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 2s + hold nx 1s + hold other 1s + hold refused 1s + hold timeout 1s + hold obsolete 1s + +frontend public + bind :8080 + default_backend messenger + +backend messenger + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host messenger + http-check expect status 200 + default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 1 + server api1 api1:8080 check resolvers docker resolve-prefer ipv4 init-addr libc,none + server api2 api2:8080 check resolvers docker resolve-prefer ipv4 init-addr libc,none diff --git a/scripts/init_local.py b/scripts/init_local.py new file mode 100644 index 00000000..e03dfc7e --- /dev/null +++ b/scripts/init_local.py @@ -0,0 +1,24 @@ +"""Create local secrets once. Never overwrite existing credentials.""" +from pathlib import Path +import secrets +import shutil + +root = Path(__file__).resolve().parents[1] +directory = root / 'secrets' +directory.mkdir(mode=0o700, exist_ok=True) +password_file = directory / 'postgres_password' +url_file = directory / 'database_url' +if password_file.exists() != url_file.exists(): + raise SystemExit('Incomplete secrets: restore the missing file; do not regenerate credentials for an existing volume.') +if not password_file.exists(): + password = secrets.token_hex(32) + for path, value in [(password_file, password), + (url_file, 'postgresql://messenger:' + password + '@db:5432/messenger')]: + with path.open('x', encoding='utf-8') as f: + f.write(value + '\n') + # Compose mounts secret files individually; PostgreSQL runs as a distinct UID. + # The enclosing host directory is 0700, while this mounted file must be readable. + path.chmod(0o644 if path == password_file else 0o600) +if not (root / '.env').exists(): + shutil.copyfile(root / '.env.example', root / '.env') +print('Local configuration ready; existing credentials preserved.')