From e594df18f953e430e2ed341a7c9c0346ffc43375 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=A1=D0=B8=D1=80=D0=B5=D0=BD=D0=BA=D0=BE=20=D0=98=D0=BB?= =?UTF-8?q?=D1=8C=D1=8F?= Date: Tue, 17 Nov 2026 03:37:34 +0000 Subject: [PATCH] =?UTF-8?q?=D0=9F=D0=BE=D0=B4=D0=BD=D1=8F=D1=82=D1=8C=20?= =?UTF-8?q?=D1=81=D1=82=D0=B5=D0=BD=D0=B4=20=D0=B8=D0=B7=20=D0=B4=D0=B2?= =?UTF-8?q?=D1=83=D1=85=20=D1=80=D0=B5=D0=BF=D0=BB=D0=B8=D0=BA=20=D0=B7?= =?UTF-8?q?=D0=B0=20HAProxy=20=D1=81=20=D0=BF=D1=80=D0=B8=D0=B2=D0=B0?= =?UTF-8?q?=D1=82=D0=BD=D1=8B=D0=BC=20MinIO=20S3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Dockerfile (python:3.11, waitress), compose: api1/api2 + postgres + migrate + s3 (pinned minio, без опубликованных портов) + s3-bootstrap + lb (haproxy, round-robin, healthcheck на /health/ready). Секреты DATABASE_URL и S3 — через Docker secrets, локальная инициализация — scripts/init_local.py. --- .env.example | 5 ++ Dockerfile | 9 ++++ compose.yaml | 109 ++++++++++++++++++++++++++++++++++++++++++ infra/DATABASE.md | 29 +++++++++++ infra/S3.md | 5 ++ infra/haproxy.cfg | 41 ++++++++++++++++ scripts/init_local.py | 29 +++++++++++ 7 files changed, 227 insertions(+) create mode 100644 Dockerfile create mode 100644 compose.yaml create mode 100644 infra/DATABASE.md create mode 100644 infra/S3.md create mode 100644 infra/haproxy.cfg create mode 100644 scripts/init_local.py diff --git a/.env.example b/.env.example index d99d26a2..348da87a 100644 --- a/.env.example +++ b/.env.example @@ -18,3 +18,8 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key MAX_UPLOAD_BYTES=10485760 MAX_IMAGE_PIXELS=40000000 +# Lab4: S3 is internal-only; Compose explicitly maps these to the API. +S3_ENDPOINT=http://s3:9000 +S3_BUCKET=messenger-attachments +S3_ACCESS_KEY=messengeradmin +S3_SECRET_FILE=/run/secrets/s3_password diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..f0409068 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,9 @@ +FROM python:3.11.11-slim-bookworm +WORKDIR /app +ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab +COPY requirements.txt ./ +RUN pip install --no-cache-dir -r requirements.txt +COPY messenger ./messenger +EXPOSE 8080 +COPY migrations ./migrations +CMD ["python", "-m", "messenger"] diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..91c65dbd --- /dev/null +++ b/compose.yaml @@ -0,0 +1,109 @@ +x-api: &api + build: . + environment: &app-environment + APP_HOST: 0.0.0.0 + APP_PORT: 8080 + APP_ENV: ${APP_ENV:-lab} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + SESSION_STORE: postgres + DATABASE_URL_FILE: /run/secrets/database_url + S3_ENDPOINT: http://s3:9000 + S3_BUCKET: messenger-attachments + S3_ACCESS_KEY: messengeradmin + S3_SECRET_FILE: /run/secrets/s3_password + secrets: + - database_url + - s3_password + depends_on: + db: + condition: service_healthy + migrate: + condition: service_completed_successfully + s3-bootstrap: + condition: service_completed_successfully + stop_grace_period: 8s + healthcheck: + test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=3)"] + interval: 2s + timeout: 4s + retries: 20 + +services: + db: + image: postgres:16.6-bookworm + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: + - postgres_password + volumes: + - postgres_data:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 2s + timeout: 3s + retries: 30 + s3: + image: minio/minio:RELEASE.2025-02-07T23-21-09Z + command: server /data --address ':9000' + environment: + MINIO_ROOT_USER: messengeradmin + MINIO_ROOT_PASSWORD_FILE: /run/secrets/s3_password + secrets: + - s3_password + volumes: + - s3_data:/data + healthcheck: + test: ["CMD-SHELL", "curl -fsS http://127.0.0.1:9000/minio/health/live >/dev/null"] + interval: 3s + timeout: 5s + retries: 25 + s3-bootstrap: + build: . + command: ["python", "-m", "messenger.bootstrap_s3"] + environment: *app-environment + secrets: + - database_url + - s3_password + depends_on: + s3: + condition: service_started + restart: "no" + migrate: + build: . + command: ["python", "-m", "messenger.migrate"] + environment: *app-environment + secrets: + - database_url + - s3_password + depends_on: + db: + condition: service_healthy + restart: "no" + api1: + <<: *api + api2: + <<: *api + lb: + image: haproxy:3.0.8-bookworm + ports: + - "127.0.0.1:8080:8080" + volumes: + - ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + depends_on: + api1: + condition: service_healthy + api2: + condition: service_healthy +volumes: + postgres_data: + s3_data: +secrets: + postgres_password: + file: ./secrets/postgres_password + database_url: + file: ./secrets/database_url + s3_password: + file: ./secrets/s3_password diff --git a/infra/DATABASE.md b/infra/DATABASE.md new file mode 100644 index 00000000..e0aef353 --- /dev/null +++ b/infra/DATABASE.md @@ -0,0 +1,29 @@ +# Схема и транзакционные границы + +Проект схемы составлен перед реализацией SQL-адаптера. PostgreSQL — единый источник истины, включая сессии. + +| Таблица | Ключи и ограничения | Индексы и назначение | +| --- | --- | --- | +| users | UUID PK, username UNIQUE, NOT NULL для имени/хеша/времени | UNIQUE username для регистрации и входа | +| chats | UUID PK, title NOT NULL | (created_at, id) для списка | +| chat_members | (chat_id, user_id) PK, два FK, position для порядка участников | (user_id, chat_id) для доступных чатов | +| messages | UUID PK, chat_id FK, sender_id FK, составной FK на членство | (chat_id, created_at, id) для истории | +| sessions | token_hash PK, user_id FK, expires_at NOT NULL | expiry для возможной очистки | +| app_settings | name PK, value NOT NULL | постоянный случайный ключ подписи курсоров | +| schema_migrations | version PK | только учёт применённых миграций | + +Каждый метод записи репозитория — одна транзакция с COMMIT до HTTP-ответа. Создание чата: проверить существование всех пользователей, вставить чат и всех участников, COMMIT; ошибка откатывает всё. Регистрация защищена UNIQUE, конфликт возвращает 409. Сообщение вставляется после проверки членства; FK также не позволяет записать отправителя вне чата. Создание/отзыв сессии — отдельные транзакции. Сессия проверяется на каждом защищённом запросе по времени БД; рестарт не меняет expiry. + +Миграции нумеруются в migrations/*.sql. Runner выполняет новые файлы и запись версии в одной транзакции под advisory lock. Повторный запуск не выполняет уже учтённую версию. Пароли — Argon2id; в sessions лежит SHA-256 случайного 256-битного токена, а не пароль. SHA-256 здесь служит индексом высокоэнтропийного токена и не заменяет password KDF. + +Пагинация SQL keyset, LIMIT + 1; offset не используется. Курсор сохраняет область ресурса и подписан постоянным ключом из БД, поэтому продолжение работает после рестарта. Часы PostgreSQL задают created_at. Между страницами нет snapshot; поздно закоммиченная конкурентная запись с ключом до курсора может не попасть в уже начатый обход. Для неизменной истории гарантируется отсутствие повторов и пропусков. + +## Lab3: общий результат отправки + +Миграция 002 добавляет message_requests с PK `(user_id, chat_id, idempotency_key)`, FK на сообщение и expires_at. Таблица относится только к POST сообщений: HTTP-метод и тип пути заданы её назначением. В ключ не входят имя реплики или сессия, поэтому новый вход того же пользователя не меняет область идемпотентности. + +Перед записью PostgreSQL advisory transaction lock блокирует только хеш области ключа. Все реплики вычисляют его одинаково через SHA-256; совпадение 64-битных хешей может лишь сериализовать независимые операции, но не объединяет их результаты: lookup всегда по полному составному ключу. После ожидания блокировки новый statement в READ COMMITTED видит результат победившей транзакции. + +При существующей действующей записи сравнивается текст: тот же текст возвращает исходное Message с 201, другой — 409. Поля и типы валидируются до этого; в lab3 единственное поле CreateMessage — text. Создание Message и message_requests происходит в одной транзакции, поэтому 5xx/rollback не оставляет отдельного подтверждённого результата. После COMMIT потерянный HTTP-ответ можно восстановить повтором. Expiry не продлевается повтором; TTL не менее 24 часов. Просроченная запись ключа удаляется при повторном использовании этой области, старое сообщение остаётся в истории. + +Реплики не запускают миграции при старте. Единственный Compose job migrate выполняет их перед API; advisory lock runner дополнительно защищает ручной повтор запуска. Существующие миграции 001 сохранены без изменения. В lab3 нет автоматического обновления работающего стенда с несовместимым DDL. diff --git a/infra/S3.md b/infra/S3.md new file mode 100644 index 00000000..ab96c8ad --- /dev/null +++ b/infra/S3.md @@ -0,0 +1,5 @@ +# S3 and DB boundaries + +`minio/minio:RELEASE.2025-02-07T23-21-09Z` runs as `s3` on internal port 9000; it has a persistent Docker volume `s3_data`. Console is not exposed and S3 port is not published. `s3-bootstrap` creates private `messenger-attachments` bucket idempotently. The API uploads bytes to S3 before committing PostgreSQL metadata; 201 follows commit. A failed SQL transaction triggers best-effort S3 delete. This does **not** guarantee orphan-free operation if delete or host process fails; full reconciliation belongs to level 4/5. + +Only server-generated random object keys are used; filenames never become paths. GET enforces chat membership before contacting object storage. PostgreSQL `attachments` contains metadata and an internal key, while `message_attachments` preserves ordering. `s3_data` and `postgres_data` must survive restart. For local demonstration credentials live in ignored `secrets/` files; this level-3 exercise uses the same S3 root credential for bootstrap and API (narrow scoped credentials are a level-4 task). Do not deploy to public internet without TLS and restricted credentials. diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg new file mode 100644 index 00000000..c7073118 --- /dev/null +++ b/infra/haproxy.cfg @@ -0,0 +1,41 @@ +global + log stdout format raw local0 + maxconn 256 + +defaults + log global + mode http + option dontlognull + timeout connect 1s + timeout client 10s + timeout server 10s + timeout check 1s + timeout http-request 10s + timeout http-keep-alive 2s + # No transparent replay of POSTs. The client owns retry + Idempotency-Key. + retries 0 + +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 2s + hold nx 1s + hold other 1s + hold refused 1s + hold timeout 1s + hold obsolete 1s + +frontend public + bind :8080 + default_backend messenger + +backend messenger + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host messenger + http-check expect status 200 + default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 1 + server api1 api1:8080 check resolvers docker resolve-prefer ipv4 init-addr libc,none + server api2 api2:8080 check resolvers docker resolve-prefer ipv4 init-addr libc,none diff --git a/scripts/init_local.py b/scripts/init_local.py new file mode 100644 index 00000000..7b734781 --- /dev/null +++ b/scripts/init_local.py @@ -0,0 +1,29 @@ +"""Create local secrets once. Never overwrite existing credentials.""" +from pathlib import Path +import secrets +import shutil + +root = Path(__file__).resolve().parents[1] +directory = root / 'secrets' +directory.mkdir(mode=0o700, exist_ok=True) +password_file = directory / 'postgres_password' +url_file = directory / 'database_url' +if password_file.exists() != url_file.exists(): + raise SystemExit('Incomplete secrets: restore the missing file; do not regenerate credentials for an existing volume.') +if not password_file.exists(): + password = secrets.token_hex(32) + for path, value in [(password_file, password), + (url_file, 'postgresql://messenger:' + password + '@db:5432/messenger')]: + with path.open('x', encoding='utf-8') as f: + f.write(value + '\n') + # Compose mounts secret files individually; PostgreSQL runs as a distinct UID. + # The enclosing host directory is 0700, while this mounted file must be readable. + path.chmod(0o644 if path == password_file else 0o600) +s3_file = directory / 's3_password' +if not s3_file.exists(): + with s3_file.open('x', encoding='utf-8') as f: + f.write(secrets.token_hex(32) + '\n') + s3_file.chmod(0o644) +if not (root / '.env').exists(): + shutil.copyfile(root / '.env.example', root / '.env') +print('Local configuration ready; existing credentials preserved.')