Поднять стенд из двух реплик за HAProxy с приватным MinIO S3

Dockerfile (python:3.11, waitress), compose: api1/api2 + postgres +
migrate + s3 (pinned minio, без опубликованных портов) + s3-bootstrap +
lb (haproxy, round-robin, healthcheck на /health/ready). Секреты DATABASE_URL
и S3 — через Docker secrets, локальная инициализация — scripts/init_local.py.
This commit is contained in:
2026-11-17 03:37:34 +00:00
parent c9e24a0b45
commit e594df18f9
7 changed files with 227 additions and 0 deletions
+5
View File
@@ -18,3 +18,8 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
# Lab4: S3 is internal-only; Compose explicitly maps these to the API.
S3_ENDPOINT=http://s3:9000
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY=messengeradmin
S3_SECRET_FILE=/run/secrets/s3_password
+9
View File
@@ -0,0 +1,9 @@
FROM python:3.11.11-slim-bookworm
WORKDIR /app
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080 APP_ENV=lab
COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
COPY messenger ./messenger
EXPOSE 8080
COPY migrations ./migrations
CMD ["python", "-m", "messenger"]
+109
View File
@@ -0,0 +1,109 @@
x-api: &api
build: .
environment: &app-environment
APP_HOST: 0.0.0.0
APP_PORT: 8080
APP_ENV: ${APP_ENV:-lab}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
SESSION_STORE: postgres
DATABASE_URL_FILE: /run/secrets/database_url
S3_ENDPOINT: http://s3:9000
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY: messengeradmin
S3_SECRET_FILE: /run/secrets/s3_password
secrets:
- database_url
- s3_password
depends_on:
db:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
stop_grace_period: 8s
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=3)"]
interval: 2s
timeout: 4s
retries: 20
services:
db:
image: postgres:16.6-bookworm
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets:
- postgres_password
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
interval: 2s
timeout: 3s
retries: 30
s3:
image: minio/minio:RELEASE.2025-02-07T23-21-09Z
command: server /data --address ':9000'
environment:
MINIO_ROOT_USER: messengeradmin
MINIO_ROOT_PASSWORD_FILE: /run/secrets/s3_password
secrets:
- s3_password
volumes:
- s3_data:/data
healthcheck:
test: ["CMD-SHELL", "curl -fsS http://127.0.0.1:9000/minio/health/live >/dev/null"]
interval: 3s
timeout: 5s
retries: 25
s3-bootstrap:
build: .
command: ["python", "-m", "messenger.bootstrap_s3"]
environment: *app-environment
secrets:
- database_url
- s3_password
depends_on:
s3:
condition: service_started
restart: "no"
migrate:
build: .
command: ["python", "-m", "messenger.migrate"]
environment: *app-environment
secrets:
- database_url
- s3_password
depends_on:
db:
condition: service_healthy
restart: "no"
api1:
<<: *api
api2:
<<: *api
lb:
image: haproxy:3.0.8-bookworm
ports:
- "127.0.0.1:8080:8080"
volumes:
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
depends_on:
api1:
condition: service_healthy
api2:
condition: service_healthy
volumes:
postgres_data:
s3_data:
secrets:
postgres_password:
file: ./secrets/postgres_password
database_url:
file: ./secrets/database_url
s3_password:
file: ./secrets/s3_password
+29
View File
@@ -0,0 +1,29 @@
# Схема и транзакционные границы
Проект схемы составлен перед реализацией SQL-адаптера. PostgreSQL — единый источник истины, включая сессии.
| Таблица | Ключи и ограничения | Индексы и назначение |
| --- | --- | --- |
| users | UUID PK, username UNIQUE, NOT NULL для имени/хеша/времени | UNIQUE username для регистрации и входа |
| chats | UUID PK, title NOT NULL | (created_at, id) для списка |
| chat_members | (chat_id, user_id) PK, два FK, position для порядка участников | (user_id, chat_id) для доступных чатов |
| messages | UUID PK, chat_id FK, sender_id FK, составной FK на членство | (chat_id, created_at, id) для истории |
| sessions | token_hash PK, user_id FK, expires_at NOT NULL | expiry для возможной очистки |
| app_settings | name PK, value NOT NULL | постоянный случайный ключ подписи курсоров |
| schema_migrations | version PK | только учёт применённых миграций |
Каждый метод записи репозитория — одна транзакция с COMMIT до HTTP-ответа. Создание чата: проверить существование всех пользователей, вставить чат и всех участников, COMMIT; ошибка откатывает всё. Регистрация защищена UNIQUE, конфликт возвращает 409. Сообщение вставляется после проверки членства; FK также не позволяет записать отправителя вне чата. Создание/отзыв сессии — отдельные транзакции. Сессия проверяется на каждом защищённом запросе по времени БД; рестарт не меняет expiry.
Миграции нумеруются в migrations/*.sql. Runner выполняет новые файлы и запись версии в одной транзакции под advisory lock. Повторный запуск не выполняет уже учтённую версию. Пароли — Argon2id; в sessions лежит SHA-256 случайного 256-битного токена, а не пароль. SHA-256 здесь служит индексом высокоэнтропийного токена и не заменяет password KDF.
Пагинация SQL keyset, LIMIT + 1; offset не используется. Курсор сохраняет область ресурса и подписан постоянным ключом из БД, поэтому продолжение работает после рестарта. Часы PostgreSQL задают created_at. Между страницами нет snapshot; поздно закоммиченная конкурентная запись с ключом до курсора может не попасть в уже начатый обход. Для неизменной истории гарантируется отсутствие повторов и пропусков.
## Lab3: общий результат отправки
Миграция 002 добавляет message_requests с PK `(user_id, chat_id, idempotency_key)`, FK на сообщение и expires_at. Таблица относится только к POST сообщений: HTTP-метод и тип пути заданы её назначением. В ключ не входят имя реплики или сессия, поэтому новый вход того же пользователя не меняет область идемпотентности.
Перед записью PostgreSQL advisory transaction lock блокирует только хеш области ключа. Все реплики вычисляют его одинаково через SHA-256; совпадение 64-битных хешей может лишь сериализовать независимые операции, но не объединяет их результаты: lookup всегда по полному составному ключу. После ожидания блокировки новый statement в READ COMMITTED видит результат победившей транзакции.
При существующей действующей записи сравнивается текст: тот же текст возвращает исходное Message с 201, другой — 409. Поля и типы валидируются до этого; в lab3 единственное поле CreateMessage — text. Создание Message и message_requests происходит в одной транзакции, поэтому 5xx/rollback не оставляет отдельного подтверждённого результата. После COMMIT потерянный HTTP-ответ можно восстановить повтором. Expiry не продлевается повтором; TTL не менее 24 часов. Просроченная запись ключа удаляется при повторном использовании этой области, старое сообщение остаётся в истории.
Реплики не запускают миграции при старте. Единственный Compose job migrate выполняет их перед API; advisory lock runner дополнительно защищает ручной повтор запуска. Существующие миграции 001 сохранены без изменения. В lab3 нет автоматического обновления работающего стенда с несовместимым DDL.
+5
View File
@@ -0,0 +1,5 @@
# S3 and DB boundaries
`minio/minio:RELEASE.2025-02-07T23-21-09Z` runs as `s3` on internal port 9000; it has a persistent Docker volume `s3_data`. Console is not exposed and S3 port is not published. `s3-bootstrap` creates private `messenger-attachments` bucket idempotently. The API uploads bytes to S3 before committing PostgreSQL metadata; 201 follows commit. A failed SQL transaction triggers best-effort S3 delete. This does **not** guarantee orphan-free operation if delete or host process fails; full reconciliation belongs to level 4/5.
Only server-generated random object keys are used; filenames never become paths. GET enforces chat membership before contacting object storage. PostgreSQL `attachments` contains metadata and an internal key, while `message_attachments` preserves ordering. `s3_data` and `postgres_data` must survive restart. For local demonstration credentials live in ignored `secrets/` files; this level-3 exercise uses the same S3 root credential for bootstrap and API (narrow scoped credentials are a level-4 task). Do not deploy to public internet without TLS and restricted credentials.
+41
View File
@@ -0,0 +1,41 @@
global
log stdout format raw local0
maxconn 256
defaults
log global
mode http
option dontlognull
timeout connect 1s
timeout client 10s
timeout server 10s
timeout check 1s
timeout http-request 10s
timeout http-keep-alive 2s
# No transparent replay of POSTs. The client owns retry + Idempotency-Key.
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 2s
hold nx 1s
hold other 1s
hold refused 1s
hold timeout 1s
hold obsolete 1s
frontend public
bind :8080
default_backend messenger
backend messenger
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host messenger
http-check expect status 200
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 1
server api1 api1:8080 check resolvers docker resolve-prefer ipv4 init-addr libc,none
server api2 api2:8080 check resolvers docker resolve-prefer ipv4 init-addr libc,none
+29
View File
@@ -0,0 +1,29 @@
"""Create local secrets once. Never overwrite existing credentials."""
from pathlib import Path
import secrets
import shutil
root = Path(__file__).resolve().parents[1]
directory = root / 'secrets'
directory.mkdir(mode=0o700, exist_ok=True)
password_file = directory / 'postgres_password'
url_file = directory / 'database_url'
if password_file.exists() != url_file.exists():
raise SystemExit('Incomplete secrets: restore the missing file; do not regenerate credentials for an existing volume.')
if not password_file.exists():
password = secrets.token_hex(32)
for path, value in [(password_file, password),
(url_file, 'postgresql://messenger:' + password + '@db:5432/messenger')]:
with path.open('x', encoding='utf-8') as f:
f.write(value + '\n')
# Compose mounts secret files individually; PostgreSQL runs as a distinct UID.
# The enclosing host directory is 0700, while this mounted file must be readable.
path.chmod(0o644 if path == password_file else 0o600)
s3_file = directory / 's3_password'
if not s3_file.exists():
with s3_file.open('x', encoding='utf-8') as f:
f.write(secrets.token_hex(32) + '\n')
s3_file.chmod(0o644)
if not (root / '.env').exists():
shutil.copyfile(root / '.env.example', root / '.env')
print('Local configuration ready; existing credentials preserved.')