HAProxy /metrics scraped by the Collector, recording rules and seven alerts with promtool tests and runbooks (make alerts_test, CI step), byte-sized Collector export queues with 30 s retries, SDK internal metrics, SLO/LB/pipeline dashboard rows, driver commands alerts-check and backend-outage (change slo-alerts). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
782 lines
38 KiB
YAML
782 lines
38 KiB
YAML
# Стенд лабы 6: HAProxy — единственная точка входа, за ним API ×
|
||
# API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений),
|
||
# RabbitMQ (задания обработки), одноразовые миграции и bootstrap S3, уборщик
|
||
# незавершённых загрузок, relay публикации заданий, worker обработки вложений;
|
||
# с лабы 6 — OTel Collector, Prometheus, Loki, Tempo и Grafana (сеть
|
||
# telemetry). Правила — .claude/rules/docker.md, balancer.md и telemetry.md. Значения — из .env
|
||
# (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и
|
||
# у режима docker. Имя проекта меняется в каждой лабе: от него зависят
|
||
# имена volumes, и стенд не должен подключаться к данным прошлой лабы.
|
||
name: mtusi-lab6
|
||
|
||
# окружение по сервисам: секреты получают только те, кому они нужны.
|
||
# PostgreSQL — api, cleaner, relay, worker и migrate
|
||
x-db-env: &db-env
|
||
APP__RUN_MODE: docker
|
||
DATABASE__HOST: ${POSTGRES_HOST:-postgres}
|
||
DATABASE__PORT: ${POSTGRES_PORT:-5432}
|
||
DATABASE__USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
|
||
DATABASE__PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
|
||
DATABASE__NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
|
||
|
||
# Valkey — только api
|
||
x-cache-env: &cache-env
|
||
CACHE__HOST: ${VALKEY_HOST:-valkey}
|
||
CACHE__PORT: ${VALKEY_PORT:-6379}
|
||
CACHE__PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
|
||
|
||
# S3 — api, cleaner и worker: адрес в сети и bucket; ключи — у каждого своего
|
||
# пользователя (не административные). Секреты S3 по сервисам (design
|
||
# change s3-storage, решение 3; upload-consistency, решение 9):
|
||
# административная пара — только s3, ключ подписи — s3 и s3-bootstrap,
|
||
# ключи API — s3-bootstrap и api, ключи уборщика — s3-bootstrap и cleaner,
|
||
# ключи worker — s3-bootstrap и worker
|
||
x-s3-env: &s3-env
|
||
S3__HOST: ${S3_HOST:-s3}
|
||
S3__PORT: ${S3_PORT:-8333}
|
||
S3__BUCKET: ${S3__BUCKET:-messenger}
|
||
|
||
# ключи пользователя API в S3 — только api
|
||
x-s3-api-keys-env: &s3-api-keys-env
|
||
S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||
S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||
|
||
# RabbitMQ — relay и worker: адрес в сети и учётные данные; один пользователь
|
||
# на оба сервиса, разделение прав — лаба 7 (design change async-attachments,
|
||
# решение 4). У реплик API брокера нет (design change pipeline-reliability,
|
||
# решение 1)
|
||
x-broker-env: &broker-env
|
||
BROKER__HOST: ${RABBITMQ_HOST:-rabbitmq}
|
||
BROKER__PORT: ${RABBITMQ_PORT:-5672}
|
||
BROKER__USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
|
||
BROKER__PASSWORD: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
|
||
|
||
# телеметрия — api и worker (design change otel-telemetry, решение 8): SDK
|
||
# включён и шлёт OTLP/HTTP только в Collector по имени сервиса в сети compose.
|
||
# Адрес не секрет; переменные OTEL_* настройками не являются
|
||
x-telemetry-env: &telemetry-env
|
||
TELEMETRY__ENABLED: "true"
|
||
TELEMETRY__OTLP_ENDPOINT: http://otel-collector:4318
|
||
|
||
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
|
||
# arm64)
|
||
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
|
||
|
||
# config.toml только на чтение, длинной записью: без файла запуск падает,
|
||
# а не создаёт на хосте каталог config.toml/
|
||
x-config-toml: &config-toml
|
||
type: bind
|
||
source: ./config.toml
|
||
target: /app/config.toml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
|
||
restart: unless-stopped
|
||
environment:
|
||
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
|
||
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
|
||
# порт самого сервера; его же берут pg_isready и psql в контейнере
|
||
PGPORT: ${POSTGRES_PORT:-5432}
|
||
ports:
|
||
# только localhost: к нему подключается приложение в console
|
||
- "127.0.0.1:${POSTGRES_OUT_PORT:-5433}:${POSTGRES_PORT:-5432}"
|
||
volumes:
|
||
# с 18.x данные в /var/lib/postgresql/18/docker, volume образа —
|
||
# весь /var/lib/postgresql (Config.Volumes)
|
||
- postgres_data:/var/lib/postgresql
|
||
networks:
|
||
default:
|
||
# любое значение POSTGRES_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${POSTGRES_HOST:-postgres}
|
||
healthcheck:
|
||
# по TCP, а не через сокет: при инициализации образ поднимает
|
||
# временный сервер только на сокете, и проверка через сокет
|
||
# сказала бы «готов» раньше времени. $$ — переменная контейнера
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
|
||
# max_overflow 0) + migrate + cleaner (пул 1) + worker (пул 2) +
|
||
# relay (пул 1) ≤ max_connections (100): 2 × 10 + 1 + 1 + 2 + 1 = 25,
|
||
# при поочерёдной замене 3 × 10 + 1 + 1 + 2 + 1 = 35; расчёт — REPORT.md
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
|
||
# кэш карточек чатов: без volume, persistence выключен в valkey.conf —
|
||
# после рестарта кэш пуст, данные остаются в PostgreSQL
|
||
valkey:
|
||
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
|
||
restart: unless-stopped
|
||
# $$ — переменные контейнера: пароль не попадает в command литералом.
|
||
# Через docker-entrypoint.sh образа: он запускает сервер не от root
|
||
command:
|
||
- sh
|
||
- -c
|
||
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --port "$$VALKEY_PORT" --requirepass "$$VALKEY_PASSWORD"
|
||
environment:
|
||
VALKEY_PORT: ${VALKEY_PORT:-6379}
|
||
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
|
||
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
|
||
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
|
||
ports:
|
||
# только localhost: к нему подключается приложение в console
|
||
- "127.0.0.1:${VALKEY_OUT_PORT:-6380}:${VALKEY_PORT:-6379}"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/valkey/valkey.conf
|
||
target: /usr/local/etc/valkey/valkey.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
default:
|
||
# любое значение VALKEY_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${VALKEY_HOST:-valkey}
|
||
healthcheck:
|
||
# PONG только после AUTH: проверяет и запуск, и пароль
|
||
test: ["CMD-SHELL", 'test "$$(valkey-cli -p "$$VALKEY_PORT" ping)" = PONG']
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# maxmemory 64mb в valkey.conf плюс накладные
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# S3 — байты вложений (design change s3-storage, решения 1–2): master,
|
||
# volume, filer и шлюз S3 одним процессом weed server. Служебные серверы
|
||
# слушают только 127.0.0.1 контейнера, в сеть выходят порт API S3
|
||
# (S3_PORT) и gRPC шлюза (S3_PORT + 10000), закрытый ключом подписи.
|
||
# Entrypoint образа сам переходит на пользователя seaweed и добавляет
|
||
# -dir=/data -volume.max=0 -master.volumeSizeLimitMB=1024
|
||
s3:
|
||
image: *s3-image
|
||
restart: unless-stopped
|
||
command:
|
||
- server
|
||
# master, volume и filer — только loopback контейнера
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
|
||
- -master.telemetry=false
|
||
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
|
||
- -master.electionTimeout=1s
|
||
# пауза перед остановкой тома нужна кластеру, а не одному узлу
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=${S3_PORT:-8333}
|
||
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
|
||
- -s3.port.iceberg=0
|
||
- -s3.port.lance=0
|
||
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
|
||
- -s3.iam=false
|
||
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
|
||
- -s3.concurrentUploadLimitMB=64
|
||
environment:
|
||
# административная пара: учётная запись есть с первого старта, и
|
||
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
|
||
# получают
|
||
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||
# без ключа подписи gRPC шлюза принимает учётную запись
|
||
# администратора от любого контейнера сети
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
|
||
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок 20
|
||
# одновременных PUT по 10 MiB укладываются в 512 МБ
|
||
GOMEMLIMIT: 400MiB
|
||
# порт API S3 для healthcheck
|
||
S3_PORT: ${S3_PORT:-8333}
|
||
ports:
|
||
# только localhost и только API S3: к нему подключается приложение в
|
||
# console; консоль, UI и служебные серверы не публикуются
|
||
- "127.0.0.1:${S3_OUT_PORT:-8334}:${S3_PORT:-8333}"
|
||
volumes:
|
||
# volume образа (Config.Volumes): тома, filer и IAM
|
||
- s3_data:/data
|
||
networks:
|
||
default:
|
||
# любое значение S3_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${S3_HOST:-s3}
|
||
healthcheck:
|
||
# master выбран, том зарегистрирован у master (непустой DataNodes в
|
||
# /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
|
||
# проверки тома healthy наступал на ~4 с раньше регистрации, и первая
|
||
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
|
||
# контейнера
|
||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код.
|
||
# При 10 с остановка кончалась бы SIGKILL (код 137)
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# память — GOMEMLIMIT и лимит загрузок выше
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# брокер заданий обработки вложений (design change async-attachments,
|
||
# решение 4). hostname постоянный: имя узла задаёт каталог данных, и
|
||
# пересозданный контейнер иначе не нашёл бы свои данные в том же volume.
|
||
# Учётная запись приложения создаётся при первом старте на пустом volume.
|
||
# Наружу — только AMQP на loopback, для запуска в консоли
|
||
rabbitmq:
|
||
image: rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
|
||
hostname: rabbitmq
|
||
restart: unless-stopped
|
||
environment:
|
||
RABBITMQ_DEFAULT_USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
|
||
RABBITMQ_DEFAULT_PASS: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
|
||
RABBITMQ_NODE_PORT: ${RABBITMQ_PORT:-5672}
|
||
ports:
|
||
- "127.0.0.1:${RABBITMQ_OUT_PORT:-5673}:${RABBITMQ_PORT:-5672}"
|
||
volumes:
|
||
# volume образа (Config.Volumes): очереди и сообщения
|
||
- rabbitmq_data:/var/lib/rabbitmq
|
||
- type: bind
|
||
source: ./infra/rabbitmq/rabbitmq.conf
|
||
target: /etc/rabbitmq/conf.d/90-messenger.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
default:
|
||
# любое значение RABBITMQ_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${RABBITMQ_HOST:-rabbitmq}
|
||
healthcheck:
|
||
# от пользователя брокера, exec-формой: CLI от root на пустом volume
|
||
# создавал .erlang.cookie (0400, root) раньше сервера, и тот падал на
|
||
# eacces (design change otel-telemetry, решение 19)
|
||
test: ["CMD", "gosu", "rabbitmq", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
|
||
interval: 10s
|
||
timeout: 5s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# брокер завершается сам за ~2 с; 20 с — запас на большую очередь
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# предел памяти брокера — 400 МиБ в infra/rabbitmq/rabbitmq.conf
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# bootstrap S3 — один раз до реплик, как миграции (решение 4): приватный
|
||
# bucket, пользователь API с политикой «только объекты своего bucket»,
|
||
# пользователь уборщика — «чтение и удаление объектов своего bucket»,
|
||
# проверки приватности вне API. Повтор сводит состояние к .env и ничего
|
||
# не ломает. В сетевом пространстве s3: master и filer сервера на
|
||
# 127.0.0.1 доступны ему, а в сети их нет. make s3_check запускает его
|
||
# же в режиме check
|
||
s3-bootstrap:
|
||
image: *s3-image
|
||
network_mode: service:s3
|
||
user: seaweed
|
||
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
|
||
command: ["apply"]
|
||
restart: "no"
|
||
environment:
|
||
S3_BUCKET: ${S3__BUCKET:-messenger}
|
||
S3_PORT: ${S3_PORT:-8333}
|
||
# ключ подписи: им weed shell подписывает вызовы IAM filer
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
|
||
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
|
||
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
|
||
S3_WORKER_ACCESS_KEY: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env_setup}
|
||
S3_WORKER_SECRET_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env_setup}
|
||
# список объектов уборщику — только по префиксу вложений своей базы
|
||
# (сверка bucket и БД, design change track2-reconciler, решение 2);
|
||
# не секрет, уборщик строит префикс сам из имени базы
|
||
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}/attachments/
|
||
HOME: /tmp
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/s3/bootstrap.sh
|
||
target: /opt/s3/bootstrap.sh
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# файл ключа для curl и политика — только в памяти. /data — volume
|
||
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
|
||
# оставлял бы анонимный volume
|
||
tmpfs:
|
||
- /tmp
|
||
- /data
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# пик по пробе — 35 MiB, 0,76 с CPU
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# миграции — один раз до реплик, сами реплики их не запускают
|
||
migrate:
|
||
# образ собирает сервис api (make run_docker, make test_isolated)
|
||
image: mtusi-messenger:lab6
|
||
pull_policy: never
|
||
command: ["alembic", "upgrade", "head"]
|
||
restart: "no"
|
||
# только PostgreSQL: пароль Valkey миграциям не нужен
|
||
environment: *db-env
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# реплики API: порты не публикуются, фиксированного имени контейнера
|
||
# нет (мешало бы масштабированию) — запросы идут только через haproxy; X-Instance-Id — hostname, то есть
|
||
# короткий ID контейнера. Разовая подмена числа — make replicas
|
||
# API_REPLICAS=N
|
||
api:
|
||
build: .
|
||
image: mtusi-messenger:lab6
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env, *telemetry-env]
|
||
APP__PORT: ${APP__PORT:-8080}
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# без кэша API работает, но в штатном стенде он есть с первого запроса
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# bucket и пользователь API есть до первого запроса
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
|
||
stop_grace_period: 10s
|
||
# буфер приёма сокетов реплики — до 512 KiB, а не до 32 MiB ВМ Docker:
|
||
# ядро копит недочитанное тело (ожидание места загрузки, отказ до тела)
|
||
# в буфере сокета, и он считается памятью контейнера. Параметр сетевого
|
||
# пространства контейнера — его получают все контейнеры сервиса, в том
|
||
# числе bench/, make test_isolated и стенд отказов (design change
|
||
# upload-memory, решение 6). В консоли (make run_dev) его нет
|
||
sysctls:
|
||
net.ipv4.tcp_rmem: "4096 131072 524288"
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# один event loop занимает не больше 1 CPU. Argon2id (p=4, до
|
||
# kdf_concurrency хэшей сразу) взял бы больше: под лимитом вход
|
||
# медленнее в 4–5 раз, осознанно (REPORT.md, «Ограничения»).
|
||
# Память: Argon2id 4 × 64 MiB + интерпретатор ≈ 350 МБ
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# уборщик незавершённых загрузок (design change upload-consistency,
|
||
# решения 2 и 9): строки pending старше grace и их объекты. Один процесс
|
||
# на образе API со своей командой; реплики его не ждут, сам он ждёт
|
||
# схему и пользователя S3. Портов нет, HTTP не слушает
|
||
cleaner:
|
||
image: mtusi-messenger:lab6
|
||
pull_policy: never
|
||
# точка входа, а не command: разовый проход —
|
||
# docker compose run --rm --no-deps cleaner --once
|
||
entrypoint: ["python", "-m", "src.cleaner"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env]
|
||
# проход последовательный: второе соединение не нужно
|
||
DATABASE__POOL_SIZE: "1"
|
||
# пользователь уборщика: чтение и удаление объектов, без записи и
|
||
# списка; ключей API, пароля Valkey и административных ключей S3 нет
|
||
S3__ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
|
||
S3__SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает.
|
||
# Живость — журнал: старт, проходы, отказы
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: текущая строка доводится (≤ 6 с), затем выход с кодом 0
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 256M
|
||
|
||
# relay (design change pipeline-reliability, решения 1 и 2): доводит намерения
|
||
# из PostgreSQL до брокера, возвращает истёкшие аренды. Один процесс на образе
|
||
# API; реплики его не ждут: без него загрузка отвечает 202, задания ждут в
|
||
# PostgreSQL. Разовая команда реестра — make replay (docker compose run --rm
|
||
# --no-deps relay replay …). Портов нет, HTTP не слушает
|
||
relay:
|
||
image: mtusi-messenger:lab6
|
||
pull_policy: never
|
||
# точка входа, а не command: аргументы после имени сервиса — подкоманда
|
||
entrypoint: ["python", "-m", "src.relay"]
|
||
restart: unless-stopped
|
||
environment:
|
||
# только PostgreSQL и брокер: ни ключей S3, ни пароля Valkey; адрес
|
||
# Collector — не секрет (design change job-trace-propagation, решение 7)
|
||
<<: [*db-env, *broker-env, *telemetry-env]
|
||
# проход последовательный: второе соединение не нужно
|
||
DATABASE__POOL_SIZE: "1"
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# healthcheck образа — HTTP /health/ready, а relay HTTP не слушает. Живость
|
||
# — журнал и очередь
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: текущий шаг доводится (≤ 6 с), затем выход с кодом 0
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 256M
|
||
|
||
# worker обработки вложений (design change async-attachments, решение 6):
|
||
# отдельный процесс на образе API; декодирование и варианты — в процессе
|
||
# обработки на задание, ни у реплик, ни в самом worker декодера нет
|
||
# (pipeline-reliability, решение 7). Портов нет, HTTP не слушает; реплики его
|
||
# не ждут
|
||
worker:
|
||
image: mtusi-messenger:lab6
|
||
pull_policy: never
|
||
entrypoint: ["python", "-m", "src.worker"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env, *broker-env, *telemetry-env]
|
||
# шаги с БД короткие: соединение на задание
|
||
DATABASE__POOL_SIZE: "2"
|
||
# пользователь worker: чтение и запись объектов, без удаления и
|
||
# списка; ключей API и уборщика, пароля Valkey и административных
|
||
# ключей S3 нет
|
||
S3__ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env_setup}
|
||
S3__SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env_setup}
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck образа — HTTP /health/ready, а worker HTTP не слушает.
|
||
# Живость — журнал и очередь
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: начатые задания ждут ≤ [worker] graceful_shutdown_seconds,
|
||
# закрытие клиентов — в сумме не больше 9,5 с
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# два процесса обработки PNG RGBA на 40 Мпкс: ~360 МиБ VmHWM на
|
||
# процесс, вместе с worker и телами меньше лимита при конкуренции 2
|
||
# (расчёт — REPORT.md); лимит адресного пространства процесса — 450 МиБ
|
||
cpus: "1.0"
|
||
memory: 1G
|
||
|
||
# единственная точка входа: реплики находит через DNS Docker, проверяет
|
||
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
|
||
haproxy:
|
||
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
|
||
restart: unless-stopped
|
||
environment:
|
||
# порт реплик и самого LB внутри сети: тот же APP__PORT
|
||
API_PORT: ${APP__PORT:-8080}
|
||
ports:
|
||
# только localhost: стенд учебный; API на хосте доступно только так
|
||
- "127.0.0.1:${APP_OUT_PORT:-8080}:${APP__PORT:-8080}"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/haproxy/haproxy.cfg
|
||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# make stop гасит LB раньше реплик, make run_docker поднимает после них
|
||
depends_on:
|
||
- api
|
||
healthcheck:
|
||
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
|
||
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
|
||
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# nbthread 1 в haproxy.cfg
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
|
||
# --- наблюдаемость (design change otel-telemetry, решения 1, 7, 14–18) ---
|
||
# Сервисы приложения их не ждут, а они — друг друга: без них приложение
|
||
# работает, отправку и запросы они повторяют сами. Порты наружу — только
|
||
# у Grafana. Сервисы на Go получают GOMEMLIMIT (лимит cgroup рантайм не
|
||
# видит): ~80 % лимита, а у тех, чей пик дошёл до GOMEMLIMIT (Tempo), —
|
||
# не больше лимита / 1,5
|
||
|
||
# OTel Collector contrib: OTLP/HTTP от api и worker (сеть default), метрики
|
||
# для scrape и экспорт в Loki и Tempo (сеть telemetry). Секретов нет. В
|
||
# образе нет ни оболочки, ни HTTP-клиента: healthcheck нет, живость — цель
|
||
# otel-collector в Prometheus
|
||
otel-collector:
|
||
image: otel/opentelemetry-collector-contrib:0.164.0@sha256:340c9ca6a36617084c6661bdc4f0fe92b7cda5a805d61673ec8db375fddc522b
|
||
restart: unless-stopped
|
||
command: ["--config=/etc/otelcol-contrib/config.yaml"]
|
||
environment:
|
||
GOMEMLIMIT: 160MiB
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/otel/collector.yaml
|
||
target: /etc/otelcol-contrib/config.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
- default
|
||
- telemetry
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# memory_limiter 200 / 40 МиБ в collector.yaml
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# Prometheus — метрики: scrape Collector и собственных метрик конвейера;
|
||
# срок и предел объёма хранения — флаги. Без remote write, OTLP, admin API и
|
||
# lifecycle. Правила записи и оповещения — файл rules.yml (design change
|
||
# slo-alerts, решения 1, 3, 4); доставки оповещений наружу нет. Время начала
|
||
# cumulative-рядов экспортёра Collector (protobuf) — ноль в момент начала
|
||
# ряда нового процесса (решение 6)
|
||
prometheus:
|
||
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||
restart: unless-stopped
|
||
command:
|
||
- --config.file=/etc/prometheus/prometheus.yml
|
||
- --storage.tsdb.path=/prometheus
|
||
- --storage.tsdb.retention.time=7d
|
||
- --storage.tsdb.retention.size=1GB
|
||
- --enable-feature=created-timestamp-zero-ingestion
|
||
environment:
|
||
GOMEMLIMIT: 300MiB
|
||
volumes:
|
||
# volume образа (Config.Volumes), владелец nobody
|
||
- prometheus_data:/prometheus
|
||
- type: bind
|
||
source: ./infra/otel/prometheus/prometheus.yml
|
||
target: /etc/prometheus/prometheus.yml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
- type: bind
|
||
source: ./infra/otel/prometheus/rules.yml
|
||
target: /etc/prometheus/rules.yml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
- telemetry
|
||
healthcheck:
|
||
# busybox wget есть в образе
|
||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
retries: 5
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 384M
|
||
|
||
# Loki — логи: родной OTLP от Collector, filesystem в volume, срок 7 суток.
|
||
# Оболочки и HTTP-клиента в образе нет: healthcheck нет, живость — цель loki
|
||
# в Prometheus и проверка источника в Grafana
|
||
loki:
|
||
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
|
||
restart: unless-stopped
|
||
command: ["-config.file=/etc/loki/loki.yaml"]
|
||
environment:
|
||
GOMEMLIMIT: 400MiB
|
||
volumes:
|
||
- loki_data:/loki
|
||
- type: bind
|
||
source: ./infra/otel/loki/loki.yaml
|
||
target: /etc/loki/loki.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
- telemetry
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 512M
|
||
|
||
# Tempo — трассы: монолит 3.1 с локальным хранилищем, срок 7 суток. Как у
|
||
# Loki, healthcheck нет. Пик под make test + load + student_test дошёл до
|
||
# GOMEMLIMIT (398 МиБ, evidence/telemetry/budget.md): лимит контейнера —
|
||
# 1,5 × GOMEMLIMIT, а не 80 / 20 (design change otel-telemetry, «Уточнения
|
||
# apply», п. 19)
|
||
tempo:
|
||
image: grafana/tempo:3.1.1@sha256:64e2fbd56d9c2b3412a4b430a58ea59e91a670b1e75f920a0c702213ad145044
|
||
restart: unless-stopped
|
||
command: ["-config.file=/etc/tempo/tempo.yaml", "-target=all"]
|
||
environment:
|
||
GOMEMLIMIT: 400MiB
|
||
volumes:
|
||
- tempo_data:/var/tempo
|
||
- type: bind
|
||
source: ./infra/otel/tempo/tempo.yaml
|
||
target: /etc/tempo/tempo.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
- telemetry
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 640M
|
||
|
||
# Grafana — интерфейс без своего состояния (tmpfs): источники и dashboard —
|
||
# provisioning из git, пароль администратора из .env действует на каждом
|
||
# старте. Наружу — только 127.0.0.1. Без анонимного входа, регистрации,
|
||
# установки плагинов из сети, отчётов и проверок обновлений; встроенные
|
||
# источники, кроме prometheus, loki и tempo, выключены (каждый — свой
|
||
# процесс). Пик 294 МиБ (процесс и три источника с backend): лимит 512 —
|
||
# не меньше 1,5 × пика (evidence/telemetry/budget.md)
|
||
grafana:
|
||
image: grafana/grafana:13.3.1@sha256:0615ec4fbd4072004b7d86b46ded63013a74b7d6eb1119273dd89e8fa25c13cf
|
||
restart: unless-stopped
|
||
environment:
|
||
GF_SECURITY_ADMIN_USER: admin
|
||
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:?GRAFANA_ADMIN_PASSWORD is empty, run make env_setup}
|
||
GF_SECURITY_DISABLE_GRAVATAR: "true"
|
||
GF_AUTH_ANONYMOUS_ENABLED: "false"
|
||
GF_AUTH_DISABLE_SIGNOUT_MENU: "false"
|
||
GF_USERS_ALLOW_SIGN_UP: "false"
|
||
GF_USERS_ALLOW_ORG_CREATE: "false"
|
||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
|
||
GF_ANALYTICS_FEEDBACK_LINKS_ENABLED: "false"
|
||
GF_NEWS_NEWS_FEED_ENABLED: "false"
|
||
GF_SNAPSHOTS_EXTERNAL_ENABLED: "false"
|
||
GF_PLUGINS_PREINSTALL_DISABLED: "true"
|
||
GF_PLUGINS_PUBLIC_KEY_RETRIEVAL_DISABLED: "true"
|
||
GF_PLUGINS_DISABLE_PLUGINS: cloudwatch,elasticsearch,grafana-postgresql-datasource,grafana-pyroscope-datasource,influxdb,jaeger,mssql,mysql,opentsdb,stackdriver,zipkin,grafana-azure-monitor-datasource,graphite,grafana-testdata-datasource
|
||
GOMEMLIMIT: 300MiB
|
||
ports:
|
||
- "127.0.0.1:${GRAFANA_OUT_PORT:-3000}:3000"
|
||
tmpfs:
|
||
- /var/lib/grafana
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/otel/grafana/datasources.yaml
|
||
target: /etc/grafana/provisioning/datasources/datasources.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
- type: bind
|
||
source: ./infra/otel/grafana/dashboards.yaml
|
||
target: /etc/grafana/provisioning/dashboards/dashboards.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
- type: bind
|
||
source: ./infra/otel/grafana/dashboards/messenger-overview.json
|
||
target: /etc/grafana/dashboards/messenger-overview.json
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
- telemetry
|
||
healthcheck:
|
||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3000/api/health"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
retries: 5
|
||
start_period: 60s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 512M
|
||
|
||
networks:
|
||
# хранилища телеметрии и Grafana: контейнеры приложения до них не достают,
|
||
# связь — только через Collector (он в обеих сетях). Не internal: иначе не
|
||
# работает опубликованный порт Grafana
|
||
telemetry:
|
||
|
||
volumes:
|
||
postgres_data:
|
||
s3_data:
|
||
rabbitmq_data:
|
||
prometheus_data:
|
||
loki_data:
|
||
tempo_data:
|