Files
mtusi2026lab6/docker-compose.yml
T
ricoromaandClaude Opus 5.5 15ea156404 feat: add SLOs, Prometheus alert rules and telemetry loss accounting
HAProxy /metrics scraped by the Collector, recording rules and seven alerts with promtool tests and runbooks (make alerts_test, CI step), byte-sized Collector export queues with 30 s retries, SDK internal metrics, SLO/LB/pipeline dashboard rows, driver commands alerts-check and backend-outage (change slo-alerts).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-12 00:35:01 +03:00

782 lines
38 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд лабы 6: HAProxy — единственная точка входа, за ним API ×
# API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений),
# RabbitMQ (задания обработки), одноразовые миграции и bootstrap S3, уборщик
# незавершённых загрузок, relay публикации заданий, worker обработки вложений;
# с лабы 6 — OTel Collector, Prometheus, Loki, Tempo и Grafana (сеть
# telemetry). Правила — .claude/rules/docker.md, balancer.md и telemetry.md. Значения — из .env
# (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и
# у режима docker. Имя проекта меняется в каждой лабе: от него зависят
# имена volumes, и стенд не должен подключаться к данным прошлой лабы.
name: mtusi-lab6
# окружение по сервисам: секреты получают только те, кому они нужны.
# PostgreSQL — api, cleaner, relay, worker и migrate
x-db-env: &db-env
APP__RUN_MODE: docker
DATABASE__HOST: ${POSTGRES_HOST:-postgres}
DATABASE__PORT: ${POSTGRES_PORT:-5432}
DATABASE__USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
DATABASE__PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
DATABASE__NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
# Valkey — только api
x-cache-env: &cache-env
CACHE__HOST: ${VALKEY_HOST:-valkey}
CACHE__PORT: ${VALKEY_PORT:-6379}
CACHE__PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
# S3 — api, cleaner и worker: адрес в сети и bucket; ключи — у каждого своего
# пользователя (не административные). Секреты S3 по сервисам (design
# change s3-storage, решение 3; upload-consistency, решение 9):
# административная пара — только s3, ключ подписи — s3 и s3-bootstrap,
# ключи API — s3-bootstrap и api, ключи уборщика — s3-bootstrap и cleaner,
# ключи worker — s3-bootstrap и worker
x-s3-env: &s3-env
S3__HOST: ${S3_HOST:-s3}
S3__PORT: ${S3_PORT:-8333}
S3__BUCKET: ${S3__BUCKET:-messenger}
# ключи пользователя API в S3 — только api
x-s3-api-keys-env: &s3-api-keys-env
S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
# RabbitMQ — relay и worker: адрес в сети и учётные данные; один пользователь
# на оба сервиса, разделение прав — лаба 7 (design change async-attachments,
# решение 4). У реплик API брокера нет (design change pipeline-reliability,
# решение 1)
x-broker-env: &broker-env
BROKER__HOST: ${RABBITMQ_HOST:-rabbitmq}
BROKER__PORT: ${RABBITMQ_PORT:-5672}
BROKER__USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
BROKER__PASSWORD: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
# телеметрия — api и worker (design change otel-telemetry, решение 8): SDK
# включён и шлёт OTLP/HTTP только в Collector по имени сервиса в сети compose.
# Адрес не секрет; переменные OTEL_* настройками не являются
x-telemetry-env: &telemetry-env
TELEMETRY__ENABLED: "true"
TELEMETRY__OTLP_ENDPOINT: http://otel-collector:4318
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
# arm64)
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
# config.toml только на чтение, длинной записью: без файла запуск падает,
# а не создаёт на хосте каталог config.toml/
x-config-toml: &config-toml
type: bind
source: ./config.toml
target: /app/config.toml
read_only: true
bind:
create_host_path: false
services:
postgres:
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
restart: unless-stopped
environment:
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
# порт самого сервера; его же берут pg_isready и psql в контейнере
PGPORT: ${POSTGRES_PORT:-5432}
ports:
# только localhost: к нему подключается приложение в console
- "127.0.0.1:${POSTGRES_OUT_PORT:-5433}:${POSTGRES_PORT:-5432}"
volumes:
# с 18.x данные в /var/lib/postgresql/18/docker, volume образа —
# весь /var/lib/postgresql (Config.Volumes)
- postgres_data:/var/lib/postgresql
networks:
default:
# любое значение POSTGRES_HOST указывает на этот сервис
aliases:
- ${POSTGRES_HOST:-postgres}
healthcheck:
# по TCP, а не через сокет: при инициализации образ поднимает
# временный сервер только на сокете, и проверка через сокет
# сказала бы «готов» раньше времени. $$ — переменная контейнера
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
# max_overflow 0) + migrate + cleaner (пул 1) + worker (пул 2) +
# relay (пул 1) ≤ max_connections (100): 2 × 10 + 1 + 1 + 2 + 1 = 25,
# при поочерёдной замене 3 × 10 + 1 + 1 + 2 + 1 = 35; расчёт — REPORT.md
cpus: "2.0"
memory: 1G
# кэш карточек чатов: без volume, persistence выключен в valkey.conf —
# после рестарта кэш пуст, данные остаются в PostgreSQL
valkey:
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
restart: unless-stopped
# $$ — переменные контейнера: пароль не попадает в command литералом.
# Через docker-entrypoint.sh образа: он запускает сервер не от root
command:
- sh
- -c
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --port "$$VALKEY_PORT" --requirepass "$$VALKEY_PASSWORD"
environment:
VALKEY_PORT: ${VALKEY_PORT:-6379}
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
ports:
# только localhost: к нему подключается приложение в console
- "127.0.0.1:${VALKEY_OUT_PORT:-6380}:${VALKEY_PORT:-6379}"
volumes:
- type: bind
source: ./infra/valkey/valkey.conf
target: /usr/local/etc/valkey/valkey.conf
read_only: true
bind:
create_host_path: false
networks:
default:
# любое значение VALKEY_HOST указывает на этот сервис
aliases:
- ${VALKEY_HOST:-valkey}
healthcheck:
# PONG только после AUTH: проверяет и запуск, и пароль
test: ["CMD-SHELL", 'test "$$(valkey-cli -p "$$VALKEY_PORT" ping)" = PONG']
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# maxmemory 64mb в valkey.conf плюс накладные
cpus: "0.5"
memory: 128M
# S3 — байты вложений (design change s3-storage, решения 1–2): master,
# volume, filer и шлюз S3 одним процессом weed server. Служебные серверы
# слушают только 127.0.0.1 контейнера, в сеть выходят порт API S3
# (S3_PORT) и gRPC шлюза (S3_PORT + 10000), закрытый ключом подписи.
# Entrypoint образа сам переходит на пользователя seaweed и добавляет
# -dir=/data -volume.max=0 -master.volumeSizeLimitMB=1024
s3:
image: *s3-image
restart: unless-stopped
command:
- server
# master, volume и filer — только loopback контейнера
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
- -master.telemetry=false
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
- -master.electionTimeout=1s
# пауза перед остановкой тома нужна кластеру, а не одному узлу
- -volume.preStopSeconds=0
- -filer
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=${S3_PORT:-8333}
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
- -s3.port.iceberg=0
- -s3.port.lance=0
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
- -s3.iam=false
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
- -s3.concurrentUploadLimitMB=64
environment:
# административная пара: учётная запись есть с первого старта, и
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
# получают
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, copy S3 lines from .env.example}
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, copy S3 lines from .env.example}
# без ключа подписи gRPC шлюза принимает учётную запись
# администратора от любого контейнера сети
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок 20
# одновременных PUT по 10 MiB укладываются в 512 МБ
GOMEMLIMIT: 400MiB
# порт API S3 для healthcheck
S3_PORT: ${S3_PORT:-8333}
ports:
# только localhost и только API S3: к нему подключается приложение в
# console; консоль, UI и служебные серверы не публикуются
- "127.0.0.1:${S3_OUT_PORT:-8334}:${S3_PORT:-8333}"
volumes:
# volume образа (Config.Volumes): тома, filer и IAM
- s3_data:/data
networks:
default:
# любое значение S3_HOST указывает на этот сервис
aliases:
- ${S3_HOST:-s3}
healthcheck:
# master выбран, том зарегистрирован у master (непустой DataNodes в
# /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
# проверки тома healthy наступал на ~4 с раньше регистрации, и первая
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
# контейнера
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код.
# При 10 с остановка кончалась бы SIGKILL (код 137)
stop_grace_period: 20s
deploy:
resources:
limits:
# память — GOMEMLIMIT и лимит загрузок выше
cpus: "1.0"
memory: 512M
# брокер заданий обработки вложений (design change async-attachments,
# решение 4). hostname постоянный: имя узла задаёт каталог данных, и
# пересозданный контейнер иначе не нашёл бы свои данные в том же volume.
# Учётная запись приложения создаётся при первом старте на пустом volume.
# Наружу — только AMQP на loopback, для запуска в консоли
rabbitmq:
image: rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
hostname: rabbitmq
restart: unless-stopped
environment:
RABBITMQ_DEFAULT_USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
RABBITMQ_DEFAULT_PASS: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
RABBITMQ_NODE_PORT: ${RABBITMQ_PORT:-5672}
ports:
- "127.0.0.1:${RABBITMQ_OUT_PORT:-5673}:${RABBITMQ_PORT:-5672}"
volumes:
# volume образа (Config.Volumes): очереди и сообщения
- rabbitmq_data:/var/lib/rabbitmq
- type: bind
source: ./infra/rabbitmq/rabbitmq.conf
target: /etc/rabbitmq/conf.d/90-messenger.conf
read_only: true
bind:
create_host_path: false
networks:
default:
# любое значение RABBITMQ_HOST указывает на этот сервис
aliases:
- ${RABBITMQ_HOST:-rabbitmq}
healthcheck:
# от пользователя брокера, exec-формой: CLI от root на пустом volume
# создавал .erlang.cookie (0400, root) раньше сервера, и тот падал на
# eacces (design change otel-telemetry, решение 19)
test: ["CMD", "gosu", "rabbitmq", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
interval: 10s
timeout: 5s
retries: 10
start_period: 30s
start_interval: 1s
# брокер завершается сам за ~2 с; 20 с — запас на большую очередь
stop_grace_period: 20s
deploy:
resources:
limits:
# предел памяти брокера — 400 МиБ в infra/rabbitmq/rabbitmq.conf
cpus: "1.0"
memory: 512M
# bootstrap S3 — один раз до реплик, как миграции (решение 4): приватный
# bucket, пользователь API с политикой «только объекты своего bucket»,
# пользователь уборщика — «чтение и удаление объектов своего bucket»,
# проверки приватности вне API. Повтор сводит состояние к .env и ничего
# не ломает. В сетевом пространстве s3: master и filer сервера на
# 127.0.0.1 доступны ему, а в сети их нет. make s3_check запускает его
# же в режиме check
s3-bootstrap:
image: *s3-image
network_mode: service:s3
user: seaweed
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
command: ["apply"]
restart: "no"
environment:
S3_BUCKET: ${S3__BUCKET:-messenger}
S3_PORT: ${S3_PORT:-8333}
# ключ подписи: им weed shell подписывает вызовы IAM filer
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
S3_WORKER_ACCESS_KEY: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env_setup}
S3_WORKER_SECRET_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env_setup}
# список объектов уборщику — только по префиксу вложений своей базы
# (сверка bucket и БД, design change track2-reconciler, решение 2);
# не секрет, уборщик строит префикс сам из имени базы
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}/attachments/
HOME: /tmp
volumes:
- type: bind
source: ./infra/s3/bootstrap.sh
target: /opt/s3/bootstrap.sh
read_only: true
bind:
create_host_path: false
# файл ключа для curl и политика — только в памяти. /data — volume
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
# оставлял бы анонимный volume
tmpfs:
- /tmp
- /data
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits:
# пик по пробе — 35 MiB, 0,76 с CPU
cpus: "0.5"
memory: 128M
# миграции — один раз до реплик, сами реплики их не запускают
migrate:
# образ собирает сервис api (make run_docker, make test_isolated)
image: mtusi-messenger:lab6
pull_policy: never
command: ["alembic", "upgrade", "head"]
restart: "no"
# только PostgreSQL: пароль Valkey миграциям не нужен
environment: *db-env
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
# реплики API: порты не публикуются, фиксированного имени контейнера
# нет (мешало бы масштабированию) — запросы идут только через haproxy; X-Instance-Id — hostname, то есть
# короткий ID контейнера. Разовая подмена числа — make replicas
# API_REPLICAS=N
api:
build: .
image: mtusi-messenger:lab6
restart: unless-stopped
environment:
<<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env, *telemetry-env]
APP__PORT: ${APP__PORT:-8080}
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
# без кэша API работает, но в штатном стенде он есть с первого запроса
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
# bucket и пользователь API есть до первого запроса
s3-bootstrap:
condition: service_completed_successfully
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
stop_grace_period: 10s
# буфер приёма сокетов реплики — до 512 KiB, а не до 32 MiB ВМ Docker:
# ядро копит недочитанное тело (ожидание места загрузки, отказ до тела)
# в буфере сокета, и он считается памятью контейнера. Параметр сетевого
# пространства контейнера — его получают все контейнеры сервиса, в том
# числе bench/, make test_isolated и стенд отказов (design change
# upload-memory, решение 6). В консоли (make run_dev) его нет
sysctls:
net.ipv4.tcp_rmem: "4096 131072 524288"
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
# один event loop занимает не больше 1 CPU. Argon2id (p=4, до
# kdf_concurrency хэшей сразу) взял бы больше: под лимитом вход
# медленнее в 4–5 раз, осознанно (REPORT.md, «Ограничения»).
# Память: Argon2id 4 × 64 MiB + интерпретатор ≈ 350 МБ
cpus: "1.0"
memory: 512M
# уборщик незавершённых загрузок (design change upload-consistency,
# решения 2 и 9): строки pending старше grace и их объекты. Один процесс
# на образе API со своей командой; реплики его не ждут, сам он ждёт
# схему и пользователя S3. Портов нет, HTTP не слушает
cleaner:
image: mtusi-messenger:lab6
pull_policy: never
# точка входа, а не command: разовый проход —
# docker compose run --rm --no-deps cleaner --once
entrypoint: ["python", "-m", "src.cleaner"]
restart: unless-stopped
environment:
<<: [*db-env, *s3-env]
# проход последовательный: второе соединение не нужно
DATABASE__POOL_SIZE: "1"
# пользователь уборщика: чтение и удаление объектов, без записи и
# списка; ключей API, пароля Valkey и административных ключей S3 нет
S3__ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
S3__SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
# healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает.
# Живость — журнал: старт, проходы, отказы
healthcheck:
disable: true
# SIGTERM: текущая строка доводится (≤ 6 с), затем выход с кодом 0
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.25"
memory: 256M
# relay (design change pipeline-reliability, решения 1 и 2): доводит намерения
# из PostgreSQL до брокера, возвращает истёкшие аренды. Один процесс на образе
# API; реплики его не ждут: без него загрузка отвечает 202, задания ждут в
# PostgreSQL. Разовая команда реестра — make replay (docker compose run --rm
# --no-deps relay replay …). Портов нет, HTTP не слушает
relay:
image: mtusi-messenger:lab6
pull_policy: never
# точка входа, а не command: аргументы после имени сервиса — подкоманда
entrypoint: ["python", "-m", "src.relay"]
restart: unless-stopped
environment:
# только PostgreSQL и брокер: ни ключей S3, ни пароля Valkey; адрес
# Collector — не секрет (design change job-trace-propagation, решение 7)
<<: [*db-env, *broker-env, *telemetry-env]
# проход последовательный: второе соединение не нужно
DATABASE__POOL_SIZE: "1"
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
rabbitmq:
condition: service_healthy
migrate:
condition: service_completed_successfully
# healthcheck образа — HTTP /health/ready, а relay HTTP не слушает. Живость
# — журнал и очередь
healthcheck:
disable: true
# SIGTERM: текущий шаг доводится (≤ 6 с), затем выход с кодом 0
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.25"
memory: 256M
# worker обработки вложений (design change async-attachments, решение 6):
# отдельный процесс на образе API; декодирование и варианты — в процессе
# обработки на задание, ни у реплик, ни в самом worker декодера нет
# (pipeline-reliability, решение 7). Портов нет, HTTP не слушает; реплики его
# не ждут
worker:
image: mtusi-messenger:lab6
pull_policy: never
entrypoint: ["python", "-m", "src.worker"]
restart: unless-stopped
environment:
<<: [*db-env, *s3-env, *broker-env, *telemetry-env]
# шаги с БД короткие: соединение на задание
DATABASE__POOL_SIZE: "2"
# пользователь worker: чтение и запись объектов, без удаления и
# списка; ключей API и уборщика, пароля Valkey и административных
# ключей S3 нет
S3__ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env_setup}
S3__SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env_setup}
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
rabbitmq:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
# healthcheck образа — HTTP /health/ready, а worker HTTP не слушает.
# Живость — журнал и очередь
healthcheck:
disable: true
# SIGTERM: начатые задания ждут ≤ [worker] graceful_shutdown_seconds,
# закрытие клиентов — в сумме не больше 9,5 с
stop_grace_period: 10s
deploy:
resources:
limits:
# два процесса обработки PNG RGBA на 40 Мпкс: ~360 МиБ VmHWM на
# процесс, вместе с worker и телами меньше лимита при конкуренции 2
# (расчёт — REPORT.md); лимит адресного пространства процесса — 450 МиБ
cpus: "1.0"
memory: 1G
# единственная точка входа: реплики находит через DNS Docker, проверяет
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
haproxy:
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
restart: unless-stopped
environment:
# порт реплик и самого LB внутри сети: тот же APP__PORT
API_PORT: ${APP__PORT:-8080}
ports:
# только localhost: стенд учебный; API на хосте доступно только так
- "127.0.0.1:${APP_OUT_PORT:-8080}:${APP__PORT:-8080}"
volumes:
- type: bind
source: ./infra/haproxy/haproxy.cfg
target: /usr/local/etc/haproxy/haproxy.cfg
read_only: true
bind:
create_host_path: false
# make stop гасит LB раньше реплик, make run_docker поднимает после них
depends_on:
- api
healthcheck:
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
interval: 5s
timeout: 3s
retries: 3
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# nbthread 1 в haproxy.cfg
cpus: "1.0"
memory: 256M
# --- наблюдаемость (design change otel-telemetry, решения 1, 7, 14–18) ---
# Сервисы приложения их не ждут, а они — друг друга: без них приложение
# работает, отправку и запросы они повторяют сами. Порты наружу — только
# у Grafana. Сервисы на Go получают GOMEMLIMIT (лимит cgroup рантайм не
# видит): ~80 % лимита, а у тех, чей пик дошёл до GOMEMLIMIT (Tempo), —
# не больше лимита / 1,5
# OTel Collector contrib: OTLP/HTTP от api и worker (сеть default), метрики
# для scrape и экспорт в Loki и Tempo (сеть telemetry). Секретов нет. В
# образе нет ни оболочки, ни HTTP-клиента: healthcheck нет, живость — цель
# otel-collector в Prometheus
otel-collector:
image: otel/opentelemetry-collector-contrib:0.164.0@sha256:340c9ca6a36617084c6661bdc4f0fe92b7cda5a805d61673ec8db375fddc522b
restart: unless-stopped
command: ["--config=/etc/otelcol-contrib/config.yaml"]
environment:
GOMEMLIMIT: 160MiB
volumes:
- type: bind
source: ./infra/otel/collector.yaml
target: /etc/otelcol-contrib/config.yaml
read_only: true
bind:
create_host_path: false
networks:
- default
- telemetry
deploy:
resources:
limits:
# memory_limiter 200 / 40 МиБ в collector.yaml
cpus: "0.5"
memory: 256M
# Prometheus — метрики: scrape Collector и собственных метрик конвейера;
# срок и предел объёма хранения — флаги. Без remote write, OTLP, admin API и
# lifecycle. Правила записи и оповещения — файл rules.yml (design change
# slo-alerts, решения 1, 3, 4); доставки оповещений наружу нет. Время начала
# cumulative-рядов экспортёра Collector (protobuf) — ноль в момент начала
# ряда нового процесса (решение 6)
prometheus:
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
restart: unless-stopped
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=7d
- --storage.tsdb.retention.size=1GB
- --enable-feature=created-timestamp-zero-ingestion
environment:
GOMEMLIMIT: 300MiB
volumes:
# volume образа (Config.Volumes), владелец nobody
- prometheus_data:/prometheus
- type: bind
source: ./infra/otel/prometheus/prometheus.yml
target: /etc/prometheus/prometheus.yml
read_only: true
bind:
create_host_path: false
- type: bind
source: ./infra/otel/prometheus/rules.yml
target: /etc/prometheus/rules.yml
read_only: true
bind:
create_host_path: false
networks:
- telemetry
healthcheck:
# busybox wget есть в образе
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
interval: 10s
timeout: 3s
retries: 5
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
cpus: "0.5"
memory: 384M
# Loki — логи: родной OTLP от Collector, filesystem в volume, срок 7 суток.
# Оболочки и HTTP-клиента в образе нет: healthcheck нет, живость — цель loki
# в Prometheus и проверка источника в Grafana
loki:
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
restart: unless-stopped
command: ["-config.file=/etc/loki/loki.yaml"]
environment:
GOMEMLIMIT: 400MiB
volumes:
- loki_data:/loki
- type: bind
source: ./infra/otel/loki/loki.yaml
target: /etc/loki/loki.yaml
read_only: true
bind:
create_host_path: false
networks:
- telemetry
deploy:
resources:
limits:
cpus: "0.5"
memory: 512M
# Tempo — трассы: монолит 3.1 с локальным хранилищем, срок 7 суток. Как у
# Loki, healthcheck нет. Пик под make test + load + student_test дошёл до
# GOMEMLIMIT (398 МиБ, evidence/telemetry/budget.md): лимит контейнера —
# 1,5 × GOMEMLIMIT, а не 80 / 20 (design change otel-telemetry, «Уточнения
# apply», п. 19)
tempo:
image: grafana/tempo:3.1.1@sha256:64e2fbd56d9c2b3412a4b430a58ea59e91a670b1e75f920a0c702213ad145044
restart: unless-stopped
command: ["-config.file=/etc/tempo/tempo.yaml", "-target=all"]
environment:
GOMEMLIMIT: 400MiB
volumes:
- tempo_data:/var/tempo
- type: bind
source: ./infra/otel/tempo/tempo.yaml
target: /etc/tempo/tempo.yaml
read_only: true
bind:
create_host_path: false
networks:
- telemetry
deploy:
resources:
limits:
cpus: "0.5"
memory: 640M
# Grafana — интерфейс без своего состояния (tmpfs): источники и dashboard —
# provisioning из git, пароль администратора из .env действует на каждом
# старте. Наружу — только 127.0.0.1. Без анонимного входа, регистрации,
# установки плагинов из сети, отчётов и проверок обновлений; встроенные
# источники, кроме prometheus, loki и tempo, выключены (каждый — свой
# процесс). Пик 294 МиБ (процесс и три источника с backend): лимит 512 —
# не меньше 1,5 × пика (evidence/telemetry/budget.md)
grafana:
image: grafana/grafana:13.3.1@sha256:0615ec4fbd4072004b7d86b46ded63013a74b7d6eb1119273dd89e8fa25c13cf
restart: unless-stopped
environment:
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:?GRAFANA_ADMIN_PASSWORD is empty, run make env_setup}
GF_SECURITY_DISABLE_GRAVATAR: "true"
GF_AUTH_ANONYMOUS_ENABLED: "false"
GF_AUTH_DISABLE_SIGNOUT_MENU: "false"
GF_USERS_ALLOW_SIGN_UP: "false"
GF_USERS_ALLOW_ORG_CREATE: "false"
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
GF_ANALYTICS_FEEDBACK_LINKS_ENABLED: "false"
GF_NEWS_NEWS_FEED_ENABLED: "false"
GF_SNAPSHOTS_EXTERNAL_ENABLED: "false"
GF_PLUGINS_PREINSTALL_DISABLED: "true"
GF_PLUGINS_PUBLIC_KEY_RETRIEVAL_DISABLED: "true"
GF_PLUGINS_DISABLE_PLUGINS: cloudwatch,elasticsearch,grafana-postgresql-datasource,grafana-pyroscope-datasource,influxdb,jaeger,mssql,mysql,opentsdb,stackdriver,zipkin,grafana-azure-monitor-datasource,graphite,grafana-testdata-datasource
GOMEMLIMIT: 300MiB
ports:
- "127.0.0.1:${GRAFANA_OUT_PORT:-3000}:3000"
tmpfs:
- /var/lib/grafana
volumes:
- type: bind
source: ./infra/otel/grafana/datasources.yaml
target: /etc/grafana/provisioning/datasources/datasources.yaml
read_only: true
bind:
create_host_path: false
- type: bind
source: ./infra/otel/grafana/dashboards.yaml
target: /etc/grafana/provisioning/dashboards/dashboards.yaml
read_only: true
bind:
create_host_path: false
- type: bind
source: ./infra/otel/grafana/dashboards/messenger-overview.json
target: /etc/grafana/dashboards/messenger-overview.json
read_only: true
bind:
create_host_path: false
networks:
- telemetry
healthcheck:
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3000/api/health"]
interval: 10s
timeout: 3s
retries: 5
start_period: 60s
start_interval: 1s
deploy:
resources:
limits:
cpus: "0.5"
memory: 512M
networks:
# хранилища телеметрии и Grafana: контейнеры приложения до них не достают,
# связь — только через Collector (он в обеих сетях). Не internal: иначе не
# работает опубликованный порт Grafana
telemetry:
volumes:
postgres_data:
s3_data:
rabbitmq_data:
prometheus_data:
loki_data:
tempo_data: